1. DeepCoder紹介＆所感
1
ソニー株式会社 三上 裕明
web-site: https://hiroakimikami.github.io/
Twitter: @hiroaki8270

2. DeepCoder：概略
DeepCoder: Learning to Write Programs
● Microsoft Research/Cambridgeの研究
○ https://openreview.net/pdf?id=ByldLrqlx
● DeepLearningを組み込んだプログラム合成
a <- read_list
b <- maximum a
プログラム
関数 出現確率
head 0.01
maximum 1.0
その他 0.0
1.学習・推論 2.全探索
入力 出力
[3, 4, 100, -10, 5] 100
[2] 2
[-100, -3, 1, -4] 1

3. DeepCoder：再現実装
● https://github.com/HiroakiMikami/deep-coder
○ DSL・探索の実装：C++
○ 学習：Python (Chainer)
● 実装期間：約1ヶ月
● ネットワークはかなり単純（制約が多い）
○ 学習を早くするため
○ Proof of Conceptのような立ち位置？
実装内容 時間
DSL・探索の実装 2週間
Chainer勉強 1週間
学習・推論の実装 1週間

4. DeepCoder：再現実装
学習に必要な時間
1. データセット(20000件ほど)の生成
● プログラムの最大長1：1時間くらい
● プログラムの最大長2：2時間くらい
● プログラムの最大長3：15.5時間待ってるけど終わらない
2. ニューラルネットの学習
● 20000件ほどのデータに対し，1時間強
● 今のところ，過学習気味なのでデータ数は増やす必要あり

5. DeepCoder：動作例
入力 出力
[1,3,-5], [-2,4,1] 5
[1,2,3,4,5],[1,0,1,0,1] 9
[-6,5,-4,1,-8],[-8,4,-6,10,4] 70
[9,-3,2],[3,-6,3] 51
[1],[1] 1
ベクトルの内積を計算
a <- read_list
b <- read_list
c <- zip_with * b a
d <- sum c
関数 出現確率
sum 0.219
zip_with 0.021
take 0.000303
reverse 0.000297
maximum 0.16
2. 深さ優先探索
(0.1sec)
1. 学習・推論
(0.5sec)
推論なしだと
0.7sec

6. DeepCoder：所感
● まだまだ発展途上
○ 学習アルゴリズムそのもの
■ RNNへの拡張
■ 定数の扱い方
○ 学習に向くDSLとは？
○ これを使ったプログラミング方法
● 学習に時間がかかる
○ ここ数日は出社前にジョブ投入
○ 学習用マシンほしい
● その他
○ 関連論文の増加ペースが早い（被引用13）
○ 誰か一緒に追ってみませんか