Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Sigpx 2.5

146 views

Published on

SIGPX 2.5発表スライド

Published in: Software

Sigpx 2.5

  1. 1. DeepCoder紹介&所感 1 ソニー株式会社 三上 裕明 web-site: https://hiroakimikami.github.io/ Twitter: @hiroaki8270
  2. 2. DeepCoder:概略 DeepCoder: Learning to Write Programs ● Microsoft Research/Cambridgeの研究 ○ https://openreview.net/pdf?id=ByldLrqlx ● DeepLearningを組み込んだプログラム合成 a <- read_list b <- maximum a プログラム 関数 出現確率 head 0.01 maximum 1.0 その他 0.0 1.学習・推論 2.全探索 入力 出力 [3, 4, 100, -10, 5] 100 [2] 2 [-100, -3, 1, -4] 1
  3. 3. DeepCoder:再現実装 ● https://github.com/HiroakiMikami/deep-coder ○ DSL・探索の実装:C++ ○ 学習:Python (Chainer) ● 実装期間:約1ヶ月 ● ネットワークはかなり単純(制約が多い) ○ 学習を早くするため ○ Proof of Conceptのような立ち位置? 実装内容 時間 DSL・探索の実装 2週間 Chainer勉強 1週間 学習・推論の実装 1週間
  4. 4. DeepCoder:再現実装 学習に必要な時間 1. データセット(20000件ほど)の生成 ● プログラムの最大長1:1時間くらい ● プログラムの最大長2:2時間くらい ● プログラムの最大長3:15.5時間待ってるけど終わらない 2. ニューラルネットの学習 ● 20000件ほどのデータに対し,1時間強 ● 今のところ,過学習気味なのでデータ数は増やす必要あり
  5. 5. DeepCoder:動作例 入力 出力 [1,3,-5], [-2,4,1] 5 [1,2,3,4,5],[1,0,1,0,1] 9 [-6,5,-4,1,-8],[-8,4,-6,10,4] 70 [9,-3,2],[3,-6,3] 51 [1],[1] 1 ベクトルの内積を計算 a <- read_list b <- read_list c <- zip_with * b a d <- sum c 関数 出現確率 sum 0.219 zip_with 0.021 take 0.000303 reverse 0.000297 maximum 0.16 2. 深さ優先探索 (0.1sec) 1. 学習・推論 (0.5sec) 推論なしだと 0.7sec
  6. 6. DeepCoder:所感 ● まだまだ発展途上 ○ 学習アルゴリズムそのもの ■ RNNへの拡張 ■ 定数の扱い方 ○ 学習に向くDSLとは? ○ これを使ったプログラミング方法 ● 学習に時間がかかる ○ ここ数日は出社前にジョブ投入 ○ 学習用マシンほしい ● その他 ○ 関連論文の増加ペースが早い(被引用13) ○ 誰か一緒に追ってみませんか

×