Successfully reported this slideshow.
Your SlideShare is downloading. ×

Sigpx 2.5

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Upcoming SlideShare
D3.js講習会〜2回目〜
D3.js講習会〜2回目〜
Loading in …3
×

Check these out next

1 of 6 Ad
Advertisement

More Related Content

Similar to Sigpx 2.5 (20)

Advertisement

Recently uploaded (20)

Sigpx 2.5

  1. 1. DeepCoder紹介&所感 1 ソニー株式会社 三上 裕明 web-site: https://hiroakimikami.github.io/ Twitter: @hiroaki8270
  2. 2. DeepCoder:概略 DeepCoder: Learning to Write Programs ● Microsoft Research/Cambridgeの研究 ○ https://openreview.net/pdf?id=ByldLrqlx ● DeepLearningを組み込んだプログラム合成 a <- read_list b <- maximum a プログラム 関数 出現確率 head 0.01 maximum 1.0 その他 0.0 1.学習・推論 2.全探索 入力 出力 [3, 4, 100, -10, 5] 100 [2] 2 [-100, -3, 1, -4] 1
  3. 3. DeepCoder:再現実装 ● https://github.com/HiroakiMikami/deep-coder ○ DSL・探索の実装:C++ ○ 学習:Python (Chainer) ● 実装期間:約1ヶ月 ● ネットワークはかなり単純(制約が多い) ○ 学習を早くするため ○ Proof of Conceptのような立ち位置? 実装内容 時間 DSL・探索の実装 2週間 Chainer勉強 1週間 学習・推論の実装 1週間
  4. 4. DeepCoder:再現実装 学習に必要な時間 1. データセット(20000件ほど)の生成 ● プログラムの最大長1:1時間くらい ● プログラムの最大長2:2時間くらい ● プログラムの最大長3:15.5時間待ってるけど終わらない 2. ニューラルネットの学習 ● 20000件ほどのデータに対し,1時間強 ● 今のところ,過学習気味なのでデータ数は増やす必要あり
  5. 5. DeepCoder:動作例 入力 出力 [1,3,-5], [-2,4,1] 5 [1,2,3,4,5],[1,0,1,0,1] 9 [-6,5,-4,1,-8],[-8,4,-6,10,4] 70 [9,-3,2],[3,-6,3] 51 [1],[1] 1 ベクトルの内積を計算 a <- read_list b <- read_list c <- zip_with * b a d <- sum c 関数 出現確率 sum 0.219 zip_with 0.021 take 0.000303 reverse 0.000297 maximum 0.16 2. 深さ優先探索 (0.1sec) 1. 学習・推論 (0.5sec) 推論なしだと 0.7sec
  6. 6. DeepCoder:所感 ● まだまだ発展途上 ○ 学習アルゴリズムそのもの ■ RNNへの拡張 ■ 定数の扱い方 ○ 学習に向くDSLとは? ○ これを使ったプログラミング方法 ● 学習に時間がかかる ○ ここ数日は出社前にジョブ投入 ○ 学習用マシンほしい ● その他 ○ 関連論文の増加ペースが早い(被引用13) ○ 誰か一緒に追ってみませんか

×