ディープラーニングは一過性のブームなのか、それとも今後も続くものなのか

1. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 1/19
ディープラーニングブームディープラーニングブーム
は続くのかは続くのか
ジーワークス
佐藤 潔
⻑野ディープラーニング同好会やってます

2. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 2/19
ディープラーニングってディープラーニングって
よく聞くようになったけどよく聞くようになったけど
もう結構たつからもう結構たつから
ブームも終わる︖ブームも終わる︖

3. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 3/19
ディープラーニングとはディープラーニングとは
⽣物の神経細胞の働きを模した
「ニューラルネット」の⼀種

4. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 4/19
ニューロンニューロン

5. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 5/19
パーセプトロンパーセプトロン
ニューロンという神経細胞モデルで脳をモデル化
最初期のニューラルネットワーク
基本的な学習⽅法はディープラーニングもだいたい同じ

6. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 6/19
バックプロパゲーションバックプロパゲーション
パーセプトロンを多層にしても学習可能にした
教師信号が出⼒層から⼊⼒層へ向かって伝搬していくの
でバックプロパゲーションと呼ばれる
層を増やすほど学習が収束しなくなる問題があった

7. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 7/19
ディープラーニングディープラーニング
バックプロパゲーションを単に多層にしてもうまく学習
が収束しなかった
技術的⼯夫により超多層でも収束するようになった

8. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 8/19
ニューラルネットのあゆみニューラルネットのあゆみ
1960年頃から︓第１次ニューラルネットブーム
「パーセプトロン」
１度⽬の冬（エキスパートシステム等）
1985年頃から︓第２次ニューラルネットブーム
「バックプロパゲーション」
２度⽬の冬（SVMや機械学習等）
2010年頃から︓第３次ニューラルネットブーム
「ディープラーニング」
なぜかちょうど25年周期

9. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 9/19
ハイプサイクルハイプサイクル
今が「過度な期待」絶頂期でここから落ちる予測
また「３度⽬の冬」が来てしまうのか︖

10. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 10/19
ディープラーニングのディープラーニングの
ブーム以降での進化ブーム以降での進化
画像認識
画像⽣成
翻訳

11. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 11/19
画像認識はすでに⼈間超え画像認識はすでに⼈間超え
ImageNetで⼈間のエラー率 5.1%
2015年 3.6%で⼈間超え

12. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 12/19
ねこ認識ねこ認識
ねこを選択するCAPTCHA
「2007年」のマイクロソフトの研究
今ではまったく意味がないだろうが
当時は「ねこ認識」すら難しい課題だった

13. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 13/19
GANによる画像⽣成の進化GANによる画像⽣成の進化
GAN(2014)／DCGAN(2016)／Style-Based GAN(2018)
Style-Based GAN （1:10〜）
https://www.youtube.com/watch?v=kSLJriaOumA

14. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 14/19
GANでアニメ絵⽣成の進化GANでアニメ絵⽣成の進化
Crypkoで商⽤利⽤化
https://crypko.ai/

15. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 15/19
翻訳精度の向上翻訳精度の向上
英仏等だけでなく英中も
2018年には⼈間と同レベル

16. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 16/19
⾔語タスク（⽂章⽣成）⾔語タスク（⽂章⽣成）
同じネットワークで⽂章⽣成、QA、翻訳などできる
⽂章与えて「A:」とか「french sentence =」で

17. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 17/19
ディープラーニングのディープラーニングの
進歩は続いてる進歩は続いてる
分野によりすでに⼈間を超えている
今も新しい⼿法が出続けている
進歩がものすごく速い
今は「おもちゃ」と思えるものも3年後は︖

18. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 18/19
３度⽬の冬は来るのか３度⽬の冬は来るのか
今から考える「１度⽬の冬」も「２度⽬の冬」も
計算機パワーと学習データ不⾜が問題だったのでは
「３度⽬の冬」は来ない気がする
研究の進歩が続いている
ハードの⾼速化も⾏われている
実サービスで利⽤が進んでいる

19. 2019/2/27 localhost/test/deep/doc/index.html?print-pdf
http://localhost/test/deep/doc/index.html?print-pdf 19/19
今度のディープラーニングは今度のディープラーニングは
⼀過性のブームではなさそう⼀過性のブームではなさそう
なのでやっといて損はないなのでやっといて損はない