今流行のDeep Learningとは何か？ を、全く前知識の無い人向けに数式等を一切用いず 説明する為の資料。自分の勉強用でもあります。 時間は30分（プレゼン20分＋質疑応答10分）目標。 きっと沢山間違っていたり誤謬があったりするので ご指摘いただけると今後の糧となりまする。

1. Hello Deep Learning！
情報系学部3年
T2C_ ( TwitterID： @T2C_ )
(2014/10/27)

2. 対象：
Deep Learning
（深層学習）
1

3. 本日の流れ
1. Deep Learningとは
1. 事例
2. 概要
2. Deep Learningの歴史（経緯）
1. 歴史１，２，３，４
3. Deep Learningの動向
4. Deep Learningの課題
5. 自分の今後
6. まとめ
2

4. DLの事例
• Googleの猫認識
▫ 教師なし学習。
▫ 猫を識別可能に。
▫ Youtubeから200×200px
ランダムに抽出。
• 画像認識の大会（他）での圧勝
▫ コンピュータ1000台で3日間。
▫ 人間の顔、身体、猫の顔。
▫ ILSVRC2012では誤り率の点で
2位と10%差をつけて大勝。
 1位SuperVision→ Error -> 0.15315
 2位ISI→ Error- > 0.26172
▫ 業界全体が震撼
▫ 以降ILSVRCではDLが主流に。
3

5. Deep Learningとは
• 教師なしニューラルネットワークを
多層にしたもの。
• これがDL！というよりはアプローチ手法｡(多義的)
参考：http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html 4

6. Deep Learningの歴史概要１
• 1943年ウォーレン･マカロックら、人工神経を提唱。
• 1958年フランク･ローゼンブラット、
『パーセプトロン』を提唱（＋学習機能）。
しかし･･･
参考：http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html 5

7. Deep Learningの歴史概要２
• 1969年マーヴィン・ミンスキーら、
単純パーセプトロンが線形分離不可能な
パターンを識別出来ない事を証明。
6
x1
x2
(0 , 1) (1 , 1)
(0 , 0) (1 , 0)
そこで！
【XOR】
ワケラレナイヨー

8. Deep Learningの歴史概要３
• 1986年デビッド･ラメルハートら、
『誤差逆伝搬法(バックプロパゲーション)
を提唱（教師あり学習）。
• しかしなかなか実用までの応用が利かず、
SVMの台頭などもあり
ニューラルネットワーク研究は下火に…。
• バックプロパゲーションの弱点として、
▫ 時間がかかる（効率が悪い）。
▫ 層を深くすると上手く学習されない（過学習等）。
7

9. Deep Learningの歴史概要４
• 2006年ジェフリー・ヒントンら、
PreTraining やAutoEncoder等の
概念を提唱。
▫ 多層化への対応。
▫ Deep Learningの原点と言われる事が多い。
• 2012年、様々な脚光を浴びる（cf. スライドp3)
• →現在、様々な場で研究･勉強が進められている。
8

10. Deep Learningの動向
• Google→ヒントン教授ら所属のDNNリサーチ社、
人工知能研究企業DeepMindなどを買収。
オックスフォード大学と研究連携も。
• Yahoo→画像認識技術ベンチャーである
LookFlow社を買収。
共同でDeep Learning Groupを設立。
• Baidu→独自の人工知能研究所をシリコンバレーに。
• Deep Learning勉強会（第2回まで開催中）
→ http://wbawakate.jp/wordpress/
9

11. Deep Learningの課題
• 計算時間（オーダ）の短縮。
• 並列計算などの効率化（GPU使用、並列化etc）。
▫ 例えばGoogleの猫認識は個人での実装は厳しい。
• スタンダードな何か（ライブラリ等）の実装。
▫ Theano、Pylearn2、etc…
• 専門性が多く、未だに職人芸な部分の排除。
▫ 事前調整などは未だにかなり専門的。
まだまだこれから成長しそうな分野。
10

12. 今後の予定
• 勉強する。（書籍、論文、勉強会、調査等）
▫ Python（来週はPythonについて…？）
▫ ニューラルネットワーク
▫ 機械学習
▫ 画像処理、自然言語処理、音声情報処理の選択
• 卒論のテーマの策定、テーマとの関連付け
• 時間の確保
▫ 課題パラダイスの現状打破
11

13. まとめ
• Deep Learningという新手法の台頭
• 長い歴史。葛藤の連鎖。
▫ ニューラルネットワーク、機械学習
• 各大企業も注目。業界（企業・学術）に光明。
• しかし課題も多い。
• 今後が楽しみな分野である。
12

14. 補足
• 教師あり/なし学習→ 学習データを得た出力に対して
正解を与えるかコンピュータ
自身に判断させるか。
• 汎化性→未知データに対しても分類出来る度合い
• PreTraining→深い多層NNの誤差逆伝搬法による
学習は、ランダムな初期値では
上手く行かない事が多い。その為、
良い初期値を与えるよう事前に
層毎に教師なし学習を行う事。
最後にFineTuning（全体の微調整）
を行ったりもする。
• AutoEncoder→PreTrainingの際、入力に近い出力を
返すという仕組みの事。
13

15. 参考文献１
• （Webサイトは全て2014年10月24日～2014年10月26日アクセス）
• Googleの猫認識(Deep Learning) - 大人になってからの再学習
http://d.hatena.ne.jp/Zellij/20130608/p1
• GoogleやFacebookが注目するディープラーニング(深層学習)について
まとめてみた- NAVERまとめ
http://matome.naver.jp/odai/2140635573608360401
• ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)
http://www.image-net.org/challenges/LSVRC/2012/results.html
• Deep learning
http://www.slideshare.net/kazoo04/deep-learning-15097274
• 本格化する「人工頭脳」のビジネス活用| NTTデータ
http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html
• 一般向けのDeep Learning
http://www.slideshare.net/pfi/deep-learning-22350063
• 岡谷貴之| 画像認識分野でのディープラーニングの研究動向
http://ibisml.org/archive/ibis2013/pdfs/ibis2013-okatani.pdf
• ディープラーニング（深層学習）を用いたビジネスモデル| POSTD
http://postd.cc/deep-learning-business-models/
14

16. 参考文献２
• 名古屋工業大学大学院工学研究科新谷研究室| 新技術Deep Learning
http://www-toralab.
ics.nitech.ac.jp/~ginshun/deeplearning/activity/140228/DL01Sli
de_ginshun.pdf
• ニューラルネットの逆襲| Preferred Research
http://research.preferred.jp/2012/11/deep-learning/
• 階層型ネットワーク～パーセプトロン～
http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html
• 渡辺雄二｜パーセプトロンにおける線形分離不可能問題に対する一解法
http://earth.iec.yamagata-cit.ac.jp/intro/watanabe/rr_2005.pdf
• 村上・泉田研究室第6章誤差逆伝搬法について
http://ipr20.cs.ehime-u.ac.jp/column/neural/chapter6.html
• 関東CV勉強会でオートエンコーダ他について話した- tabe2314のブログ
http://tabe2314.hatenadiary.jp/entry/2014/06/01/002249
• Deep Learningを勉強する際に参考にしたサイト･書籍まとめ｜fz-qqq‘s diary
http://fz-qqq.hatenablog.com/entry/2013/11/13/224743
• 熊沢逸夫(1998) 『学習とニューラルネットワーク』森北出版
15

17. ありがとうございました
16
SlideShare： http://www.slideshare.net/T2C_/