Deep learningの軽い紹介の軽い紹介です。 間違ってる部分があったら連絡ください。

1. Deep Learningの軽い紹介 v1.0

2. 目的と注意
• 最近 Deep Learning が熱いですね
• そこで Deep Learning を初心者の方でもわ
かりやすいようにまとめてみました
• 自分自身機械学習は論文や本での独学なの
で、間違ってる点があれば教えてください

3. 目次
• スライドを2枚に分けます
• 1枚目 : Deep Learningの軽い紹介
• 2枚目 : Deep Learningの音声分野への応用と可能性

4. • Deep Learning
• Deep Neural Network(DNN)
• Neural Network(NN)
• Hidden Markov Model(HMM)
• Gaussian Mixture Model - Hidden Markov Model(GMM-HMM)
• Deep Neural Network - Hidden Markov Model(DNN-HMM)
• 機械学習
• パターン認識
• 時系列データの認識
• 音声認識
• 画像認識
• モーション認識
• 音楽リズム認識
• 経済モデル
• 感情モデル...
キーワード

5. MIT : http://www.technologyreview.com/lists/breakthrough-technologies/2013/
2013年の熱い技術として紹介されている
今 Deep Learning が熱い!!

6. ICMLのスケジュール : http://icml.cc/2013/?page_id=47
機械学習の世界的学会、ICMLでも...
今 Deep Learning が熱い!!

7. • Ne#lix
Movie
Compe..on –
Part
of
the
“Ensemble”
($1
Million
dollars)
• Kaggle Merck Competion 2012 - Help Develop Effective Medicines by
Predicting Molecular Activity
• ICPR 2012 - Contest on Mitosis Detection in Breast Cancer Histological
Images.
• IJCNN 2011 - Traffic Sign Recognition Competition
• ISBI 2012 - Challenge on segmentation of neuronal structures.
• ICDAR 2011 - Offline Chinese Handwriting.(without knowing any Chinese)
• Online German Traffic Sign Recognition Contest - 2011, first and second ranks
• ICDAR 2009 - Arabic Connected Handwriting Competition (without speaking a
word of Arabic).
画像,音声,言語処理...様々な分野で活躍中
名のあるコンペティションでの優勝
今 Deep Learning が熱い!!

8. 名のあるコンペティションでの優勝(補足)
人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/
今 Deep Learning が熱い!!

9. • Googleの1000台のコンピュータが3日間、
Youtubeの動画を見続けることで ネコの概念 を自
動的に学習した
• この人工頭脳は、ひとたびインターネットに接続して、YouTubeからラン
ダムに選ばれた無数の画像を山のように供給されると、非常に特殊なこと
を行い始めた（少なくともコンピューターにとっては）。自動学習のプロ
セスを通して、猫を認識することを学習したのだ。人工頭脳の父であるア
ラン・チューリングの生誕から100年にして、機械も独習ができることを
証明した。”
.http://wired.jp/2012/07/06/google-recognizes-kittens/
.http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html
Deep Learning の凄さがわかる例

10. • コンピューターはシュミレーションを行う機械
• 2025年には完璧に脳をシュミレーションできるらしい...
• 怖いですね
http://gigazine.net/news/20090315_supercomputer_power/
人工知能に関する補足

11. •コンピュータが自分で考える時代の到来か!?
凄さはわかってもらえた
でしょうか？

12. • 日本語名 : 深層学習
• 人工知能学会では...
• あれ、という事はDeep Learning = Neural Network(NN)?
• 再び人工知能学会....
Deep Learning って何ぞや?
つまりDeep Learning = 深いNN?
人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/

13. • 深いNN を理解する為に、まずは普通のNNの紹介で
す。
• アルゴリズムについてはすばらしい説明ページがたくさ
んあるので、概念の説明です。
Neural Network(NN) について
by wikipedia

14. • [ニューラルネットによるパターン認識]のページが非常に
わかりやすいですので、ここでは簡単な流れ
を説明します。
• 学習データを入力層=>中間層=>出力層の順にデータを伝播さ
せていく。各ニューロンを通るたびに「重さ」が加えられてい
く。
• 出力されたデータと学習データの答えを比較し、誤差を逆伝播
していく。逆伝播の最中に「重さ」の更新を行う。
• 誤差が一定以下になるまで繰り返す
• ちなみに図は3階層パーセプトロン
• 他のモデルもありますよ。
Neural Network(NN) の仕組み
ニューラルネットによるパターン認識 : http://aidiary.hatenablog.com/entry/20050505/1274165051

15. ニューラルネット : http://www.sig.cs.osakafu-u.ac.jp/omatu/13neurobook.pdf
Neural Network(NN) の特徴
[ニューラルネット]抜粋(詳しくは読んでください)
アルゴリズムが簡素であ
る事と、これらの特徴で
NNに興味を持ちました。
(分散システムと相性抜群)

16. Neural Network(NN) は何が出来るのか
• パターン認識(教師あり)
• 「階層型NN」(先ほどのページ)を使えば(非線形)パターン認識を行
えます。
• ライバル
• SVM(線形,非線形),GMM(確率モデル)...
• クラスタリング(教師なし)
• 「自己組織化写像(SOM)」を使えば、クラスタリングを行えます。
• ライバル
• k-means..

17. Neural Network(NN) の歴史
東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/

18. NNの第一の冬
NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf
線形分離不可能問題
xor をNNで解けなかった。。。
=> 誤差逆伝播法 の登場で解けるようになり、第一の冬終了。

19. NNの第二の冬
NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf
NN遅いし、他のいいアルゴリズムあるよねー...
GPUや新しいアルゴリズムの登場で、第二の冬終了

20. • NNについてある程度わかってもらえたと思うので、次
は 深いNN (Deep Neural Network,DNN)の説明です。
Deep Neural Network(DNN) について

21. NNはhiddenが2,3層
DNNはhiddenがたくさん
NNとDNNの違い
深いんです!!
もちろん他にも違いがありますが。。。

22. DNNの特徴
http://www.slideshare.net/pfi/deep-learning-22350063
• 今までの機械学習分野は特徴量抽出との戦いであった。
• 画像処理 - SURF,SIFT
• 音声認識 - MFCC

23. • DNNは特徴抽出もまとめて行う(表現学習) => 生のデータのまま扱える
• 層が深くなるごとに、データが抽象的(次元が圧縮される)形なっていく
DNNの特徴
http://www.ais.uni-bonn.de/deep_learning/

24. NNはhiddenが2,3層 DNNはhiddenがたくさん
再びNNとDNNの違い
問題を解くだけだったらNNで十分、
しかしDNNを使えば、特徴量抽象(次元圧縮)も同時に行う。
ここは自信ないです。。。

25. DNNが今まで流行らなかったのはなぜ?
• DNNの仕組み自体は前からあったが、hiddenが深いと
1. 誤差逆伝播は計算時間がかかる
2. 学習が収束しない(過学習)
という問題があった。
• そこで
1. GPUの登場や、高性能のPCを安価に大量に使うように出来るようになった
2. 新しいアルゴリズムの登場
- プレトレーニングやDropOut
により花開いた。
東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/

26. • アルゴリズムの仕組み自体が今回の目的ではな
いので、割愛します(難しいので)。
• 知りたい方は、http://www.deeplearning.net/tutorial/のページが
非常に良くまとまっています。
• DNNのライブラリは Theano がおすすめです。
• GPUを用いて並列処理を行うことができる。
• 分散処理はサポートしてない。
DNNのアルゴリズム

27. • Deep Learningは発展途上で
何が本当に上手くいっているのか
良くわかっていない状況です。
-----あるデータにどんな形のDNNが有効か、試してみないとわからな
い.
=> 分散処理で様々なネットワークを試してみては？
問題点
http://research.preferred.jp/2012/11/deep-learning/

28. • Deep Neural Network は 深いNN
• 各層ごとに意味がある
• DNNを使えば、従来の機械学習分野で必要であった特徴量抽出が必要ないパ
ターン認識を行える
• 生のデータをそのまま扱える
• 未知のデータでも使用可能?
• 機械が自動的にパターンを学習する - googleのネコの概念 -
• 未知の部分も多いが、現状素晴らしい成果を生み出しているのは明白である
• 非常に分散・並列処理と相性がいいアルゴリズムである。さらにアルゴリズ
ム自体は簡素で、学習コストも低い(しっかり理解するのは大変...)
まとめ

29. • 次回は「 Deep Learningの音声分野への応用と可能性」です。
• 最近の音声認識は、
Gaussian Mixture Model - Hidden Markov Model(GMM-HMM) から
Deep Neural Neural - Hidden Markov Model(DNN-HMM) に
置き換わっている。
• やっている事は両方とも パターン認識 - 時系列パターン認識
• 音声認識の場合 音素認識(パターン認識) - 単語認識(時系列パターン認識)
• DNN-HMMはGMM-HMMの性能を凌駕する。
• 実際にMicrosoft,Googleの音声検索に使われている。
• DNN-HMMのモデルは様々な分野に応用可能であるので、その応用例も考えてみ
る。
• モーション認識に応用出来るのではないかと考えている。
• NUIの幅が広がる気がする。
次回予告