Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deep learningの軽い紹介

109,921 views

Published on

Deep learningの軽い紹介の軽い紹介です。
間違ってる部分があったら連絡ください。

  • Be the first to comment

Deep learningの軽い紹介

  1. 1. Deep Learningの軽い紹介 v1.0
  2. 2. 目的と注意 • 最近 Deep Learning が熱いですね • そこで Deep Learning を初心者の方でもわ かりやすいようにまとめてみました • 自分自身機械学習は論文や本での独学なの で、間違ってる点があれば教えてください
  3. 3. 目次 • スライドを2枚に分けます • 1枚目 : Deep Learningの軽い紹介 • 2枚目 : Deep Learningの音声分野への応用と可能性
  4. 4. • Deep Learning • Deep Neural Network(DNN) • Neural Network(NN) • Hidden Markov Model(HMM) • Gaussian Mixture Model - Hidden Markov Model(GMM-HMM) • Deep Neural Network - Hidden Markov Model(DNN-HMM) • 機械学習 • パターン認識 • 時系列データの認識 • 音声認識 • 画像認識 • モーション認識 • 音楽リズム認識 • 経済モデル • 感情モデル... キーワード
  5. 5. MIT : http://www.technologyreview.com/lists/breakthrough-technologies/2013/ 2013年の熱い技術として紹介されている 今 Deep Learning が熱い!!
  6. 6. ICMLのスケジュール : http://icml.cc/2013/?page_id=47 機械学習の世界的学会、ICMLでも... 今 Deep Learning が熱い!!
  7. 7. • Ne#lix  Movie  Compe..on –  Part  of  the  “Ensemble”  ($1  Million  dollars) • Kaggle Merck Competion 2012 - Help Develop Effective Medicines by Predicting Molecular Activity • ICPR 2012 - Contest on Mitosis Detection in Breast Cancer Histological Images. • IJCNN 2011 - Traffic Sign Recognition Competition • ISBI 2012 - Challenge on segmentation of neuronal structures. • ICDAR 2011 - Offline Chinese Handwriting.(without knowing any Chinese) • Online German Traffic Sign Recognition Contest - 2011, first and second ranks • ICDAR 2009 - Arabic Connected Handwriting Competition (without speaking a word of Arabic). 画像,音声,言語処理...様々な分野で活躍中 名のあるコンペティションでの優勝 今 Deep Learning が熱い!!
  8. 8. 名のあるコンペティションでの優勝(補足) 人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/ 今 Deep Learning が熱い!!
  9. 9. • Googleの1000台のコンピュータが3日間、 Youtubeの動画を見続けることで ネコの概念 を自 動的に学習した • この人工頭脳は、ひとたびインターネットに接続して、YouTubeからラン ダムに選ばれた無数の画像を山のように供給されると、非常に特殊なこと を行い始めた(少なくともコンピューターにとっては)。自動学習のプロ セスを通して、猫を認識することを学習したのだ。人工頭脳の父であるア ラン・チューリングの生誕から100年にして、機械も独習ができることを 証明した。” .http://wired.jp/2012/07/06/google-recognizes-kittens/ .http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html Deep Learning の凄さがわかる例
  10. 10. • コンピューターはシュミレーションを行う機械 • 2025年には完璧に脳をシュミレーションできるらしい... • 怖いですね http://gigazine.net/news/20090315_supercomputer_power/ 人工知能に関する補足
  11. 11. •コンピュータが自分で考える時代の到来か!? 凄さはわかってもらえた でしょうか?
  12. 12. • 日本語名 : 深層学習 • 人工知能学会では... • あれ、という事はDeep Learning = Neural Network(NN)? • 再び人工知能学会.... Deep Learning って何ぞや? つまりDeep Learning = 深いNN? 人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/
  13. 13. • 深いNN を理解する為に、まずは普通のNNの紹介で す。 • アルゴリズムについてはすばらしい説明ページがたくさ んあるので、概念の説明です。 Neural Network(NN) について by wikipedia
  14. 14. • [ニューラルネットによるパターン認識]のページが非常に わかりやすいですので、ここでは簡単な流れ を説明します。 • 学習データを入力層=>中間層=>出力層の順にデータを伝播さ せていく。各ニューロンを通るたびに「重さ」が加えられてい く。 • 出力されたデータと学習データの答えを比較し、誤差を逆伝播 していく。逆伝播の最中に「重さ」の更新を行う。 • 誤差が一定以下になるまで繰り返す • ちなみに図は3階層パーセプトロン • 他のモデルもありますよ。 Neural Network(NN) の仕組み ニューラルネットによるパターン認識 : http://aidiary.hatenablog.com/entry/20050505/1274165051
  15. 15. ニューラルネット : http://www.sig.cs.osakafu-u.ac.jp/omatu/13neurobook.pdf Neural Network(NN) の特徴 [ニューラルネット]抜粋(詳しくは読んでください) アルゴリズムが簡素であ る事と、これらの特徴で NNに興味を持ちました。 (分散システムと相性抜群)
  16. 16. Neural Network(NN) は何が出来るのか • パターン認識(教師あり) • 「階層型NN」(先ほどのページ)を使えば(非線形)パターン認識を行 えます。 • ライバル • SVM(線形,非線形),GMM(確率モデル)... • クラスタリング(教師なし) • 「自己組織化写像(SOM)」を使えば、クラスタリングを行えます。 • ライバル • k-means..
  17. 17. Neural Network(NN) の歴史 東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/
  18. 18. NNの第一の冬 NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf 線形分離不可能問題 xor をNNで解けなかった。。。 => 誤差逆伝播法 の登場で解けるようになり、第一の冬終了。
  19. 19. NNの第二の冬 NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf NN遅いし、他のいいアルゴリズムあるよねー... GPUや新しいアルゴリズムの登場で、第二の冬終了
  20. 20. • NNについてある程度わかってもらえたと思うので、次 は 深いNN (Deep Neural Network,DNN)の説明です。 Deep Neural Network(DNN) について
  21. 21. NNはhiddenが2,3層 DNNはhiddenがたくさん NNとDNNの違い 深いんです!! もちろん他にも違いがありますが。。。
  22. 22. DNNの特徴 http://www.slideshare.net/pfi/deep-learning-22350063 • 今までの機械学習分野は特徴量抽出との戦いであった。 • 画像処理 - SURF,SIFT • 音声認識 - MFCC
  23. 23. • DNNは特徴抽出もまとめて行う(表現学習) => 生のデータのまま扱える • 層が深くなるごとに、データが抽象的(次元が圧縮される)形なっていく DNNの特徴 http://www.ais.uni-bonn.de/deep_learning/
  24. 24. NNはhiddenが2,3層 DNNはhiddenがたくさん 再びNNとDNNの違い 問題を解くだけだったらNNで十分、 しかしDNNを使えば、特徴量抽象(次元圧縮)も同時に行う。 ここは自信ないです。。。
  25. 25. DNNが今まで流行らなかったのはなぜ? • DNNの仕組み自体は前からあったが、hiddenが深いと 1. 誤差逆伝播は計算時間がかかる 2. 学習が収束しない(過学習) という問題があった。 • そこで 1. GPUの登場や、高性能のPCを安価に大量に使うように出来るようになった 2. 新しいアルゴリズムの登場 - プレトレーニングやDropOut により花開いた。 東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/
  26. 26. • アルゴリズムの仕組み自体が今回の目的ではな いので、割愛します(難しいので)。 • 知りたい方は、http://www.deeplearning.net/tutorial/のページが 非常に良くまとまっています。 • DNNのライブラリは Theano がおすすめです。 • GPUを用いて並列処理を行うことができる。 • 分散処理はサポートしてない。 DNNのアルゴリズム
  27. 27. • Deep Learningは発展途上で 何が本当に上手くいっているのか 良くわかっていない状況です。 -----あるデータにどんな形のDNNが有効か、試してみないとわからな い. => 分散処理で様々なネットワークを試してみては? 問題点 http://research.preferred.jp/2012/11/deep-learning/
  28. 28. • Deep Neural Network は 深いNN • 各層ごとに意味がある • DNNを使えば、従来の機械学習分野で必要であった特徴量抽出が必要ないパ ターン認識を行える • 生のデータをそのまま扱える • 未知のデータでも使用可能?  • 機械が自動的にパターンを学習する - googleのネコの概念 - • 未知の部分も多いが、現状素晴らしい成果を生み出しているのは明白である • 非常に分散・並列処理と相性がいいアルゴリズムである。さらにアルゴリズ ム自体は簡素で、学習コストも低い(しっかり理解するのは大変...) まとめ
  29. 29. • 次回は「 Deep Learningの音声分野への応用と可能性」です。 • 最近の音声認識は、 Gaussian Mixture Model - Hidden Markov Model(GMM-HMM) から Deep Neural Neural - Hidden Markov Model(DNN-HMM) に 置き換わっている。 • やっている事は両方とも パターン認識 - 時系列パターン認識 • 音声認識の場合 音素認識(パターン認識) - 単語認識(時系列パターン認識) • DNN-HMMはGMM-HMMの性能を凌駕する。 • 実際にMicrosoft,Googleの音声検索に使われている。 • DNN-HMMのモデルは様々な分野に応用可能であるので、その応用例も考えてみ る。 • モーション認識に応用出来るのではないかと考えている。 • NUIの幅が広がる気がする。 次回予告

×