Deep Learning  株式会社ウサギィ  五木田 和也  2012/11/0912年11月9日金曜日
自己紹介  ✤   株式会社ウサギィのエンジニア  ✤   機械学習、自然言語処理、組合せ最適化  ✤   iPhone, Android, Rails  ✤   なぜか備品管理やデザインもやっている  ✤   Twitter ID: @kaz...
今日の話  ✤   Deep Learning (初級編)      ✤   わたしが知ってる範囲で(まだよくわかってないです><)      ✤   普及して欲しい      ✤   興味あったけど調べるの面倒くさくて諦めた人向け12年11月...
Deep Learning とは  ✤   (私の周りだと)注目されはじめたのは画像認識      ✤   Googleのネコ認識 (Youtube から学習)      ✤   ILSVRC 2012 etc12年11月9日金曜日
General Object Recognition  ✤   制約のない実世界の画像に対して、その中に含まれる物体を一般的な      名称で認識すること。              “Camel”   “Eiffel Tower”12年11...
それまでの一般物体認識12年11月9日金曜日
ところが…12年11月9日金曜日
Deep Learning12年11月9日金曜日
Deep Learning12年11月9日金曜日
それまでの画像認識(再掲)12年11月9日金曜日
Deep Learning (イメージ)12年11月9日金曜日
それまでの一般物体認識     ( ^o^) < 学習器を改良していこう!     (        ) 。o(待てよ、これからは特徴抽出に力を入れるべきだな)     ¦ ILSVRC 2012 ¦ ┗(☋` )┓三     ( Hinton...
Deep Learning …の前に  ✤   Deep Learningの厳密な定義がよくわからん  ✤   Deep Learningは特定のアルゴリズムというよりは考え方/アプロー      チに近いので、実装するときはいろいろな方法があ...
Deep Learning の概要  ✤   事前にうまく特徴抽出してくれる教師なしニューラルネットワークをた      くさん繋げて多層にしたもの  ✤   事前に用意してから→Pre-training  ✤   うまく特徴抽出→ Auto-...
Backpropagation  ✤   3種類の層からなるニューラルネットワーク                      これだけでも任意の非線形関数を                      近似する能力がある             ...
Backpropagation(多層)  ✤   多層にしたら表現能力が増えそうな感じがする(後述)  ✤   下(入力層に近い)層で抽出した特徴を、さらに重み付けしていく12年11月9日金曜日
Richard Socher, Yoshua Bengio and Chris Manning              Deep Learning for NLP (without Magic), ACL 201212年11月9日金曜日
Layer3                                            Layer2                                            Layer1              Ri...
Backpropagation(多層)  ✤   これはうまくいかない      ✤   時間がかかる(効率が悪い)      ✤   Vanishing Gradient Problem          ✤   浅い層に行くほど誤差信号がう...
イメージ                  RBM                RBM   RBM                                DBM     Restricted Boltzmann Machine (RB...
Restricted Boltzmann Machine  ✤   制約付きボルツマンマシン  ✤   こいつを Auto encoder として使う(他のアルゴリズムでも良いが)         Boltzmann Machine    Re...
RBMの学習     同じ結果になるように、繰り返し調整していく         あと、Hidden層がなるべく sparse になるように制約を入れる12年11月9日金曜日
RBMはなにがしたいのか?  ✤   元の入力を圧縮して、逆変換した時の誤差が最小になるようにする  ✤   その結果、入力情報をもっともよく表現できるような関数が得られる  ✤   画像ならエッジ(とそれをさらに組み合わせたパターン)  ✤ ...
Deep Boltzmann Machines  ✤   まずは1層だけ(普通のRBM)を学習する  ✤   簡易のため、RBMを層状に示してあります                     各層のノードの数は問題による            ...
Deep Boltzmann Machines   ✤   1層ずつRBMを追加していく       2段目       1層目の出力を入力にして2層目を学習する                        学習済みの層は弄らないで     ...
Deep Boltzmann Machines       3段目      ✤   1層ずつ確定させていく                ✤   新しく追加した層以外は変更しない       4段目                ✤   Su...
Deep Learningでの教師あり学習  ✤   DBMが出来上がったあとにやる (Fine-training)  ✤   いろいろある      ✤   Backpropagationで微調整する      ✤   Deep Learni...
Deep Learningのポイント  1. Pre-training     教師あり学習(Fine-training)の前に、予め教師なし学習をする  2. Auto-encoder     Pre-training のとき、少ない変数で入...
デメリット  ✤   決めなければならないパラメータが多い      ✤   中間層の数      ✤   学習の繰り返し回数      ✤   RBMの層をどれくらい繋げるか      ✤   RBMのパラメータ  ✤   遅い(ネットワーク...
まとめ  ✤   Deep Leaningすごいっていうのを伝えたかった  ✤   多層ニューラルネットの問題点をうまく回避している  ✤   これから色々なところで使われることになりそう      ✤   特徴量の設計が難しい問題とか?  ✤...
Upcoming SlideShare
Loading in...5
×

Deep learning

137,596

Published on

機械学習×プログラミング勉強会 vol.2
http://atnd.org/events/33182
で発表した資料

Published in: Technology
0 Comments
224 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
137,596
On Slideshare
0
From Embeds
0
Number of Embeds
57
Actions
Shares
0
Downloads
944
Comments
0
Likes
224
Embeds 0
No embeds

No notes for slide

Deep learning

  1. 1. Deep Learning 株式会社ウサギィ 五木田 和也 2012/11/0912年11月9日金曜日
  2. 2. 自己紹介 ✤ 株式会社ウサギィのエンジニア ✤ 機械学習、自然言語処理、組合せ最適化 ✤ iPhone, Android, Rails ✤ なぜか備品管理やデザインもやっている ✤ Twitter ID: @kazoo0412年11月9日金曜日
  3. 3. 今日の話 ✤ Deep Learning (初級編) ✤ わたしが知ってる範囲で(まだよくわかってないです><) ✤ 普及して欲しい ✤ 興味あったけど調べるの面倒くさくて諦めた人向け12年11月9日金曜日
  4. 4. Deep Learning とは ✤ (私の周りだと)注目されはじめたのは画像認識 ✤ Googleのネコ認識 (Youtube から学習) ✤ ILSVRC 2012 etc12年11月9日金曜日
  5. 5. General Object Recognition ✤ 制約のない実世界の画像に対して、その中に含まれる物体を一般的な 名称で認識すること。 “Camel” “Eiffel Tower”12年11月9日金曜日
  6. 6. それまでの一般物体認識12年11月9日金曜日
  7. 7. ところが…12年11月9日金曜日
  8. 8. Deep Learning12年11月9日金曜日
  9. 9. Deep Learning12年11月9日金曜日
  10. 10. それまでの画像認識(再掲)12年11月9日金曜日
  11. 11. Deep Learning (イメージ)12年11月9日金曜日
  12. 12. それまでの一般物体認識 ( ^o^) < 学習器を改良していこう! ( ) 。o(待てよ、これからは特徴抽出に力を入れるべきだな) ¦ ILSVRC 2012 ¦ ┗(☋` )┓三 ( Hinton )☛ Deep Learning使ったら生の画像だけで1位になれたぞ ▂▅▇█▓▒░( ω )░▒▓█▇▅▂ うわあああああああああああ12年11月9日金曜日
  13. 13. Deep Learning …の前に ✤ Deep Learningの厳密な定義がよくわからん ✤ Deep Learningは特定のアルゴリズムというよりは考え方/アプロー チに近いので、実装するときはいろいろな方法があります(?) ✤ 今回は、Hinton(2012)の、”Deep Boltzmann Machine” ベース。12年11月9日金曜日
  14. 14. Deep Learning の概要 ✤ 事前にうまく特徴抽出してくれる教師なしニューラルネットワークをた くさん繋げて多層にしたもの ✤ 事前に用意してから→Pre-training ✤ うまく特徴抽出→ Auto-encoder ✤ 教師なしニューラルネット → Restricted Boltzmann Machine (RBM) ✤ 多層にしたもの → Deep Boltzmann Machines (多層BM, DBM)12年11月9日金曜日
  15. 15. Backpropagation ✤ 3種類の層からなるニューラルネットワーク これだけでも任意の非線形関数を 近似する能力がある (ノード数が十分あれば)12年11月9日金曜日
  16. 16. Backpropagation(多層) ✤ 多層にしたら表現能力が増えそうな感じがする(後述) ✤ 下(入力層に近い)層で抽出した特徴を、さらに重み付けしていく12年11月9日金曜日
  17. 17. Richard Socher, Yoshua Bengio and Chris Manning Deep Learning for NLP (without Magic), ACL 201212年11月9日金曜日
  18. 18. Layer3 Layer2 Layer1 Richard Socher, Yoshua Bengio and Chris Manning Deep Learning for NLP (without Magic), ACL 201212年11月9日金曜日
  19. 19. Backpropagation(多層) ✤ これはうまくいかない ✤ 時間がかかる(効率が悪い) ✤ Vanishing Gradient Problem ✤ 浅い層に行くほど誤差信号がうまく伝播しない ✤ 過学習や局所解に陥るのとはまた別の問題12年11月9日金曜日
  20. 20. イメージ RBM RBM RBM DBM Restricted Boltzmann Machine (RBM)をたくさん繋げたものが Deep Boltzmann Machines (DBM)12年11月9日金曜日
  21. 21. Restricted Boltzmann Machine ✤ 制約付きボルツマンマシン ✤ こいつを Auto encoder として使う(他のアルゴリズムでも良いが) Boltzmann Machine Restricted Boltzmann Machine ✤ Contrastive Divergence 法 で高速に計算できる12年11月9日金曜日
  22. 22. RBMの学習 同じ結果になるように、繰り返し調整していく あと、Hidden層がなるべく sparse になるように制約を入れる12年11月9日金曜日
  23. 23. RBMはなにがしたいのか? ✤ 元の入力を圧縮して、逆変換した時の誤差が最小になるようにする ✤ その結果、入力情報をもっともよく表現できるような関数が得られる ✤ 画像ならエッジ(とそれをさらに組み合わせたパターン) ✤ PCAに似ているけど、より自由度が高い12年11月9日金曜日
  24. 24. Deep Boltzmann Machines ✤ まずは1層だけ(普通のRBM)を学習する ✤ 簡易のため、RBMを層状に示してあります 各層のノードの数は問題による 1段目 (研究者の勘とチューニング)12年11月9日金曜日
  25. 25. Deep Boltzmann Machines ✤ 1層ずつRBMを追加していく 2段目 1層目の出力を入力にして2層目を学習する 学習済みの層は弄らないで 新しい層だけ調整する 3段目12年11月9日金曜日
  26. 26. Deep Boltzmann Machines 3段目 ✤ 1層ずつ確定させていく ✤ 新しく追加した層以外は変更しない 4段目 ✤ Super Vision での例 ✤ 学習データ15万枚 (1000カテゴリ) 5段目 ✤ 65万ニューロン(5層)12年11月9日金曜日
  27. 27. Deep Learningでの教師あり学習 ✤ DBMが出来上がったあとにやる (Fine-training) ✤ いろいろある ✤ Backpropagationで微調整する ✤ Deep Learning の出力を入力にしてSVM12年11月9日金曜日
  28. 28. Deep Learningのポイント 1. Pre-training 教師あり学習(Fine-training)の前に、予め教師なし学習をする 2. Auto-encoder Pre-training のとき、少ない変数で入力情報をうまく説明できるような関数 を学習する。イメージとしては主成分分析見たいな感じ。RBMとか使う。 3. Deep Boltzmann Machines (DBM) Pre-training した層(RBM)を何段も繋げていって、多層ニューラルネットワー クを構築する12年11月9日金曜日
  29. 29. デメリット ✤ 決めなければならないパラメータが多い ✤ 中間層の数 ✤ 学習の繰り返し回数 ✤ RBMの層をどれくらい繋げるか ✤ RBMのパラメータ ✤ 遅い(ネットワークがデカイので)12年11月9日金曜日
  30. 30. まとめ ✤ Deep Leaningすごいっていうのを伝えたかった ✤ 多層ニューラルネットの問題点をうまく回避している ✤ これから色々なところで使われることになりそう ✤ 特徴量の設計が難しい問題とか? ✤ 詳しくはWebで12年11月9日金曜日
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×