1. Deep Learning
情報メディア学科
三戸智浩

2. 今、Deep Learning熱い！
• 機械学習屋の怖い人たちを賑わせているHotなキーワー
ド

3. なぜ注目されているのか
• Deep Learningが各分野のコンテストで優勝している
– 画像認識
– 音声とテキスト
– 確率言語モデル
– 化合物の活性予想コンテスト
– etc.
• いろいろ応用できそう
– セキュリティ分野
• マルウェア解析
• データマイニングによる異常検知システムとか？

4. 特に画像認識では
• ILSVRC 2012(大規模画像認識コンテスト)で驚異的な結果
を叩き出す
• 生の画像データだけで1位になった
Deep Learning

5. Deep Learningとは何か
• 7層、8層と深いニューラルネットワーク
– ニューラルネットとは脳の神経系を計算機上で模したもの
– ひとつひとつのレイヤー間で学習を行うのが特徴
• 生の入力信号から特徴抽出と識別を行える機械学習
– Hand-craftedな特徴量用いず、統計的に特徴量を学習する
– 今までの手法(SIFT、HOG)では特徴量の抽出はまさに職人芸だっ
た
Input層 Hidden層 Output層
ニューラルネットワークの例

6. Deep Learningの大枠
http://deeplearningworkshopnips2010.files.wordpress.com/2010/09/nips10-workshop-tutorial-final.pdf
カラー画像
First Layer
入力ベクトル
Second Layer
特徴選択
Third Layer
正規化
&
普遍化
Objects
Object
Parts
Edges

7. Deep Learningの定義
• 私が知る限りでは以下を満足する機械学習システム
1. 高位の問題の解決が目的であること
2. 多層構造であること
3. 階層的処理であること
• 実装には様々なアルゴリズムがある
– Deep Belief Network
– Deep Boltzmann Machine
– Deep Neural Network
– Stacked (Denoising) Auto-Encoder
※ただし，これらが本当に正しい定義なのかはわからない

8. 従来のニューラルネットワーク
• Backpropagation(誤差逆伝播法)
– 誤差を後方へと伝播させていく
– レイヤー（層）が多いほど表現力が高くなる
– これでDeep Learningを実現できるのか？
Input層 Hidden層 Output層
・・・
このレイヤーが多いほど表現力が高い

9. 従来のニューラルネットワーク
• 実は，この方法だとうまくいかない
– 誤差項が浅い層まで遡っていくと次第に弱まっていき，十分な
学習ができない（Vanishing Gradient Problem）
– 効率が悪くて遅い
– 過学習に陥りやすい

10. 新しい手法では
RBM
・ RBM，またはAuto-Encoderと呼ばれるものをレイヤーとして使
・ これらを何層も繋げると，Deep Architectureとなる
可視層 隠れ層 可視層 隠れ層 可視層 隠れ層
“Deep Learning”, http://www.slideshare.net/kazoo04/deep-learning-15097274
RBM RBM

11. レイヤーの種類
• Auto-Encoder
– Sparse Auto-Encoder
– Denoising Auto-Encoder
– Contractive Auto-Encoder
– Predictive Sparse Decomposition
• Restricted Boltzmann Machine(RBM)

12. レイヤーの種類
• Auto-Encoder
– 恒等写像を学習する教師なし学習器の一種
– Encoder，Decoder，Representationの3つで構成される
– EncoderとDecoderの合成写像を再現するような学習を行う
• 入力と出力の誤差が最小になるように学習する
• すると，入力データを適切な表現に写像するAuto-Encoderが得られる
Input OutputRepresentation
encoder decoder
error
¢xnxn

13. レイヤーの種類
• Denoising Auto-Encoder
– Auto-Encoderに対して正規化を行った亜種
– 入力情報を意図的に損傷(ノイズを加える)させ、それを復元させ
るような訓練をする
– 実験結果は非常によい
“Stacked Denoising Autoencoders”, Learning Useful Representations in a Deep Network with a Local Denoising Criterion

14. レイヤーの種類
• RBM(制約付きボルツマンマシン)
– 入力情報をほぼ可逆圧縮し，それを復元させるような訓練をす
る
– 隠れ層ノード同士，可視層ノード同士の接続を許さない
– 勾配法で導出されるnegative phase項の計算が難しいため，
Contrastive Divergence法が使われる
可視層 隠れ層

15. Deep Architectures
• Deep Belief Networks
– Deep Learningの最初のモデル
– Greedy layre-wise学習
– Pre-training時は，各層をRBMと見なして学習する
• Deep Boltzmann Machine
– DBNから変換できる
– RBMを複数積み上げたネットワーク
• Stacked Auto-Encoder
– DBNの後に考案される
– 各層にAuto-Encoderを用いる
– DBNには性能で劣る
• Stacked Denoising Auto-Encoder
– Stacked Auto-Encoderの改良版
– 各層にDenoising Auto-Encoderを用いる
レイヤーに
RBMを用いる
レイヤーに
Auto-Encoder系を用いる

16. DBNの構造
可視層
隠れ層
RBM
Direct
Belief nets
X
h1
h2
h3
間の可視層は省略

17. DBNの学習
1. 最初に初期層のRBMを更新
2. 学習したら荷重を固定し，
1層ずつ確定させる
3. 学習済みのデータを上位層
に入力データとして渡す
4. 次に出力層を教師あり学習
モデルに繋いで，学習する
5. 最後に全ての荷重を自由に
して，教師あり学習でネット
ワーク全体を微調整する X
h1
h2
h3
P(h2
,h3
)〜RBM
Q(h2
| h1
)
Q(h1
| x)
P(h1
| h2
)
P(x | h1
)

18. DBNのFine-Training
• ロジスティック回帰による教師あり微調整
• RBM多層の上にロジスティック回帰の層を出力層として
くっつける
• 確率的勾配降下法によりネットワーク全体を微調整する
• DBNのモデルをほぼシグモイド関数だけで構築すること
ができるので，実装が楽
• SVM(Support Vector Machine)やBP法でも代用できる

19. まとめ
• Deep Learningすごい！ 一番好きな機械学習です！
• 技術のポイント
– 恒等写像を作り，情報をほぼ可逆圧縮させる
– 階層構造を作り，教師無し学習（Pre-training）を繰り返す
– 1層ずつ学習を確定させていく
– 最後に教師あり学習（Fine-training）でネットワーク全体を微調
整する
• 課題点
– ネットワークが巨大なため遅い
– 層・ノード数の決定が勘と経験と試行錯誤しかない
• これのノウハウがないから，あまり普及していない？
• 遺伝的アルゴリズムとかで決定してみると面白いかも
– まだまだ謎が多い