Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Chapter 1: はじめに
機械学習プロフェッショナルシリーズ輪読会
∼「深層学習」編∼

@a_macbee
後ろの章で説明される話題が多いので
本書を読み終わった後にもう一度読むと
理解が深まりそうで良さそう
意:ここではあまり内容を深堀りません
• 1.1 研究の歴史
• 1.1.1 多層ニューラルネットへの期待と失望
• 1.1.2 多層ネットワークの事前学習
• 1.1.3 特徴量の学習
• 1.1.4 深層学習の隆盛
• 1.2 本書の構成 (※話しません)
• 1.1 研究の歴史
• 1.1.1 多層ニューラルネットへの期待と失望
• 1.1.2 多層ネットワークの事前学習
• 1.1.3 特徴量の学習
• 1.1.4 深層学習の隆盛
• 1.2 本書の構成 (※話しません)
多層ニューラルネットワークの歴史
• 人工ニューラルネットワーク(以下ニューラルネット)
の研究の歴史は山あり谷あり
• 1940年代:

 研究開始
• 1980 - 1990年代:

 誤差逆伝播法 (back propagation) (...
なぜ流行らなかったのか?
• 誤差逆伝播法によるニューラルネットの学習は多
層になるとうまくいかない (図1.1)
• 勾配消失問題にもとづく過学習が問題に
• 畳み込みニューラルネット (CNN) (6章) はこの限りでは
ない
• 学習パラ...
• 1.1 研究の歴史
• 1.1.1 多層ニューラルネットへの期待と失望
• 1.1.2 多層ネットワークの事前学習
• 1.1.3 特徴量の学習
• 1.1.4 深層学習の隆盛
• 1.2 本書の構成 (※話しません)
多層ネットワークの事前学習
• Hintonらのディープビリーフネットワーク
(DBN) の登場 (2010年)
• 一般的なニューラルネットとは原理が異なるが、
どちらにしろ多層になると学習は困難
多層ネットワークの事前学習
• Hintonらのディープビリーフネットワーク
(DBN) の登場 (2010年)
• 制約ボルツマンマシン (RBM) (8章)と呼ばれる
単層ネットワークに分類し,層ごとに事前学習
   多層であっても過適合を...
多層ネットワークの事前学習
• DBNやRBMより単純な自己符号化器 (auto-
encoder) (5章)を使っても事前学習が可能
• 1.1 研究の歴史
• 1.1.1 多層ニューラルネットへの期待と失望
• 1.1.2 多層ネットワークの事前学習
• 1.1.3 特徴量の学習
• 1.1.4 深層学習の隆盛
• 1.2 本書の構成 (※話しません)
特徴量の学習
• 強い偏りを持ちながら複雑に広がる高次元デー
タ (e.g. 画像,音声) をどう学習するのか
• 自己符号化器に,少数の基底の組み合わせで入
力を表現するスパース符号化 (sparse coding)
(5章)の考え方を導入
...
多層ネットワークの階層構造の例
• 特定の物体だけに選択的に反応するユニット
Building High-level Features Using Large Scale Unsupervised Learning
引用:http://stat...
• 1.1 研究の歴史
• 1.1.1 多層ニューラルネットへの期待と失望
• 1.1.2 多層ネットワークの事前学習
• 1.1.3 特徴量の学習
• 1.1.4 深層学習の隆盛
• 1.2 本書の構成 (※話しません)
深層学習の隆盛
• 深層学習 (deep learning)の有効性が広く認知される
• 深層学習の様々な方法論
• 音声認識
• 層間ユニットが全結合したネットワークがよく利用される
(事前学習がよく用いられる)
• 画像認識
• 畳込みニュ...
なぜ多層ニューラルネットは有用か
• 現実の問題は複雑なので,それに見合う規模の
ニューラルネットが必要

→ 学習できるだけのデータがある
• 計算機の計算能力が飛躍的に向上
現実世界の大規模な問題に対し
多層ニューラルネットを試してみたとこ...
Upcoming SlideShare
Loading in …5
×

Chapter 01 #ml-professional

5,589 views

Published on

1章 はじめに - 機械学習プロフェッショナルシリーズ輪読会(深層学習編)

Published in: Data & Analytics
  • Be the first to comment

Chapter 01 #ml-professional

  1. 1. Chapter 1: はじめに 機械学習プロフェッショナルシリーズ輪読会 ∼「深層学習」編∼
 @a_macbee
  2. 2. 後ろの章で説明される話題が多いので 本書を読み終わった後にもう一度読むと 理解が深まりそうで良さそう 意:ここではあまり内容を深堀りません
  3. 3. • 1.1 研究の歴史 • 1.1.1 多層ニューラルネットへの期待と失望 • 1.1.2 多層ネットワークの事前学習 • 1.1.3 特徴量の学習 • 1.1.4 深層学習の隆盛 • 1.2 本書の構成 (※話しません)
  4. 4. • 1.1 研究の歴史 • 1.1.1 多層ニューラルネットへの期待と失望 • 1.1.2 多層ネットワークの事前学習 • 1.1.3 特徴量の学習 • 1.1.4 深層学習の隆盛 • 1.2 本書の構成 (※話しません)
  5. 5. 多層ニューラルネットワークの歴史 • 人工ニューラルネットワーク(以下ニューラルネット) の研究の歴史は山あり谷あり • 1940年代:
  研究開始 • 1980 - 1990年代:
  誤差逆伝播法 (back propagation) (4章)の発明によ
  る2度目のブーム • 1990年代後半 - 2000年代前半:
  再び下火に この間 盛り上がったり下がったり あったらしい
  6. 6. なぜ流行らなかったのか? • 誤差逆伝播法によるニューラルネットの学習は多 層になるとうまくいかない (図1.1) • 勾配消失問題にもとづく過学習が問題に • 畳み込みニューラルネット (CNN) (6章) はこの限りでは ない • 学習パラメータ (層数 / ユニット数 等) の性能へ の寄与がよく分からない
  7. 7. • 1.1 研究の歴史 • 1.1.1 多層ニューラルネットへの期待と失望 • 1.1.2 多層ネットワークの事前学習 • 1.1.3 特徴量の学習 • 1.1.4 深層学習の隆盛 • 1.2 本書の構成 (※話しません)
  8. 8. 多層ネットワークの事前学習 • Hintonらのディープビリーフネットワーク (DBN) の登場 (2010年) • 一般的なニューラルネットとは原理が異なるが、 どちらにしろ多層になると学習は困難
  9. 9. 多層ネットワークの事前学習 • Hintonらのディープビリーフネットワーク (DBN) の登場 (2010年) • 制約ボルツマンマシン (RBM) (8章)と呼ばれる 単層ネットワークに分類し,層ごとに事前学習    多層であっても過適合を起こさない 層ごとにパラメータの 良い初期値を得る
  10. 10. 多層ネットワークの事前学習 • DBNやRBMより単純な自己符号化器 (auto- encoder) (5章)を使っても事前学習が可能
  11. 11. • 1.1 研究の歴史 • 1.1.1 多層ニューラルネットへの期待と失望 • 1.1.2 多層ネットワークの事前学習 • 1.1.3 特徴量の学習 • 1.1.4 深層学習の隆盛 • 1.2 本書の構成 (※話しません)
  12. 12. 特徴量の学習 • 強い偏りを持ちながら複雑に広がる高次元デー タ (e.g. 画像,音声) をどう学習するのか • 自己符号化器に,少数の基底の組み合わせで入 力を表現するスパース符号化 (sparse coding) (5章)の考え方を導入
  → 多層ネットワークは学習によって興味深い
    階層構造を構成する わかりやすかった解説:http://d.hatena.ne.jp/takmin/20121224/1356315231
  13. 13. 多層ネットワークの階層構造の例 • 特定の物体だけに選択的に反応するユニット Building High-level Features Using Large Scale Unsupervised Learning 引用:http://static.googleusercontent.com/media/research.google.com/ja// pubs/archive/38115.pdf 100,000 et, only d the lo- ned the uracy of ith pre- contrast for face be seen, n learns tractors. age, the reshold, an input than 0. s (blue). between on tech- approach can be susceptible to local minima. Results, shown in Figure 13, confirm that the tested neuron indeed learns the concept of faces. Figure 3. Top: Top 48 stimuli of the best neuron from the test set. Bottom: The optimal stimulus according to nu- merical constraint optimization. 4.5. Invariance properties We would like to assess the robustness of the face de- tector against common object transformations, e.g., translation, scaling and out-of-plane rotation. First, Building high-level features using large-scale unsupervised learning e (left) and out-of-plane (3D) rotation (right) perties of the best feature. Figure 6. Visualization of the cat face neu human body neuron (right). For the ease of interpretation, these da positive-to-negative ratio identical to the
  14. 14. • 1.1 研究の歴史 • 1.1.1 多層ニューラルネットへの期待と失望 • 1.1.2 多層ネットワークの事前学習 • 1.1.3 特徴量の学習 • 1.1.4 深層学習の隆盛 • 1.2 本書の構成 (※話しません)
  15. 15. 深層学習の隆盛 • 深層学習 (deep learning)の有効性が広く認知される • 深層学習の様々な方法論 • 音声認識 • 層間ユニットが全結合したネットワークがよく利用される (事前学習がよく用いられる) • 画像認識 • 畳込みニューラルネットが主流.事前学習はあまり利用さ れない • 自然言語処理 / 音声認識 • 再帰型ニューラルネット (RNN)が使われている
  16. 16. なぜ多層ニューラルネットは有用か • 現実の問題は複雑なので,それに見合う規模の ニューラルネットが必要
 → 学習できるだけのデータがある • 計算機の計算能力が飛躍的に向上 現実世界の大規模な問題に対し 多層ニューラルネットを試してみたところ 思わぬ性能を発揮した…が実際のところ?

×