Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Deep Learning の前に
知っておいたほうがいいこと
∼目的・動作原理・構造∼
1
YAPC::Asia Tokyo 2015
2015/08/21@東京ビッグサイト
muddydixon
me
2
森藤 大地@muddydixon
ニフティ9年目
モバイル・IoTビジネス部
JavaScript / Perl
データ前処理 / データ解析
時系列予測 / データ可視化
自己紹介
3
森藤 大地@muddydixon
ニフティ9年目
モバイル・IoTビジネス部
JavaScript / Perl
データ前処理 / データ解析
時系列予測 / データ可視化
IoT new
自己紹介
4
森藤 大地@muddydixon
ニフティ9年目
モバイル・IoTビジネス部
JavaScript / Perl
データ前処理 / データ解析
時系列予測 / データ可視化
IoT new
危ない!
バズワードだ!
5
あれ?
自己紹介
6
森藤 大地@muddydixon
ニフティ9年目
モバイル・IoTビジネス部
JavaScript / Perl
データ前処理 / データ解析
時系列予測 / データ可視化
IoT new
自己紹介
7
new
森藤 大地@muddydixon
ニフティ9年目
モバイル・IoT・
ビッグデータビジネス部
JavaScript / Perl
データ前処理 / データ解析
時系列予測 / データ可視化
IoT
8
はい
IoTの「I」をカタチに
9
10
We are hiring!
11
大事なことなので2回いいます
IoTのファームウェアを書いたり
いろんなところとパートナーとして
ものづくりできます
採用しています
@muddydixon までお声がけください
本日は、DeepLearningの前に
知っておいた方がいい
ニューラルネットワークの話をします
12
おことわり
DeepLearningや最新のアカデミックな
話はしません(できません)
13
おことわり
絶対にしません
14
おことわり
DeepLearningにしか興味が無いよ!
という方はPFI/PFNのSlideshareを
セッション中、閲覧することを
オススメします
15
おことわり
16
http://www.slideshare.net/pfi/
17
18
19
白目
~Todays Topics~
神経細胞(ニューロン)の話  
認知科学・脳科学との関係の話  
Artificial    Neuralnetworkの  
歴史・原理・支えるアルゴリズム
20
素朴な疑問が・・・
21
※ (2015/08/22 追記) その後、昼食時にchezouさんと歓談しました
My works about NeuralNetworks
22
語彙獲得のニュラルネットワークモデルの構
築と背景メカニズムの推定
ヒトは文法/語彙獲得の認知的機構
文法に基づく語彙のグラウンディング
My works about NeuralNetworks
23
Computer
Simulations
Psychological
Experiments
Neuro
Science
My works about NeuralNetworks
24
6層ネットワーク
再帰的ニューラルネットワーク
Elman Network
自己組織化マップ
Self-organizing map
自然文(量子化された単語列)の提示
次単語の...
My works about NeuralNetworks
25
「SV.」と「SVO.」ではSVの習得度が高い
文脈習得後は、新奇のO(目的語)を提示した
場合でもV(動詞)の情報を元に適切なカテゴ
リの賦活を示す
文末の予測精度が最初から高...
My works about NeuralNetworks
26
Symbol Grounding
Word2Vec: 「単語」を「単語」で接地する
研究: 「単語」を「文脈」で接地する
主語: I/You
自動詞: run
他動詞: eat/...
ちなみに
27
証跡が残っていない(外付けHDDで飛んだ)
Dropout(意図的に接続を省いて出力する)
出力を自身に再入力する文生成
ライブラリ化(今のようなモダンなやり方
ではない)
などを2012-2017の5年間(修士・博士※1)で
...
28
29
元気に歩き回れてないですが
僕です
What is
NeuralNetwork
What?
31
人間の神経線維細胞(ニューロン)の模倣
https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%8A%E3%83%97%E3%82%B9
信号伝達の仕組み
32
1.他の細胞(シナプス前細胞)からの化学物質の分泌によ
りシナプス後細胞の受容器が刺激を受け
2.イオンチャンネルが開き電位が発生
3.電気信号として軸索を通り
4.活動電位が軸索終端に到達、神経伝達物質を分泌
以下、繰...
人口ニューロン
33
前述の神経信号の伝達を簡略化し、
1) 前段の細胞の活動 シナプスにおける受容体によ
る活動
2) 前段の活動に某かの関数を適用したものを伝達
xw σ(x)
x0
x1
x2
y
w0
w1
w2
History
34
1943: 形式ニューロン (pdf)
1958: パーセプトロン (pdf)
1969: 単純パーセプトロンの限界についての指摘
1982: 自己組織化マップ (pdf)
1982: ホップフィールドネットワーク
198...
教師信号に見るニューラルネットワークの分類
35
教師あり学習
入力に対して求められる答えが決まっている
教師なし学習
入力に対して答えが決まっていない
教師信号に見るニューラルネットワークの分類
36
教師あり学習
入力に対して求められる答えが決まっている
パーセプトロン、ディープラーニング
再帰ネットワーク
教師なし学習
入力に対して答えが決まっていない
自己組織化マップ、ニューラルガス
教師信号に見るニューラルネットワークの分類
37
教師あり学習
入力に対して求められる答えが決まっている
パーセプトロン、ディープラーニング
再帰ネットワーク
入出力の関係=関数を再現する
教師なし学習
入力に対して答えが決まっていない
自己組...
「学習」とは
38
ニューロン間(層間のみ、全結合、などの制
約はある)のシナプス間の伝達効率をチュー
ニングすること
ノイズが乗っている、確率的な入力における
関数の再現・特徴量の再現
➜より「効率的」な特徴量の獲得
 ➜汎化性能(過学習では...
39
ニューラルネットワークの
いいところ・わるいところ
ニューラルネットワークのいいところ・悪いところ
40
任意の連続関数を近似
(DeepLearning)特徴抽出自体を行える
従来は人手でルール作り・制約づくり
ニューラルネットワークのいいところ・悪いところ
41
関数は写像できたが・・・分散表現
(distributed implicit representation)の解
釈はさっぱりわからないところ(PCA、線形
回帰なら係数から解釈することがで...
42
ニューラルネットワークの用途
応用分野
43
工学的な応用
自然言語処理
パターン認識
異常検知
認知機能の解明の用途
脳内の活動の再現
シミュレーションによる認知機構の解明
私はこちら
認知機能解明のロジック(私の場合)
44
発達研究・心理実験
特定のフィールドにおける発達時期の違い、表象の違いの観察
特定の認知的課題により行動の変化の観測
➜環境・刺激により差異を生じさせる認知機能を示唆
脳活動の研究
認知機能を利用するで...
How NeuralNetwork
Works
Hierarchical
NeuralNetwork
端的にいうと
47
入出力における結合荷重
のチューニング
入出力の関数を効率よく
再現できるように情報
を圧縮・特徴を抽出
input
layer
hidden
layer
output
layer
input signals
teacher...
例えば
48
2^4の入出力を実現す
る関数を再現するため
には入出力の統計的情
報を特徴(構造)を抽出す
る必要があるinput
layer
hidden
layer
output
layer
input signals
teacher si...
Feed Forward Propagation
49
σ(s) にはシグモイドや双曲線正接が使われる
最近はRectified Linear Unitがよく使われるらしいです
https://ja.wikipedia.org/wiki/活動電位
50
Back Propagation
51
このアルゴリズムに
より多層化が可能に
任意の連続関数の近
似ができる
弱点
収束が遅い
51
input
layer
hidden
layer
output
layer
input signals
te...
誤差逆伝搬法導出 シグモイド関数の場合
52
誤差逆伝搬法導出 シグモイド関数の場合 (続き)
53
Elman Network
54
1世代前の中間層の分散表現を入
力(文脈層)として、入力層ととも
に学習を繰り返す
一方向への伝達経路である
ため誤差逆伝搬法で学習可能
Copy
Context Layer Input Layer
Hidde...
Jordan Network
55
1世代前の出力層の表現を入力(文
脈層)として、入力層とともに学
習を繰り返す
一方向への伝達経路である
ため誤差逆伝搬法で学習可能
Copy
Context Layer Input Layer
Hidden...
次単語予測学習
56
次の入力を予測するような学習を行い、かつ、
文脈の情報を入力として利用することで、系
列からの特徴抽出を強いる
予測誤差をエンコードするニューロンの存在
の示唆
Copy
Context Layer Input Layer...
Self-Organizing
Map
Self-Organizing map
58
生物の脳内には順序関
係が維持される=組織化
されたマップが存在
一次視覚野
音位相
体性感覚
これを再現するニューラ
ルネットワーク
input signals
Self-Organizing map
59
https://ja.wikipedia.org/wiki/体性感覚
音位相マップ / 傾斜マップ
60
http://fourier.eng.hmc.edu/e161/lectures/nn/node14.html
Self-Organizing map
61
階層型ニューラルネットワークが「ニューロ
ン間(層間)の結合荷重」を学習することに対
して、SOMでは「近傍」という幾何的な概
念を導入することで「順序」を持った組織化
マップの再現に成功
Hebb...
62
input signals
応答選択制
63
input signals
側方活性制御
64
input signals
Hebbの法則により代謝変化(伝達効率の向上)
65
input signals
(一般的な)DeepLearningとの違い
66
特徴抽出能力とし
ては似通っている(情
報圧縮をしている
ため)
空間的な順序=組
織化が異なってい
る
ここにSOMにワ
ンチャンあるかも!
Closing
まとめ
68
DeepLearningやMachineLearningの
利用しやすさは今後増すはず
ニューラルネットワークの本質(何を再現し
ているのか、どのように学習しているのか)
を知っているとチューニングが可能になる
ポアンカレ予想のよ...
余談
69
低レイヤでより効率よく利用するための入力情報の統
計的構造を抽出する処理(autoencoder)は発達初期の
幼児の活動に見られるものと類似している気がする
自発的運動と胎生毛によるそのフィードバック(一
次体性感覚)を組織化する...
Enjoy
NeuralNetworks!
Enjoy
YAPC::Asia!
72
数式や文献に誤りがある場合は
@muddydixon までご連絡いただけると助か
ります。
ニフティで「も」機械学習・ニューラルネッ
トワークを利用したビジネスを行っておりま
す。
採用希望も @muddydixon までお声がけく
ださ...
Upcoming SlideShare
Loading in …5
×

neural network introduction yapc asia tokyo

6,381 views

Published on

Introduction about neural network background neuron, cortex, and algorithms.

Published in: Internet
  • Be the first to comment

neural network introduction yapc asia tokyo

  1. 1. Deep Learning の前に 知っておいたほうがいいこと ∼目的・動作原理・構造∼ 1 YAPC::Asia Tokyo 2015 2015/08/21@東京ビッグサイト muddydixon
  2. 2. me 2 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化
  3. 3. 自己紹介 3 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT new
  4. 4. 自己紹介 4 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT new 危ない! バズワードだ!
  5. 5. 5 あれ?
  6. 6. 自己紹介 6 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT new
  7. 7. 自己紹介 7 new 森藤 大地@muddydixon ニフティ9年目 モバイル・IoT・ ビッグデータビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT
  8. 8. 8 はい
  9. 9. IoTの「I」をカタチに 9
  10. 10. 10
  11. 11. We are hiring! 11 大事なことなので2回いいます IoTのファームウェアを書いたり いろんなところとパートナーとして ものづくりできます 採用しています @muddydixon までお声がけください
  12. 12. 本日は、DeepLearningの前に 知っておいた方がいい ニューラルネットワークの話をします 12 おことわり
  13. 13. DeepLearningや最新のアカデミックな 話はしません(できません) 13 おことわり
  14. 14. 絶対にしません 14 おことわり
  15. 15. DeepLearningにしか興味が無いよ! という方はPFI/PFNのSlideshareを セッション中、閲覧することを オススメします 15 おことわり
  16. 16. 16 http://www.slideshare.net/pfi/
  17. 17. 17
  18. 18. 18
  19. 19. 19 白目
  20. 20. ~Todays Topics~ 神経細胞(ニューロン)の話   認知科学・脳科学との関係の話   Artificial    Neuralnetworkの   歴史・原理・支えるアルゴリズム 20
  21. 21. 素朴な疑問が・・・ 21 ※ (2015/08/22 追記) その後、昼食時にchezouさんと歓談しました
  22. 22. My works about NeuralNetworks 22 語彙獲得のニュラルネットワークモデルの構 築と背景メカニズムの推定 ヒトは文法/語彙獲得の認知的機構 文法に基づく語彙のグラウンディング
  23. 23. My works about NeuralNetworks 23 Computer Simulations Psychological Experiments Neuro Science
  24. 24. My works about NeuralNetworks 24 6層ネットワーク 再帰的ニューラルネットワーク Elman Network 自己組織化マップ Self-organizing map 自然文(量子化された単語列)の提示 次単語の予測課題
  25. 25. My works about NeuralNetworks 25 「SV.」と「SVO.」ではSVの習得度が高い 文脈習得後は、新奇のO(目的語)を提示した 場合でもV(動詞)の情報を元に適切なカテゴ リの賦活を示す 文末の予測精度が最初から高い 語順がロバストな入力(e.g.英語)と語順が不 安定な入力(e.g.トルコ語)を比較すると、ロ バストのほうが学習にかかる時間が短い 言語発達のフィールドワークの結果にそぐっ ている
  26. 26. My works about NeuralNetworks 26 Symbol Grounding Word2Vec: 「単語」を「単語」で接地する 研究: 「単語」を「文脈」で接地する 主語: I/You 自動詞: run 他動詞: eat/drive 食物: apple/orange 乗物: car/airplane
  27. 27. ちなみに 27 証跡が残っていない(外付けHDDで飛んだ) Dropout(意図的に接続を省いて出力する) 出力を自身に再入力する文生成 ライブラリ化(今のようなモダンなやり方 ではない) などを2012-2017の5年間(修士・博士※1)で やっていました ※1:単位取得中退 なので最終学歴は修士
  28. 28. 28
  29. 29. 29 元気に歩き回れてないですが 僕です
  30. 30. What is NeuralNetwork
  31. 31. What? 31 人間の神経線維細胞(ニューロン)の模倣 https://ja.wikipedia.org/wiki/%E3%82%B7%E3%83%8A%E3%83%97%E3%82%B9
  32. 32. 信号伝達の仕組み 32 1.他の細胞(シナプス前細胞)からの化学物質の分泌によ りシナプス後細胞の受容器が刺激を受け 2.イオンチャンネルが開き電位が発生 3.電気信号として軸索を通り 4.活動電位が軸索終端に到達、神経伝達物質を分泌 以下、繰り返し
  33. 33. 人口ニューロン 33 前述の神経信号の伝達を簡略化し、 1) 前段の細胞の活動 シナプスにおける受容体によ る活動 2) 前段の活動に某かの関数を適用したものを伝達 xw σ(x) x0 x1 x2 y w0 w1 w2
  34. 34. History 34 1943: 形式ニューロン (pdf) 1958: パーセプトロン (pdf) 1969: 単純パーセプトロンの限界についての指摘 1982: 自己組織化マップ (pdf) 1982: ホップフィールドネットワーク 1985: ボルツマンマシン 1986: 制限ボルツマンマシン (pdf) 1986: 誤差逆伝搬法 (pdf) 1990: 再帰ニューラルネットワーク (pdf) 2006: Deep Belief Net (pdf)
  35. 35. 教師信号に見るニューラルネットワークの分類 35 教師あり学習 入力に対して求められる答えが決まっている 教師なし学習 入力に対して答えが決まっていない
  36. 36. 教師信号に見るニューラルネットワークの分類 36 教師あり学習 入力に対して求められる答えが決まっている パーセプトロン、ディープラーニング 再帰ネットワーク 教師なし学習 入力に対して答えが決まっていない 自己組織化マップ、ニューラルガス
  37. 37. 教師信号に見るニューラルネットワークの分類 37 教師あり学習 入力に対して求められる答えが決まっている パーセプトロン、ディープラーニング 再帰ネットワーク 入出力の関係=関数を再現する 教師なし学習 入力に対して答えが決まっていない 自己組織化マップ、ニューラルガス 入力の統計的特徴量を学習する
  38. 38. 「学習」とは 38 ニューロン間(層間のみ、全結合、などの制 約はある)のシナプス間の伝達効率をチュー ニングすること ノイズが乗っている、確率的な入力における 関数の再現・特徴量の再現 ➜より「効率的」な特徴量の獲得  ➜汎化性能(過学習ではない)の獲得
  39. 39. 39 ニューラルネットワークの いいところ・わるいところ
  40. 40. ニューラルネットワークのいいところ・悪いところ 40 任意の連続関数を近似 (DeepLearning)特徴抽出自体を行える 従来は人手でルール作り・制約づくり
  41. 41. ニューラルネットワークのいいところ・悪いところ 41 関数は写像できたが・・・分散表現 (distributed implicit representation)の解 釈はさっぱりわからないところ(PCA、線形 回帰なら係数から解釈することができたの に・・・
  42. 42. 42 ニューラルネットワークの用途
  43. 43. 応用分野 43 工学的な応用 自然言語処理 パターン認識 異常検知 認知機能の解明の用途 脳内の活動の再現 シミュレーションによる認知機構の解明 私はこちら
  44. 44. 認知機能解明のロジック(私の場合) 44 発達研究・心理実験 特定のフィールドにおける発達時期の違い、表象の違いの観察 特定の認知的課題により行動の変化の観測 ➜環境・刺激により差異を生じさせる認知機能を示唆 脳活動の研究 認知機能を利用するであろう認知的課題により賦活する部位(前頭葉・頭 頂葉・側頭葉など)の特定 ➜認知的課題に関係する認知機能を担う器質的な存在を示唆 計算機シミュレーション 器質的な構造や連結を「ある程度」近似し、入力刺激をコントロールする ことで、同様の心理実験や発達研究を定性的に再現 ➜「想定したアーキテクチャによって」再現することが可能であることを 示す(必ずそうだ、ということは言えない)
  45. 45. How NeuralNetwork Works
  46. 46. Hierarchical NeuralNetwork
  47. 47. 端的にいうと 47 入出力における結合荷重 のチューニング 入出力の関数を効率よく 再現できるように情報 を圧縮・特徴を抽出 input layer hidden layer output layer input signals teacher signal
  48. 48. 例えば 48 2^4の入出力を実現す る関数を再現するため には入出力の統計的情 報を特徴(構造)を抽出す る必要があるinput layer hidden layer output layer input signals teacher signal
  49. 49. Feed Forward Propagation 49 σ(s) にはシグモイドや双曲線正接が使われる 最近はRectified Linear Unitがよく使われるらしいです https://ja.wikipedia.org/wiki/活動電位
  50. 50. 50
  51. 51. Back Propagation 51 このアルゴリズムに より多層化が可能に 任意の連続関数の近 似ができる 弱点 収束が遅い 51 input layer hidden layer output layer input signals teacher signal
  52. 52. 誤差逆伝搬法導出 シグモイド関数の場合 52
  53. 53. 誤差逆伝搬法導出 シグモイド関数の場合 (続き) 53
  54. 54. Elman Network 54 1世代前の中間層の分散表現を入 力(文脈層)として、入力層ととも に学習を繰り返す 一方向への伝達経路である ため誤差逆伝搬法で学習可能 Copy Context Layer Input Layer Hidden Layer Output Layer
  55. 55. Jordan Network 55 1世代前の出力層の表現を入力(文 脈層)として、入力層とともに学 習を繰り返す 一方向への伝達経路である ため誤差逆伝搬法で学習可能 Copy Context Layer Input Layer Hidden Layer Output Layer
  56. 56. 次単語予測学習 56 次の入力を予測するような学習を行い、かつ、 文脈の情報を入力として利用することで、系 列からの特徴抽出を強いる 予測誤差をエンコードするニューロンの存在 の示唆 Copy Context Layer Input Layer Hidden Layer Output Layer
  57. 57. Self-Organizing Map
  58. 58. Self-Organizing map 58 生物の脳内には順序関 係が維持される=組織化 されたマップが存在 一次視覚野 音位相 体性感覚 これを再現するニューラ ルネットワーク input signals
  59. 59. Self-Organizing map 59 https://ja.wikipedia.org/wiki/体性感覚
  60. 60. 音位相マップ / 傾斜マップ 60 http://fourier.eng.hmc.edu/e161/lectures/nn/node14.html
  61. 61. Self-Organizing map 61 階層型ニューラルネットワークが「ニューロ ン間(層間)の結合荷重」を学習することに対 して、SOMでは「近傍」という幾何的な概 念を導入することで「順序」を持った組織化 マップの再現に成功 Hebbの法則によるシナプス間の代謝変化 ニューロンの応答選択制(特徴敏感反応) 神経伝達物質の拡散による側方活性制御
  62. 62. 62 input signals
  63. 63. 応答選択制 63 input signals
  64. 64. 側方活性制御 64 input signals
  65. 65. Hebbの法則により代謝変化(伝達効率の向上) 65 input signals
  66. 66. (一般的な)DeepLearningとの違い 66 特徴抽出能力とし ては似通っている(情 報圧縮をしている ため) 空間的な順序=組 織化が異なってい る ここにSOMにワ ンチャンあるかも!
  67. 67. Closing
  68. 68. まとめ 68 DeepLearningやMachineLearningの 利用しやすさは今後増すはず ニューラルネットワークの本質(何を再現し ているのか、どのように学習しているのか) を知っているとチューニングが可能になる ポアンカレ予想のように、情報学の視点では 行き詰まる場面で、神経細胞や発達過程が解 放のヒントになればと思います
  69. 69. 余談 69 低レイヤでより効率よく利用するための入力情報の統 計的構造を抽出する処理(autoencoder)は発達初期の 幼児の活動に見られるものと類似している気がする 自発的運動と胎生毛によるそのフィードバック(一 次体性感覚)を組織化する 低レイヤの情報が構造化するに伴い高次の処理が可能 になり複雑化するというのは身体構造の神経系・運動 構造をよく再現している フェーズごとに学習を締結させているところがうま いなぁと http://www.isi.imi.i.u-tokyo.ac.jp/research.php?category=13 http://www.ncbi.nlm.nih.gov/pubmed/17123097
  70. 70. Enjoy NeuralNetworks!
  71. 71. Enjoy YAPC::Asia!
  72. 72. 72 数式や文献に誤りがある場合は @muddydixon までご連絡いただけると助か ります。 ニフティで「も」機械学習・ニューラルネッ トワークを利用したビジネスを行っておりま す。 採用希望も @muddydixon までお声がけく ださい。

×