全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク

1. ベイジアンネットワークについて後援:ドワンゴ平成27年6月29日藤田恵梨香 1

2. 自己紹介 2 法政大学理工学部知的情報処理研究室 4年藤田恵梨香先週、勉強会(?)で慶応大学に行ってきました。今週末、院試うけます!!!

3. ベイジアンネットワークとは  ベイジアンネットワークとは原因や結果が互いに影響を及ぼす事象をネットワークで表した確率グラフ  できること確率的統計に基づいて原因→結果結果→原因の関係を推定 3

4. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 4

6. 確率の概要 x:事象実験などにより観測されて起こる出来事 X:確率変数事象と実数を対応付けた変数 P(x): 事象eが起こる確率 6

7. 主観確率と客観確率の定義主観確率とは  人の主観的な信念の度合い  例)試験に合格する確率が70% 客観確率とは  客観的な実験結果により得られる確率  例)コインを投げて表が出る確率主観確率客観確率 7 ベイズ確率

9. 条件付き確率条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を送信 1を送信 0を受信 1を受信 9

10. 条件付き確率条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を送信 1を送信 10

11. 条件付き確率条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を受信 1を受信 11

12. 条件付き確率条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を送信 1を送信 0を受信 1を受信 12

14. ベイズの定理条件付き確率の定義 𝑃 𝑎 𝑏 = 𝑃(𝑎∩𝑏) 𝑃(𝑏) 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) ・・・(1) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2) 𝑃 𝑏 𝑎 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑎) ・・・(3) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4) 14

15. ベイズの定理条件付き確率の定義 𝑃 𝑎 𝑏 = 𝑃(𝑎∩𝑏) 𝑃(𝑏) 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) ・・・(1) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2) 𝑃 𝑏 𝑎 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑎) ・・・(3) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4) 15

16. ベイズの定理 (2),(4)より 𝑃 𝑏 𝑎 𝑃(𝑎)=𝑃 𝑎 𝑏 𝑃(𝑏)・・・(5) 𝑃 𝑏 𝑎 = 𝑃 𝑎 𝑏 𝑃(𝑏) 𝑃(𝑎) 𝑃 𝑎 ≠ 0・・・ 6 16 事前確率事後確率尤度

17. ベイズの定理の拡張 𝑃(𝑎) = 𝐵∋𝑏 𝑖 𝑃 𝑎|𝑏𝑖 𝑃 𝑏𝑖 ・・・(7) 𝑃 𝑏 𝑎 = 𝑃 𝑎 𝑏 𝑃(𝑏) 𝐵∋𝑏 𝑖 𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖) ・・・(8) b:原因 a:結果 𝑃 𝑏 𝑎 = 𝑃 𝑎 𝑏 𝑃(𝑏) 𝐵∋𝑏 𝑖 𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖) 事前確率事後確率尤度 17

18. ベイズの定理ベイズの定理により・・・結果から原因の推定が可能例) 慶応大学の学園祭でナンパしている人が慶応大生であるかの推定 18

19. ベイズの定理慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) = 0.05 ∗ 0.5 0.05 ∗ 0.5 + 0.99 ∗ (1 − 0.5) = 25 520 ≅ 0.048 正しく答える誤る慶応大生 0.95 0.05 他の大学生 0.01 0.99 19

20. ベイズ更新  事後確率を更新する手法 𝑃(𝑎|𝑏) 20

21. ベイズ更新慶応大生である確率P(k)=0.048 質問に対し間違ったとき慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) = 0.1 ∗ 0.048 0.1 ∗ 0.048 + 0.995 ∗ (1 − 0.048) = 480 95204 ≅ 0.005 正しく答えられる誤る慶応大生 0.9 0.1 他の大学生 0.005 0.995 21 この手法がベイズ更新

23. 最尤推定法  最尤推定法 𝑃 𝐴 = 𝑎 𝐵 を推定する方法サンプルに対し当てはまりの良いモデルを推定する P(a=a|B) B σ μ 𝜃 = {𝜇, 𝜎} 23

24. 最尤推定法 P(a=a|B) B σ μ 𝜃 = {𝜇, 𝜎} 分布の形が分かっているとき一意に決まる

25. 最尤推定法 N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率 𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9) 𝑃 𝐷 𝜃 :尤度関数ある𝜃により決まるモデルによるデータの発生確率を求める P(a=a|B) B σ μ 𝜃 = {𝜇, 𝜎} 25 尤度小

26. 最尤推定法 N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率 𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9) 𝑃 𝐷 𝜃 :尤度関数モデルによるデータの発生確率が最大 →尤もらしいモデル!!! P(a=a|B) B 𝜃 = {𝜇, 𝜎} 26 尤度大

27. ベイズ推定法  ベイズ推定法事後確率(分布)を推定するための手法ベイズの定理やベイズ更新によりデータが得られるたびに確率分布を更新する例) ・慶応大学でナンパしている人が慶応大生であるかの推定 27

28. ベイズ推定法慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく答える誤る慶応大生 0.95 0.05 他の大学生 0.01 0.99 28 値

29. ベイズ推定法慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝐾 𝑃(𝐾) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく答える誤る慶応大生 0.95 0.05 他の大学生 0.01 0.99 29 確率分布

30. ベイズ推定法慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき慶応大生である確率は・・・ 𝑃 𝐾 誤る = 𝑃 誤る 𝐾 𝑃(𝐾) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく答える誤る慶応大生 0.95 0.05 他の大学生 0.01 0.99 0 0.5 1 0 0.5 1 P(K) K 事前確率 0 0.5 1 0 0.5 1 P(X) X:質問への回答 P(質問への回答) 0 0.5 1 0 0.5 1 P(質問への回答|K) K 尤度 30

31. ベイズ推定法慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく答える誤る慶応大生 0.95 0.05 他の大学生 0.01 0.99 0 0.5 1 0 0.5 1 P(K|誤った) K 事後確率 31

32. 最尤推定法とベイズ推定法最尤推定法とベイズ推定法の違い最尤推定法ベイズ推定法推定するもの尤度事後確率(分布) データ量大量少なくても推論可モデルの更新なしあり 32

35. ベイジアンネットワークとは  ベイジアンネットワークとは原因や結果が互いに影響を及ぼす事象をネットワークで表した確率グラフ  できること確率的統計に基づいて原因→結果結果→原因の関係を推定 35

36. ベイジアンネットワークの構成要素ノード:事象,確率変数アーク:ノードを繋ぐ矢印 CPT(Conditional probability table) :条件付き確率表 y1 y2 X=1 X=2 ・・・ 36

37. ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする代表から発表を依頼されるニコ生で発表する大澤が嫌いになる友達にいじられる炎上する 37

38. ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする代表の大澤から発表を依頼されるニコ生で発表する大澤が嫌いになる友達にいじられる炎上する 38

39. ベイジアンネットワークの性質因果独立の仮定アークによりつながっている直接の親ノード以外は因果的に独立とする同時確率を求める際の試行の組み合わせを少なくできる 39

40. たとえば・・・ 5個のノードが2値の確率変数の同時確率を求めるための組み合わせ 25 = 32 依頼発表嫌い炎上いじられる P(依頼,発表,嫌い,炎上,いじられる) 0 0 0 0 0 0.12 0 0 0 0 1 0.06 0 0 0 1 0 0.2 0 0 0 1 1 0.17 ・・・ベイジアンネットワークの性質 40

41. ベイジアンネットワークの性質右図のベイジアンネットワークでは・・・同時確率は 𝑃 依頼, 発表, 嫌い, 炎上, いじられる = 𝑃 依頼 𝑃 嫌い依頼 𝑃 発表依頼 𝑃 炎上発表 (いじられる|発表)・・・(10) 41

42. 発表依頼 P(発表|依頼) 0 0 0.2 0 1 0.1 1 0 0.4 1 1 0.3 ベイジアンネットワークの性質炎上発表 P(炎上|発表) 0 0 0.3 0 1 0.1 1 0 0.2 1 1 0.4 42

43. 発表いじられる P(いじられる|発表) 0 0 0.1 0 1 0.5 1 0 0.2 1 1 0.2 ベイジアンネットワークの性質依頼嫌い P(嫌い|依頼) 0 0 0.3 0 1 0.1 1 0 0.2 1 1 0.4 43

44. 右図のベイジアンネットワークの同時確率これら4つの表の組み合わせで表現できるベイジアンネットワークの性質 𝑃 𝐴, 𝐵, 𝐶, 𝐷, 𝐸 = 𝑃 𝐴 𝑃 𝐶 𝐴 𝑃 𝐵 𝐴 𝑃 𝐷 𝐵 𝑃(𝐸|𝐵)は 44

45. ノード間の因果関係  BNは以下の3つの組み合わせでできている (1) (2) (3) 45

46. ノード間の因果関係 (1)Head-to-tail connection Bが決定すると・・・その親ノードと子ノードは独立になる一方、Bの値が分からないと・・・ CはAの影響を受ける A B C 代表から発表を依頼されるニコ生で喋るニコ生で炎上する事象が発生ここの確率は?? 46

47.  (2)Tail-to-tail connection Aが決まるとBとCは独立になる (各ノードは親ノードの値のみから値が決まる) BだけがわかるとB→Aに影響を与え A→Cへ影響を与える A B C ノード間の因果関係 47

48.  (3)Head-to-head connection A,Bは親ノードを共有していない →独立 Cが決まると独立ではなくなる Cが生起するけれどAは生起していない →Bが生起した確率は高そう A B C Explaining away effect ノード間の因果関係 48

49. どんなに複雑なモノでもこれら3つの組み合わせでできている A B C F G ED ベイジアンネットワークと同時確率 49

50. どんなに複雑なモノでもこれら3つの組み合わせでできている A B C F G ED ベイジアンネットワークと同時確率 50

51. この部分だけ見ると P(E,F,G)=P(E)P(F|E)P(G|F) E F G ベイジアンネットワークと同時確率 51

52. この部分だけ見ると P(B,D,E)=P(B)P(D|B)P(E|B) ED B ベイジアンネットワークと同時確率 52

53. この部分だけ見ると P(B,C,E)=P(B)P(C)P(E|B,C) E CB ベイジアンネットワークと同時確率 53

54.  同時確率を部分的に求められる  全体の同時確率はそれらを組み合わせて求まる P(A,B,C,D,E,F,G) =P(G|F)P(F|E)P(E|B,C)P(C|A)P(D|B)P(B|A) P(A) A B C F G ED ベイジアンネットワークと同時確率 54

55.  周辺化とは同時確率をいくつかの確率変数を消して得ること周辺化 B P(B|A) A P(A) 𝑃(𝐵 = 𝑏) = 𝐴∋𝑎 𝑖 𝑃 𝑏|𝑎𝑖 𝑃(𝑎𝑖) 55

58. ベイジアンネットワーク構築の流れデータ→ 構造学習 →条件付き確率の決定→ 確率推論・MWSTアルゴリズム・AICアルゴリズム・確率伝播法・k2アルゴリズム・ジャンクションツリーアルゴリズム 58

59. ベイジアンネットワーク構築の流れデータ→ 構造学習 →条件付き確率の決定→ 確率推論・MWSTアルゴリズム・AICアルゴリズム・確率伝播法・k2アルゴリズム・ジャンクションツリーアルゴリズム 59

60. ベイジアンネットワーク構築の流れ-構造学習データ→ 構造学習 →条件付き確率の決定→ 確率推論・MWSTアルゴリズム・AICアルゴリズム・確率伝播法・k2アルゴリズム・ジャンクションツリーアルゴリズム 60

61. MWSTアルゴリズム  仮定:ベイジアンネットワークは木構造  真の同時分布:P(T)  BNから得られる同時分布:𝑃𝐵𝑁 𝑇 (右図でのP(A,B,C,D,E)) これらの近さをKL情報量で表す:𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 ) →近さが最小なら真のモデルに最も近い!! B DC A観測したデータより求められる E 61

62. MWSTアルゴリズム 62 𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 の近さ𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )を最小化 → 𝐽 𝐻 (𝑥 𝑘 , 𝑥 𝑘′)を最大化に帰着 H:相互情報量同様に全てのノード間のHを計算しHを最大化する B D C A E 𝐻(𝐴, 𝐵) 𝐻(𝐴, 𝐷)𝐻(𝐴, 𝐶) 𝐻(𝐴, 𝐸) EX)

63. 63 Hは相互情報量𝐻 𝑥 𝑘 , 𝑥 𝑘′ = − 𝑃 𝑥 𝑘 , 𝑥 𝑘′ 𝑙𝑜𝑔 𝑃 𝑥 𝑘 ,𝑥 𝑘′ 𝑃 𝑥 𝑘 𝑃 𝑥 𝑘′ つまり・・・相互情報量Hの最も大きくなる場所にアークを追加していけばよい C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968 MWSTアルゴリズム

64. MWSTアルゴリズム仮定:木構造 (1)すべてのノード間の相互情報量を求め情報量が最大となる枝を選択 (2)ループができるならやめて次に情報量の大きい枝を選択 (3)アークがn-1になるまで繰り返す 64

65. MWSTアルゴリズム  例)  上表について木を作ってみる。 H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.025 0.001 C 0.001 0.2 D 0.08 E 65 各ノード間の相互情報量

66. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A 66

67. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B 67

68. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B E 68

69. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B E ループ 69

70. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B E 70 D

72. 確率伝播法確率伝播法とは  事後確率を求める方法 𝑃 𝐴|𝐷 は? ? 𝑃 𝐴|𝐸 は? ? A B D E P(E|B) P(B|A) P(D|C) P(A)Ex) C P(C|B) 72

73. ベイジアンネットワーク構築の流れ-構造学習データ→ 構造学習 →条件付き確率の決定→ 確率推論・MWSTアルゴリズム・AICアルゴリズム・確率伝播法・k2アルゴリズム・ジャンクションツリーアルゴリズム 73

74. 確率伝播法事後確率 𝑃 𝐴|𝐷 = 𝑃(𝐴, 𝐷) 𝑃(𝐷) = 1 𝑃(𝐷) 𝐵 𝐶 𝐸 𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸) = 1 𝑃(𝐷) 𝐵 𝐶 𝐸 P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴) A B D E P(E|B) P(B|A) P(D|C) P(A)Ex) C P(C|B) ・・・(11) 74

75. 確率伝播法事後確率 𝑃 𝐴|𝐸 = 𝑃(𝐴, 𝐸) 𝑃(𝐸) = 1 𝑃(𝐸) ∗ 𝐵 𝐶 𝐷 𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸) = 1 𝑃(𝐸) 𝐵 𝐶 𝐷 P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)・・・ (12) A B D E P(E|B) P(B|A) P(D|C) P(A)Ex) C P(C|B) 効率が悪い 75

76. 確率伝播法  事後確率を求めるための工夫メッセージ 𝑚 𝑋𝑌 = 𝐴 𝑃 𝑋 𝐴 ・𝑚 𝐴𝑋 順方向への伝播 𝑚 𝐴𝐵 = 𝑃 𝐴 𝑚 𝐵𝐶 = 𝑚 𝐵𝐸 = 𝐴 𝑃 𝐵 𝐴 ・𝑚 𝐴𝐵 = 𝑃(𝐵) ・・・ 𝑚 𝐴𝐵 𝑚B𝐶 A B D E P(E|B) P(B|A) P(D|C) P(A) Ex) CP(C|B) Y X A 𝑚 𝑋𝑌 𝑚 𝐴𝑋 P(X|A) 76

77. 確率伝播法逆方向への伝播 𝑚 𝐷𝐶 = 𝑃 𝐷 𝐶 𝑚 𝐶𝐵 = 𝐶 𝑃 𝐶 𝐵 ・𝑚 𝐷𝐶 𝑚 𝐸𝐵 = 𝑃 𝐸 𝐵 𝑚 𝐵𝐴 = 𝐵 𝑃 𝐵 𝐴 ・(𝑚 𝐶𝐵+𝑚 𝐸𝐵) A B D E P(E|B) P(B|A) P(A)Ex) C P(C|B) P(D|C)P(C,E|B) P(D|C) 77

79. ベイジアンネットワークの特徴  結合の強さは条件付き確率([0,1]の値)  推論時の情報の流れが双方向  因果確率の仮定から局所的に学習が可能  局所的な推論も可能 S A C 𝑚 𝑆𝐴 B G 𝑚 𝑆𝐴 79

80. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  条件付き確率の決定  構造学習 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 80

82. 大脳新皮質の概要 82  理性・知性をつかさどる  視覚野や聴覚野、運動野など52の領野に分けられそれぞれの領野で働きなどが異なる

83. 大脳新皮質の特徴  均質構造基本構造が似ていて領野にかかわらず構造や処理は均質  階層構造領野間には上下関係がある上の階層へ行くほど情報が抽象化される 83

84. 大脳新皮質の特徴  6層構造細胞の形状や密度が異なる上向きの経路,下向きの経路がある Layer 1 Layer 1 Hawkins,J.et al., 2004,”On Intelligence,”Times Books. 84

85. 大脳新皮質の特徴  コラム構造複数の神経細胞からなる柱状の構造・ミニコラム・マクロコラム特定の入力パターンに対して特定のコラムが反応する. 学習後: 入力パターンが不完全でも細胞が興奮する 85

87. ベイジアンネットワークと大脳新皮質ベイジアンネットワークと大脳新皮質の類似点  情報の流れが双方向  不完全なデータでも推論ができ、局所的な学習ができる A B D 𝑚 𝐵𝐴 C E 𝑚 𝐴𝐵 コラム構造 87

88. ベイジアンネットワークと大脳新皮質ベイジアンネットワークと大脳新皮質の類似点  長期記憶  処理は内積の計算程度  因果関係から合理的な推論ができる 88

89. 大脳新皮質モデルに有効か?? 問題特徴抽出ができないベイジアンネットワークと大脳新皮質 89

90. 90  大脳新皮質  上位の領野へ行くほど情報が抽象化される一方・・・抽象化に必要な特徴抽出がベイジアンネットワークではできないベイジアンネットワークと大脳新皮質

91. 大脳新皮質モデルに有効か?? 問題特徴抽出ができない →BESOMモデルの提案ベイジアンネットワークと大脳新皮質 91

92. BESOMとは・・・ SOM+ベイジアンネットワークネットワーク構造は固定確率伝播アルゴリズムの工夫データ→学習ステップ→認識ステップ 92

93. BESOMモデルと大脳新皮質確率変数値:ミニコラムノード:マクロコラム構造の固定 SOMで入力の抽象化確率伝播法の工夫引用元上:一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカルレポート AIST11-J00009,2011による図を一部修正下: 一杉裕志,大脳皮質とベイジアンネット, 日本ロボット学会誌 ol.29 No.5, pp414, 2011 による図を一部修正 93

94. 他の大脳新皮質モデル大脳新皮質モデル  DeSTIN  HTM  階層HMM 共通の部分・階層構造・時系列処理 94

95. BESOMは大脳新皮質のモデルに有効か大脳新皮質と多くの類似点があるしかし・・・ベイジアンネットワークやBESOMは長期記憶 →時系列処理は実装されていない 95

96. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 確率伝播アルゴリズムの工夫 - 近似確率伝播アルゴリズム 96

97. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 4層→3層 97

98. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第3層→上位領野第4層 98

99. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第5層→下位領野第1層 99

100. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第5層→下位領野第1層 100

101. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 対応が取れている!!! 101

102. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 一方・・・ 102

103. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第1層水平繊維 103

104. BESOMは大脳新皮質のモデルに有効か一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第4層→第2層 104

105. まとめ  ベイジアンネットワークを用いたモデルは大脳新皮質モデルに有効か?? ・多くの類似点がある・時系列処理は出来ない 105

106. 参考文献 [1]一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp412-415, 2011 [2]長谷川亮,白石俊彦,森下信:A Study on a Neural Network Based on Structual Characteristics of Cerebral Neocortex,日本機械学会 Dyn Des Conf (CD-ROM),2008,ROMBUNNO.448,2008 [3]安田宗樹, 片岡駿，田中和之: 確率的グラフィカルモデル-ベイジアンネットワークとその周辺- オペレーションズ・リサーチ:経営の科学，58(4), pp.191-197, April 2013. [4]Yuuji ICHISUGI:The cerebral cortex model that self-organizes conditional probability tables and executes belief propagation, In Proc. Of International Joint Conference on Neural Networks (IJCNN2007),pp.1065-1070,Aug 2007. 106

107. 参考文献 [5]解説：「確率伝播アルゴリズムとは」 https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf [6]荒木雅弘,フリーソフトで始める機会学習入門,森北出版株式会社,2014 [5]C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968 [6]一杉裕志、細谷晴夫：BESOM を用いたスパース符号化の一手法,電子情報通信学会技術研究報告ニューロコンピューティング,Vol.109 No.461, pp.345-- 350, Mar 2010. [7]全脳アーキテクチャへの要求仕様 https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS 1lJPkJFZ-Hy_6Ew/edit?pli=1# 107

108. 参考文献 [8]一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカルレポート AIST11-J00009,2011 108

全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク

Erika_Fujita