More Related Content Similar to 全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク Similar to 全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク(8) 全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク4. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
4
5. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
5
8. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
8
9. 条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
0を受信
1を受信
9
10. 条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
10
11. 条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を受信
1を受信
11
12. 条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
0を受信
1を受信
12
13. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
13
14. ベイズの定理
条件付き確率の定義 𝑃 𝑎 𝑏 =
𝑃(𝑎∩𝑏)
𝑃(𝑏)
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
・・・(1)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2)
𝑃 𝑏 𝑎 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑎)
・・・(3)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4)
14
15. ベイズの定理
条件付き確率の定義 𝑃 𝑎 𝑏 =
𝑃(𝑎∩𝑏)
𝑃(𝑏)
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
・・・(1)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2)
𝑃 𝑏 𝑎 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑎)
・・・(3)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4)
15
17. ベイズの定理の拡張
𝑃(𝑎) = 𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏𝑖 𝑃 𝑏𝑖 ・・・(7)
𝑃 𝑏 𝑎 =
𝑃 𝑎 𝑏 𝑃(𝑏)
𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖)
・・・(8)
b:原因 a:結果
𝑃 𝑏 𝑎 =
𝑃 𝑎 𝑏 𝑃(𝑏)
𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖)
事前確率事後確率 尤度
17
22. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
22
23. 最尤推定法
最尤推定法
𝑃 𝐴 = 𝑎 𝐵 を推定する方法
サンプルに対し
当てはまりの良いモデルを推定する
P(a=a|B)
B
σ
μ
𝜃 = {𝜇, 𝜎}
23
25. 最尤推定法
N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率
𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9)
𝑃 𝐷 𝜃 :尤度関数
ある𝜃により決まるモデルによるデータの
発生確率を求める
P(a=a|B)
B
σ
μ
𝜃 = {𝜇, 𝜎}
25
尤度小
26. 最尤推定法
N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率
𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9)
𝑃 𝐷 𝜃 :尤度関数
モデルによるデータの発生確率が最大
→尤もらしいモデル!!!
P(a=a|B)
B
𝜃 = {𝜇, 𝜎}
26
尤度大
33. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
33
34. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
34
42. 発表 依頼 P(発表|依頼)
0 0 0.2
0 1 0.1
1 0 0.4
1 1 0.3
ベイジアンネットワークの性質
炎上 発表 P(炎上|発表)
0 0 0.3
0 1 0.1
1 0 0.2
1 1 0.4
42
43. 発表 いじられる P(いじられる|発表)
0 0 0.1
0 1 0.5
1 0 0.2
1 1 0.2
ベイジアンネットワークの性質
依頼 嫌い P(嫌い|依頼)
0 0 0.3
0 1 0.1
1 0 0.2
1 1 0.4
43
56. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
56
57. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
57
62. MWSTアルゴリズム
62
𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 の近さ𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )を最小化
→ 𝐽 𝐻 (𝑥 𝑘 , 𝑥 𝑘′)を最大化に帰着
H:相互情報量
同様に
全てのノード間のHを
計算しHを最大化する
B
D
C
A
E
𝐻(𝐴, 𝐵)
𝐻(𝐴, 𝐷)𝐻(𝐴, 𝐶)
𝐻(𝐴, 𝐸)
EX)
63. 63
Hは相互情報量𝐻 𝑥 𝑘 , 𝑥 𝑘′ =
− 𝑃 𝑥 𝑘 , 𝑥 𝑘′ 𝑙𝑜𝑔
𝑃 𝑥 𝑘 ,𝑥 𝑘′
𝑃 𝑥 𝑘 𝑃 𝑥 𝑘′
つまり・・・
相互情報量Hの最も大きくなる場所に
アークを追加していけばよい
C.K. CHOW:Approximationg Discrete Probability Distributions with
Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION
THEORY, VOL.IT-14,NO.3,MAY 1968
MWSTアルゴリズム
66. MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A
66
67. MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
67
68. MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
68
69. MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
ループ
69
70. MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
70
D
71. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
71
74. 確率伝播法
事後確率
𝑃 𝐴|𝐷 =
𝑃(𝐴, 𝐷)
𝑃(𝐷)
=
1
𝑃(𝐷)
𝐵 𝐶 𝐸
𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸)
=
1
𝑃(𝐷)
𝐵 𝐶 𝐸
P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)Ex)
C
P(C|B)
・・・(11)
74
75. 確率伝播法
事後確率
𝑃 𝐴|𝐸 =
𝑃(𝐴, 𝐸)
𝑃(𝐸)
=
1
𝑃(𝐸)
∗
𝐵 𝐶 𝐷
𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸)
=
1
𝑃(𝐸)
𝐵 𝐶 𝐷
P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)・・・
(12)
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)Ex)
C
P(C|B)
効率が悪い
75
76. 確率伝播法
事後確率を求めるための工夫
メッセージ 𝑚 𝑋𝑌 = 𝐴 𝑃 𝑋 𝐴 ・𝑚 𝐴𝑋
順方向への伝播
𝑚 𝐴𝐵 = 𝑃 𝐴
𝑚 𝐵𝐶 = 𝑚 𝐵𝐸 =
𝐴
𝑃 𝐵 𝐴 ・𝑚 𝐴𝐵 = 𝑃(𝐵)
・・・
𝑚 𝐴𝐵
𝑚B𝐶
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)
Ex)
CP(C|B)
Y X A
𝑚 𝑋𝑌 𝑚 𝐴𝑋
P(X|A)
76
77. 確率伝播法
逆方向への伝播
𝑚 𝐷𝐶 = 𝑃 𝐷 𝐶
𝑚 𝐶𝐵 =
𝐶
𝑃 𝐶 𝐵 ・𝑚 𝐷𝐶
𝑚 𝐸𝐵 = 𝑃 𝐸 𝐵
𝑚 𝐵𝐴 =
𝐵
𝑃 𝐵 𝐴 ・(𝑚 𝐶𝐵+𝑚 𝐸𝐵)
A
B
D
E
P(E|B)
P(B|A)
P(A)Ex)
C
P(C|B)
P(D|C)P(C,E|B)
P(D|C)
77
78. 確率伝播法
𝑃 𝐴|𝐷 =
𝑃(𝐴, 𝐷)
𝑃(𝐷)
=
𝐵 𝐶 𝐸 𝑃(𝐷|𝐶)𝑃 𝐶 𝐵 𝑃(𝐸|𝐵)𝑃(𝐵|𝐴)𝑃(𝐴)
𝛼
=
𝑚 𝐴𝐵 𝑚BA
𝛼
A
B
D
E
P(B|A)
Ex)
C
P(C|B)
𝑚DC
𝑚C𝐵 𝑚 𝐸𝐵
𝑚 𝐴𝐵 𝑚 𝐵𝐴
𝛼 = 𝑃(𝐷)
78
80. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
条件付き確率の決定
構造学習
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
80
81. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
81
86. もくじ
導入
確率の概要
条件付き確率
ベイズの定理
最尤推定とベイズ推定
ベイジアンネットワーク
ベイジアンネットワークの概要
学習の流れ
構造学習
確率推論
脳とベイジアンネットワーク
大脳新皮質の性質
ベイジアンネットワークは大脳新皮質か
86
106. 参考文献
[1]一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5,
pp412-415, 2011
[2]長谷川亮,白石俊彦,森下信:A Study on a Neural Network Based on
Structual Characteristics of Cerebral Neocortex,日本機械学会 Dyn Des
Conf (CD-ROM),2008,ROMBUNNO.448,2008
[3]安田宗樹, 片岡駿,田中和之:
確率的グラフィカルモデル-ベイジアンネットワークとその周辺-
オペレーションズ・リサーチ:経営の科学,58(4), pp.191-197, April 2013.
[4]Yuuji ICHISUGI:The cerebral cortex model that self-organizes
conditional probability tables and executes belief propagation, In Proc.
Of International Joint Conference on Neural Networks
(IJCNN2007),pp.1065-1070,Aug 2007.
106
107. 参考文献
[5]解説:「確率伝播アルゴリズムとは」
https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf
[6]荒木雅弘,フリーソフトで始める 機会学習入門,森北出版株式会社,2014
[5]C.K. CHOW:Approximationg Discrete Probability Distributions with
Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY,
VOL.IT-14,NO.3,MAY 1968
[6]一杉裕志、細谷晴夫:BESOM を用いたスパース符号化の一手法,電子情報
通信学会技術研究報告 ニューロコンピューティング,Vol.109 No.461, pp.345--
350, Mar 2010.
[7]全脳アーキテクチャへの要求仕様
https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS
1lJPkJFZ-Hy_6Ew/edit?pli=1#
107
Editor's Notes 確率とはと条件付き確率はまとめてもよいかもしれない 確率とはと条件付き確率はまとめてもよいかもしれない 記号と用語の説明をする 主観確率・その時得られているサンプルから確かさを表現したもの
主観確率の例:試験に受かる確率
70%位で受かるだろう→10回試験を受けて7回受かるという意味ではない 確率とはと条件付き確率はまとめてもよいかもしれない スライドに具体例を表記 確率とはと条件付き確率はまとめてもよいかもしれない a:結果
B:原因 a:結果
B:原因 確率とはと条件付き確率はまとめてもよいかもしれない 確率分布がわからない場合さまざまなもので上記の計算を行い各確率分布における発生確率を比較して最大値のものを採用すればよい。
確率分布がわからない場合さまざまなもので上記の計算を行い各確率分布における発生確率を比較して最大値のものを採用すればよい。
最尤推定では尤度の分布を推定し
ベイズ推定では事後確率の分布を推定する
最尤推定は母集団のモデルを推定するために多くのデータが必要ベイズ推定ではデータを得るごとに推定
最尤推定では母集団のモデルは一つに決まり、ベイズ推定では更新するたびに得られるモデルは変わる
確率とはと条件付き確率はまとめてもよいかもしれない 確率とはと条件付き確率はまとめてもよいかもしれない たとえば、若手の運営メンバーが代表に発表しろと言われる
そのもとで発表する→ニコ生で炎上する
発表しろと言われたことと炎上することは独立 たとえば、若手の運営メンバーが代表に発表しろと言われる
そのもとで発表する→ニコ生で炎上する
発表しろと言われたことと炎上することは独立 たとえば、若手の運営メンバーが代表に発表しろと言われる
そのもとで発表する→ニコ生で炎上する
発表しろと言われたことと炎上することは独立 Explaining away effect 場所の検討 確率とはと条件付き確率はまとめてもよいかもしれない 確率とはと条件付き確率はまとめてもよいかもしれない (Maximum Weight Spanning Tree)
図を入れる 確率とはと条件付き確率はまとめてもよいかもしれない 事後確率𝑃(𝑌|𝑌の子ノード)を求めるのに必要なYに隣接しているX以下の情報をまとめたもの
ここでの𝑃 𝑋 𝑌 ・ 𝑚 𝐴𝑋 は内積!! 確率とはと条件付き確率はまとめてもよいかもしれない 確率とはと条件付き確率はまとめてもよいかもしれない 画像見つける 細胞の興奮を伝える経路 図をいれたい 確率とはと条件付き確率はまとめてもよいかもしれない がぞうの一部が欠けていてもおよその部分が写っていれば被写体が何かの推定できるとか・・ 階層時間モデル(HTM)は大脳皮質の局所回路を定式化したモデルです。 網膜から第4層までの神経経路で空間パターンをコードし、皮質内の錐体細胞の ラテラルな繋がりによって時間遷移パターンをマルコフ鎖で表現しています。 すべてのノードに対してSOM→BN
(海馬などのモデルとつないだ時の親和性)
伝えたいことが見えてこない
SOMは視覚やに特化しているがほかの量やへの応用はSOMで大丈夫か 一層の水平繊維 一層の水平繊維 大脳基底核とか??海馬とかのモデルと統合した時に動くのか。