Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ベイジアンネットワークについて
後援:ドワンゴ
平成27年6月29日
藤田恵梨香
1
自己紹介
2
法政大学 理工学部
知的情報処理研究室 4年
藤田恵梨香
先週、勉強会(?)で慶応大学に行ってきました。
今週末、院試うけます!!!
ベイジアンネットワークとは
 ベイジアンネットワークとは
原因や結果が互いに影響を及ぼす事象を
ネットワークで表した確率グラフ
 できること
確率的統計に基づいて原因→結果
結果→原因の関係を推定
3
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
確率の概要
x:事象
実験などにより観測されて起こる出来事
X:確率変数
事象と実数を対応付けた変数
P(x):
事象eが起こる確率
6
主観確率と客観確率の定義
主観確率とは
 人の主観的な信念の度合い
 例)試験に合格する確率が70%
客観確率とは
 客観的な実験結果により得られる確率
 例)コインを投げて表が出る確率
主観確率 客観確率
7
ベイズ確率
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
 事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
0を受信...
条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
 事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
10
条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
 事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を受信
1を受信
11
条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
 事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
0を受信...
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
ベイズの定理
条件付き確率の定義 𝑃 𝑎 𝑏 =
𝑃(𝑎∩𝑏)
𝑃(𝑏)
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
・・・(1)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2)
𝑃 𝑏 𝑎 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑎)
・・・(3)...
ベイズの定理
条件付き確率の定義 𝑃 𝑎 𝑏 =
𝑃(𝑎∩𝑏)
𝑃(𝑏)
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
・・・(1)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2)
𝑃 𝑏 𝑎 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑎)
・・・(3)...
ベイズの定理
(2),(4)より
𝑃 𝑏 𝑎 𝑃(𝑎)=𝑃 𝑎 𝑏 𝑃(𝑏)・・・(5)
𝑃 𝑏 𝑎 =
𝑃 𝑎 𝑏 𝑃(𝑏)
𝑃(𝑎)
𝑃 𝑎 ≠ 0・・・ 6
16
事前確率事後確率 尤度
ベイズの定理の拡張
𝑃(𝑎) = 𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏𝑖 𝑃 𝑏𝑖 ・・・(7)
𝑃 𝑏 𝑎 =
𝑃 𝑎 𝑏 𝑃(𝑏)
𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖)
・・・(8)
b:原因 a:結果
𝑃 𝑏 𝑎 =
𝑃 𝑎 𝑏 𝑃(𝑏)
𝐵∋𝑏 ...
ベイズの定理
ベイズの定理により・・・
結果から原因の推定が可能
例)
慶応大学の学園祭でナンパしている人が
慶応大生であるかの推定
18
ベイズの定理
慶応大生である確率P(k)=0.5
ある質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝑘 誤る =
𝑃 誤る 𝑘 𝑃(𝑘)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
=
0.05 ∗ 0.5
0.05 ∗ 0....
ベイズ更新
 事後確率を更新する手法
𝑃(𝑎|𝑏)
20
ベイズ更新
慶応大生である確率P(k)=0.048
質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝑘 誤る =
𝑃 誤る 𝑘 𝑃(𝑘)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
=
0.1 ∗ 0.048
0.1 ∗ 0.0...
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
最尤推定法
 最尤推定法
𝑃 𝐴 = 𝑎 𝐵 を推定する方法
サンプルに対し
当てはまりの良いモデルを推定する
P(a=a|B)
B
σ
μ
𝜃 = {𝜇, 𝜎}
23
最尤推定法
P(a=a|B) B
σ
μ
𝜃 = {𝜇, 𝜎}
分布の形が分かっているとき
一意に決まる
最尤推定法
N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率
𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9)
𝑃 𝐷 𝜃 :尤度関数
ある𝜃により決まるモデルによるデータの
発生確率を求める
P(a...
最尤推定法
N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率
𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9)
𝑃 𝐷 𝜃 :尤度関数
モデルによるデータの発生確率が最大
→尤もらしいモデル!!!
P...
ベイズ推定法
 ベイズ推定法
事後確率(分布)を推定するための手法
ベイズの定理やベイズ更新によりデータが
得られるたびに確率分布を更新する
例)
・慶応大学でナンパしている人が慶応大生で
あるかの推定
27
ベイズ推定法
慶応大生である確率P(k)=0.5
ある質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝑘 誤る =
𝑃 誤る 𝑘 𝑃(𝑘)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
正しく
答える
誤る
慶応大生 0.95 0...
ベイズ推定法
慶応大生である確率P(k)=0.5
ある質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝑘 誤る =
𝑃 誤る 𝐾 𝑃(𝐾)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
正しく
答える
誤る
慶応大生 0.95 0...
ベイズ推定法
慶応大生である確率P(k)=0.5
ある質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝐾 誤る =
𝑃 誤る 𝐾 𝑃(𝐾)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
正しく
答える
誤る
慶応大生 0.95 0...
ベイズ推定法
慶応大生である確率P(k)=0.5
ある質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝑘 誤る =
𝑃 誤る 𝑘 𝑃(𝑘)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
正しく
答える
誤る
慶応大生 0.95 0...
最尤推定法とベイズ推定法
最尤推定法とベイズ推定法の違い
最尤推定法 ベイズ推定法
推定するもの 尤度 事後確率(分布)
データ量 大量 少なくても推論可
モデルの更新 なし あり
32
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
ベイジアンネットワークとは
 ベイジアンネットワークとは
原因や結果が互いに影響を及ぼす事象を
ネットワークで表した確率グラフ
 できること
確率的統計に基づいて原因→結果
結果→原因の関係を推定
35
ベイジアンネットワークの構成要素
ノード:事象,確率変数
アーク:ノードを繋ぐ矢印
CPT(Conditional probability table)
:条件付き確率表
y1 y2
X=1
X=2
・・・
36
ベイジアンネットワークの性質
因果独立の仮定
アークによりつながっている直接の親ノード
以外は因果的に独立とする
代表から発表を
依頼される
ニコ生で
発表する
大澤が嫌い
になる
友達に
いじられる
炎上する
37
ベイジアンネットワークの性質
因果独立の仮定
アークによりつながっている直接の親ノード
以外は因果的に独立とする
代表の大澤から発表を
依頼される
ニコ生で
発表する
大澤が嫌い
になる
友達に
いじられる
炎上する
38
ベイジアンネットワークの性質
因果独立の仮定
アークによりつながっている直接の親ノード
以外は因果的に独立とする
同時確率を求める際の
試行の組み合わせを少なくできる
39
たとえば・・・
5個のノードが2値の確率変数の
同時確率を求めるための組み合わせ
25
= 32
依頼 発表 嫌い 炎上 いじられる P(依頼,発表,嫌い,炎上,いじられる)
0 0 0 0 0 0.12
0 0 0 0 1 0.06
0 0 ...
ベイジアンネットワークの性質
右図のベイジアンネットワークでは・・・
同時確率は
𝑃 依頼, 発表, 嫌い, 炎上, いじられる
= 𝑃 依頼 𝑃 嫌い 依頼 𝑃 発表 依頼
𝑃 炎上 発表 (いじられる|発表)・・・(10)
41
発表 依頼 P(発表|依頼)
0 0 0.2
0 1 0.1
1 0 0.4
1 1 0.3
ベイジアンネットワークの性質
炎上 発表 P(炎上|発表)
0 0 0.3
0 1 0.1
1 0 0.2
1 1 0.4
42
発表 いじられる P(いじられる|発表)
0 0 0.1
0 1 0.5
1 0 0.2
1 1 0.2
ベイジアンネットワークの性質
依頼 嫌い P(嫌い|依頼)
0 0 0.3
0 1 0.1
1 0 0.2
1 1 0.4
43
右図のベイジアンネットワークの同時確率
これら4つの表の組み合わせで
表現できる
ベイジアンネットワークの性質
𝑃 𝐴, 𝐵, 𝐶, 𝐷, 𝐸 = 𝑃 𝐴 𝑃 𝐶 𝐴 𝑃 𝐵 𝐴 𝑃 𝐷 𝐵 𝑃(𝐸|𝐵)は
44
ノード間の因果関係
 BNは以下の3つの組み合わせでできている
(1) (2) (3)
45
ノード間の因果関係
(1)Head-to-tail connection
Bが決定すると・・・
その親ノードと子ノードは独立になる
一方、Bの値が分からないと・・・
CはAの影響を受ける
A
B
C
代表から発表
を依頼される
ニコ生で喋る ニ...
 (2)Tail-to-tail connection
Aが決まるとBとCは独立になる
(各ノードは親ノードの値のみから値が決まる)
BだけがわかるとB→Aに影響を与え
A→Cへ影響を与える
A
B C
ノード間の因果関係
47
 (3)Head-to-head connection
A,Bは親ノードを共有していない
→独立
Cが決まると独立ではなくなる
Cが生起するけれどAは生起していない
→Bが生起した確率は高そう
A B
C
Explaining away ef...
どんなに複雑なモノでも
これら3つの組み合わせでできている
A
B C
F
G
ED
ベイジアンネットワークと同時確率
49
どんなに複雑なモノでも
これら3つの組み合わせでできている
A
B C
F
G
ED
ベイジアンネットワークと同時確率
50
この部分だけ見ると
P(E,F,G)=P(E)P(F|E)P(G|F)
E
F
G
ベイジアンネットワークと同時確率
51
この部分だけ見ると
P(B,D,E)=P(B)P(D|B)P(E|B)
ED
B
ベイジアンネットワークと同時確率
52
この部分だけ見ると
P(B,C,E)=P(B)P(C)P(E|B,C)
E
CB
ベイジアンネットワークと同時確率
53
 同時確率を部分的に求められる
 全体の同時確率は
それらを組み合わせて求まる
P(A,B,C,D,E,F,G)
=P(G|F)P(F|E)P(E|B,C)P(C|A)P(D|B)P(B|A)
P(A)
A
B C
F
G
ED
ベイジアン...
 周辺化とは
同時確率をいくつかの確率変数を消して
得ること
周辺化
B P(B|A)
A P(A)
𝑃(𝐵 = 𝑏) =
𝐴∋𝑎 𝑖
𝑃 𝑏|𝑎𝑖 𝑃(𝑎𝑖)
55
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
ベイジアンネットワーク構築の流れ
データ→ 構造学習 →条件付き確率の決定→
確率推論
・MWSTアルゴリズム
・AICアルゴリズム
・確率伝播法
・k2アルゴリズム
・ジャンクションツリーアルゴリズム
58
ベイジアンネットワーク構築の流れ
データ→ 構造学習 →条件付き確率の決定→
確率推論
・MWSTアルゴリズム
・AICアルゴリズム
・確率伝播法
・k2アルゴリズム
・ジャンクションツリーアルゴリズム
59
ベイジアンネットワーク構築の流れ-構造学習
データ→ 構造学習 →条件付き確率の決定→
確率推論
・MWSTアルゴリズム
・AICアルゴリズム
・確率伝播法
・k2アルゴリズム
・ジャンクションツリーアルゴリズム
60
MWSTアルゴリズム
 仮定:ベイジアンネットワークは木構造
 真の同時分布:P(T)
 BNから得られる同時分布:𝑃𝐵𝑁 𝑇
(右図でのP(A,B,C,D,E))
これらの近さをKL情報量で表す:𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )
→近さが...
MWSTアルゴリズム
62
𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 の近さ𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )を最小化
→ 𝐽 𝐻 (𝑥 𝑘 , 𝑥 𝑘′)を最大化に帰着
H:相互情報量
同様に
全てのノード間のHを
計算しHを最大化する
B
D
C
A
E
𝐻(𝐴...
63
Hは相互情報量𝐻 𝑥 𝑘 , 𝑥 𝑘′ =
− 𝑃 𝑥 𝑘 , 𝑥 𝑘′ 𝑙𝑜𝑔
𝑃 𝑥 𝑘 ,𝑥 𝑘′
𝑃 𝑥 𝑘 𝑃 𝑥 𝑘′
つまり・・・
相互情報量Hの最も大きくなる場所に
アークを追加していけばよい
C.K. CHOW:Appr...
MWSTアルゴリズム
仮定:木構造
(1)すべてのノード間の相互情報量を求め
情報量が最大となる枝を選択
(2)ループができるならやめて
次に情報量の大きい枝を選択
(3)アークがn-1になるまで繰り返す
64
MWSTアルゴリズム
 例)
 上表について木を作ってみる。
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.025 0.001
C 0.001 0.2
D 0.08
E
65
各ノード間の相互情報量
MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A
66
MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
67
MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
68
MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
ループ
69
MWSTアルゴリズム
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
70
D
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
確率伝播法
確率伝播法とは
 事後確率を求める方法
𝑃 𝐴|𝐷 は? ?
𝑃 𝐴|𝐸 は? ?
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)Ex)
C
P(C|B)
72
ベイジアンネットワーク構築の流れ-構造学習
データ→ 構造学習 →条件付き確率の決定→
確率推論
・MWSTアルゴリズム
・AICアルゴリズム
・確率伝播法
・k2アルゴリズム
・ジャンクションツリーアルゴリズム
73
確率伝播法
事後確率
𝑃 𝐴|𝐷 =
𝑃(𝐴, 𝐷)
𝑃(𝐷)
=
1
𝑃(𝐷)
𝐵 𝐶 𝐸
𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸)
=
1
𝑃(𝐷)
𝐵 𝐶 𝐸
P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)
A
B
D
E
P(E|B)...
確率伝播法
事後確率
𝑃 𝐴|𝐸 =
𝑃(𝐴, 𝐸)
𝑃(𝐸)
=
1
𝑃(𝐸)
∗
𝐵 𝐶 𝐷
𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸)
=
1
𝑃(𝐸)
𝐵 𝐶 𝐷
P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)・・・
(12)
A
B
...
確率伝播法
 事後確率を求めるための工夫
メッセージ 𝑚 𝑋𝑌 = 𝐴 𝑃 𝑋 𝐴 ・𝑚 𝐴𝑋
順方向への伝播
𝑚 𝐴𝐵 = 𝑃 𝐴
𝑚 𝐵𝐶 = 𝑚 𝐵𝐸 =
𝐴
𝑃 𝐵 𝐴 ・𝑚 𝐴𝐵 = 𝑃(𝐵)
・・・
𝑚 𝐴𝐵
𝑚B𝐶
A
B
D
...
確率伝播法
逆方向への伝播
𝑚 𝐷𝐶 = 𝑃 𝐷 𝐶
𝑚 𝐶𝐵 =
𝐶
𝑃 𝐶 𝐵 ・𝑚 𝐷𝐶
𝑚 𝐸𝐵 = 𝑃 𝐸 𝐵
𝑚 𝐵𝐴 =
𝐵
𝑃 𝐵 𝐴 ・(𝑚 𝐶𝐵+𝑚 𝐸𝐵)
A
B
D
E
P(E|B)
P(B|A)
P(A)Ex)
C
P...
確率伝播法
𝑃 𝐴|𝐷 =
𝑃(𝐴, 𝐷)
𝑃(𝐷)
=
𝐵 𝐶 𝐸 𝑃(𝐷|𝐶)𝑃 𝐶 𝐵 𝑃(𝐸|𝐵)𝑃(𝐵|𝐴)𝑃(𝐴)
𝛼
=
𝑚 𝐴𝐵 𝑚BA
𝛼
A
B
D
E
P(B|A)
Ex)
C
P(C|B)
𝑚DC
𝑚C𝐵 𝑚 𝐸𝐵
𝑚 ...
ベイジアンネットワークの特徴
 結合の強さは条件付き確率([0,1]の値)
 推論時の情報の流れが双方向
 因果確率の仮定から局所的に学習が可能
 局所的な推論も可能
S
A C
𝑚 𝑆𝐴
B G
𝑚 𝑆𝐴
79
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 条件付き確率の決定
 構造学習
脳とベイジアンネットワーク
 大...
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
大脳新皮質の概要
82
 理性・知性をつかさどる
 視覚野や聴覚野、運動野など52の領野に
分けられそれぞれの領野で働きなどが異なる
大脳新皮質の特徴
 均質構造
基本構造が似ていて領野にかかわらず
構造や処理は均質
 階層構造
領野間には上下関係がある
上の階層へ行くほど情報が抽象化される
83
大脳新皮質の特徴
 6層構造
細胞の形状や密度が異なる
上向きの経路,下向きの経路がある
Layer
1
Layer
1
Hawkins,J.et al., 2004,”On Intelligence,”Times
Books.
84
大脳新皮質の特徴
 コラム構造
複数の神経細胞からなる柱状の構造
・ミニコラム
・マクロコラム
特定の入力パターンに対して
特定のコラムが反応する.
学習後:
入力パターンが不完全でも細胞が興奮する
85
もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の...
ベイジアンネットワークと大脳新皮質
ベイジアンネットワークと大脳新皮質の類似点
 情報の流れが双方向
 不完全なデータでも推論ができ、局所的な
学習ができる
A
B
D
𝑚 𝐵𝐴
C
E
𝑚 𝐴𝐵
コラム構造
87
ベイジアンネットワークと大脳新皮質
ベイジアンネットワークと大脳新皮質の類似点
 長期記憶
 処理は内積の計算程度
 因果関係から合理的な推論ができる
88
大脳新皮質モデルに有効か??
問題
特徴抽出ができない
ベイジアンネットワークと大脳新皮質
89
90
 大脳新皮質
 上位の領野へ行くほど情報が抽象化される
一方・・・
抽象化に必要な特徴抽出が
ベイジアンネットワークではできない
ベイジアンネットワークと大脳新皮質
大脳新皮質モデルに有効か??
問題
特徴抽出ができない
→BESOMモデルの提案
ベイジアンネットワークと大脳新皮質
91
BESOMとは・・・
SOM+ベイジアンネットワーク
ネットワーク構造は固定
確率伝播アルゴリズムの工夫
データ→学習ステップ→認識ステップ
92
BESOMモデルと大脳新皮質
確率変数値:ミニコラム
ノード:マクロコラム
構造の固定
SOMで入力の抽象化
確率伝播法の工夫
引用元 上:一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカル
レポート ...
他の大脳新皮質モデル
大脳新皮質モデル
 DeSTIN
 HTM
 階層HMM
共通の部分
・階層構造
・時系列処理
94
BESOMは大脳新皮質のモデルに有効か
大脳新皮質と多くの類似点がある
しかし・・・
ベイジアンネットワークやBESOMは長期記憶
→時系列処理は実装されていない
95
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
BESOMは大脳新皮質のモデルに有効か
一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times...
まとめ
 ベイジアンネットワークを用いたモデルは
大脳新皮質モデルに有効か??
・多くの類似点がある
・時系列処理は出来ない
105
参考文献
[1]一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5,
pp412-415, 2011
[2]長谷川亮,白石俊彦,森下信:A Study on a Neural Network Based on
S...
参考文献
[5]解説:「確率伝播アルゴリズムとは」
https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf
[6]荒木雅弘,フリーソフトで始める 機会学習入門,森北出版株...
参考文献
[8]一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研
究所テクニカルレポート AIST11-J00009,2011
108
Upcoming SlideShare
Loading in …5
×

全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク

5,342 views

Published on

Published in: Software
  • Be the first to comment

全脳アーキテクチャ若手の会 機械学習勉強会 ベイジアンネットワーク

  1. 1. ベイジアンネットワークについて 後援:ドワンゴ 平成27年6月29日 藤田恵梨香 1
  2. 2. 自己紹介 2 法政大学 理工学部 知的情報処理研究室 4年 藤田恵梨香 先週、勉強会(?)で慶応大学に行ってきました。 今週末、院試うけます!!!
  3. 3. ベイジアンネットワークとは  ベイジアンネットワークとは 原因や結果が互いに影響を及ぼす事象を ネットワークで表した確率グラフ  できること 確率的統計に基づいて原因→結果 結果→原因の関係を推定 3
  4. 4. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 4
  5. 5. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 5
  6. 6. 確率の概要 x:事象 実験などにより観測されて起こる出来事 X:確率変数 事象と実数を対応付けた変数 P(x): 事象eが起こる確率 6
  7. 7. 主観確率と客観確率の定義 主観確率とは  人の主観的な信念の度合い  例)試験に合格する確率が70% 客観確率とは  客観的な実験結果により得られる確率  例)コインを投げて表が出る確率 主観確率 客観確率 7 ベイズ確率
  8. 8. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 8
  9. 9. 条件付き確率 条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を送信 1を送信 0を受信 1を受信 9
  10. 10. 条件付き確率 条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を送信 1を送信 10
  11. 11. 条件付き確率 条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を受信 1を受信 11
  12. 12. 条件付き確率 条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)  事象B=bのもとで事象A=aとなる確率 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) Ex)01の信号を伝達するとき 0を送って正しく0が受け取られる確率 0を送信 1を送信 0を受信 1を受信 12
  13. 13. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 13
  14. 14. ベイズの定理 条件付き確率の定義 𝑃 𝑎 𝑏 = 𝑃(𝑎∩𝑏) 𝑃(𝑏) 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) ・・・(1) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2) 𝑃 𝑏 𝑎 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑎) ・・・(3) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4) 14
  15. 15. ベイズの定理 条件付き確率の定義 𝑃 𝑎 𝑏 = 𝑃(𝑎∩𝑏) 𝑃(𝑏) 𝑃 𝑎 𝑏 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑏) ・・・(1) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2) 𝑃 𝑏 𝑎 = 𝑃(𝑎 ∩ 𝑏) 𝑃(𝑎) ・・・(3) 𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4) 15
  16. 16. ベイズの定理 (2),(4)より 𝑃 𝑏 𝑎 𝑃(𝑎)=𝑃 𝑎 𝑏 𝑃(𝑏)・・・(5) 𝑃 𝑏 𝑎 = 𝑃 𝑎 𝑏 𝑃(𝑏) 𝑃(𝑎) 𝑃 𝑎 ≠ 0・・・ 6 16 事前確率事後確率 尤度
  17. 17. ベイズの定理の拡張 𝑃(𝑎) = 𝐵∋𝑏 𝑖 𝑃 𝑎|𝑏𝑖 𝑃 𝑏𝑖 ・・・(7) 𝑃 𝑏 𝑎 = 𝑃 𝑎 𝑏 𝑃(𝑏) 𝐵∋𝑏 𝑖 𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖) ・・・(8) b:原因 a:結果 𝑃 𝑏 𝑎 = 𝑃 𝑎 𝑏 𝑃(𝑏) 𝐵∋𝑏 𝑖 𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖) 事前確率事後確率 尤度 17
  18. 18. ベイズの定理 ベイズの定理により・・・ 結果から原因の推定が可能 例) 慶応大学の学園祭でナンパしている人が 慶応大生であるかの推定 18
  19. 19. ベイズの定理 慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき 慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) = 0.05 ∗ 0.5 0.05 ∗ 0.5 + 0.99 ∗ (1 − 0.5) = 25 520 ≅ 0.048 正しく 答える 誤る 慶応大生 0.95 0.05 他の大学生 0.01 0.99 19
  20. 20. ベイズ更新  事後確率を更新する手法 𝑃(𝑎|𝑏) 20
  21. 21. ベイズ更新 慶応大生である確率P(k)=0.048 質問に対し間違ったとき 慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) = 0.1 ∗ 0.048 0.1 ∗ 0.048 + 0.995 ∗ (1 − 0.048) = 480 95204 ≅ 0.005 正しく 答えられる 誤る 慶応大生 0.9 0.1 他の大学 生 0.005 0.995 21 この手法がベイズ更新
  22. 22. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 22
  23. 23. 最尤推定法  最尤推定法 𝑃 𝐴 = 𝑎 𝐵 を推定する方法 サンプルに対し 当てはまりの良いモデルを推定する P(a=a|B) B σ μ 𝜃 = {𝜇, 𝜎} 23
  24. 24. 最尤推定法 P(a=a|B) B σ μ 𝜃 = {𝜇, 𝜎} 分布の形が分かっているとき 一意に決まる
  25. 25. 最尤推定法 N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率 𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9) 𝑃 𝐷 𝜃 :尤度関数 ある𝜃により決まるモデルによるデータの 発生確率を求める P(a=a|B) B σ μ 𝜃 = {𝜇, 𝜎} 25 尤度小
  26. 26. 最尤推定法 N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率 𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9) 𝑃 𝐷 𝜃 :尤度関数 モデルによるデータの発生確率が最大 →尤もらしいモデル!!! P(a=a|B) B 𝜃 = {𝜇, 𝜎} 26 尤度大
  27. 27. ベイズ推定法  ベイズ推定法 事後確率(分布)を推定するための手法 ベイズの定理やベイズ更新によりデータが 得られるたびに確率分布を更新する 例) ・慶応大学でナンパしている人が慶応大生で あるかの推定 27
  28. 28. ベイズ推定法 慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき 慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく 答える 誤る 慶応大生 0.95 0.05 他の大学生 0.01 0.99 28 値
  29. 29. ベイズ推定法 慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき 慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝐾 𝑃(𝐾) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく 答える 誤る 慶応大生 0.95 0.05 他の大学生 0.01 0.99 29 確率分布
  30. 30. ベイズ推定法 慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき 慶応大生である確率は・・・ 𝑃 𝐾 誤る = 𝑃 誤る 𝐾 𝑃(𝐾) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく 答える 誤る 慶応大生 0.95 0.05 他の大学生 0.01 0.99 0 0.5 1 0 0.5 1 P(K) K 事前確率 0 0.5 1 0 0.5 1 P(X) X:質問への回答 P(質問への回答) 0 0.5 1 0 0.5 1 P(質問への回答|K) K 尤度 30
  31. 31. ベイズ推定法 慶応大生である確率P(k)=0.5 ある質問に対し間違ったとき 慶応大生である確率は・・・ 𝑃 𝑘 誤る = 𝑃 誤る 𝑘 𝑃(𝑘) 𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘) 正しく 答える 誤る 慶応大生 0.95 0.05 他の大学生 0.01 0.99 0 0.5 1 0 0.5 1 P(K|誤った) K 事後確率 31
  32. 32. 最尤推定法とベイズ推定法 最尤推定法とベイズ推定法の違い 最尤推定法 ベイズ推定法 推定するもの 尤度 事後確率(分布) データ量 大量 少なくても推論可 モデルの更新 なし あり 32
  33. 33. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 33
  34. 34. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 34
  35. 35. ベイジアンネットワークとは  ベイジアンネットワークとは 原因や結果が互いに影響を及ぼす事象を ネットワークで表した確率グラフ  できること 確率的統計に基づいて原因→結果 結果→原因の関係を推定 35
  36. 36. ベイジアンネットワークの構成要素 ノード:事象,確率変数 アーク:ノードを繋ぐ矢印 CPT(Conditional probability table) :条件付き確率表 y1 y2 X=1 X=2 ・・・ 36
  37. 37. ベイジアンネットワークの性質 因果独立の仮定 アークによりつながっている直接の親ノード 以外は因果的に独立とする 代表から発表を 依頼される ニコ生で 発表する 大澤が嫌い になる 友達に いじられる 炎上する 37
  38. 38. ベイジアンネットワークの性質 因果独立の仮定 アークによりつながっている直接の親ノード 以外は因果的に独立とする 代表の大澤から発表を 依頼される ニコ生で 発表する 大澤が嫌い になる 友達に いじられる 炎上する 38
  39. 39. ベイジアンネットワークの性質 因果独立の仮定 アークによりつながっている直接の親ノード 以外は因果的に独立とする 同時確率を求める際の 試行の組み合わせを少なくできる 39
  40. 40. たとえば・・・ 5個のノードが2値の確率変数の 同時確率を求めるための組み合わせ 25 = 32 依頼 発表 嫌い 炎上 いじられる P(依頼,発表,嫌い,炎上,いじられる) 0 0 0 0 0 0.12 0 0 0 0 1 0.06 0 0 0 1 0 0.2 0 0 0 1 1 0.17 ・ ・ ・ ベイジアンネットワークの性質 40
  41. 41. ベイジアンネットワークの性質 右図のベイジアンネットワークでは・・・ 同時確率は 𝑃 依頼, 発表, 嫌い, 炎上, いじられる = 𝑃 依頼 𝑃 嫌い 依頼 𝑃 発表 依頼 𝑃 炎上 発表 (いじられる|発表)・・・(10) 41
  42. 42. 発表 依頼 P(発表|依頼) 0 0 0.2 0 1 0.1 1 0 0.4 1 1 0.3 ベイジアンネットワークの性質 炎上 発表 P(炎上|発表) 0 0 0.3 0 1 0.1 1 0 0.2 1 1 0.4 42
  43. 43. 発表 いじられる P(いじられる|発表) 0 0 0.1 0 1 0.5 1 0 0.2 1 1 0.2 ベイジアンネットワークの性質 依頼 嫌い P(嫌い|依頼) 0 0 0.3 0 1 0.1 1 0 0.2 1 1 0.4 43
  44. 44. 右図のベイジアンネットワークの同時確率 これら4つの表の組み合わせで 表現できる ベイジアンネットワークの性質 𝑃 𝐴, 𝐵, 𝐶, 𝐷, 𝐸 = 𝑃 𝐴 𝑃 𝐶 𝐴 𝑃 𝐵 𝐴 𝑃 𝐷 𝐵 𝑃(𝐸|𝐵)は 44
  45. 45. ノード間の因果関係  BNは以下の3つの組み合わせでできている (1) (2) (3) 45
  46. 46. ノード間の因果関係 (1)Head-to-tail connection Bが決定すると・・・ その親ノードと子ノードは独立になる 一方、Bの値が分からないと・・・ CはAの影響を受ける A B C 代表から発表 を依頼される ニコ生で喋る ニコ生で炎上する 事象が発生 ここの確率 は?? 46
  47. 47.  (2)Tail-to-tail connection Aが決まるとBとCは独立になる (各ノードは親ノードの値のみから値が決まる) BだけがわかるとB→Aに影響を与え A→Cへ影響を与える A B C ノード間の因果関係 47
  48. 48.  (3)Head-to-head connection A,Bは親ノードを共有していない →独立 Cが決まると独立ではなくなる Cが生起するけれどAは生起していない →Bが生起した確率は高そう A B C Explaining away effect ノード間の因果関係 48
  49. 49. どんなに複雑なモノでも これら3つの組み合わせでできている A B C F G ED ベイジアンネットワークと同時確率 49
  50. 50. どんなに複雑なモノでも これら3つの組み合わせでできている A B C F G ED ベイジアンネットワークと同時確率 50
  51. 51. この部分だけ見ると P(E,F,G)=P(E)P(F|E)P(G|F) E F G ベイジアンネットワークと同時確率 51
  52. 52. この部分だけ見ると P(B,D,E)=P(B)P(D|B)P(E|B) ED B ベイジアンネットワークと同時確率 52
  53. 53. この部分だけ見ると P(B,C,E)=P(B)P(C)P(E|B,C) E CB ベイジアンネットワークと同時確率 53
  54. 54.  同時確率を部分的に求められる  全体の同時確率は それらを組み合わせて求まる P(A,B,C,D,E,F,G) =P(G|F)P(F|E)P(E|B,C)P(C|A)P(D|B)P(B|A) P(A) A B C F G ED ベイジアンネットワークと同時確率 54
  55. 55.  周辺化とは 同時確率をいくつかの確率変数を消して 得ること 周辺化 B P(B|A) A P(A) 𝑃(𝐵 = 𝑏) = 𝐴∋𝑎 𝑖 𝑃 𝑏|𝑎𝑖 𝑃(𝑎𝑖) 55
  56. 56. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 56
  57. 57. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 57
  58. 58. ベイジアンネットワーク構築の流れ データ→ 構造学習 →条件付き確率の決定→ 確率推論 ・MWSTアルゴリズム ・AICアルゴリズム ・確率伝播法 ・k2アルゴリズム ・ジャンクションツリーアルゴリズム 58
  59. 59. ベイジアンネットワーク構築の流れ データ→ 構造学習 →条件付き確率の決定→ 確率推論 ・MWSTアルゴリズム ・AICアルゴリズム ・確率伝播法 ・k2アルゴリズム ・ジャンクションツリーアルゴリズム 59
  60. 60. ベイジアンネットワーク構築の流れ-構造学習 データ→ 構造学習 →条件付き確率の決定→ 確率推論 ・MWSTアルゴリズム ・AICアルゴリズム ・確率伝播法 ・k2アルゴリズム ・ジャンクションツリーアルゴリズム 60
  61. 61. MWSTアルゴリズム  仮定:ベイジアンネットワークは木構造  真の同時分布:P(T)  BNから得られる同時分布:𝑃𝐵𝑁 𝑇 (右図でのP(A,B,C,D,E)) これらの近さをKL情報量で表す:𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 ) →近さが最小なら真のモデルに最も近い!! B DC A観測したデータより求められる E 61
  62. 62. MWSTアルゴリズム 62 𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 の近さ𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )を最小化 → 𝐽 𝐻 (𝑥 𝑘 , 𝑥 𝑘′)を最大化に帰着 H:相互情報量 同様に 全てのノード間のHを 計算しHを最大化する B D C A E 𝐻(𝐴, 𝐵) 𝐻(𝐴, 𝐷)𝐻(𝐴, 𝐶) 𝐻(𝐴, 𝐸) EX)
  63. 63. 63 Hは相互情報量𝐻 𝑥 𝑘 , 𝑥 𝑘′ = − 𝑃 𝑥 𝑘 , 𝑥 𝑘′ 𝑙𝑜𝑔 𝑃 𝑥 𝑘 ,𝑥 𝑘′ 𝑃 𝑥 𝑘 𝑃 𝑥 𝑘′ つまり・・・ 相互情報量Hの最も大きくなる場所に アークを追加していけばよい C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968 MWSTアルゴリズム
  64. 64. MWSTアルゴリズム 仮定:木構造 (1)すべてのノード間の相互情報量を求め 情報量が最大となる枝を選択 (2)ループができるならやめて 次に情報量の大きい枝を選択 (3)アークがn-1になるまで繰り返す 64
  65. 65. MWSTアルゴリズム  例)  上表について木を作ってみる。 H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.025 0.001 C 0.001 0.2 D 0.08 E 65 各ノード間の相互情報量
  66. 66. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A 66
  67. 67. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B 67
  68. 68. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B E 68
  69. 69. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B E ループ 69
  70. 70. MWSTアルゴリズム H A B C D E A 0.02 0.3 0.09 0.1 B 0.26 0.02 5 0.00 1 C 0.00 1 0.2 D 0.08 E C A B E 70 D
  71. 71. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 71
  72. 72. 確率伝播法 確率伝播法とは  事後確率を求める方法 𝑃 𝐴|𝐷 は? ? 𝑃 𝐴|𝐸 は? ? A B D E P(E|B) P(B|A) P(D|C) P(A)Ex) C P(C|B) 72
  73. 73. ベイジアンネットワーク構築の流れ-構造学習 データ→ 構造学習 →条件付き確率の決定→ 確率推論 ・MWSTアルゴリズム ・AICアルゴリズム ・確率伝播法 ・k2アルゴリズム ・ジャンクションツリーアルゴリズム 73
  74. 74. 確率伝播法 事後確率 𝑃 𝐴|𝐷 = 𝑃(𝐴, 𝐷) 𝑃(𝐷) = 1 𝑃(𝐷) 𝐵 𝐶 𝐸 𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸) = 1 𝑃(𝐷) 𝐵 𝐶 𝐸 P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴) A B D E P(E|B) P(B|A) P(D|C) P(A)Ex) C P(C|B) ・・・(11) 74
  75. 75. 確率伝播法 事後確率 𝑃 𝐴|𝐸 = 𝑃(𝐴, 𝐸) 𝑃(𝐸) = 1 𝑃(𝐸) ∗ 𝐵 𝐶 𝐷 𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸) = 1 𝑃(𝐸) 𝐵 𝐶 𝐷 P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)・・・ (12) A B D E P(E|B) P(B|A) P(D|C) P(A)Ex) C P(C|B) 効率が悪い 75
  76. 76. 確率伝播法  事後確率を求めるための工夫 メッセージ 𝑚 𝑋𝑌 = 𝐴 𝑃 𝑋 𝐴 ・𝑚 𝐴𝑋 順方向への伝播 𝑚 𝐴𝐵 = 𝑃 𝐴 𝑚 𝐵𝐶 = 𝑚 𝐵𝐸 = 𝐴 𝑃 𝐵 𝐴 ・𝑚 𝐴𝐵 = 𝑃(𝐵) ・・・ 𝑚 𝐴𝐵 𝑚B𝐶 A B D E P(E|B) P(B|A) P(D|C) P(A) Ex) CP(C|B) Y X A 𝑚 𝑋𝑌 𝑚 𝐴𝑋 P(X|A) 76
  77. 77. 確率伝播法 逆方向への伝播 𝑚 𝐷𝐶 = 𝑃 𝐷 𝐶 𝑚 𝐶𝐵 = 𝐶 𝑃 𝐶 𝐵 ・𝑚 𝐷𝐶 𝑚 𝐸𝐵 = 𝑃 𝐸 𝐵 𝑚 𝐵𝐴 = 𝐵 𝑃 𝐵 𝐴 ・(𝑚 𝐶𝐵+𝑚 𝐸𝐵) A B D E P(E|B) P(B|A) P(A)Ex) C P(C|B) P(D|C)P(C,E|B) P(D|C) 77
  78. 78. 確率伝播法 𝑃 𝐴|𝐷 = 𝑃(𝐴, 𝐷) 𝑃(𝐷) = 𝐵 𝐶 𝐸 𝑃(𝐷|𝐶)𝑃 𝐶 𝐵 𝑃(𝐸|𝐵)𝑃(𝐵|𝐴)𝑃(𝐴) 𝛼 = 𝑚 𝐴𝐵 𝑚BA 𝛼 A B D E P(B|A) Ex) C P(C|B) 𝑚DC 𝑚C𝐵 𝑚 𝐸𝐵 𝑚 𝐴𝐵 𝑚 𝐵𝐴 𝛼 = 𝑃(𝐷) 78
  79. 79. ベイジアンネットワークの特徴  結合の強さは条件付き確率([0,1]の値)  推論時の情報の流れが双方向  因果確率の仮定から局所的に学習が可能  局所的な推論も可能 S A C 𝑚 𝑆𝐴 B G 𝑚 𝑆𝐴 79
  80. 80. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  条件付き確率の決定  構造学習 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 80
  81. 81. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 81
  82. 82. 大脳新皮質の概要 82  理性・知性をつかさどる  視覚野や聴覚野、運動野など52の領野に 分けられそれぞれの領野で働きなどが異なる
  83. 83. 大脳新皮質の特徴  均質構造 基本構造が似ていて領野にかかわらず 構造や処理は均質  階層構造 領野間には上下関係がある 上の階層へ行くほど情報が抽象化される 83
  84. 84. 大脳新皮質の特徴  6層構造 細胞の形状や密度が異なる 上向きの経路,下向きの経路がある Layer 1 Layer 1 Hawkins,J.et al., 2004,”On Intelligence,”Times Books. 84
  85. 85. 大脳新皮質の特徴  コラム構造 複数の神経細胞からなる柱状の構造 ・ミニコラム ・マクロコラム 特定の入力パターンに対して 特定のコラムが反応する. 学習後: 入力パターンが不完全でも細胞が興奮する 85
  86. 86. もくじ 導入  確率の概要  条件付き確率  ベイズの定理  最尤推定とベイズ推定 ベイジアンネットワーク  ベイジアンネットワークの概要  学習の流れ  構造学習  確率推論 脳とベイジアンネットワーク  大脳新皮質の性質  ベイジアンネットワークは大脳新皮質か 86
  87. 87. ベイジアンネットワークと大脳新皮質 ベイジアンネットワークと大脳新皮質の類似点  情報の流れが双方向  不完全なデータでも推論ができ、局所的な 学習ができる A B D 𝑚 𝐵𝐴 C E 𝑚 𝐴𝐵 コラム構造 87
  88. 88. ベイジアンネットワークと大脳新皮質 ベイジアンネットワークと大脳新皮質の類似点  長期記憶  処理は内積の計算程度  因果関係から合理的な推論ができる 88
  89. 89. 大脳新皮質モデルに有効か?? 問題 特徴抽出ができない ベイジアンネットワークと大脳新皮質 89
  90. 90. 90  大脳新皮質  上位の領野へ行くほど情報が抽象化される 一方・・・ 抽象化に必要な特徴抽出が ベイジアンネットワークではできない ベイジアンネットワークと大脳新皮質
  91. 91. 大脳新皮質モデルに有効か?? 問題 特徴抽出ができない →BESOMモデルの提案 ベイジアンネットワークと大脳新皮質 91
  92. 92. BESOMとは・・・ SOM+ベイジアンネットワーク ネットワーク構造は固定 確率伝播アルゴリズムの工夫 データ→学習ステップ→認識ステップ 92
  93. 93. BESOMモデルと大脳新皮質 確率変数値:ミニコラム ノード:マクロコラム 構造の固定 SOMで入力の抽象化 確率伝播法の工夫 引用元 上:一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカル レポート AIST11-J00009,2011による図を一部修正 下: 一杉裕志,大脳皮質とベイジアンネット, 日本ロボット学会誌 ol.29 No.5, pp414, 2011 による図を一部修正 93
  94. 94. 他の大脳新皮質モデル 大脳新皮質モデル  DeSTIN  HTM  階層HMM 共通の部分 ・階層構造 ・時系列処理 94
  95. 95. BESOMは大脳新皮質のモデルに有効か 大脳新皮質と多くの類似点がある しかし・・・ ベイジアンネットワークやBESOMは長期記憶 →時系列処理は実装されていない 95
  96. 96. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 確率伝播アルゴリズムの工夫 - 近似確率伝播アルゴリズム 96
  97. 97. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 4層→3層 97
  98. 98. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第3層→上位領野第4層 98
  99. 99. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第5層→下位領野第1層 99
  100. 100. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第5層→下位領野第1層 100
  101. 101. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 対応が取れている!!! 101
  102. 102. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 一方・・・ 102
  103. 103. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第1層水平繊維 103
  104. 104. BESOMは大脳新皮質のモデルに有効か 一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp414, 2011 Hawkins,J.et al., 2004, ”On Intelligence,”Times Books. 第4層→第2層 104
  105. 105. まとめ  ベイジアンネットワークを用いたモデルは 大脳新皮質モデルに有効か?? ・多くの類似点がある ・時系列処理は出来ない 105
  106. 106. 参考文献 [1]一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp412-415, 2011 [2]長谷川亮,白石俊彦,森下信:A Study on a Neural Network Based on Structual Characteristics of Cerebral Neocortex,日本機械学会 Dyn Des Conf (CD-ROM),2008,ROMBUNNO.448,2008 [3]安田宗樹, 片岡駿,田中和之: 確率的グラフィカルモデル-ベイジアンネットワークとその周辺- オペレーションズ・リサーチ:経営の科学,58(4), pp.191-197, April 2013. [4]Yuuji ICHISUGI:The cerebral cortex model that self-organizes conditional probability tables and executes belief propagation, In Proc. Of International Joint Conference on Neural Networks (IJCNN2007),pp.1065-1070,Aug 2007. 106
  107. 107. 参考文献 [5]解説:「確率伝播アルゴリズムとは」 https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf [6]荒木雅弘,フリーソフトで始める 機会学習入門,森北出版株式会社,2014 [5]C.K. CHOW:Approximationg Discrete Probability Distributions with Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY, VOL.IT-14,NO.3,MAY 1968 [6]一杉裕志、細谷晴夫:BESOM を用いたスパース符号化の一手法,電子情報 通信学会技術研究報告 ニューロコンピューティング,Vol.109 No.461, pp.345-- 350, Mar 2010. [7]全脳アーキテクチャへの要求仕様 https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS 1lJPkJFZ-Hy_6Ew/edit?pli=1# 107
  108. 108. 参考文献 [8]一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研 究所テクニカルレポート AIST11-J00009,2011 108

×