全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク

ベイジアンネットワークについて
後援:ドワンゴ
平成27年6月29日
藤田恵梨香
1

自己紹介
2
法政大学理工学部
知的情報処理研究室 4年
藤田恵梨香
先週、勉強会(?)で慶応大学に行ってきました。
今週末、院試うけます!!!

ベイジアンネットワークとは
 ベイジアンネットワークとは
原因や結果が互いに影響を及ぼす事象を
ネットワークで表した確率グラフ
 できること
確率的統計に基づいて原因→結果
結果→原因の関係を推定
3

もくじ
導入
 確率の概要
 条件付き確率
 ベイズの定理
 最尤推定とベイズ推定
ベイジアンネットワーク
 ベイジアンネットワークの概要
 学習の流れ
 構造学習
 確率推論
脳とベイジアンネットワーク
 大脳新皮質の性質
 ベイジアンネットワークは大脳新皮質か
4

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
5

確率の概要
x:事象
実験などにより観測されて起こる出来事
X:確率変数
事象と実数を対応付けた変数
P(x):
事象eが起こる確率
6

主観確率と客観確率の定義
主観確率とは
 人の主観的な信念の度合い
 例)試験に合格する確率が70%
客観確率とは
 客観的な実験結果により得られる確率
 例)コインを投げて表が出る確率
主観確率客観確率
7
ベイズ確率

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
8

条件付き確率
条件付き確率 𝑃(𝐴 = 𝑎|𝐵 = 𝑏)
 事象B=bのもとで事象A=aとなる確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
Ex)01の信号を伝達するとき
0を送って正しく0が受け取られる確率
0を送信 1を送信
0を受信
1を受信
9

条件付き確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
10

条件付き確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
0を受信
1を受信
11

条件付き確率
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
0を受信
1を受信
12

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
13

ベイズの定理
条件付き確率の定義 𝑃 𝑎 𝑏 =
𝑃(𝑎∩𝑏)
𝑃(𝑏)
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
・・・(1)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2)
𝑃 𝑏 𝑎 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑎)
・・・(3)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4)
14

ベイズの定理
条件付き確率の定義 𝑃 𝑎 𝑏 =
𝑃(𝑎∩𝑏)
𝑃(𝑏)
𝑃 𝑎 𝑏 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑏)
・・・(1)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏)・・・(2)
𝑃 𝑏 𝑎 =
𝑃(𝑎 ∩ 𝑏)
𝑃(𝑎)
・・・(3)
𝑃(𝑎 ∩ 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎)・・・(4)
15

ベイズの定理
(2),(4)より
𝑃 𝑏 𝑎 𝑃(𝑎)=𝑃 𝑎 𝑏 𝑃(𝑏)・・・(5)
𝑃 𝑏 𝑎 =
𝑃 𝑎 𝑏 𝑃(𝑏)
𝑃(𝑎)
𝑃 𝑎 ≠ 0・・・ 6
16
事前確率事後確率尤度

ベイズの定理の拡張
𝑃(𝑎) = 𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏𝑖 𝑃 𝑏𝑖 ・・・(7)
𝑃 𝑏 𝑎 =
𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖)
・・・(8)
b:原因 a:結果
𝑃 𝑏 𝑎 =
𝐵∋𝑏 𝑖
𝑃 𝑎|𝑏 𝑖 𝑃(𝑏 𝑖)
事前確率事後確率尤度
17

ベイズの定理
ベイズの定理により・・・
結果から原因の推定が可能
例)
慶応大学の学園祭でナンパしている人が
慶応大生であるかの推定
18

ベイズの定理
慶応大生である確率P(k)=0.5
ある質問に対し間違ったとき
慶応大生である確率は・・・
𝑃 𝑘 誤る =
𝑃 誤る 𝑘 𝑃(𝑘)
𝑃 誤る 𝑘 𝑃 𝑘 + 𝑃 誤る 𝑘 𝑃( 𝑘)
=
0.05 ∗ 0.5
0.05 ∗ 0.5 + 0.99 ∗ (1 − 0.5)
=
25
520
≅ 0.048
正しく
答える
誤る
慶応大生 0.95 0.05
他の大学生 0.01 0.99
19

ベイズ更新
 事後確率を更新する手法
𝑃(𝑎|𝑏)
20

ベイズ更新
質問に対し間違ったとき
𝑃 𝑘 誤る =
=
0.1 ∗ 0.048
0.1 ∗ 0.048 + 0.995 ∗ (1 − 0.048)
=
480
95204
≅ 0.005
正しく
答えられる
誤る
慶応大生 0.9 0.1
他の大学
生
0.005 0.995
21
この手法がベイズ更新

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
22

最尤推定法
 最尤推定法
𝑃 𝐴 = 𝑎 𝐵 を推定する方法
サンプルに対し
当てはまりの良いモデルを推定する
P(a=a|B)
B
σ
μ
𝜃 = {𝜇, 𝜎}
23

最尤推定法
P(a=a|B) B
σ
μ
𝜃 = {𝜇, 𝜎}
分布の形が分かっているとき
一意に決まる

最尤推定法
N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率
𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9)
𝑃 𝐷 𝜃 :尤度関数
ある𝜃により決まるモデルによるデータの
発生確率を求める
P(a=a|B)
B
σ
μ
𝜃 = {𝜇, 𝜎}
25
尤度小

最尤推定法
N個のデータD{𝑥1, ・・・, 𝑥 𝑁}の発生確率
𝑃 𝐷 𝜃 = 𝑃 𝑥1 𝜃 ∙ 𝑃 𝑥2 𝜃 ∙ ⋯ ∙ 𝑃 𝑥 𝑁 𝜃 ・・・(9)
𝑃 𝐷 𝜃 :尤度関数
モデルによるデータの発生確率が最大
→尤もらしいモデル!!!
P(a=a|B)
B
𝜃 = {𝜇, 𝜎}
26
尤度大

ベイズ推定法
 ベイズ推定法
事後確率(分布)を推定するための手法
ベイズの定理やベイズ更新によりデータが
得られるたびに確率分布を更新する
例)
・慶応大学でナンパしている人が慶応大生で
あるかの推定
27

ベイズ推定法
𝑃 𝑘 誤る =
正しく
答える
誤る
慶応大生 0.95 0.05
他の大学生 0.01 0.99
28
値

ベイズ推定法
𝑃 𝑘 誤る =
𝑃 誤る 𝐾 𝑃(𝐾)
正しく
答える
誤る
慶応大生 0.95 0.05
他の大学生 0.01 0.99
29
確率分布

ベイズ推定法
𝑃 𝐾 誤る =
𝑃 誤る 𝐾 𝑃(𝐾)
正しく
答える
誤る
慶応大生 0.95 0.05
他の大学生 0.01 0.99
0
0.5
1
0 0.5 1
P(K)
K
事前確率
0
0.5
1
0 0.5 1
P(X)
X:質問への回答
P(質問への回答)
0
0.5
1
0 0.5 1
P(質問への回答|K)
K
尤度
30

ベイズ推定法
𝑃 𝑘 誤る =
正しく
答える
誤る
慶応大生 0.95 0.05
他の大学生 0.01 0.99
0
0.5
1
0 0.5 1
P(K|誤った)
K
事後確率
31

最尤推定法とベイズ推定法
最尤推定法とベイズ推定法の違い
最尤推定法ベイズ推定法
推定するもの尤度事後確率(分布)
データ量大量少なくても推論可
モデルの更新なしあり
32

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
33

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
34

ベイジアンネットワークとは
 ベイジアンネットワークとは
原因や結果が互いに影響を及ぼす事象を
ネットワークで表した確率グラフ
 できること
確率的統計に基づいて原因→結果
結果→原因の関係を推定
35

ベイジアンネットワークの構成要素
ノード:事象,確率変数
アーク:ノードを繋ぐ矢印
CPT(Conditional probability table)
:条件付き確率表
y1 y2
X=1
X=2
・・・
36

ベイジアンネットワークの性質
因果独立の仮定
アークによりつながっている直接の親ノード
以外は因果的に独立とする
代表から発表を
依頼される
ニコ生で
発表する
大澤が嫌い
になる
友達に
いじられる
炎上する
37

代表の大澤から発表を
依頼される
ニコ生で
発表する
大澤が嫌い
になる
友達に
いじられる
炎上する
38

同時確率を求める際の
試行の組み合わせを少なくできる
39

たとえば・・・
5個のノードが2値の確率変数の
同時確率を求めるための組み合わせ
25
= 32
依頼発表嫌い炎上いじられる P(依頼,発表,嫌い,炎上,いじられる)
0 0 0 0 0 0.12
0 0 0 0 1 0.06
0 0 0 1 0 0.2
0 0 0 1 1 0.17
・
・
・
40

右図のベイジアンネットワークでは・・・
同時確率は
𝑃 依頼, 発表, 嫌い, 炎上, いじられる
= 𝑃 依頼 𝑃 嫌い依頼 𝑃 発表依頼
𝑃 炎上発表 (いじられる|発表)・・・(10)
41

発表依頼 P(発表|依頼)
0 0 0.2
0 1 0.1
1 0 0.4
1 1 0.3
炎上発表 P(炎上|発表)
0 0 0.3
0 1 0.1
1 0 0.2
1 1 0.4
42

発表いじられる P(いじられる|発表)
0 0 0.1
0 1 0.5
1 0 0.2
1 1 0.2
依頼嫌い P(嫌い|依頼)
0 0 0.3
0 1 0.1
1 0 0.2
1 1 0.4
43

右図のベイジアンネットワークの同時確率
これら4つの表の組み合わせで
表現できる
𝑃 𝐴, 𝐵, 𝐶, 𝐷, 𝐸 = 𝑃 𝐴 𝑃 𝐶 𝐴 𝑃 𝐵 𝐴 𝑃 𝐷 𝐵 𝑃(𝐸|𝐵)は
44

ノード間の因果関係
 BNは以下の3つの組み合わせでできている
(1) (2) (3)
45

(1)Head-to-tail connection
Bが決定すると・・・
その親ノードと子ノードは独立になる
一方、Bの値が分からないと・・・
CはAの影響を受ける
A
B
C
代表から発表
を依頼される
ニコ生で喋るニコ生で炎上する
事象が発生ここの確率
は??
46

 (2)Tail-to-tail connection
Aが決まるとBとCは独立になる
(各ノードは親ノードの値のみから値が決まる)
BだけがわかるとB→Aに影響を与え
A→Cへ影響を与える
A
B C
47

 (3)Head-to-head connection
A,Bは親ノードを共有していない
→独立
Cが決まると独立ではなくなる
Cが生起するけれどAは生起していない
→Bが生起した確率は高そう
A B
C
Explaining away effect
48

どんなに複雑なモノでも
これら3つの組み合わせでできている
A
B C
F
G
ED
ベイジアンネットワークと同時確率
49

どんなに複雑なモノでも
これら3つの組み合わせでできている
A
B C
F
G
ED
50

この部分だけ見ると
P(E,F,G)=P(E)P(F|E)P(G|F)
E
F
G
51

P(B,D,E)=P(B)P(D|B)P(E|B)
ED
B
52

P(B,C,E)=P(B)P(C)P(E|B,C)
E
CB
53

 同時確率を部分的に求められる
 全体の同時確率は
それらを組み合わせて求まる
P(A,B,C,D,E,F,G)
=P(G|F)P(F|E)P(E|B,C)P(C|A)P(D|B)P(B|A)
P(A)
A
B C
F
G
ED
54

 周辺化とは
同時確率をいくつかの確率変数を消して
得ること
周辺化
B P(B|A)
A P(A)
𝑃(𝐵 = 𝑏) =
𝐴∋𝑎 𝑖
𝑃 𝑏|𝑎𝑖 𝑃(𝑎𝑖)
55

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
56

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
57

ベイジアンネットワーク構築の流れ
データ→ 構造学習 →条件付き確率の決定→
確率推論
・MWSTアルゴリズム
・AICアルゴリズム
・確率伝播法
・k2アルゴリズム
・ジャンクションツリーアルゴリズム
58

ベイジアンネットワーク構築の流れ
確率推論
・確率伝播法
59

ベイジアンネットワーク構築の流れ-構造学習
確率推論
・確率伝播法
60

MWSTアルゴリズム
 仮定:ベイジアンネットワークは木構造
 真の同時分布:P(T)
 BNから得られる同時分布:𝑃𝐵𝑁 𝑇
(右図でのP(A,B,C,D,E))
これらの近さをKL情報量で表す:𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )
→近さが最小なら真のモデルに最も近い!!
B
DC
A観測したデータより求められる
E
61

62
𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 の近さ𝐼(𝑃 𝑇 , 𝑃𝐵𝑁 𝑇 )を最小化
→ 𝐽 𝐻 (𝑥 𝑘 , 𝑥 𝑘′)を最大化に帰着
H:相互情報量
同様に
全てのノード間のHを
計算しHを最大化する
B
D
C
A
E
𝐻(𝐴, 𝐵)
𝐻(𝐴, 𝐷)𝐻(𝐴, 𝐶)
𝐻(𝐴, 𝐸)
EX)

63
Hは相互情報量𝐻 𝑥 𝑘 , 𝑥 𝑘′ =
− 𝑃 𝑥 𝑘 , 𝑥 𝑘′ 𝑙𝑜𝑔
𝑃 𝑥 𝑘 ,𝑥 𝑘′
𝑃 𝑥 𝑘 𝑃 𝑥 𝑘′
つまり・・・
相互情報量Hの最も大きくなる場所に
アークを追加していけばよい
C.K. CHOW:Approximationg Discrete Probability Distributions with
Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION
THEORY, VOL.IT-14,NO.3,MAY 1968

仮定:木構造
(1)すべてのノード間の相互情報量を求め
情報量が最大となる枝を選択
(2)ループができるならやめて
次に情報量の大きい枝を選択
(3)アークがn-1になるまで繰り返す
64

 例)
 上表について木を作ってみる。
H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.025 0.001
C 0.001 0.2
D 0.08
E
65
各ノード間の相互情報量

H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A
66

H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
67

H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
68

H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
ループ
69

H A B C D E
A 0.02 0.3 0.09 0.1
B 0.26 0.02
5
0.00
1
C 0.00
1
0.2
D 0.08
E
C
A B
E
70
D

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
71

確率伝播法
確率伝播法とは
 事後確率を求める方法
𝑃 𝐴|𝐷 は? ?
𝑃 𝐴|𝐸 は? ?
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)Ex)
C
P(C|B)
72

ベイジアンネットワーク構築の流れ-構造学習
確率推論
・確率伝播法
73

確率伝播法
事後確率
𝑃 𝐴|𝐷 =
𝑃(𝐴, 𝐷)
𝑃(𝐷)
=
1
𝑃(𝐷)
𝐵 𝐶 𝐸
𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸)
=
1
𝑃(𝐷)
𝐵 𝐶 𝐸
P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)Ex)
C
P(C|B)
・・・(11)
74

確率伝播法
事後確率
𝑃 𝐴|𝐸 =
𝑃(𝐴, 𝐸)
𝑃(𝐸)
=
1
𝑃(𝐸)
∗
𝐵 𝐶 𝐷
𝑃(𝐴, 𝐵, 𝐶, 𝐷, 𝐸)
=
1
𝑃(𝐸)
𝐵 𝐶 𝐷
P(E|B)P(D|C)P(C|B)P(B|𝐴)P(𝐴)・・・
(12)
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)Ex)
C
P(C|B)
効率が悪い
75

確率伝播法
 事後確率を求めるための工夫
メッセージ 𝑚 𝑋𝑌 = 𝐴 𝑃 𝑋 𝐴 ・𝑚 𝐴𝑋
順方向への伝播
𝑚 𝐴𝐵 = 𝑃 𝐴
𝑚 𝐵𝐶 = 𝑚 𝐵𝐸 =
𝐴
𝑃 𝐵 𝐴 ・𝑚 𝐴𝐵 = 𝑃(𝐵)
・・・
𝑚 𝐴𝐵
𝑚B𝐶
A
B
D
E
P(E|B)
P(B|A)
P(D|C)
P(A)
Ex)
CP(C|B)
Y X A
𝑚 𝑋𝑌 𝑚 𝐴𝑋
P(X|A)
76

確率伝播法
逆方向への伝播
𝑚 𝐷𝐶 = 𝑃 𝐷 𝐶
𝑚 𝐶𝐵 =
𝐶
𝑃 𝐶 𝐵 ・𝑚 𝐷𝐶
𝑚 𝐸𝐵 = 𝑃 𝐸 𝐵
𝑚 𝐵𝐴 =
𝐵
𝑃 𝐵 𝐴 ・(𝑚 𝐶𝐵+𝑚 𝐸𝐵)
A
B
D
E
P(E|B)
P(B|A)
P(A)Ex)
C
P(C|B)
P(D|C)P(C,E|B)
P(D|C)
77

ベイジアンネットワークの特徴
 結合の強さは条件付き確率([0,1]の値)
 推論時の情報の流れが双方向
 因果確率の仮定から局所的に学習が可能
 局所的な推論も可能
S
A C
𝑚 𝑆𝐴
B G
𝑚 𝑆𝐴
79

もくじ
導入
 確率の概要
 学習の流れ
 条件付き確率の決定
 構造学習
80

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
81

大脳新皮質の概要
82
 理性・知性をつかさどる
 視覚野や聴覚野、運動野など52の領野に
分けられそれぞれの領野で働きなどが異なる

大脳新皮質の特徴
 均質構造
基本構造が似ていて領野にかかわらず
構造や処理は均質
 階層構造
領野間には上下関係がある
上の階層へ行くほど情報が抽象化される
83

 6層構造
細胞の形状や密度が異なる
上向きの経路,下向きの経路がある
Layer
1
Layer
1
Hawkins,J.et al., 2004,”On Intelligence,”Times
Books.
84

 コラム構造
複数の神経細胞からなる柱状の構造
・ミニコラム
・マクロコラム
特定の入力パターンに対して
特定のコラムが反応する.
学習後:
入力パターンが不完全でも細胞が興奮する
85

もくじ
導入
 確率の概要
 学習の流れ
 構造学習
 確率推論
86

ベイジアンネットワークと大脳新皮質
ベイジアンネットワークと大脳新皮質の類似点
 情報の流れが双方向
 不完全なデータでも推論ができ、局所的な
学習ができる
A
B
D
𝑚 𝐵𝐴
C
E
𝑚 𝐴𝐵
コラム構造
87

ベイジアンネットワークと大脳新皮質の類似点
 長期記憶
 処理は内積の計算程度
 因果関係から合理的な推論ができる
88

大脳新皮質モデルに有効か??
問題
特徴抽出ができない
89

90
 大脳新皮質
 上位の領野へ行くほど情報が抽象化される
一方・・・
抽象化に必要な特徴抽出が
ベイジアンネットワークではできない

問題
特徴抽出ができない
→BESOMモデルの提案
91

BESOMとは・・・
SOM+ベイジアンネットワーク
ネットワーク構造は固定
確率伝播アルゴリズムの工夫
データ→学習ステップ→認識ステップ
92

BESOMモデルと大脳新皮質
確率変数値:ミニコラム
ノード:マクロコラム
構造の固定
SOMで入力の抽象化
確率伝播法の工夫
引用元上:一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研究所テクニカル
レポート AIST11-J00009,2011による図を一部修正
下: 一杉裕志,大脳皮質とベイジアンネット, 日本ロボット学会誌 ol.29 No.5, pp414, 2011
による図を一部修正
93

他の大脳新皮質モデル
大脳新皮質モデル
 DeSTIN
 HTM
 階層HMM
共通の部分
・階層構造
・時系列処理
94

BESOMは大脳新皮質のモデルに有効か
大脳新皮質と多くの類似点がある
しかし・・・
ベイジアンネットワークやBESOMは長期記憶
→時系列処理は実装されていない
95

一杉裕志:大脳皮質とベイジアンネット,
日本ロボット学会誌 Vol.29 No.5, pp414,
2011
Hawkins,J.et al., 2004,
”On Intelligence,”Times Books.
確率伝播アルゴリズムの工夫
- 近似確率伝播アルゴリズム
96

2011
4層→3層
97

2011
第3層→上位領野第4層
98

2011
第5層→下位領野第1層
99

2011
第5層→下位領野第1層
100

2011
対応が取れている!!!
101

2011
一方・・・
102

2011
第1層水平繊維
103

2011
第4層→第2層
104

まとめ
 ベイジアンネットワークを用いたモデルは
・多くの類似点がある
・時系列処理は出来ない
105

参考文献
[1]一杉裕志:大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5,
pp412-415, 2011
[2]長谷川亮,白石俊彦,森下信:A Study on a Neural Network Based on
Structual Characteristics of Cerebral Neocortex,日本機械学会 Dyn Des
Conf (CD-ROM),2008,ROMBUNNO.448,2008
[3]安田宗樹, 片岡駿，田中和之:
確率的グラフィカルモデル-ベイジアンネットワークとその周辺-
オペレーションズ・リサーチ:経営の科学，58(4), pp.191-197, April 2013.
[4]Yuuji ICHISUGI:The cerebral cortex model that self-organizes
conditional probability tables and executes belief propagation, In Proc.
Of International Joint Conference on Neural Networks
(IJCNN2007),pp.1065-1070,Aug 2007.
106

参考文献
[5]解説：「確率伝播アルゴリズムとは」
https://staff.aist.go.jp/y-ichisugi/besom/20100226what-is-bp.pdf
[6]荒木雅弘,フリーソフトで始める機会学習入門,森北出版株式会社,2014
[5]C.K. CHOW:Approximationg Discrete Probability Distributions with
Dependence Trees,JEEE TRAINSACTIONS ON INFORMATION THEORY,
VOL.IT-14,NO.3,MAY 1968
[6]一杉裕志、細谷晴夫：BESOM を用いたスパース符号化の一手法,電子情報
通信学会技術研究報告ニューロコンピューティング,Vol.109 No.461, pp.345--
350, Mar 2010.
[7]全脳アーキテクチャへの要求仕様
https://docs.google.com/document/d/1Hmngsuz4mELlGlMIQTC6jJM3enoS
1lJPkJFZ-Hy_6Ew/edit?pli=1#
107

参考文献
[8]一杉裕志,大脳皮質のアルゴリズム BESOM Ver.2.0, 産業技術総合研
究所テクニカルレポート AIST11-J00009,2011
108

全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク

Similar to 全脳アーキテクチャ若手の会機械学習勉強会ベイジアンネットワーク (8)