ベイズ推論によるインタラクションの数理モデリング@京都工芸繊維大学

1. ベイズ推論による
インタラクションの数理モデリング
奈良先端科学技術大学院大学
数理情報学研究室
池田 和司

2. ビッグデータと人工知能
2(Silver+ Nature 2016)(Krizhevski+ NIPS 2012)

3. 現実はスモールデータ
N=10
3
Q.1:
8
Q.2:
8
10s
2s
60s
12 /
4s
Q.1 10s
Q.2 10s
or

4. スモールデータにはベイズ推論
すべては確率変数
観測されないものは周辺化
4
p y x( )=
p x,y( )
p x( )
=
p x y( )p y( )
p x y( )p y( )dy∫
p x D( )= p x θ( )p θ D( )dθ∫

5. ベイズ推論は役に立つ
モンティ・ホール問題
5(math.cornell.edu/~mec)

6. ベイズ推論の例
ある両親から3人連続して女の子が生まれた．
次に男の子が生まれる確率は?
6
P 0,0,0{ }| p( )= p
xk∑
1− p( )
n− xk∑ = 1− p( )
3
P p( )=
p0
1− p( )
0
B 1,1( )
=1 B α,β( )= pα−1
1− p( )
β−1
dp
0
1
∫
P p | 0,0,0{ }( )=
1− p( )
3
B 1,4( )
B 1,4( )= 1− p( )
3
dp
0
1
∫ = −
1− p( )
4
4
0
1
=
1
4
E p[ ]= p⋅ 4 1− p( )
3
dp
0
1
∫ = −p 1− p( )
4
0
1
+ 1− p( )
4
dp
0
1
∫ =
1
5
p y x( )=
p x,y( )
p x( )
=
p x y( )p y( )
p x y( )p y( )dy∫

7. ヒトもベイズ推論している
A Bayesian approach can contribute to an
understanding of the brain on multiple levels, by
giving normative predictions about how an ideal
sensory system should combine prior knowledge
and observation, by providing mechanistic
interpretation of the dynamic functioning of the
brain circuit, and by suggesting optimal ways of
deciphering experimental data. Bayesian Brain
brings together contributions from both
experimental and theoretical neuroscientists
7(Doya+ 2006)

8. ベイズ推論は過学習しにくい
Probabilistic Tucker Decomposition
8
p X U,V,Z( )= p X T,U,V,Z( )p T( )dT∫
(Chu&Ghahramani AIStat 2009)

9. 過学習しにくい理由がある
9
KL n( )= F n +1( )− F n( )
F n( )≤ λ1 logn − m1 −1( )loglogn + C1
(Watanabe NECO 2001)5

10. ベイズ推論は実はポピュラー
カルマンフィルタは逐次ベイズ推論
10(cs.unc.edu/~tracker)
p x D( )= p x θ( )p θ D( )dθ∫

11. 応用先で価値があれば評価される
細胞分裂時刻予測
11(Kozawa+ SciRep 2016)
Bayesian Inference Maximum Likelihood

12. ノンパラメトリックベイズ法
モデルサイズをデータから自動的に決定
12(Konishi+ IEEE-TNNLS 2015)

13. 混合ガウス分布 (GMM)
13
p y θ( )= π j N y µk ,Σk( )
k=1
K
∑
N y µ,Σ( )=
1
2π( )
D
2 Σ
1
2
exp −
1
2
y − µ( )T
Σ−1
y − µ( )

14. GMMのベイズ推定
共役事前分布を導入
14
p y θ( )= π j N y µk ,Σk( )
k=1
K
∑
NormalInvWishart µk ,Σk µ0,Σ0,κ0,ν0( )
Dir π1,...,πK
α
K
,...,
α
K
(www.singularpoint.org/blog/r/inverse-wishart-graphic)

15. GMMのベイズ推定
カテゴリの事前確率
カテゴリの事後確率
15
P ci = k( )=
α
K
P ci = k c−i( )=
n−i,k +α / K
n −1+α

16. 無限GMMは中華料理店過程 (CRP)
16
P ci = k c−i( )=
n−i,k
n −1+α
P ci = K +1 c−i( )=
α
n −1+α
1 2
3 4 5
67
6

17. ノンパラベイズの派生型
ガウス分布の代わりに
HMM, NMF, ICA, …
CRPの代わりに
BP, HDP, IBP,
Mondrian, …
17(Nakano SIG Challenge 2012)

18. Beta Process-Autoregressive-HMM
著者がパッケージを公開
18
(Fox+ Annals App. Stat. 2014)
B = ωkδθk
k=1
K
∑ B B0,c ~ BP c,B0( ) fi B ~ BeP B( )
π j
i( )
fi ,γ ,κ ~ Dir γ ,...,γ ,γ +κ,γ ,...,γ[ ]( ) zt
i( )
~ πzt−1
i( )
i( )
yt
i( )
= Azt
i( ) yt−1
i( )
+ εt
i( )

19. BP-AR-HMMのデモ
19

20. 運転行動解析への応用例
セグメント化の結果 ブレーキの予測
20
(Hamada+ IEEE-TIV 2016)

21. 十姉妹の歌への応用例
十姉妹の歌は先天的か後天的か
21(Hamada+ MLSP 2014)

22. ノンパラベイズ法の改良
IGMMに準教師あり学習を導入
22
P ci = k c−i( )=
n−i,k
n −1+α
P ci = K +1 c−i( )=
α
n −1+α
(Watanabe+ FENS 2014)

23. 準教師あり学習の効果
23

24. 準教師あり学習の効果
Human IGMM SIGMM
24

25. 介護支援ロボットへの応用例
25(Koganti+ IEEE-TRO 2017)

26. MoCapと深度計の情報を統合
26

27. Manifold Relevance Determination
f, g: ガウス過程による写像
ARDによる次元削減
27
y = f x( )+ εy
z = g x( )+ εz
k x, ′x( )= σ f
2
exp −
1
2
wq xq − ′xq( )
2
q=1
Q
∑

28. MRDによる衣服状態推定
28

29. 推定精度評価
PCAとの比較
PCA BGPLVM
29

30. まとめ
少数データにはベイズ推論
隠れ変数の導入が性能を向上させる
ノンパラベイズはモデルサイズを自動調整
要素の変更で多くの問題に適用可能
30