Chapter13.2.3

2,421 views

Published on

Published in: Sports, Entertainment & Humor
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,421
On SlideShare
0
From Embeds
0
Number of Embeds
775
Actions
Shares
0
Downloads
32
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Chapter13.2.3

  1. 1. 第16回PRML読書会 発表資料 13.2.3 HMMの積和アルゴリズム 2010/07/17 Presented by takmin
  2. 2. この章で言いたいこと • 積和アルゴリズムでもフォワード-バックワード アルゴリズムが導出できる
  3. 3. おさらい:積和アルゴリズム • グラフィカルモデルにおける各ノード x n の周 辺分布 p ( xn ) を求めるアルゴリズム • 有向/無向グラフを因子グラフに変換し,各 ノードからメッセージを計算しながら伝搬する p(z1 ) p(z 2 ) p ( z n 1 ) p(z n ) p ( z n 1 ) 求まる
  4. 4. おさらい:積和アルゴリズム • 因子グラフ – 確率モデルを因数分解の形で表したグラフ p( x1 , x2 , x3 , x4 , x5 )  f1 ( x1 , x2 ) f 2 ( x2 , x3 , x4 ) f 3 ( x4 , x5 ) x5 x3 x1 変数 ノード 因子 f 3 ( x4 , x5 ) f 2 ( x2 , x3 , x4 ) f1 ( x1 , x2 ) ノード x4 x2
  5. 5. おさらい:積和アルゴリズム • 因子グラフの作り方 f ( x1 , x2 , x3 ) p( x1 ) p ( x2 )  p( x3 | x1 , x2 ) p( x1 ) p( x2 ) p( x3 | x1 , x2 ) 有向グラフ 因子グラフ
  6. 6. おさらい:積和アルゴリズム • 因子グラフの作り方 f a ( x1 )  p( x1 ) f b ( x2 )  p ( x 2 ) p( x1 ) p ( x2 ) f c ( x1 , x2 , x3 )  p( x3 | x1 , x2 ) p( x3 | x1 , x2 ) 有向グラフ 因子グラフ
  7. 7. おさらい:積和アルゴリズム • メッセージの伝搬 – 各変数ノード,因子ノードでの計算結果を伝搬し ていき,各変数ノードにおける分布 p ( xn ) を求め る x5 x3 x1 x  f 5 3 f x  f 1 1 2  x3 f3 f f2 f1 3  x4 x  f 2 2  f x x4 x  f 4 2 x2 1 1
  8. 8. おさらい:積和アルゴリズム 1. 始点(葉ノード)を決めて,メッセージの伝搬 を開始する – 始点が変数ノードの場合  x f  x  f ( x)  1 (8.70) x f – 始点が因子ノードの場合  f x  f  x ( x)  f ( x) (8.71) f x
  9. 9. おさらい:積和アルゴリズム 2. 各ノードでメッセージを計算 – 変数ノードの場合 x m  fs ( xm )   lne( xm ) f s f l  xm ( xm ) (8.69) f1  f x m 1 ・ ・ x m fs fl ・ ・ ・ xm fs fL ・
  10. 10. おさらい:積和アルゴリズム 2. 各ノードでメッセージを計算 – 因子ノードの場合  f  x ( x)   f s ( x, x1 ,, xM ) s  xm  f s ( xm ) x1 xM mne( f s ) x x1 (8.66) x  f s 1 ・  f x ・ s xm ・ ・ ・ fs x xM ・
  11. 11. おさらい:積和アルゴリズム 3. メッセージが根ノードに達したら,葉ノードに 向けて逆向きにメッセージを伝搬していく (a)葉ノードから根ノードへ (b)根ノードから葉ノードへ
  12. 12. おさらい:積和アルゴリズム 4. 逆伝播メッセージが葉ノードまで達したら, 各変数ノードの周辺分布 p ( xn ) を以下の式で 求める p( xn )    f s  xn ( xn ) (8.63) sne( xn ) fs  f x s f1 fS x
  13. 13. おさらい:積和アルゴリズム 5. 各因子ノードに接続された周辺の変数群 x s の同時分布は以下の式で求める p(x s )  f s (x s )  ine( f s ) xi  f s ( xi ) (8.72) xi x  f i s fS
  14. 14. HMMの積和アルゴリズム • HMMを因子グラフへ変換 有向グラフ 観測値は因子ノードに 入れてしまう 因子グラフ
  15. 15. HMMの積和アルゴリズム • HMMを因子グラフへ変換 HMM N  N p(x1 ,, x N , z1 ,, z N )  p(z1 )  p(z n | z n1 ) p(x n | z n )  n2  n1 (13.6)
  16. 16. HMMの積和アルゴリズム • HMMを因子グラフへ変換  N  N p(x1 ,, x N , z1 ,, z N )  p(z1 )  p(z n | z n 1 ) p(x n | z n )  n2  n 1 N  h(z1 ) f n (z n 1 , z n ) n2 h(z1 )  p(z1 ) p(x1 | z1 ) (13.45) f n (z n 1 , z n )  p(z n | z n 1 ) p (x n | z n ) (13.46)
  17. 17. HMMの積和アルゴリズム 1. 始点(葉ノード)を決めて,メッセージの伝搬 を開始する  h z 1 h z1 hz (z1 )  h(z1 ) 1
  18. 18. HMMの積和アルゴリズム 1. 始点(葉ノード)を決めて,メッセージの伝搬 を開始する – フォワード-バックワードアルゴリズムとの比較 積和アルゴリズム hz (z1 )  h(z1 )  p(z1 ) p(x1 | z1 ) 1 (13.45)  (z1 )   f n z n (z1 ) フォワード-バックワードアルゴリズム  (z1 )  p(z1 ) p(x1 | z1 ) (13.37)
  19. 19. HMMの積和アルゴリズム 2. 各ノードでメッセージを計算 – 変数ノードの場合 z n  f n1 (z n )   f l z n lne( z n ) f n1 (z n ) (8.69)   f n z n ( z n ) (13.47) f n z n z n f n 1 fn zn f n 1
  20. 20. HMMの積和アルゴリズム 2. 各ノードでメッセージを計算 – 因子ノードの場合 f n z n (z n )   f s (z n , z m )  zm  fn (z m ) (8.66) zm mne( f n ) z n   f n (z n 1 , z n )  z n1  f n (z n 1 ) (13.48) z n1 z n1  f n f n z n z n 1 fn zn
  21. 21. HMMの積和アルゴリズム 2. 各ノードでメッセージを計算 変数ノード: z n  fn (z n1 )   f n1 z n1 (z n1 ) (13.47) 因子ノード: f n z n (z n )   f n (z n1 , z n )  z n1  f n (z n1 ) (13.48) z n1 f n z n (z n )   f n (z n1 , z n )  f n1 z n1 (z n1 ) (13.49) z n1
  22. 22. HMMの積和アルゴリズム 2. 各ノードでメッセージを計算 – フォワード-バックワードアルゴリズムとの比較 積和アルゴリズム f n z n (z n )   f n (z n 1 , z n )  f n1 z n1 (z n 1 ) (13.49) z n1 (13.46)   p(z n | z n 1 ) p(x n | z n )  f n1 z n1 (z n 1 ) z n1  (z n )   f n z n (z n ) フォワード-バックワードアルゴリズム  (z n )  p(x n | z n )  (z n1 ) p(z n | z n 1 ) (13.36) z n1
  23. 23. HMMの積和アルゴリズム 2. 各ノードでメッセージを計算 – フォワード-バックワードアルゴリズムとの比較  (z n )   f n z n (z n ) (13.50)
  24. 24. HMMの積和アルゴリズム 3. メッセージが根ノードに達したら,葉ノードに 向けて逆向きにメッセージを伝搬していく – 根ノードの始点が変数ノード z N  fN (z N )  1 (8.70) z N  fN fN zN
  25. 25. HMMの積和アルゴリズム 3. メッセージが根ノードに達したら,葉ノードに 向けて逆向きにメッセージを伝搬していく – フォワード-バックワードアルゴリズムとの比較 積和アルゴリズム z N  fN (z N )  1 (8.70)  (z N )   z N  fN (z N ) フォワード-バックワードアルゴリズム  (z N )  1 (13.37)
  26. 26. HMMの積和アルゴリズム 3. メッセージが根ノードに達したら,葉ノードに 向けて逆向きにメッセージを伝搬していく z n  fn (z n )   f n1 z n (z n )   f n1 (z n , z n1 )  z n1  f n1 (z n1 ) (13.51)’ z n1 z n  fn f n1  z n z n1  f n1 fn zn f n 1 z n 1
  27. 27. HMMの積和アルゴリズム 3. メッセージが根ノードに達したら,葉ノードに 向けて逆向きにメッセージを伝搬していく – フォワード-バックワードアルゴリズムとの比較 積和アルゴリズム z n  fn (z n )   f n 1 (z n , z n 1 )  z n1  f n1 (z n 1 ) (13.51)’ z n1 (13.46)   p(z n 1 | z n ) p(x n 1 | z n 1 )  z n1  f n1 (z n 1 ) z n1  (z n )   z n  fn (z n ) フォワード-バックワードアルゴリズム  (z n )    (z n1 ) p(x n1 | z n1 ) p(z n1 | z n ) (13.38) z n1
  28. 28. HMMの積和アルゴリズム 3. メッセージが根ノードに達したら,葉ノードに 向けて逆向きにメッセージを伝搬していく – フォワード-バックワードアルゴリズムとの比較  (z n )   z n  fn (z n ) (13.52)’
  29. 29. HMMの積和アルゴリズム 4. 逆伝播メッセージが葉ノードまで達したら, 各変数ノードの周辺分布 p ( z n ) を以下の式で 求める p ( z n )    f s z n ( z n ) (8.63)’ sne( z n )   f n z n (z n )  f n1 z n (z n ) f n z n f n1  z n fn zn f n 1
  30. 30. HMMの積和アルゴリズム 周辺分布 p ( z n ) は既に観測変数 X  x1 ,  , x N  により条件付けられているので, p(z n , X)   f n z n (z n )z n  f n (z n )   (z n ) (z n ) (13.53) p(z n , X)  (z n ) (z n )  (z n )   (13.54) p(X) p( X) (13.33)と同じγ (zn)が導けた!
  31. 31. HMMの積和アルゴリズム 5. 各因子ノードに接続された周辺の変数群 x s の同時分布は以下の式で求める p(x s )  f s (x s )  ine( f s ) xi  f s ( xi ) (8.72) p(z n1 , z n )  f n (z n1 , z n )z n  f n (z n )z n1  f n (z n1 ) z n1  f n z n  fn z n 1 fn zn
  32. 32. HMMの積和アルゴリズム 演習13.11 ξ (zn-1, zn)を導く p(z n1 , z n , X)  f n (z n1 , z n ) z n  f n (z n ) z n1  f n (z n1 )  p(z n | z n1 ) p(x n | z n )  (z n ) (z n1 ) p(z n 1 , z n , X)  (z n 1 , z n )  p(z n 1 , z n | X)  p ( X)  (z n 1 ) p(x n | z n ) p(z n | z n 1 )  (z n )  p ( X) (13.43)と同じξ (zn-1, zn)が導けた!
  33. 33. まとめ • 積和アルゴリズムでもフォワード-バックワード アルゴリズムと同じことができた。
  34. 34. ご静聴ありがとうございました。

×