第17回CV勉強会@関東 発表資料 大規模確率場と確率的画像処理        3,4節        2011/11/06    Presented by takmin
おさらい• 加法定理と乗法定理   加法定理     p( X )   p( X , Y )               Y   乗法定理     p( X , Y )  p(Y | X ) p( X )
おさらい• 加法定理と乗法定理
おさらい• 最尤推定             N  p(x | θ)   p( xn | θ)  尤度        n 1                 観測データ   パラメータ                 サンプルデータが観測...
おさらい• ベイズ推論            p(x | θ) p(θ) p(θ | x)                p ( x) 事後分布                                N          p(x |...
ノイズ生成モデル• 観測された画像yは元々の画像xに加法的白  色ガウスノイズnが加わったものとみなす。    Y  Xn               (27)   観測画像   元画像   ノイズ   X                 ...
ノイズ生成モデル• 観測された画像yは元々の画像xに加法的白  色ガウスノイズnが加わったものとみなす。                観測画像 Y                     ノイズ                 元画像 X
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。                     Q 1       E ( X i | Y)   xi Pr...
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。       Pr( X i | Y)  ...
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X...
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X...
元画像Xの事後分布• 観測画像Yが与えられた時の元画像Xの事  後分布 Pr(X | Y) を推定したい。 ベイズの公式:                Pr(Y | X)Pr(X)    Pr(X | Y)                 ...
ノイズ生成モデル• 観測された画像yは元々の画像xに加法的白  色ガウスノイズnが加わったものとみなす。                観測画像 Y                     ノイズ                 元画像 X
元画像Xの事前分布• 元画像Xは、隣り合う画素同士の影響を受け  る。                                 1           2 Pr(X)  Pr(X |  )   exp    ( xi ...
元画像Xの尤度• 観測された画像Yの各画素は元々の画像X  の対応する画素にのみ影響を受ける。                                   1              2Pr(Y | X)  Pr(Y | X, ...
元画像Xの事後分布 • 観測画像Yが与えられた時の元画像Xの事   後分布 Pr(X | Y) を推定したい。    ベイズの公式:                        Pr(Y | X)Pr(X)            Pr(X |...
元画像Xの事後分布 • 観測画像Yが与えられた時の元画像Xの事   後分布 Pr(X | Y) を推定したい。    ベイズの公式:Pr(X | Y)  Pr(X | Y,  ,  )            1             ...
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X...
各画素の周辺分布の計算• 確率伝搬法を用いる。 – 木構造のグラフに対する確率伝搬法(4.1節) – 閉路を含むグラフに対する確率伝搬法(4.2節)• ハイパーパラメータを推定する(4.3節)
木構造のグラフに対する確率伝搬法木構造のグラフの例            3   6     4      1   2   7            5   8
木構造のグラフに対する確率伝搬法木構造グラフの各ノードの同時分布を以下で表す。                           f                         {i , j }                   ...
木構造のグラフに対する確率伝搬法木構造グラフの各ノードの同時分布を以下で表す。                                f                              {i , j }         ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                                  3              6                    4             1              2      ...
木構造のグラフに対する確率伝搬法                            3            6Pr( X 4 ) を求めたい。               4            1            2      ...
木構造のグラフに対する確率伝搬法                            3      6Pr( X 4 ) を求めたい。                4           1      2       7          ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法                              3           6   Pr( X 4 ) を求めたい。                  4           1           2 ...
木構造のグラフに対する確率伝搬法    “メッセージ” を以下のように定義                              Q 1            Μ i  j ( x j )   f{i , j} ( xi , x j...
木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義                    Q 1  Μ i  j ( x j )   f{i , j} ( xi , x j )     M           k i...
木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義                    Q 1  Μ i  j ( x j )   f{i , j} ( xi , x j )     M           k i...
木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義                    Q 1  Μ i  j ( x j )   f{i , j} ( xi , x j )           M         ...
木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義                    Q 1  Μ i  j ( x j )   f{i , j} ( xi , x j )           M         ...
木構造のグラフに対する確率伝搬法 メッセージ:                       Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j )     M           k i   ( xi ...
確率伝搬法アルゴリズムまとめ1. 端点から、メッセージを伝搬                   f{i , j} ( xi , x j )             i                             j        ...
確率伝搬法アルゴリズムまとめ2.端点以外の各ノードでメッセージを伝搬                           f{i , j} ( xi , x j )                     i                  ...
確率伝搬法アルゴリズムまとめ3. 根ノードから葉ノードへメッセージを伝搬
確率伝搬法アルゴリズムまとめ4. 葉ノードへ達したら、根ノードへメッセージを  逆伝搬
確率伝搬法アルゴリズムまとめ5. 各ノードの周辺分布を以下の式から計算                                        M j i                          i              ...
確率伝搬法アルゴリズムまとめ    6. 各リンクに接続された2変数の同時分布を以      下の式から計算                                                  f{i , j}          ...
閉路を含むグラフ閉路を含むグラフの例  画像がこのパターン確率伝搬法のメッセージがループしてしまう。
閉路を含むグラフ   各ノードの同時分布                                        f                                      {i , j }            ...
閉路を含むグラフに対する          確率伝搬法• 木構造グラフでは、以下の式が成り立つ – 木構造グラフにおける周辺確率と同時確率の関   係Pr(X  x)                                 Pr...
閉路を含むグラフに対する           確率伝搬法• 閉路においても同様の関係が近似的に成り  立つとする P ( X  x)                                  P i , j} ( X i  x...
閉路を含むグラフに対する                        確率伝搬法• P(X)とPr(X|Y)のカルバック・ライブラー情報  量ができるだけ小さくなるようにしたい。                                ...
閉路を含むグラフに対する                  確率伝搬法以下が導ける(証明略)メッセージ                     Q 1                          f                  ...
閉路を含むグラフに対する                     確率伝搬法以下が導ける(証明略)メッセージ                  Q 1                       f                     ...
LBPアルゴリズムまとめ1. 全てのメッセージの初期値を1にする               Μ 1
LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する                        Q 1                        f                       xi  0       ...
LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する                        Q 1                        f                       xi  0       ...
LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する                        Q 1                        f                       xi  0       ...
LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する                        Q 1                        f                       xi  0       ...
LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する                        Q 1                        f                       xi  0       ...
LBPアルゴリズムまとめ3. 収束するまでメッセージの更新を繰り返す                        Q 1                        f                       xi  0     ...
LBPアルゴリズムまとめ4. 以下の式に従い周辺確率を計算する                          1 Pr( X i  xi | Y  y )                           Zi           ...
LBPアルゴリズムまとめ4. 以下の式に従い周辺確率を計算する                          1 Pr( X i  xi | Y  y )                           Zi           ...
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。                         求まった? – 各画素iの周辺分布 Pr( X i | Y...
元画像Xの推定                         1Pr( X i  xi | Y  y )                          Zi                              M      ...
ハイパーパラメータの推定                         1Pr( X i  xi | Y  y )                          Zi                                 ...
ハイパーパラメータの推定  ハイパーパラメータα、σを求めたい。観測している画像Yが出現する確率が最大になるようにパラメータの値を決定する。最尤推定  ( ,  )  arg max Pr(Y  y |  ,  )    ˆ ˆ  ...
ハイパーパラメータの推定最尤推定を解く     ( ,  )  arg max Pr(Y  y |  ,  )       ˆ ˆ                                            (73)   ...
ハイパーパラメータの推定  最尤推定を解く         ( ,  )  arg max Pr(Y  y |  ,  )           ˆ ˆ                                         ...
ハイパーパラメータの推定最尤推定を解く  ( ,  )  arg max Pr(Y  y |  ,  )    ˆ ˆ                                   (73)              ( ,...
EMアルゴリズム1. 関数Qを定義                       定数Q( ,  |  (t ),  (t ), y )        Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y...
EMアルゴリズム1. 関数Qを定義Q( ,  |  (t ),  (t ), y )        Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )          ...
EMアルゴリズム1. 関数Qを定義Q( ,  |  (t ),  (t ), y )        Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )          ...
EMアルゴリズム1. 関数Qを定義Q( ,  |  (t ),  (t ), y )        Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )          ...
目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を   求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X...
元画像Xの推定                         1Pr( X i  xi | Y  y )                          Zi                              M      ...
以上!
まとめノイズの乗った観測画像Yから元画像Xを推定した1. ベイズの公式を使って、観測画像Yと元画像X   の関係をモデル化2. 閉路での確率伝搬法(LBP)を用いて、元画像   の各画素における周辺分布を計算3. EMアルゴリズムを用いてハイパ...
ありがとうございました。
Upcoming SlideShare
Loading in …5
×

17th cvsaisentan takmin

3,559 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,559
On SlideShare
0
From Embeds
0
Number of Embeds
2,331
Actions
Shares
0
Downloads
34
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

17th cvsaisentan takmin

  1. 1. 第17回CV勉強会@関東 発表資料 大規模確率場と確率的画像処理 3,4節 2011/11/06 Presented by takmin
  2. 2. おさらい• 加法定理と乗法定理 加法定理 p( X )   p( X , Y ) Y 乗法定理 p( X , Y )  p(Y | X ) p( X )
  3. 3. おさらい• 加法定理と乗法定理
  4. 4. おさらい• 最尤推定 N p(x | θ)   p( xn | θ) 尤度 n 1 観測データ パラメータ サンプルデータが観測されたとき,そのデータが発生する確率(尤度)を最大化するパラメータを求めること
  5. 5. おさらい• ベイズ推論 p(x | θ) p(θ) p(θ | x)  p ( x) 事後分布 N  p(x | θ) p(θ)  p(θ) p( xn | θ) n 1 尤度 事前分布データが観測されたとき,パラメータがとる確率分布を求める
  6. 6. ノイズ生成モデル• 観測された画像yは元々の画像xに加法的白 色ガウスノイズnが加わったものとみなす。 Y  Xn (27) 観測画像 元画像 ノイズ X Y n
  7. 7. ノイズ生成モデル• 観測された画像yは元々の画像xに加法的白 色ガウスノイズnが加わったものとみなす。 観測画像 Y ノイズ 元画像 X
  8. 8. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 Q 1 E ( X i | Y)   xi Pr( X i  xi | Y) xi 0
  9. 9. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 Pr( X i | Y)   Pr(X | Y) X1 X i1 X i1 X | |
  10. 10. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X | Y) を求め る。
  11. 11. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X | Y) を求め る。
  12. 12. 元画像Xの事後分布• 観測画像Yが与えられた時の元画像Xの事 後分布 Pr(X | Y) を推定したい。 ベイズの公式: Pr(Y | X)Pr(X) Pr(X | Y)  Pr(Y) Pr(Y)は定数なので、 Pr(Y | X)と Pr(X) を求める
  13. 13. ノイズ生成モデル• 観測された画像yは元々の画像xに加法的白 色ガウスノイズnが加わったものとみなす。 観測画像 Y ノイズ 元画像 X
  14. 14. 元画像Xの事前分布• 元画像Xは、隣り合う画素同士の影響を受け る。  1 2 Pr(X)  Pr(X |  )   exp    ( xi  x j )  (1) {i , j }  2  i j 元画像 X
  15. 15. 元画像Xの尤度• 観測された画像Yの各画素は元々の画像X の対応する画素にのみ影響を受ける。  1 2Pr(Y | X)  Pr(Y | X,  )   exp   2 ( yi  xi )  (28) i  2  観測画像 Y i 元画像 X i
  16. 16. 元画像Xの事後分布 • 観測画像Yが与えられた時の元画像Xの事 後分布 Pr(X | Y) を推定したい。 ベイズの公式: Pr(Y | X)Pr(X) Pr(X | Y)  Pr(Y) 定数  1   1 Pr(Y | X)   exp   2 ( yi  xi ) 2  Pr(X)    2 exp    ( xi  x j ) 2  i  2  {i , j }  (28) (1)
  17. 17. 元画像Xの事後分布 • 観測画像Yが与えられた時の元画像Xの事 後分布 Pr(X | Y) を推定したい。 ベイズの公式:Pr(X | Y)  Pr(X | Y,  ,  )  1 2  1 2   exp   2 ( yi  xi )   exp    ( xi  x j )  i  2 {i , j}  2  (29)
  18. 18. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X | Y) を求め る。
  19. 19. 各画素の周辺分布の計算• 確率伝搬法を用いる。 – 木構造のグラフに対する確率伝搬法(4.1節) – 閉路を含むグラフに対する確率伝搬法(4.2節)• ハイパーパラメータを推定する(4.3節)
  20. 20. 木構造のグラフに対する確率伝搬法木構造のグラフの例 3 6 4 1 2 7 5 8
  21. 21. 木構造のグラフに対する確率伝搬法木構造グラフの各ノードの同時分布を以下で表す。  f {i , j } {i , j } ( xi , x j ) Pr(X  x)  Q 1 Q 1 (42)    f x1  0 x| |  0{i , j } {i , j } ( xi , x j )
  22. 22. 木構造のグラフに対する確率伝搬法木構造グラフの各ノードの同時分布を以下で表す。  f {i , j } {i , j } ( xi , x j ) Pr(X  x)  Q 1 Q 1 (42)    f x1  0 x| |  0{i , j } {i , j } ( xi , x j )例:  1  Pr(X)  Pr(X |  )    2 {i , j } exp    ( xi  x j ) 2   (1) の時、  1  f{i , j} ( xi , x j )  exp    ( xi  x j ) 2   2 
  23. 23. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  24. 24. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  25. 25. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  26. 26. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  27. 27. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  28. 28. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  29. 29. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  30. 30. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  31. 31. 木構造のグラフに対する確率伝搬法 3 6 4 1 2 7 5 8Pr( X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 )  f{1, 2} ( x1 , x2 )  f{1,3} ( x1 , x3 )  f{1, 4} ( x1 , x4 )  f{1,5} ( x1 , x5 )  f{2,6} ( x2 , x6 )  f{2,7} ( x2 , x7 )  f{2,8} ( x2 , x8 )
  32. 32. 木構造のグラフに対する確率伝搬法 3 6Pr( X 4 ) を求めたい。 4 1 2 7 5 8 Pr(X)  f{1, 2} f{1,3} f{1, 4} f{1,5} f{2,6} f{2,7} f{2,8}
  33. 33. 木構造のグラフに対する確率伝搬法 3 6Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )   f{1, 2} f{1,3} f{1, 4} f{1,5} f{2,6} f{2,7} f{2,8} X1 X 2 X 3 X 5 X 6 X 7 X 8
  34. 34. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  35. 35. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  36. 36. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  37. 37. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  38. 38. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  39. 39. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  40. 40. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  41. 41. 木構造のグラフに対する確率伝搬法 3 6 Pr( X 4 ) を求めたい。 4 1 2 7 5 8Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8 
  42. 42. 木構造のグラフに対する確率伝搬法 “メッセージ” を以下のように定義 Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) xi 0 k i { j } Μ 14 Μ 21Pr( X 4 )       f{1, 4}  f{1,3}  f{1,5}   f{1, 2}  f{2, 6}  f{2,7}  f{2,8}      X2  X1  X3 X5 X6 X7 X8  Μ 31 Μ 51 Μ 62 Μ 72 Μ 82
  43. 43. 木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義 Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) xi 0 k i { j } i j
  44. 44. 木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義 Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) xi 0 k i { j } i j Μ k i ノードiに入ってきたメッセージの積を取る
  45. 45. 木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義 Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) xi 0 k i { j } f{i , j} ( xi , x j ) i j Μ k i 2変数関数 f{i , j}をかける
  46. 46. 木構造のグラフに対する確率伝搬法“メッセージ” を以下のように定義 Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) xi 0 k i { j } f{i , j} ( xi , x j ) i j Μ k i Μ i j X i を積分してメッセージを算出
  47. 47. 木構造のグラフに対する確率伝搬法 メッセージ: Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) xi 0 k i { j } 周辺分布: 1 Pr( X i  xi )  Zi  M ji ( xi ) j i M j i Q 1 i Z i   M j i ( xi ) xi  0 j i
  48. 48. 確率伝搬法アルゴリズムまとめ1. 端点から、メッセージを伝搬 f{i , j} ( xi , x j ) i j Μ i j Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) xi  0 2変数関数 f{i , j} を xi で積分
  49. 49. 確率伝搬法アルゴリズムまとめ2.端点以外の各ノードでメッセージを伝搬 f{i , j} ( xi , x j ) i j Μ k i Μ i j Q 1 Μ i  j ( x j )   f{i , j} ( xi , x j ) M k i ( xi ) (45) xi 0 k i { j }
  50. 50. 確率伝搬法アルゴリズムまとめ3. 根ノードから葉ノードへメッセージを伝搬
  51. 51. 確率伝搬法アルゴリズムまとめ4. 葉ノードへ達したら、根ノードへメッセージを 逆伝搬
  52. 52. 確率伝搬法アルゴリズムまとめ5. 各ノードの周辺分布を以下の式から計算 M j i i 1 Pr( X i  xi )  Zi Mj i j i ( xi ) (46) Q 1 Z i   M j i ( xi ) (48) xi  0 j i
  53. 53. 確率伝搬法アルゴリズムまとめ 6. 各リンクに接続された2変数の同時分布を以 下の式から計算 f{i , j} i j 1   Pr( X i  xi , X j  x j )  f{i , j} ( xi , x j )  M k i ( xi )   k { j}   M l j (x j )   l {i} (47) Z{i , j}   i  j  Q 1 Q 1    Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j )   k { j}  l {i}  (49) xi 0 x j 0  i  j 
  54. 54. 閉路を含むグラフ閉路を含むグラフの例 画像がこのパターン確率伝搬法のメッセージがループしてしまう。
  55. 55. 閉路を含むグラフ 各ノードの同時分布  f {i , j } {i , j } ( xi , x j ) Pr(X  x | Y  y )  Q 1 Q 1 (51)    f x1  0 x| |  0{i , j } {i , j } ( xi , x j ) i j観測画像がYの時の元画像Xの事後分布:  1 2  1 2Pr(X | Y,  ,  )   exp   2 ( yi  xi )   exp    ( xi  x j )  (29) i  2 {i , j}  2 (1)   1 2  1 2  1 f{i , j} ( xi , x j )  exp    ( xi  x j )  exp   2 ( yi  xi )  exp   2 ( y j  x j ) 2   2   8   8  (52)
  56. 56. 閉路を含むグラフに対する 確率伝搬法• 木構造グラフでは、以下の式が成り立つ – 木構造グラフにおける周辺確率と同時確率の関 係Pr(X  x)   Pr( X i  xi , X j  x j )     Pr( X i  xi )      (50)  i  {i , j} Pr( X i  xi ) Pr( X j  x j )  
  57. 57. 閉路を含むグラフに対する 確率伝搬法• 閉路においても同様の関係が近似的に成り 立つとする P ( X  x)   P i , j} ( X i  xi , X j  x j )     Pi ( X i  xi )    {   (70)  i  {i , j} Pi ( X i  xi ) Pj ( X j  x j ) この P(X) と Pr(X | Y)ができるだけ近い分布を取るようにしたい。
  58. 58. 閉路を含むグラフに対する 確率伝搬法• P(X)とPr(X|Y)のカルバック・ライブラー情報 量ができるだけ小さくなるようにしたい。  P( X)  K Pr(X | Y) || P( X)   P( X) ln   Pr(X | Y)   (71) X   以下の拘束条件の元、ラグランジュ未定乗数法で解く Q 1  P(X xi 0 i i  xi )  1 (i  ) (67) Q 1 Q 1  P xi 0 x j 0 {i , j } ( X i  xi , X j  x j )  1 ({i, j}   ) (68) Q 1 Pi ( X i  xi )  P x j 0 {i , j } ( X i  xi , X j  x j ) (i  ,{i, j}   ) (69)
  59. 59. 閉路を含むグラフに対する 確率伝搬法以下が導ける(証明略)メッセージ Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) 1Pr( X i  xi | Y  y )  Zi M j i j i ( xi ) (55) Q 1 Z i   M j i ( xi ) (57) xi  0 j i
  60. 60. 閉路を含むグラフに対する 確率伝搬法以下が導ける(証明略)メッセージ Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )Pr( X i  xi , X j  x j | Y  y ) 1     f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j )   k { j}  l {i} (56) Z{i , j}   i  j  Q 1 Q 1   Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j )   k { j}  l {i} (58)  xi 0 x j 0  i  j 
  61. 61. LBPアルゴリズムまとめ1. 全てのメッセージの初期値を1にする Μ 1
  62. 62. LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )
  63. 63. LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )
  64. 64. LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )
  65. 65. LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )
  66. 66. LBPアルゴリズムまとめ2. 以下の式に従いメッセージを更新する Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )
  67. 67. LBPアルゴリズムまとめ3. 収束するまでメッセージの更新を繰り返す Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi )
  68. 68. LBPアルゴリズムまとめ4. 以下の式に従い周辺確率を計算する 1 Pr( X i  xi | Y  y )  Zi M j i j i ( xi ) (55) Q 1 Z i   M j i ( xi ) (57) xi  0 j i Pr( X i  xi , X j  x j | Y  y ) 1     f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j )   k { j}  l {i} (56) Z{i , j}   i  j  Q 1 Q 1    Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi )   k { j}   M l j ( x j )   l {i} (58)  xi 0 x j 0  i  j 
  69. 69. LBPアルゴリズムまとめ4. 以下の式に従い周辺確率を計算する 1 Pr( X i  xi | Y  y )  Zi M j i j i ( xi ) (55) Q 1 Z i   M j i ( xi ) (57) xi  0 j i Pr( X i  xi , X j  x j | Y  y ) 1     f{i , j} ( xi , x j )  M k i ( xi )   M l  j ( x j )   k { j}  l {i} (56) Z{i , j}   i  j  Q 1 Q 1    Z{i , j}    f{i , j} ( xi , x j )  M k i ( xi )   k { j}   M l j ( x j )   l {i} (58)  xi 0 x j 0  i  j 
  70. 70. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 求まった? – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X | Y) を求め る。
  71. 71. 元画像Xの推定 1Pr( X i  xi | Y  y )  Zi M j i j i ( xi ) (55)観測画像Yが与えられた時の、元画像Xの各画素iにおける周辺確率が求まった!以下の式で各画素の期待値を計算 Q 1 E ( X i | Y)   xi Pr( X i  xi | Y) xi 0 まだできない
  72. 72. ハイパーパラメータの推定 1Pr( X i  xi | Y  y )  Zi Mj i j i ( xi ) (55) Q 1 f xi  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) Μ i j ( x j )  Q 1 Q 1 (60)  f xi  0 x j  0 {i , j } ( xi , x j ) M k i { j } k i ( xi ) こいつらがまだ不明なままf{i , j} ( xi , x j ) (ハイパーパラメータ)  1 2  1 2  1   exp    ( xi  x j )  exp   2 ( yi  xi )  exp   2 ( y j  x j ) 2  (52)  2   8   8 
  73. 73. ハイパーパラメータの推定 ハイパーパラメータα、σを求めたい。観測している画像Yが出現する確率が最大になるようにパラメータの値を決定する。最尤推定 ( ,  )  arg max Pr(Y  y |  ,  ) ˆ ˆ (73) ( , )
  74. 74. ハイパーパラメータの推定最尤推定を解く ( ,  )  arg max Pr(Y  y |  ,  ) ˆ ˆ (73) ( , )通常は、  Pr(Y  y |  ,  )  0 (   ,  ) または、  ln Pr(Y  y |  ,  )  0 (   ,  ) となる、 ( ,  ) を求めるが、、、
  75. 75. ハイパーパラメータの推定 最尤推定を解く ( ,  )  arg max Pr(Y  y |  ,  ) ˆ ˆ (73) ( , )Pr(Y |  ,  )   Pr(X, Y |  ,  )   Pr(Y | X,  ) Pr(X |  ) (72) X X (28)式 (1)式   1 2  1 2     exp   ( yi  xi )   exp    ( xi  x j )   2 {i , j}  2  2 X  i 式が複雑で、簡単に極大値を計算できない。
  76. 76. ハイパーパラメータの推定最尤推定を解く ( ,  )  arg max Pr(Y  y |  ,  ) ˆ ˆ (73) ( , ) EMアルゴリズム
  77. 77. EMアルゴリズム1. 関数Qを定義 定数Q( ,  |  (t ),  (t ), y )   Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )  X (74)
  78. 78. EMアルゴリズム1. 関数Qを定義Q( ,  |  (t ),  (t ), y )   Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )  X (74)2. 以下を満たすσ、αを求める ( ,  )  arg max Q( ,  |  (t ),  (t ), y ) ˆ ˆ ( , )  Q( ,  | Y  y,  ,  )  0 (   ,  )  を解く
  79. 79. EMアルゴリズム1. 関数Qを定義Q( ,  |  (t ),  (t ), y )   Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )  X (74)2. 以下を満たすσ、αを求める ( ,  )  arg max Q( ,  |  (t ),  (t ), y ) ˆ ˆ ( , )3. σ(t)、α(t)を更新  (t  1), (t  1)  ( , ) ˆ ˆ
  80. 80. EMアルゴリズム1. 関数Qを定義Q( ,  |  (t ),  (t ), y )   Pr(X | Y  y,  (t ),  (t )) ln Pr(X, Y  y |  ,  )  X (74)2. 以下を満たすσ、αを求める ( ,  )  arg max Q( ,  |  (t ),  (t ), y ) ˆ ˆ ( , )3. σ(t)、α(t)を更新  (t  1), (t  1)  ( , ) 収束するまで繰り返す ˆ ˆ
  81. 81. 目的• 観測画像Yから元画像Xを推定したい。• 方法 – Yが与えられた時の各画素iの期待値 E ( X i | Y) を 求める。 – 各画素iの周辺分布 Pr( X i | Y) を求める。 – Yが与えられた時のXの事後分布 Pr(X | Y) を求め る。
  82. 82. 元画像Xの推定 1Pr( X i  xi | Y  y )  Zi M j i j i ( xi ) (55)観測画像Yが与えられた時の、元画像Xの各画素iにおける周辺確率が求まった!ハイパーパラメータα、σも求まった!以下の式で各画素の期待値を計算 Q 1 E ( X i | Y)   xi Pr( X i  xi | Y) xi 0
  83. 83. 以上!
  84. 84. まとめノイズの乗った観測画像Yから元画像Xを推定した1. ベイズの公式を使って、観測画像Yと元画像X の関係をモデル化2. 閉路での確率伝搬法(LBP)を用いて、元画像 の各画素における周辺分布を計算3. EMアルゴリズムを用いてハイパーパラメータを 推定4. 周辺分布を使用して、元画像Xの各画素の期 待値を計算
  85. 85. ありがとうございました。

×