PRML読書会(第14回)
     11.4 スライスサンプリング
           2010/05/08

      発表者 : 坪坂 正志
Blog: d.hatena.ne.jp/tsubosaka
 m(dot)tsubosak...
スライスサンプリング
• MHアルゴリズムはステップサイズに敏感とい
  う難点がある
 – ステップサイズが小さすぎると現在状態との相関
   が消えるのが遅くなる
 – ステップサイズが大きすぎると候補点がほとんど
   棄却され非効率とな...
ステップ幅について
  小さすぎると現在状態との相関が
  消えるのが遅くなる
ステップ幅について
  大きすぎると棄却率が高くなり、
  非効率となる
ステップ幅について
  分布に応じて適切なステップサイズ
  を用いたい
定式化
• 簡単のため1変数の場合を考える
 – 多変量の場合もギブスサンプリングのように各変
   数を順番にサンプリングすることによって適用で
   きる
•   ∝ ()に従う分布からサンプリングする
スライスサンプリング(アルゴリズム)
• 入力: 現在の点 
• 出力: 候補値  ′
1. ,0,   -の範囲から一様にをサンプリング
2. * ′ :    +なる領域から一様に ′ をサンプリング
  1. 下図の実線部分からサンプリン...
正当性
• 前述のアルゴリズムは以下で与えられる分布


からサンプリングを行なっているのに等しい
• このときの周辺分布は




となるのでだけ取り出すことにより()からサンプリ
ングできる
正当性


• (|)に従ってをサンプリングするには
  (0,   )からサンプルすればよい
• (|)に従ってをサンプリングするには
  * ′ :    +なる領域から一様にサンプリン
  グすればよい
分解された分布に関して
        [Damien et al. 1999]
•   ∝   ()の形で書けるとき



に従う領域から一様にサンプリングすればよい
• を固定し、*:    +で定義される分布の「ス
  ライス」から()に...
離散の場合
• 離散の場合、 *:    +となるの領域に
  おいて()に比例してをサンプリングするの
  は容易(ex: LWLM, LDA)
• Dirichlet Processのようなが可算無限個ある
  モデルでも有限の領域で取り扱...
分布のスライスから
    直接サンプリングできないとき
• 一般には* ′ :    +なる領域からサンプ
  ルするのは難しい
• 現在のの値 () を含む領域,min , max -か
  ら一様にサンプリングする
領域の決定方法
http://www.cs.toronto.edu/~radford/slice-aos.abstract.html より




  (b) 現在の値 x_0 を含む幅wの領域(この領域の位置はランダムに決定する)か
  ら始...
正当性
• サンプリングの順としては(z,u)-(z,u’)-(z’,u’)
  となっている
• (z,u)-(z,u’)については前述したとおり
  ,0,   -から一様サンプリングするだけ
• (z,u’)-(z’,u’)に関してはzか...
多変量の分布
• ギブスサンプリングのように、各変数を順番
  にサンプリングする
 – ( |− )に比例する関数が計算できる必要があ
   る
• 多変量を一気にサンプルする方法もある
 – Ex Elliptical slice samp...
Elliptical slice sampling (設定)
• 多変量ガウス分布に従う潜在ベクトルf
  – ~(, )
• 尤度関数  = (data|)
  – 問題に応じて、違った値となる
                       ...
Elliptical slice sampling (概要)
[Murray et al, 2010]より
                         • 現在点×に対して、auxiliary
                      ...
References
• [Damien et al. 1999] Gibbs sampling for bayesian non-conjugate and
  hierarchical models by using auxiliary v...
Upcoming SlideShare
Loading in …5
×

Prml11 4

2,637 views
2,445 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,637
On SlideShare
0
From Embeds
0
Number of Embeds
436
Actions
Shares
0
Downloads
40
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Prml11 4

  1. 1. PRML読書会(第14回) 11.4 スライスサンプリング 2010/05/08 発表者 : 坪坂 正志 Blog: d.hatena.ne.jp/tsubosaka m(dot)tsubosaka@gmail.com
  2. 2. スライスサンプリング • MHアルゴリズムはステップサイズに敏感とい う難点がある – ステップサイズが小さすぎると現在状態との相関 が消えるのが遅くなる – ステップサイズが大きすぎると候補点がほとんど 棄却され非効率となる • 分布の特徴に合わせて適切なステップサイズ を用いたい スライスサンプリング [Neal 2003]
  3. 3. ステップ幅について 小さすぎると現在状態との相関が 消えるのが遅くなる
  4. 4. ステップ幅について 大きすぎると棄却率が高くなり、 非効率となる
  5. 5. ステップ幅について 分布に応じて適切なステップサイズ を用いたい
  6. 6. 定式化 • 簡単のため1変数の場合を考える – 多変量の場合もギブスサンプリングのように各変 数を順番にサンプリングすることによって適用で きる • ∝ ()に従う分布からサンプリングする
  7. 7. スライスサンプリング(アルゴリズム) • 入力: 現在の点 • 出力: 候補値 ′ 1. ,0, -の範囲から一様にをサンプリング 2. * ′ : +なる領域から一様に ′ をサンプリング 1. 下図の実線部分からサンプリングする
  8. 8. 正当性 • 前述のアルゴリズムは以下で与えられる分布 からサンプリングを行なっているのに等しい • このときの周辺分布は となるのでだけ取り出すことにより()からサンプリ ングできる
  9. 9. 正当性 • (|)に従ってをサンプリングするには (0, )からサンプルすればよい • (|)に従ってをサンプリングするには * ′ : +なる領域から一様にサンプリン グすればよい
  10. 10. 分解された分布に関して [Damien et al. 1999] • ∝ ()の形で書けるとき に従う領域から一様にサンプリングすればよい • を固定し、*: +で定義される分布の「ス ライス」から()に比例してをサンプリングする • ただし、これは分布のスライスから直接サンプリ ングできるときに限る
  11. 11. 離散の場合 • 離散の場合、 *: +となるの領域に おいて()に比例してをサンプリングするの は容易(ex: LWLM, LDA) • Dirichlet Processのようなが可算無限個ある モデルでも有限の領域で取り扱うことができ る[Gael et al. 2008, Walker 2007] – クラス数の上限を設けるようなことをしなくてよく なる (Truncated Gibbs sampler [Ishwaran and James 2001])
  12. 12. 分布のスライスから 直接サンプリングできないとき • 一般には* ′ : +なる領域からサンプ ルするのは難しい • 現在のの値 () を含む領域,min , max -か ら一様にサンプリングする
  13. 13. 領域の決定方法 http://www.cs.toronto.edu/~radford/slice-aos.abstract.html より (b) 現在の値 x_0 を含む幅wの領域(この領域の位置はランダムに決定する)か ら始めて、各端点がスライスの中に入ってる限り領域を拡張する (c) 候補点x’はこの中から一様に選択され、それがスライスの中にあればx_1と なる。そうでなければx’を端点の一つとしてx_0を含み続けるよう領域が縮小され る
  14. 14. 正当性 • サンプリングの順としては(z,u)-(z,u’)-(z’,u’) となっている • (z,u)-(z,u’)については前述したとおり ,0, -から一様サンプリングするだけ • (z,u’)-(z’,u’)に関してはzからz’へ行くときに ′ , , ′ = (, ()| ′ , ′ )を満たすよう な手続きで遷移させればよい – ここでrはzからz’に行く際のランダムな選択の列 である。またはrに対する一対一でヤコビアンが 1の写像
  15. 15. 多変量の分布 • ギブスサンプリングのように、各変数を順番 にサンプリングする – ( |− )に比例する関数が計算できる必要があ る • 多変量を一気にサンプルする方法もある – Ex Elliptical slice sampling [Murray 2010 et.al]
  16. 16. Elliptical slice sampling (設定) • 多変量ガウス分布に従う潜在ベクトルf – ~(, ) • 尤度関数 = (data|) – 問題に応じて、違った値となる 2 • 回帰: ; , = ⋅ • 分類: ( )
  17. 17. Elliptical slice sampling (概要) [Murray et al, 2010]より • 現在点×に対して、auxiliary variate(補助点) + を(0, Σ) からサンプルする • 現在点と補助点を結ぶ楕円 状から区間を狭めつつ候補 点・をサンプリングしていく
  18. 18. References • [Damien et al. 1999] Gibbs sampling for bayesian non-conjugate and hierarchical models by using auxiliary variagles. Journal of the Royal Statistical Society B, 61, 331--344 • [Gael et al. 2008] Jurgen Van Gael, Yunus Saatci, Yee Whye Teh, and Zoubin Ghahramani. Beam sampling for the infinite hidden markov model. In Proc. ICML • [Ishwaran and James 2001] Hemant Ishwaran and Lancelot F. James. Gibbs sampling methods for stick-breaking priors . Journal of the American Statistical Assoiation, 96, 161—173 • [Murray et al. 2010] Iain Murray, Ryan Prescott Adams and David J.C. Mackay. Elliptical slice sampling. In Proc. AISTATS • [Neal 2003] Radford M. Neal. Slice sampling. Annals of Statistics,31, 705-- 741 • [Walker 2007] Stephen G. Walker. Sampling the dirichlet mixture model with slices. Communications in Statistics: Simulation and Computation, 36, 45---54

×