Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ハミルトニアンモンテカルロ
確率分布からのサンプリング理論
Twitter:@UMU____
目次
• ハミルトニアンモンテカルロ法とは
• マルコフ連鎖の定常分布と詳細つり合い条件
• メトロポリス・ヘイスティング法
• ギブスサンプリング法
• リウビユ定理
• ハミルトニアンモンテカルロ法
ハミルトニアンモンテカルロ法とは
• 求める確率分布からサンプリングを行う方法の一種.
ハミルトニアンモンテカルロ法は,解析力学でよく知られるハミ
ルトニアンをサンプリングのために利用している.
• 確率分布からサンプリングを行うことで,多重積...
マルコフ連鎖の定常分布と
詳細つり合い条件
• マルコフ連鎖モンテカルロ法では,マルコフ連鎖を用いて,求
める確率[分布]p(x)からサンプリングを行う.
• マルコフ連鎖は,現在のxから次のyへの遷移確率[分布]を表す,
推移核f(x,y)に...
マルコフ連鎖の定常分布と
詳細つり合い条件
• 詳細つり合い条件を満たせば定常分布となるのは明らか
→p’(x)=∫p(y)f(y,x) dy=∫p(x)f(x,y)dy=p(x)∫f(x,y)dy=p(x)■
• 推移核として,写像関数y=g...
メトロポリス・ヘイスティング法
• メトロポリス・ヘイスティング法は,提案分布q(x,y)と採択確
率w(x,y)によって詳細つり合い条件を満たす推移核を作る方法
である.
• 求める確率分布をp(x)とする.採択確率が1ならば,マルコフ連
鎖...
メトロポリス・ヘイスティング法
• ここで,wは大きい方が良いので(棄却が多いと時間がかかる
ため), p(x)q(x,y)< p(y)q(y,x)としても一般性を失わないの
で,
w(x,y)=1,w(y,x)= p(x)q(x,y) /p(...
ギブスサンプリング
• ギブスサンプリング法は,推移核を完全条件付き分布の混合型
推移核にする方法である.
• すなわち,xがN次元のとき
f1(x,y)=δ(x2,y2)δ(x3,y3)…δ(xN,yN) p(x1=y1|x2,..,xN)
...
リウビユの定理
ハミルトニアンモンテカルロ法の導入
• 位置x,運動量pの質点があったとき,位置エネルギーU(x)と,運
動エネルギーK(p)=p^2/2mを導入して,H(ハミルトニアン=
力学的エネルギー)をH=U+Kとすると,この系で質点を...
ハミルトニアンモンテカルロ法
• ハミルトニアンモンテカルロ法は,運動によってハミルトニア
ンが不変で,かつ閉区間の密度が変わらないという性質を利用
する.位相空間上の一点(x,p)の運動による移動を写像g :
(xn,pn)=g(x,p)とと...
ハミルトニアンモンテカルロ法
よって,確率分布qに対して,
q(x,p) f((x,p), (xn,pn))=q(xn,pn)f((xn,pn), (x,p))
q(x,p)δ((xn,pn),g(x,p))= q(xn,pn) δ((x,p)...
ハミルトニアンモンテカルロ法
すなわち,
q(x,p)∝ exp(p^2/2m)×p(x) から,
∫q(x,p)dp ∝p(x)
→求める分布からサンプリングできた.(ただしH=一定)
・p(x)はHが変動するxを含むので,Hを変動させるため...
ハミルトニアンモンテカルロ法
• ただし,ハミルトニアンモンテカルロ法によって,位相空間す
べてがサンプリングされると保証されているわけではない.
→エルゴード性と関係?
Upcoming SlideShare
Loading in …5
×

ハミルトニアンモンテカルロ法についての説明

1,439 views

Published on

KCS-AI班 3/23の活動で使用したスライドです.

Published in: Technology
  • Be the first to comment

ハミルトニアンモンテカルロ法についての説明

  1. 1. ハミルトニアンモンテカルロ 確率分布からのサンプリング理論 Twitter:@UMU____
  2. 2. 目次 • ハミルトニアンモンテカルロ法とは • マルコフ連鎖の定常分布と詳細つり合い条件 • メトロポリス・ヘイスティング法 • ギブスサンプリング法 • リウビユ定理 • ハミルトニアンモンテカルロ法
  3. 3. ハミルトニアンモンテカルロ法とは • 求める確率分布からサンプリングを行う方法の一種. ハミルトニアンモンテカルロ法は,解析力学でよく知られるハミ ルトニアンをサンプリングのために利用している. • 確率分布からサンプリングを行うことで,多重積分を行うこと ができ,多重積分は,ベイズ統計・計算物理学・計算生物学に て使われる. • 確率分布からサンプリングを行う手法としては,その他にメト ロポリス・ヘイスティング法,ギブスサンプリング法などがあ る.これらはすべてマルコフ連鎖モンテカルロ法の一種である.
  4. 4. マルコフ連鎖の定常分布と 詳細つり合い条件 • マルコフ連鎖モンテカルロ法では,マルコフ連鎖を用いて,求 める確率[分布]p(x)からサンプリングを行う. • マルコフ連鎖は,現在のxから次のyへの遷移確率[分布]を表す, 推移核f(x,y)によって表現される. • このとき,p(x)f(x,y)=p(y)f(y,x)が満たされる場合,推移核 f(x,y)によるマルコフ連鎖は,p(x)を定常分布にもつ,十分条件 となる.これを詳細つり合い条件と呼ぶ. 例)x∈{A,B}とする.p(A)=0.2,p(B)=0.8となるようにマルコフ連 鎖によってサンプリングしたければ,詳細つり合い条件を満たす うに,f(A,A)=0.6,f(A,B)=0.4,f(B,A)=0.1,f(B,B)=0.9とすればよい.
  5. 5. マルコフ連鎖の定常分布と 詳細つり合い条件 • 詳細つり合い条件を満たせば定常分布となるのは明らか →p’(x)=∫p(y)f(y,x) dy=∫p(x)f(x,y)dy=p(x)∫f(x,y)dy=p(x)■ • 推移核として,写像関数y=g(x)を用いて確定的にマルコフ連鎖 を行う場合は,f(x,y)=δ(y,g(x))/det|g(x)|となる.(δはデルタ 関数) (写像による圧縮) • 推移核を2つ確率的に使い分けることもでき,推移核 f1(x,y),f2(x,y)をそれぞれ確率w,(1-w)で使うとf(x,y)=w*f1+(1- w)*f2とできる.(混合型推移核)
  6. 6. メトロポリス・ヘイスティング法 • メトロポリス・ヘイスティング法は,提案分布q(x,y)と採択確 率w(x,y)によって詳細つり合い条件を満たす推移核を作る方法 である. • 求める確率分布をp(x)とする.採択確率が1ならば,マルコフ連 鎖は提案分布q(x,y)によって行われる(つまりf=q). →当然,詳細つり合い条件を満たすわけがない. ・ここで,提案分布によるサンプリングをwで採択(1-wで棄却) という方法を取るとすれば, p(x)q(x,y)w(x,y)=p(y)q(y,x)w(y,x)となるようにwを決めること によって(つまり,f=qw)詳細つり合い条件を満たす.
  7. 7. メトロポリス・ヘイスティング法 • ここで,wは大きい方が良いので(棄却が多いと時間がかかる ため), p(x)q(x,y)< p(y)q(y,x)としても一般性を失わないの で, w(x,y)=1,w(y,x)= p(x)q(x,y) /p(y)q(y,x)とすることで,wを最大 化したうえで, p(x)q(x,y)w(x,y)=p(y)q(y,x)w(y,x)を満たす. →pをサンプリングできた. • ここで,q(x,y)=q(y,x)なる提案分布を選べば, w(x,y)=min(1,p(x)/p(y))と採択率を単純化できる. (なので実用的にはq(x,y)はxを平均とした正規分布を用いる)
  8. 8. ギブスサンプリング • ギブスサンプリング法は,推移核を完全条件付き分布の混合型 推移核にする方法である. • すなわち,xがN次元のとき f1(x,y)=δ(x2,y2)δ(x3,y3)…δ(xN,yN) p(x1=y1|x2,..,xN) f2(x,y)= δ(x1,y1)δ(x3,y3)…δ(xN,yN) p(x2=y2|x1,x3,..,xN) … として,f=1/N{f1+f2+…fN}となる. →これは,あきらかに詳細つり合い条件を満たす. (f1,f2,…,fNが単体で詳細つり合い条件を満たしている)
  9. 9. リウビユの定理 ハミルトニアンモンテカルロ法の導入 • 位置x,運動量pの質点があったとき,位置エネルギーU(x)と,運 動エネルギーK(p)=p^2/2mを導入して,H(ハミルトニアン= 力学的エネルギー)をH=U+Kとすると,この系で質点を運動さ せるとHが保存する.(全エネルギー保存則) • (x,p)で構成される空間を位相空間とよぶ. 位相空間上で任意の閉領域を考える(位置と運動量が閉区間で定 義される制約条件内に入っているような状況をすべて集めたもの と考えられる)と,一定時間運動した後も(閉区間の形が変わ る),閉領域の面積は不変(リウビユの定理)
  10. 10. ハミルトニアンモンテカルロ法 • ハミルトニアンモンテカルロ法は,運動によってハミルトニア ンが不変で,かつ閉区間の密度が変わらないという性質を利用 する.位相空間上の一点(x,p)の運動による移動を写像g : (xn,pn)=g(x,p)ととらえて,この写像を推移核として用いるこ とを考える.すなわち, f((x,p), (xn,pn))=δ((xn,pn),g(x,p))/det|g(x,p)| となる. ここで,gによる閉区間の密度は変わらないから, det|g(x,p)|=1 より, f((x,p), (xn,pn))= δ((xn,pn),g(x,p)).
  11. 11. ハミルトニアンモンテカルロ法 よって,確率分布qに対して, q(x,p) f((x,p), (xn,pn))=q(xn,pn)f((xn,pn), (x,p)) q(x,p)δ((xn,pn),g(x,p))= q(xn,pn) δ((x,p),g(xn,pn)) q(xn,pn)=q(x,p) より,q(x,p)∝1が定常分布となる. (q(x,n)∝1とするとfが詳細つり 合い条件を満たす. ここで,求める分布p(x)を用いて, U(x)=-log(p(x))とすれば, H=p^2/2m –log(p(x))かつH一定より, q(x,p)∝1∝exp(-H)=exp(p^2/2m-log(p(x)))=exp(p^2/2m)×p(x).
  12. 12. ハミルトニアンモンテカルロ法 すなわち, q(x,p)∝ exp(p^2/2m)×p(x) から, ∫q(x,p)dp ∝p(x) →求める分布からサンプリングできた.(ただしH=一定) ・p(x)はHが変動するxを含むので,Hを変動させるために,pを ギブスサンプリングする. q(x,p)はx,pが互いに独立のため,q(p|x)∝ exp(p^2/2m)であり, これは正規分布である. →pを正規分布からサンプリングすればよい.
  13. 13. ハミルトニアンモンテカルロ法 • ただし,ハミルトニアンモンテカルロ法によって,位相空間す べてがサンプリングされると保証されているわけではない. →エルゴード性と関係?

×