Your SlideShare is downloading. ×
0
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
マーク付き点過程
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

マーク付き点過程

4,969

Published on

0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,969
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
20
Comments
0
Likes
5
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. (34) マーク付き点過程 坂倉義明 @a2ki 1
  • 2. (34) はじめに • 本資料は、[1]‐[4]の自分なりの理解メモです – [1]‐[2]は、マーク付き点過程の直観的な理解、[3]‐[4]はマーク付き点過程とノンパラベイズとの関係 の理解を得るにあたって、大変参考になりました • [1] Bognar, Matthew A. "Bayesian modeling of continuously marked spatial point patterns." Computational  Statistics 23.3 (2008): 361‐379. • [2] Ortner, Mathias, Xavier Descombes, and Josiane Zerubia. "Building extraction from digital elevation  models.“, http://hal.archives‐ouvertes.fr/docs/00/07/20/71/PDF/RR‐4517.pdf • [3] 佐藤一誠, “基礎からのBayesian Nonparametrics.” http://www.slideshare.net/issei_sato/bayesian‐ nonparametrics • [4] 佐藤一誠, “Bayesian Nonparametrics入門 .“ http://www.slideshare.net/issei_sato/ppml 2
  • 3. (34) 点とマークの意味 • 点・・・時間や空間(一般には連続)上のサンプル • マーク・・・点に付帯する情報 X : 点 M : マーク 3
  • 4. (34) アプリ例 • 人のカウンティング – 点:重心、マーク:輪郭 点 マーク 人のカウンティング Marked point processes for crowd counting[CVPR09] 4
  • 5. (34) (マーク付き)点過程の特徴 • 特徴 – 無限次元の離散点を扱う事が出来る • 連続関数(時間、空間)を任意法則に従って離散化 • 特徴を生かした応用 – ノンパラベイズの構成 • 事前分布(パラメータ空間)の無限次元離散化によるモデル数推定 – ※今回紹介しませんが、離散化をキーワードに考えると、他にも色々ありそうです 5
  • 6. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 6
  • 7. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 7
  • 8. (34) 強度 β X amaxamin 確率的に点とマークを打つということ(1/3) • 強度関数= 強度×基底測度 – 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度) – 基底測度 : 時間軸の長さ(局所的な点の密度) X λ(A)=β×μ(A) μ(A)=|amax‐amin| λ(A) 強度関数 基底測度 β強度 μ(A) 点 8
  • 9. (34) 確率的に点とマークを打つということ(2/3) • 強度関数= 強度×基底測度 – 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度) – 基底測度 : 時間軸の長さ(局所的な点の密度) X λ(A)=β×G0(A) G0(A) 強度関数 基底測度 β強度 ex. Gauss G0(A) X 基底測度 強度 β X 点 9
  • 10. (34) 確率的に点とマークを打つということ(3/3) • 強度関数= 強度×基底測度 × マーク分布 – 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度) – 基底測度 : 時間軸の長さ、マーク分布 : マークの従う分布(局所的な点の密度) • マークも点の次元と考える、ただし点の数は規定しない X λ(A,B)=βG0(A)×ν(B) G0(A) 強度関数 基底測度 β強度 ex. Gauss G0(A) X 基底測度 強度 β X 点 ν(B) マーク M ν(B) ex. Gauss 10
  • 11. (34) 確率密度関数(1/3) • 累積分布関数を、点とマークの打ち方のパターン で微分 – 我々が良く知る確率密度関数のdx(目盛り)が、確率的に打たれるイメージ – 確率にするため、目盛上に長さ1の棒をたてた後に正規化 • , は無限次元であることに注意 – は , の値と次数を含めた分配関数 , ℙ , 1 ∈ ∈ ∈ ∈   , βG0 ν X M 11
  • 12. (34) 確率密度関数(2/3) • 重み(点過程の密度:Densityという)付で点を数えても良い – 実はこれが実装&応用上のキモ , ℙ , 1 , , , βG0 ν X M 12
  • 13. (34) 確率密度関数(3/3) • 基底測度とマーク分布を一様にできる – 基底測度とマーク分布の形状を、重み , に押し付ける , ℙ , 1 , , , βμ u X M , | | : Uniform 基底測度・マーク分布の押し付け 13
  • 14. (34) 2つの疑問 • 基底測度とマーク分布の情報が結局 , に入ってるけど、点を打つプロセスとか意味あるの? – あります – 時系列・空間上の点 , は無限次元 – 次数が異なる , を扱うため、何らかの形でその次数を表現する上位モデルが必要 – この上位モデルが , – 値的には、 , の分配関数 , , に埋め込まれている • , に押し付けると、何が嬉しいの? – モデルの構成が単純になる • 少しひねっただけで、強度関数をまともにかけなくなる – 最適化(MCMC)の構成が超簡単になる 14
  • 15. (34) の代表的な決め方 • ギブス分布を採用し、引数となるエネルギー関数に、表現したいモデルを突っ込む , ℙ , 1 exp , exp , , , : 任意のエネルギー関数 15
  • 16. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 16
  • 17. (34) ディリクレ過程 • 定義 – 可測空間 Ω, の基底測度を 、集中度を とする – 確率測度 が ~ , に従うとき、任意のdisjointなΩの分割 , … , に対して – , … , ~Dirichlet , … , • 翻訳 – 基底測度 を に従う密度で離散化 – 各離散点には、正値で、総和が1となる重み(離散点を選ぶDirichlet分布のパラメータ) G0 G0を離散化した点( G0に従う) 各点の重み(選択確率) ∗ :区間 ∗の重みの総和 17
  • 18. (34) ディリクレ過程混合 • 無限次元の混合モデル – ディリクレ過程で、事前分布を無限次元で離散化し離散化点を各モデルのパラメータとする – 混合比は各点の重み G0:事前分布 混合比 θ1 θ2 θK θ X w1p(x|θ1) w2p(x|θ2) wKp(x|θK) 18
  • 19. (34) マーク付き点過程的ディリクレ過程 • 定義 – 点:基底測度を 、強度 に従う点 – マーク:正値をとり、総和が1となるよう正規化 βG0 強度(集中度) × 基底測度 ν マーク 正値をとる分布 点 正規化 19
  • 20. (34) マーク付き点過程的ディリクレ過程混合 • 分散既知,混合数未知の混合ガウスの例 , , , 1 exp , ; , ∑ ; , 1 平均の事前分布 ガウス分布 正値をとる分布 ガンマ分布 混合比 重みの正規化 パラメータ 点 点とマーク(+押し付け) パラメータが点、混合比がマークに従う混合モデル , ; ln ; 0, ln G ; ,   βG0 強度(集中度) × 事前分布 マーク 正値をとる 分布 x1 x2 xK w1p(y|x1) w2p(y|x2) wKp(y|xK) y モデル 20
  • 21. (34) パラメータ推定 • 目的関数 – 以下を満たす , を次数を含めて最適化 • ToyDataに対する最適化結果(MCMCを使う:後術の方法) ∗ , ∗ argmax , , , | , , :ハイパーパラメータ :モデルパラメータ :混合比(非正規化) 混合数 ―真値 ―推定値(xの次数) 混合比(正規化) パラメータ w1 w2 w3 x1 x2 x3 推定値 0.158 0.242 0.604 0.177 10.036 19.871 真値 0.186 0.208 0.606 0.976 10.027 19.883 21
  • 22. (34) ノンパラベイズ構成まとめ • 混合モデルの混合数を分布としてもつ – 事前分布(パラメータ空間)から、可算無限個の離散点を抽出 – 各点に重みをつける – 点:混合モデルのパラメータ、重み:混合比 • 点過程的に言うと • 事前分布(パラメータ空間)上にマーク付き点過程を構成 • 点:混合モデルのパラメータ、マーク:混合比 • 点とマークはエネルギー関数 , を適当に設計すれば、それっぽいものが出来る 22
  • 23. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 23
  • 24. (34) 目的関数と最適化の方針 • 目的関数 – 事前分布としてマーク付き点過程が存在する場合を想定 • 最適化の方針 – MCMCを利用 • , , , | から、 所与のもと、 , をサンプリング • サンプル平均=最適解 – 無情報事前分布を仮定したMAP推定 – アニーリングしてもよい – 注意点 • , をサンプリングする過程で、 , のサンプリングも必要 • , は無限次元 ∗, ∗ argmax , , , , | 尤度 事前分布:点過程 ※赤字・・・Unknown 24
  • 25. (34) 【復習】MCMC(1/2) • から、 のサンプリング – がわかっていなくても良い • → → を満たす遷移確率 を用いて逐次サンプリング • 上記条件を満たす遷移確率 → min 1, ′ ⋅ → → min 1, ′ ⋅ ⋅ → → min 1, ′ ⋅ → → → :提案分布(任意の遷移確率により決められるサンプル候補) 25
  • 26. (34) 【復習】MCMC(2/2) • Given  and  ← 0 • Proposal Step – sampling  from  → • Acceptance‐Rejection Step – ← with probability  – ← with probability 1 • min 1, ⋅ → → • ← 1 26
  • 27. (34) マーク付き点過程のMCMC:遷移確率 • , , , とすると、 , , , | からサンプルを得るための遷移確率 は、 → min 1, | , , ′ | , , ⋅ , | ′ , | → → min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ → → Likelihood Ratio Prior Ratio Proposal Ratio Model Evidence Ratio 27
  • 28. (34) マーク付き点過程のMCMC:アウトライン • Let  , , , , Given  , , , , and  ← 0 • Proposal Step – sampling  from   → • Acceptance‐Rejection Step – ← ∗ w.p.  – ← w.p. 1 • ← 1 min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ → → 28
  • 29. (34) • Proposal Type – パラメータ値の摂動 • ‐move  , , , → , , , : w.p.  • ‐move , , , → , , , : w.p.  – 点の値の摂動 • ‐move , , , → , , , s. t. | | : w.p.  • ‐move , , , → , , , s. t. | | : w.p.  – 点の数の摂動 • , , , → , , ∪ , ∪ : w.p.  • , , , → , , ∖ , ∖ : w.p.  – where, ∑ ∗ 1, ∗ 0 29
  • 30. (34) • , , , ‐move – Symmetric • じゃなくてもいいけど、設計が楽なのでそうします – (例) ‐move  , , , → , , , • → Uniform ∆ , Δ min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ → → 30
  • 31. (34) • , – Symmetricには出来ない • 点を支配する確率(押し付け後のスッキリした奴)に従ってサンプリング – , – | | – : Uniform – , , , → , , ∪ , ∪ • , :点とマークの定義域とすると – , , , → , , ∖ , ∖ • :点 の数とすると → , , 1 ∵ : Uniform, | | → 1 ∵ | | 31
  • 32. (34) • Importance Sampling – 説明は割愛(PRML下巻p.p.246‐248,p.p.270‐p.p.271) – ポイントは、 ⁄ の計算の為に(MCMCの各ステップで)別途サンプリングが必要 32
  • 33. (34) というわけでマーク付き点過程のMCMC • Let  , , , , Given  , , , , and  ← 0 • Proposal Step – sampling  from   → • , , , ‐move : e.x. ‐move :  Uniform ∆ , Δ • : ⁄ , : ⁄ • Acceptance‐Rejection Step – estimate  ⁄ using Importance Sampling – ← ∗ w.p.  , ← w.p. 1 • ← 1 min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅, , , ‐move  min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ 1 min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ 33
  • 34. (34) まとめ • マーク付き点過程を紹介 – 連続関数(時間、空間)を任意法則に従って離散化 • 重み , をうまく使うことで、複雑なモデルを表現可能 – ノンパラベイズ – ※ 離散化をキーワードに考えると他にも色々ありそうです • ただし、やりすぎると、最適化が大変なことに – サンプラーのネスト 34

×