• Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,608
On Slideshare
0
From Embeds
0
Number of Embeds
6

Actions

Shares
Downloads
14
Comments
0
Likes
4

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. (34) マーク付き点過程 坂倉義明 @a2ki 1
  • 2. (34) はじめに • 本資料は、[1]‐[4]の自分なりの理解メモです – [1]‐[2]は、マーク付き点過程の直観的な理解、[3]‐[4]はマーク付き点過程とノンパラベイズとの関係 の理解を得るにあたって、大変参考になりました • [1] Bognar, Matthew A. "Bayesian modeling of continuously marked spatial point patterns." Computational  Statistics 23.3 (2008): 361‐379. • [2] Ortner, Mathias, Xavier Descombes, and Josiane Zerubia. "Building extraction from digital elevation  models.“, http://hal.archives‐ouvertes.fr/docs/00/07/20/71/PDF/RR‐4517.pdf • [3] 佐藤一誠, “基礎からのBayesian Nonparametrics.” http://www.slideshare.net/issei_sato/bayesian‐ nonparametrics • [4] 佐藤一誠, “Bayesian Nonparametrics入門 .“ http://www.slideshare.net/issei_sato/ppml 2
  • 3. (34) 点とマークの意味 • 点・・・時間や空間(一般には連続)上のサンプル • マーク・・・点に付帯する情報 X : 点 M : マーク 3
  • 4. (34) アプリ例 • 人のカウンティング – 点:重心、マーク:輪郭 点 マーク 人のカウンティング Marked point processes for crowd counting[CVPR09] 4
  • 5. (34) (マーク付き)点過程の特徴 • 特徴 – 無限次元の離散点を扱う事が出来る • 連続関数(時間、空間)を任意法則に従って離散化 • 特徴を生かした応用 – ノンパラベイズの構成 • 事前分布(パラメータ空間)の無限次元離散化によるモデル数推定 – ※今回紹介しませんが、離散化をキーワードに考えると、他にも色々ありそうです 5
  • 6. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 6
  • 7. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 7
  • 8. (34) 強度 β X amaxamin 確率的に点とマークを打つということ(1/3) • 強度関数= 強度×基底測度 – 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度) – 基底測度 : 時間軸の長さ(局所的な点の密度) X λ(A)=β×μ(A) μ(A)=|amax‐amin| λ(A) 強度関数 基底測度 β強度 μ(A) 点 8
  • 9. (34) 確率的に点とマークを打つということ(2/3) • 強度関数= 強度×基底測度 – 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度) – 基底測度 : 時間軸の長さ(局所的な点の密度) X λ(A)=β×G0(A) G0(A) 強度関数 基底測度 β強度 ex. Gauss G0(A) X 基底測度 強度 β X 点 9
  • 10. (34) 確率的に点とマークを打つということ(3/3) • 強度関数= 強度×基底測度 × マーク分布 – 強度 : 単位時間あたりの点の数の期待値(大域的な点の密度) – 基底測度 : 時間軸の長さ、マーク分布 : マークの従う分布(局所的な点の密度) • マークも点の次元と考える、ただし点の数は規定しない X λ(A,B)=βG0(A)×ν(B) G0(A) 強度関数 基底測度 β強度 ex. Gauss G0(A) X 基底測度 強度 β X 点 ν(B) マーク M ν(B) ex. Gauss 10
  • 11. (34) 確率密度関数(1/3) • 累積分布関数を、点とマークの打ち方のパターン で微分 – 我々が良く知る確率密度関数のdx(目盛り)が、確率的に打たれるイメージ – 確率にするため、目盛上に長さ1の棒をたてた後に正規化 • , は無限次元であることに注意 – は , の値と次数を含めた分配関数 , ℙ , 1 ∈ ∈ ∈ ∈   , βG0 ν X M 11
  • 12. (34) 確率密度関数(2/3) • 重み(点過程の密度:Densityという)付で点を数えても良い – 実はこれが実装&応用上のキモ , ℙ , 1 , , , βG0 ν X M 12
  • 13. (34) 確率密度関数(3/3) • 基底測度とマーク分布を一様にできる – 基底測度とマーク分布の形状を、重み , に押し付ける , ℙ , 1 , , , βμ u X M , | | : Uniform 基底測度・マーク分布の押し付け 13
  • 14. (34) 2つの疑問 • 基底測度とマーク分布の情報が結局 , に入ってるけど、点を打つプロセスとか意味あるの? – あります – 時系列・空間上の点 , は無限次元 – 次数が異なる , を扱うため、何らかの形でその次数を表現する上位モデルが必要 – この上位モデルが , – 値的には、 , の分配関数 , , に埋め込まれている • , に押し付けると、何が嬉しいの? – モデルの構成が単純になる • 少しひねっただけで、強度関数をまともにかけなくなる – 最適化(MCMC)の構成が超簡単になる 14
  • 15. (34) の代表的な決め方 • ギブス分布を採用し、引数となるエネルギー関数に、表現したいモデルを突っ込む , ℙ , 1 exp , exp , , , : 任意のエネルギー関数 15
  • 16. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 16
  • 17. (34) ディリクレ過程 • 定義 – 可測空間 Ω, の基底測度を 、集中度を とする – 確率測度 が ~ , に従うとき、任意のdisjointなΩの分割 , … , に対して – , … , ~Dirichlet , … , • 翻訳 – 基底測度 を に従う密度で離散化 – 各離散点には、正値で、総和が1となる重み(離散点を選ぶDirichlet分布のパラメータ) G0 G0を離散化した点( G0に従う) 各点の重み(選択確率) ∗ :区間 ∗の重みの総和 17
  • 18. (34) ディリクレ過程混合 • 無限次元の混合モデル – ディリクレ過程で、事前分布を無限次元で離散化し離散化点を各モデルのパラメータとする – 混合比は各点の重み G0:事前分布 混合比 θ1 θ2 θK θ X w1p(x|θ1) w2p(x|θ2) wKp(x|θK) 18
  • 19. (34) マーク付き点過程的ディリクレ過程 • 定義 – 点:基底測度を 、強度 に従う点 – マーク:正値をとり、総和が1となるよう正規化 βG0 強度(集中度) × 基底測度 ν マーク 正値をとる分布 点 正規化 19
  • 20. (34) マーク付き点過程的ディリクレ過程混合 • 分散既知,混合数未知の混合ガウスの例 , , , 1 exp , ; , ∑ ; , 1 平均の事前分布 ガウス分布 正値をとる分布 ガンマ分布 混合比 重みの正規化 パラメータ 点 点とマーク(+押し付け) パラメータが点、混合比がマークに従う混合モデル , ; ln ; 0, ln G ; ,   βG0 強度(集中度) × 事前分布 マーク 正値をとる 分布 x1 x2 xK w1p(y|x1) w2p(y|x2) wKp(y|xK) y モデル 20
  • 21. (34) パラメータ推定 • 目的関数 – 以下を満たす , を次数を含めて最適化 • ToyDataに対する最適化結果(MCMCを使う:後術の方法) ∗ , ∗ argmax , , , | , , :ハイパーパラメータ :モデルパラメータ :混合比(非正規化) 混合数 ―真値 ―推定値(xの次数) 混合比(正規化) パラメータ w1 w2 w3 x1 x2 x3 推定値 0.158 0.242 0.604 0.177 10.036 19.871 真値 0.186 0.208 0.606 0.976 10.027 19.883 21
  • 22. (34) ノンパラベイズ構成まとめ • 混合モデルの混合数を分布としてもつ – 事前分布(パラメータ空間)から、可算無限個の離散点を抽出 – 各点に重みをつける – 点:混合モデルのパラメータ、重み:混合比 • 点過程的に言うと • 事前分布(パラメータ空間)上にマーク付き点過程を構成 • 点:混合モデルのパラメータ、マーク:混合比 • 点とマークはエネルギー関数 , を適当に設計すれば、それっぽいものが出来る 22
  • 23. (34) アウトライン • モデル化 – 確率的に点とマークを打つということ – 確率密度関数 • 応用(他分野への横展) – ノンパラベイズ • パラメータ推定 – 目的関数 – MCMCの設計 • まとめ 23
  • 24. (34) 目的関数と最適化の方針 • 目的関数 – 事前分布としてマーク付き点過程が存在する場合を想定 • 最適化の方針 – MCMCを利用 • , , , | から、 所与のもと、 , をサンプリング • サンプル平均=最適解 – 無情報事前分布を仮定したMAP推定 – アニーリングしてもよい – 注意点 • , をサンプリングする過程で、 , のサンプリングも必要 • , は無限次元 ∗, ∗ argmax , , , , | 尤度 事前分布:点過程 ※赤字・・・Unknown 24
  • 25. (34) 【復習】MCMC(1/2) • から、 のサンプリング – がわかっていなくても良い • → → を満たす遷移確率 を用いて逐次サンプリング • 上記条件を満たす遷移確率 → min 1, ′ ⋅ → → min 1, ′ ⋅ ⋅ → → min 1, ′ ⋅ → → → :提案分布(任意の遷移確率により決められるサンプル候補) 25
  • 26. (34) 【復習】MCMC(2/2) • Given  and  ← 0 • Proposal Step – sampling  from  → • Acceptance‐Rejection Step – ← with probability  – ← with probability 1 • min 1, ⋅ → → • ← 1 26
  • 27. (34) マーク付き点過程のMCMC:遷移確率 • , , , とすると、 , , , | からサンプルを得るための遷移確率 は、 → min 1, | , , ′ | , , ⋅ , | ′ , | → → min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ → → Likelihood Ratio Prior Ratio Proposal Ratio Model Evidence Ratio 27
  • 28. (34) マーク付き点過程のMCMC:アウトライン • Let  , , , , Given  , , , , and  ← 0 • Proposal Step – sampling  from   → • Acceptance‐Rejection Step – ← ∗ w.p.  – ← w.p. 1 • ← 1 min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ → → 28
  • 29. (34) • Proposal Type – パラメータ値の摂動 • ‐move  , , , → , , , : w.p.  • ‐move , , , → , , , : w.p.  – 点の値の摂動 • ‐move , , , → , , , s. t. | | : w.p.  • ‐move , , , → , , , s. t. | | : w.p.  – 点の数の摂動 • , , , → , , ∪ , ∪ : w.p.  • , , , → , , ∖ , ∖ : w.p.  – where, ∑ ∗ 1, ∗ 0 29
  • 30. (34) • , , , ‐move – Symmetric • じゃなくてもいいけど、設計が楽なのでそうします – (例) ‐move  , , , → , , , • → Uniform ∆ , Δ min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ → → 30
  • 31. (34) • , – Symmetricには出来ない • 点を支配する確率(押し付け後のスッキリした奴)に従ってサンプリング – , – | | – : Uniform – , , , → , , ∪ , ∪ • , :点とマークの定義域とすると – , , , → , , ∖ , ∖ • :点 の数とすると → , , 1 ∵ : Uniform, | | → 1 ∵ | | 31
  • 32. (34) • Importance Sampling – 説明は割愛(PRML下巻p.p.246‐248,p.p.270‐p.p.271) – ポイントは、 ⁄ の計算の為に(MCMCの各ステップで)別途サンプリングが必要 32
  • 33. (34) というわけでマーク付き点過程のMCMC • Let  , , , , Given  , , , , and  ← 0 • Proposal Step – sampling  from   → • , , , ‐move : e.x. ‐move :  Uniform ∆ , Δ • : ⁄ , : ⁄ • Acceptance‐Rejection Step – estimate  ⁄ using Importance Sampling – ← ∗ w.p.  , ← w.p. 1 • ← 1 min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅, , , ‐move  min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ 1 min 1, | , , ′ | , , ⋅ exp , ; exp , ; ⋅ ⋅ 33
  • 34. (34) まとめ • マーク付き点過程を紹介 – 連続関数(時間、空間)を任意法則に従って離散化 • 重み , をうまく使うことで、複雑なモデルを表現可能 – ノンパラベイズ – ※ 離散化をキーワードに考えると他にも色々ありそうです • ただし、やりすぎると、最適化が大変なことに – サンプラーのネスト 34