Recommended
More Related Content
What's hot
What's hot (20)
More from 智文 中野
異常検知と変化検知 7章方向データの異常検知
- 1. 異常検知と変化検知 7章 方向データの 異常検知 担当 株式会社VOYAGE GROUP 中野智文 2015/11/04 機械学習プロフェッショナルシリーズ輪読会
- 2. 扱うデータ 距離が1
- 3. 補足スライド：方向データ • 自然言語処理のよくありそうなパターン • 文書の語彙をbag of wordsにして • それを更にTF-IDFで重み付け • それらさらに重み合計１に正規化 • 次元圧縮行列（これがミソ）を使って、ベクトル化 • ベクトル化されたものを距離１で正規化 • これを使って分類や最近傍法を行う
- 5. 球体の上の正規分布？
- 7. フォンミーゼス・フィッシャー分布 (疑問1) 一周(3.14)したら0にもどるはず… πが最小値なのでは? (疑問2) 確率密度分布は全部合計したら、１になるはず。しかしそ のようには見えない…
- 12. 方向データの異常度とその確率分布 (7.5) (1) 最尤推定量 の確率分布 (2) の確率分布が必要。
- 13. (1) を とみなす。
- 14. 置換積分 デルタ関数の基本性質(2.20) ↑ より sinθ cosθ 式(2.19) ※おそらく誤植なので勝手に修正しています
- 17. 7.4 積率法にいよるカイ二乗分布の当てはめ • カイ二乗分布に従うことは分かったが、パラメータは分からない。 • 積率法（モーメント法）による当てはめ
Editor's Notes
- \cos(\bm{x}, \bm{y}) = \frac{\bm{x}\cdot\bm{y}}{|\bm{x}||\bm{y}|} \cos(\bm{x}, \bm{y}) = \bm{x}\cdot\bm{y} (\bm{x}-\bm{y})^2 = |\bm{x}|^2+2\bm{x}\cdot\bm{y}+|\bm{y}|^2 (\bm{x}-\bm{y})^2 = 2\bm{x}\cdot\bm{y} + 2
- \mathcal{M}(\bm{x} | \bm{\mu}, \kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}\exp(\kappa \bm{\mu}^{\top} \bm{x} ) I_{\alpha}(\kappa) = \frac{2^{-\alpha}\kappa^{-\alpha}}{\sqrt{\pi} \Gamma(\alpha + (1/2))}\int_0^{\phi}d\phi \sin^{2\alpha}\phi e^{\kappa \cos \phi}
- L(\bm{\mu}, \kappa | \mathcal{D}) = \ln \prod_{n=1}^{N}c_{M}(\kappa) e^{\kappa \bm{\mu}^{\top} \bm{x}^{(n)}} = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) c_{M}(\kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}
- L(\bm{\mu}, \kappa | \mathcal{D}) = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) \bm{\mu}^{\top}\bm{\mu} = 1 0 = \frac{\partial}{\partial \bm{\mu}} \bigg\{ L(\bm{\mu}, \kappa | \mathcal{D}) - \lambda \bm{\mu}^{\top} \bm{\mu} \bigg\} = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu}
- 0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)}
- 0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)} \frac{\kappa \bm{m}}{2 \bm{\mu}} = \lambda \bm{\mu}^{\top}\bm{\mu} = 1 \frac{\kappa^2 \bm{m}^{\top}\bm{m}}{2^2 } = \lambda^2 \frac{\kappa \sqrt{\bm{m}^{\top}\bm{m}}}{2 } = \lambda \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}}
- a(\bm{x}') = 1 - \hat{\bm{\mu}}^{\top}\bm{x}' \hat{\bm{\mu}}^{\top}\bm{x}'
- q(z) = \int_{-\infty}^{\infty}d\bm{x}\delta(z-f(x_{1},...,x_{M}))p(x_{1},...,x_{M}) p(a) =\int_{S_M}d\bm{x}\delta(a-(1-\hat{\bm{\mu}}^{\top}\bm{x}))c_{M}(\kappa)\exp(\kappa \hat{\bm{\mu}}^{\top} \bm{x}) p(a) \propto \int_{0}^{\pi}d\theta_1 \sin^{M-2}\theta_1 \delta(a-(1-\cos \theta_1))\exp(\kappa \cos \theta_1) q(z) = \int_{-\infty}^{\infty}dx\delta(x-b)f(x)=f(b) p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a))
- p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a)) p(a) \propto a^{(M-1)/2-1}\exp(-\kappa a)
- \bm{x'} \sim \mathcal{M}(\bm{\mu},\kappa) 1-\bm{\mu}^{\top}\bm{x'} \sim \chi ^2\bigg(M-1,\frac{1}{2\kappa}\bigg)
- \langle a \rangle = \int_{0}^{\infty} da \ a \chi^2(a|m,s) = ms \langle a^2 \rangle = \int_{0}^{\infty} da \ a^2 \chi^2(a|m,s) = m(m+2)s^2 \langle a \rangle \approx \frac{1}{N}\sum_{n=1}^{N} a^{(n)} \langle a^2 \rangle \approx \frac{1}{N}\sum_{n=1}^{N} (a^{(n)})^2 \hat{m}_{\mbox{mo}} = \frac{2\langle a \rangle ^2}{\langle a^2 \rangle - {\langle a \rangle}^2} \hat{s}_{\mbox{mo}} = \frac{\langle a^2 \rangle - {\langle a \rangle}^2}{2\langle a \rangle ^2}