Submit Search
Upload
異常検知と変化検知 7章方向データの異常検知
•
Download as PPTX, PDF
•
10 likes
•
3,873 views
智文 中野
Follow
機械学習プロフェッショナルシリーズ輪読会
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 19
Download now
Recommended
最適輸送入門
最適輸送入門
joisino
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
PRML8章
PRML8章
弘毅 露崎
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
Recommended
最適輸送入門
最適輸送入門
joisino
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
PRML8章
PRML8章
弘毅 露崎
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
最適輸送の解き方
最適輸送の解き方
joisino
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
深層学習の数理
深層学習の数理
Taiji Suzuki
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
wada, kazumi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
智文 中野
ロケーションエンジンの紹介
ロケーションエンジンの紹介
智文 中野
More Related Content
What's hot
最適輸送の解き方
最適輸送の解き方
joisino
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
深層学習の数理
深層学習の数理
Taiji Suzuki
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
Deep Learning JP
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
wada, kazumi
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
sleepy_yoshi
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
What's hot
(20)
最適輸送の解き方
最適輸送の解き方
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
深層学習の数理
深層学習の数理
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
変分推論と Normalizing Flow
変分推論と Normalizing Flow
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
[DL輪読会]When Does Label Smoothing Help?
[DL輪読会]When Does Label Smoothing Help?
マハラノビス距離とユークリッド距離の違い
マハラノビス距離とユークリッド距離の違い
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
【解説】 一般逆行列
【解説】 一般逆行列
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
変分ベイズ法の説明
変分ベイズ法の説明
More from 智文 中野
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
智文 中野
ロケーションエンジンの紹介
ロケーションエンジンの紹介
智文 中野
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
智文 中野
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
智文 中野
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
智文 中野
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
智文 中野
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
智文 中野
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
智文 中野
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
智文 中野
More from 智文 中野
(9)
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ロケーションエンジンの紹介
ロケーションエンジンの紹介
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
異常検知と変化検知 7章方向データの異常検知
1.
異常検知と変化検知 7章 方向データの 異常検知 担当 株式会社VOYAGE
GROUP 中野智文 2015/11/04 機械学習プロフェッショナルシリーズ輪読会
2.
扱うデータ 距離が1
3.
補足スライド:方向データ • 自然言語処理のよくありそうなパターン • 文書の語彙をbag
of wordsにして • それを更にTF-IDFで重み付け • それらさらに重み合計1に正規化 • 次元圧縮行列(これがミソ)を使って、ベクトル化 • ベクトル化されたものを距離1で正規化 • これを使って分類や最近傍法を行う
4.
補足スライド:方向データ 1で正規化されているので 1で正規化されているので 正規化されていれば(方向データは)cosでも距離でも同じ意味となる cos類似度の場合: ユークリッド距離の場合:
5.
球体の上の正規分布?
6.
フォンミーゼス・フィッシャー分布 平均方向 集中度 第一種変形ベッセル関数 (7.1) (7.2)
7.
フォンミーゼス・フィッシャー分布 (疑問1) 一周(3.14)したら0にもどるはず… πが最小値なのでは? (疑問2)
確率密度分布は全部合計したら、1になるはず。しかしそ のようには見えない…
8.
7.2 平均方向の最尤推定 ただし (7.3)
9.
最尤推定 を制約にラグランジュの未定乗数法にて
10.
ただし (7.4) これを解くと、
11.
より を使って 最後に その解き方
12.
方向データの異常度とその確率分布 (7.5) (1) 最尤推定量 の確率分布 (2)
の確率分布が必要。
13.
(1) を とみなす。
14.
置換積分 デルタ関数の基本性質(2.20) ↑
より sinθ cosθ 式(2.19) ※おそらく誤植なので勝手に修正しています
15.
定期式(2.10)より、自由度M-1、スケール因子1/(2κ)のカイ二乗分布 a<<1 より次のように近似
16.
定理7.1 (方向データの異常度の確率分布) のとき、κが十分大きければ、近似的に (7.6)
17.
7.4 積率法にいよるカイ二乗分布の当てはめ • カイ二乗分布に従うことは分かったが、パラメータは分からない。 •
積率法(モーメント法)による当てはめ
18.
これから (7.8) (7.9) (7.7)
19.
7.5 補足:フォンミーゼスフィッシャー分布の 性質 あまりこの章が興味なさそうなので、省略
Editor's Notes
\cos(\bm{x}, \bm{y}) = \frac{\bm{x}\cdot\bm{y}}{|\bm{x}||\bm{y}|} \cos(\bm{x}, \bm{y}) = \bm{x}\cdot\bm{y} (\bm{x}-\bm{y})^2 = |\bm{x}|^2+2\bm{x}\cdot\bm{y}+|\bm{y}|^2 (\bm{x}-\bm{y})^2 = 2\bm{x}\cdot\bm{y} + 2
\mathcal{M}(\bm{x} | \bm{\mu}, \kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}\exp(\kappa \bm{\mu}^{\top} \bm{x} ) I_{\alpha}(\kappa) = \frac{2^{-\alpha}\kappa^{-\alpha}}{\sqrt{\pi} \Gamma(\alpha + (1/2))}\int_0^{\phi}d\phi \sin^{2\alpha}\phi e^{\kappa \cos \phi}
L(\bm{\mu}, \kappa | \mathcal{D}) = \ln \prod_{n=1}^{N}c_{M}(\kappa) e^{\kappa \bm{\mu}^{\top} \bm{x}^{(n)}} = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) c_{M}(\kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}
L(\bm{\mu}, \kappa | \mathcal{D}) = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) \bm{\mu}^{\top}\bm{\mu} = 1 0 = \frac{\partial}{\partial \bm{\mu}} \bigg\{ L(\bm{\mu}, \kappa | \mathcal{D}) - \lambda \bm{\mu}^{\top} \bm{\mu} \bigg\} = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu}
0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)}
0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)} \frac{\kappa \bm{m}}{2 \bm{\mu}} = \lambda \bm{\mu}^{\top}\bm{\mu} = 1 \frac{\kappa^2 \bm{m}^{\top}\bm{m}}{2^2 } = \lambda^2 \frac{\kappa \sqrt{\bm{m}^{\top}\bm{m}}}{2 } = \lambda \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}}
a(\bm{x}') = 1 - \hat{\bm{\mu}}^{\top}\bm{x}' \hat{\bm{\mu}}^{\top}\bm{x}'
q(z) = \int_{-\infty}^{\infty}d\bm{x}\delta(z-f(x_{1},...,x_{M}))p(x_{1},...,x_{M}) p(a) =\int_{S_M}d\bm{x}\delta(a-(1-\hat{\bm{\mu}}^{\top}\bm{x}))c_{M}(\kappa)\exp(\kappa \hat{\bm{\mu}}^{\top} \bm{x}) p(a) \propto \int_{0}^{\pi}d\theta_1 \sin^{M-2}\theta_1 \delta(a-(1-\cos \theta_1))\exp(\kappa \cos \theta_1) q(z) = \int_{-\infty}^{\infty}dx\delta(x-b)f(x)=f(b) p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a))
p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a)) p(a) \propto a^{(M-1)/2-1}\exp(-\kappa a)
\bm{x'} \sim \mathcal{M}(\bm{\mu},\kappa) 1-\bm{\mu}^{\top}\bm{x'} \sim \chi ^2\bigg(M-1,\frac{1}{2\kappa}\bigg)
\langle a \rangle = \int_{0}^{\infty} da \ a \chi^2(a|m,s) = ms \langle a^2 \rangle = \int_{0}^{\infty} da \ a^2 \chi^2(a|m,s) = m(m+2)s^2 \langle a \rangle \approx \frac{1}{N}\sum_{n=1}^{N} a^{(n)} \langle a^2 \rangle \approx \frac{1}{N}\sum_{n=1}^{N} (a^{(n)})^2 \hat{m}_{\mbox{mo}} = \frac{2\langle a \rangle ^2}{\langle a^2 \rangle - {\langle a \rangle}^2} \hat{s}_{\mbox{mo}} = \frac{\langle a^2 \rangle - {\langle a \rangle}^2}{2\langle a \rangle ^2}
Download now