変化点検知をRのライブラリーで 試した結果の内容

1. 色々試した変化点検知ストーリー仕立て
2016年9月24日
TokyoR #57
油井志郎

2. 自己紹介
• 名前：油井志郎
• お仕事：データマイニング
• マイブーム：
– 映画鑑賞
– 音楽鑑賞

3. これまで／現在の仕事
• WEBデザイナー
• ディレクター
• ソーシャルゲーム分析
• 現在に至る
– マッチングアルゴリズム
– 会員サイトの売り上げ向上分析
ここから分析業界

4. とある日・・・・・。

5. 御意！！
サクッと変化点検知
してほしい
スパイク除去してネ！！

6. とは言いつつも・・・・・。
どんな感じで変化点を検知するか・・・・。

7. ハッ！！

8. わからないことあったら、
みんなのグーグル先生に聞いてみよー！！

9. その結果！！

10. 目的によって色々使い分けが必要らしい！！
• 外れ値検知
• 変化点検知
• 異常値検知

11. ■外れ値検知
同じグループのデータから大きく外れている値を検知する方法

12. ■変化点検知
時系列データの急激な変化を検出する方法

13. ■異常値検知
異常が起きている部位を検出する方法

14. 目的によって色々使い分けが必要らしい！！
• 外れ値検知
• 変化点検知
• 異常値検知
今回はこれ！！

15. 早速データをプロット

16. スパイクを除去して
赤い点線の丸部分を検知したい

17. わからないことあったら、
みんなのグーグル先生に聞いてみよー！！

18. Rパッケージを検索

19. その結果！！

20. 下記パッケージ発見！！
• Twitter AnomalyDetection
• Changepoint
• depmixS4

21. Twitter AnomalyDetection とは
• Generalized ESD法
– 外れ値数の上限rを設定し、i=1,2,3,......,rで毎回棄
却検定を行います。
– https://sites.google.com/site/scriptofbioinformat
ics/mian-qiangmemo/waire-zhi-jian-chu-zhi-shi

22. Changepoint とは
• 「ある時点Tが変化点であるかどうか」という問題に対
して「区間[0, n]がすべて同じ母集団に属すると考える
のがもっともらしいか、区間[0, T]と区間[T+1, n]が別
の母集団に属すると考えるのがもっともらしいか」を数
値的に比較する
• 具体的には３つの区間でそれぞれ対数尤度を求め、
ML1 + ML2 > ML であれば時点Tが変化点だと言える
• 𝑀𝐿1 = log 𝑝 𝑥1:𝑡 𝜃1
• 𝑀𝐿2 = log 𝑝(𝑥 𝑡+1:𝑛| 𝜃2)
• 𝑀𝐿 = log 𝑝(𝑥1:𝑛| 𝜃)

23. depmixS4 とは （隠れマルコフモデル）
• 時間的に非定常な観測事象を、「（隠れた）複
数の定常状態が、マルコフ性を持つ確率過
程で遷移し、それぞれの定常状態の確率分
布に従って観測事象が生起される」という考
え方で記述しようとするモデル。
マルコフ性とは
• 「状態間の遷移確率は、過去の経緯とか関係
なく、「現在がどの状態か？」のみで決定され
る」

24. depmixS4 とは （隠れマルコフモデル）
隠れマルコフモデルは「隠れた定常状態
（上の例では３つ）が存在し、
各定常状態の確率分布
（図下部の青・赤・緑で示された確率分布）に
従って観測事象が表れ、
かつ定常状態間は時間経過と共にマルコフ性を持つ
確率過程で遷移する」という考え方をする。

25. とりあえず、普通に” Twitter AnomalyDetection
”これを試す！！
スパイクを除去しないとやはり話にならん・・・。

26. スパイクを除去して
赤い点線の丸部分を検知したい

27. 区間nを指定して
2σ以上を前後の平均値に変換

28. スパイクを除去前

29. スパイクを除去後

30. スパイクを除去して下記を試す
• Twitter AnomalyDetection
• Changepoint
• depmixS4

31. Twitter AnomalyDetection

32. depmixS4

33. Changepoint

34. スパイクを除去して
赤い点線の丸部分を検知したい

35. ありがたき幸せ！！
う〜む！
世は、満足じゃ！！

36. enjoy!!