Japan r2 lt_yokkuns

3,508 views

Published on

Published in: Economy & Finance, Technology
0 Comments
6 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,508
On SlideShare
0
From Embeds
0
Number of Embeds
1,069
Actions
Shares
0
Downloads
0
Comments
0
Likes
6
Embeds 0
No embeds

No notes for slide

Japan r2 lt_yokkuns

  1. 1. Rで異常検知 @yokkuns : 里 洋平 第2回 Japan.R LT 2011.11.262011年11月28日月曜日
  2. 2. AGENDA • 自己紹介 • 異常検知概要 • 異常検知とは • 考え方 • Rで簡易版実装2011年11月28日月曜日
  3. 3. AGENDA • 自己紹介 • 異常検知概要 • 異常検知とは • 考え方 • Rで簡易版実装2011年11月28日月曜日
  4. 4. 里 洋平 • ID : @yokkuns • 名前 : 里 洋平 • 職業 : データマイニング エンジニア2011年11月28日月曜日
  5. 5. 動画レコメンド2011年11月28日月曜日
  6. 6. 市場予測2011年11月28日月曜日
  7. 7. 活動例(抜粋): Time Series Analysis Anomaly detection 複数時系列から異常な振る舞いを検知する C A 時系列のモデリング 複数時系列の異常検知 B 時系列A 時系列A 異常な振る舞い 時系列B 時系列C 時系列B 時系列C 異常な振る舞いの時系列を検出 例1:トラフィック異常検知 例2:CM効果のノイズ除去 トラフィックA ケースA CM効果 トラフィックB ケースB トラフィックC 調査 ケースC 異常な振る舞いをしている 異常な振る舞いをしているケースを トラフィックの原因を調査する 除外して、CMの効果を算出する 852011年11月28日月曜日
  8. 8. 活動例(抜粋): Time Series Analysis Anomaly detection 新しいデータと過去時系列モデルの乖離から異常検出 8000.0000 異常スコア推移 3.0000 モデル構築 異常値 ◇例 : ARIMAモデル 2.2500 5970.7500 1.5000 0.7500 3941.5000 0 異常スコアの算出 -0.7500 ◇例 : 対数損失 1912.2500 -1.5000 -2.2500 -117.0000 -3.0000 t 4/ 週 4/ 1 週 4/ 8 週 5/ 週 2週 5/ 週 5/ 6 週 5/ 3 週 6/ 週 6/ 週 6/ 3 週 6/ 0 週 7/ 週 7/ 週 7/ 1 週 7/ 週 週 4 25 9 30 6 27 4 18 25 4/ 1 1 5/ 1 2 1 2 1 862011年11月28日月曜日
  9. 9. 活動例(抜粋): Time Series Analysis TV Commercial Effects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出 イベン CM時系列 ト 新規 登録 CM ARPPU ARPU 各KPIの時系列 その他 外部 継続率 要因 ケース 872011年11月28日月曜日
  10. 10. Tokyo.R 主催 ◆ 数少ない社会人中心のRコミュニティ ◆ 2010年に設立し、現在第19回まで開催 ◆ 様々な業種•職種の方が参加2011年11月28日月曜日
  11. 11. AGENDA • 自己紹介 • 異常検知概要 • 異常検知とは • 考え方 • Rで簡易版実装2011年11月28日月曜日
  12. 12. 異常検知 大量のデータから異常なデータや変化を検出する2011年11月28日月曜日
  13. 13. セキュリティ コンピュータウィルスやDos攻撃2011年11月28日月曜日
  14. 14. 障害対応 障害の原因特定2011年11月28日月曜日
  15. 15. AGENDA • 自己紹介 • 異常検知概要 • 異常検知とは • 考え方 • Rで簡易版実装2011年11月28日月曜日
  16. 16. 学習 過去データからモデルを構築する2011年11月28日月曜日
  17. 17. 予測と観測 モデルによる予測値と観測値の差を見る モデルによる予測 予測と観測の差 観測結果2011年11月28日月曜日
  18. 18. 異常スコア算出 過去の予測と観測の差と比較して今回の差は異常か否か モデルによる予測 予測と観測の差 観測結果2011年11月28日月曜日
  19. 19. AGENDA • 自己紹介 • 異常検知概要 • 異常検知とは • 考え方 • Rで簡易版実装2011年11月28日月曜日
  20. 20. Rで簡易版実装 過去データでARモデルを構築 残差を過去の残差の標準偏差で割った値を異常スコアとする2011年11月28日月曜日
  21. 21. Rで簡易版実装 過去データでARモデルを構築 残差を過去の残差の標準偏差で割った値を異常スコアとする ARモデルの構築と予測 過去の残差2011年11月28日月曜日
  22. 22. Rで簡易版実装 時系列データyを用意しシミュレーション2011年11月28日月曜日
  23. 23. Rで簡易版実装 時系列データyを用意しシミュレーション 51∼100個目のデータで異常検知を実行 学習データ 新しいデータ 結果をデータフレムに整形2011年11月28日月曜日
  24. 24. 結果 過去に比べ急激に下がった時に検知 異常発生! 観測値 予測値 異常発生! 異常発生! 異常スコア2011年11月28日月曜日
  25. 25. AGENDA • 自己紹介 • 異常検知概要 • 異常検知とは • 考え方 • Rで簡易版実装2011年11月28日月曜日
  26. 26. 次回以降の 発表者を募集しています2011年11月28日月曜日

×