Jubatus casulatalks2

8,479 views

Published on

Jubatus Casual Talks #2 (異常検知)の資料です

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
8,479
On SlideShare
0
From Embeds
0
Number of Embeds
6,959
Actions
Shares
0
Downloads
10
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Jubatus casulatalks2

  1. 1. Multiple Seasonal Holt Winters の紹介と 時系列予測を実務に 適用するときの課題の共有 @muddydixon
  2. 2. 自己紹介 ニフティクラウドの中のヒト 使ってください CROSSの中のヒト お越しください 落ち着きなく色々やっています mongo-hadoop Node.js HTML5 fluent-plugin-(datacalculator¦filter¦ anomalydetect)
  3. 3. メニュー fluent-plugin-anomalydetect Holt Winters概要 Simple / Weighted Moving Average Exponential Smoothing Holt Winters seasonal method Multiple Seasonal Holt Winters extends Dual Seasonal (Gould, 2008) Multiple Seasonal Holt Winters 実装とデモ
  4. 4. fluent-pluginanomalydetect (主に)時系列データを入力し、時系列データにお ける入力データの生起確率を計算し、出力する fluentのplugin 注:パラメタがセッティングが難しいです
  5. 5. Change Finder http://www.slideshare.net/yokkuns/tokyo-r15 予測モデルを作成し、実際の入力が発生する確 率 損失・スコアにし、異常値の度合いを求める
  6. 6. 「月に何回くらい」って調整はできるかも 「異常は異常なので」以上なら何度でも・・・
  7. 7. 参考図書
  8. 8. Holt Winters概要 移動平均法のひとつの指数平滑化法(exponential smoothing)に対して季節性・周期性の概念を導入した手法 triple exponential smoothingともいう ! 結局異常検知は予測モデルに対しての外れ度合いを計算す るので、より精度の高い予測モデルが必要になる そのモデルに制約があったとしても、制約下の条件で適 用すればよい(例:周期性など) Holt Wintersは予測に利用できるひとつのアルゴリズム RRDToolでも利用されている
  9. 9. 使いどころ サーバリソースの推定 近傍の傾向だけではなく過去の周期性を元に 推定する(例えば先月、例えば昨年) 異常値がそのまま膨れていかないかを知る 売り上げの在庫管理 売れる周期の予測モデルを元に仕入れ
  10. 10. ざっくり 系列の要因を3つに分ける 1. ベースライン 2. トレンド 3. 季節性 上記3つを使ってm時刻先 の予測ができる! (ちなみに→のstlはETSか ARIMAを使ってる ETSはいわゆる平滑化) plot(stl(UKgas, s.window= per ))
  11. 11. Simple / Weighted Moving Average 移動平均:ARIMA=AR / I / MAの「MA」 「将来の値は過去のk個の値で表現できるよ!」 というモデル Simple MA ! Weighted MA
  12. 12. Exponential Smoothing 入力と前時間の平滑化をパラメタαでならして いく αが大きければ入力に感度が高く、小さけれ ばより平滑化される m時刻後の予測値は
  13. 13. Double Exponential Smoothing 予測値をベースラインとトレンドに分解して両者 を指数平滑化 s_t: ベースライン、b_t: トレンド 時刻m後の予測は
  14. 14. Triple Exponential Smoothing 季節性(間隔L)を加味した指数平滑化 モードは2つ: multiplicative additive 季節性が「比率」の時はmultiplicative、「絶 対量」の時はadditive Triple Exponential SmoothingをHolt-Winters methodと呼ぶ
  15. 15. Triple Exponential Smoothing 季節性(間隔L)を加味した指数平滑化 更新式
  16. 16. 概念 ベースライン:移動平均 トレンド:近傍で上りか下りか 季節性:周期的な移動平均 先々月はこうだった、先月はこうだった、今月 は・・・ 参考:Seasonal ARIMA
  17. 17. Double Seasonal Holt Winters (Taylor, 2003) 2つの季節性を加味したモデル 従来のHWやARIMAよりも良い予測成績 といいつつそうでもないのでAR(1)で誤差の影 響を加味したら良くなったよ!
  18. 18. 1日後 の予測
  19. 19. Multiple Seasonal Holt Winters (Gould, 2008) Multipleといいつつ、Taylor(2007)のDSの抽象 化を行ったモデル (結局2つの周期性のみ) かつ魔術的なパラメタ(月∼木、金、土、日をま とめよう!とか)が入ってる ただ、予測に必要な変数自体の削減はできる
  20. 20. (真の)Multiple Seasonal Holt Winters l個の季節性を加味したモデル 自己相関関数から求まるピークを周期性として利用 推定に必要なパラメタは多い・・・ 季節性毎の平滑化パラメタのフィッティングも 必要
  21. 21. demo
  22. 22. 実適用上の課題 24 x 7 x X という形式ばかりではない 周期性をどのように抽出するか Seasonalityを破壊する要因 月という困った概念(28, 30, 31日)→例:給料日 第X月曜という困った概念→例:成人の日 四半期という困った概念 うるう年という困った概念 解決方法 季節性パラメタを吸収するラッパメソッド c_{i,t+m-L_i}に対して「毎月25日」を求めるとか
  23. 23. 実装したいと思っていること パラメタの分割 1日 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1週間 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 ここを 推定したい 仮に周期性が24(時 間:15時), 168(週: 金曜), 720(月:第 一集)で見られた 場合、これを全部 組み込もうと思う と720の(履歴)パ ラメタを持たなけ ればならない これを月・七曜・ 時間毎に持ち、そ れらをc_iとして 計算する
  24. 24. 参考文献 Forecasting Time Series with Multiple Seasonal Patterns, European Journal of Operational Research (2008), 191(1), 207‒220, Phillip G. Gould, Anne B. Koehler, Keith Ord, Ralph D. Snyder, Rob J. Hyndman1 and Farshid Vahid-Araghi Short-term electricity demand forecasting using double sea- sonal exponential smoothing, Journal of Operational Research Society, 54, 799‒805 (2003), James W. Taylor Texts, 7 Exponential smoothing, https://www.otexts.org/ fpp/7
  25. 25. 宣伝1 採用募集中です クラウドのデータあります 現在、仮想・物理の障害予測や異常箇所特定 の迅速化、アラート、自動対応の準備中 パートナー企業のデータあります 某社のデータを匿名化して解析・予測、結果 の可視化を行い、売り上げ向上のためのシス テム アルファ提供
  26. 26. 宣伝2 @slaさんによるセッションもあります CROSS2014 お越しください 例年並みにチケットが売れていません
  27. 27. イベント概要

×