More Related Content
What's hot
What's hot (20)
More from Miki Katsuragi
Recently uploaded
Recently uploaded (14)
時系列分析入門
- 1. Proprietary + Confidential 時系列分析入門 Miki Katsuragi 2021/3/27
- 2. Proprietary + Confidential ● 一定 時間間隔で記録されたデータ ● データセットを構成する次元 ● 時間（独立変数） ● 測定データ（従属変数） 時系列と
- 3. Proprietary + Confidential 時系列分析 用途 小売 & 消費財 アイテム需要 アイテム販売 アイテム 在庫レベル 旅行 空き部屋数 フライト予測 ユーティリティ 電飾需要 消費者需要 そ 他 サーバー 負荷 Webページへ アクセス ゲーム内購入 毎日 商品発送 財務予測 ... ... U T R ワークフォース管理 コールセンター通話量 サポート問い合わせ件数 店舗トラフィック W
- 4. Proprietary + Confidential ● サマードレス ● 模様 ● 長袖Vネック ● 55％リネン、綿45％ ● 洗濯機洗い可能 機械学習モデルが、豊富なメタデータ、製品間 関 係、価格設定、競争、製品ライフサイクル 相乗効果 を理解 商品メタデータ 需要関連要素 ● 販売 ● 価格 ● 競合他社 価格 ● プロモーション/イベント ● 休日 店舗データ ● 店舗 説明：大、小、専門 ● 店 所在地 ● アクセス Input Output Code encode decode 長期的な予測区間 12-16 ヶ月 短期的な予測区間 0-8 週 ● シーズン中 計画 ● 補充、在庫 ● 価格設定、割り当て ● SKUレベル ● シーズン前 計画 ● 購入/注文計画 ● 新規およびコールドスタートア イテム AUTOML FORECAST 小売における基本的な用途 : 需要予測
- 5. Proprietary + Confidential データセット 一変量 多変量 一変量 時系列例 ● 日付, 売上 多変量時系列 例 ● 日付, 売り上げ, プロモーション,天候, クリック数, etc. 時系列 タイプと要素 分析にあたり考慮が必要な時系列データ タイプ ● コールドスタートアイテム 需要予測、ノイズ 多いスパースデータセット、さまざまな長さ 系列、外れ値、トレンド変化 時系列を構成する要素 周期性 ● 季節性 ● トレンド ● そ 他 ランダム性 特徴量に依存 ● プロモーション ● 台風 ● 競合 価格低下
- 6. Proprietary + Confidential 時系列分析 基本的な考え方 過去 自身 値から 将来 値を予測 目標：入力データ（X）から出力変 数（y）を予測 教師あり学習データ 時系列データ 時系列データを教師ありデータに変換
- 7. Proprietary + Confidential ARIMA: AutoRegressive Integrated Moving Average ARIMA (p, d, q) p: モデルに含まれるタイムラグ 数（ARモッデル 次数）。ラグオーダーとも呼 れる d: 観測値 差分 次数。degree of differencing と も呼 れる q: 移動平均ウィンドウ サイズ（MAモデル 次数）。 移動平均 オーダー とも呼 れる
- 8. Proprietary + Confidential SARIMA: Seasonal ARIMA 季節性を持たない ARIMA ：ARIMA (p,d,q) で表現 ● p -- AR 項 order (タイムラグ 数 ) ● d -- 差分 ● q -- MA 項 order 季節性を持つ SARIMA : ARIMA (p,d,q) (P,D,Q) m で表現 ● m : 周期性（例：曜日 場合7、月 場合12） ● P,D,Q : 季節部分 AR、差分、MA ○ 1月 ARIMA, 2月 ARIMA,,というように季節性 についてARIMAを適用
- 9. Proprietary + Confidential ARIMA ような統計的手法 問題点 {p,d,q,P,D,Q,m}, を決定するため以下 ようなヒューリスティッ クなルールが必要 ● 単位根検定 ○ 有意かそうでないかで d を決定 ● 自己相関関数（ACF）、偏自己相関 ○ コレログラムからorder(p,q)を決定 ● 残差分析 ○ どれくらい残差に時系列が残ってるかによって p,d,q 値を変更 ● 視覚化 ● ... Duke大学より引用
- 10. Proprietary + Confidential Deep Learning による時系列分析 Deep learning が向いているケース ● 多く 外部要因（例：イベント、天候 変 化） ● データ収集 頻度が高い（例：秒単位 センサーデータ） ● 不規則な傾向 将来 外部要因値より予測 ● RNN ● LSTM
- 11. Proprietary + Confidential まとめ：時系列分析 手法比較 統計的手法 NN データセット 繰り返し 特徴量に依存 時系列 パターン コールドスタート ライフサイクルが短い商品 そ 他 単一 系列 複数系列 少数 特徴量 大量 特徴量 統計的手法 ARIMA, STL, etc ● 理論的に根拠がある（> 50年 研究） ● 成熟したツールとエコシステム ● BQML ニューラルネットワーク CNN, RNNs, LSTMs ● 比較的新しい（〜5年） ● 近年人気、活発な討論 ● エコシステムがまだ成熟してない ● AutoML Forecast great 手法 適合性 ok poor
- 12. Thank you!
- 15. Appendix
- 16. 季節性vs.循環変動 ● 季節性：時系列が影響を受ける季節的な影響 ○ 常に固定された既知 期間 ○ 季節期間= {1、4、12、52} ● 循環変動：時系列データにおける変動 うち、景気変動 ように 周期 一定で ないが3～15年くらいで周期的に繰り返される変 動 こと。 ○ 変動 期間：通常少なくとも2年 ○ 現在 サイクル 長さが事前にわからないが、数年 続き そうなビジネスサイクルに適用
- 17. auto-(S)ARIMA R auto.arima() 関数 ステップ概要 1) findfrequency() 関数でパラメータm を特定 2) 時系列 seasonality strength によりパラメータD∈ {0, 1} を特定 3) Choose d using successive KPSS unit-root tests to the seasonally differenced data (if D=1) or the original data (if D=0). 4) 季節差データ (D=1 場合) また 元 データ (D=0 場合) に対して連続するKPSS単位根検 定を使用してdを選択 5) p,q ∈ {0, ..., 5} および P,Q ∈ {0, ..., 2} すべて 値についてp + q + P + Q ≤ 5 となるように 定数項がある場合とない場合 ARIMA(p,d,q)(P,D,Q)m を推定 6) AICが最も低いモデルを返す 7) モデル 対数尤度、AIC、BIC、AICcを計算
- 18. ARIMA(p,d,q)(P,D,Q)m Fitting ● An Algorithm for Exact Maximum Likelihood Estimation of ARMA Models by Means of Kalman Filtering, 1980 ● パラメータを初期化 ● 条件付き平方和による初回 最適 化 ● モデル 状 態 空 間 表 現（カルマン フィルタを使っている） ● L-BFGSによる最大対数尤度を介し た二度目 最適化
- 19. STL: Seasonal and Trend decomposition using Loess ● Loess = Local Regression ○ 局所ARモデル ように各時点ごとに傾きを変える ● Y = Trend + Seasonal + Residual ● Outer loop: R サイズに応じて、データポイントにロバスト ネス 重みを割り当て ● 内部ループ：生 時系列から傾向推定値を差し引くことによ り、TとSを更新 ○ cycle-subseriesへ 分割 ○ LCS = loess_smooth(cycle-subseries) ○ S = LCS - low-pass-filter(LCS). ○ T = loess_smooth(Y - S) ○ R = Y - S - T STL
- 20. SELECT @__PARAMETER__non_seasonal_p0 AS p, @__PARAMETER__non_seasonal_q0 AS q, ml.arima_fit(ts_data.data_array, ts_data.timestamp_array, @__PARAMETER__non_seasonal_p0, @__PARAMETER__non_seasonal_q0, ...) AS model_struct FROM ts_data UNION ALL SELECT @__PARAMETER__non_seasonal_p1 AS p, @__PARAMETER__non_seasonal_q1 AS q, ml.arima_fit(ts_data.data_array, ts_data.timestamp_array, @__PARAMETER__non_seasonal_p1, @__PARAMETER__non_seasonal_q1, ...) AS model_struct FROM ts_data UNION ALL … UNION ALL ... 並行した ARIMA ハイパーパラメータチューニング