Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Statistical machine learning forecasting methods concerns and ways forward
Similar to Statistical machine learning forecasting methods concerns and ways forward (20)
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (11)
Statistical machine learning forecasting methods concerns and ways forward
- 1. 1 論文紹介 Statistical and Machine Learning forecasting methods: Concerns and ways forward 調和系工学研究室 学部4年 椿 康平 2020/06/17
- 2. 論文情報 • タイトル • Statistical and Machine Learning forecasting methods: Concerns and ways forward • 著者 • Spyros Makridakis • Evangelos Spiliotis • Vassilios Assimakopoulos • 掲載誌 PLoS ONE 13(3): e0194889. • Received: December 9, 2017 • Accepted: March 12, 2018 • Published: March 27, 2018 2
- 3. 概要 • 時系列予測において、統計的手法に変わるものとして機 械学習が学術的に提案されてきた • 両者を比較した性能の違いはあまり知られていない • M3コンペティションで使用された大規模なサブデータセ ットを用いて統計的手法と機械学習の性能の違いを見て いく • 統計的手法の方が現状では性能が高いことがわかった • 機械学習の精度を上げる方法を提案 3
- 4. 序論 • 予測の分野に機械学習が導入されたが、果たして時系列 予測の精度は向上したのか？ • これまでの研究の前提 • 少数の時系列のみで議論している • ほとんどが短期予測 • ベンチマークがはっきりとしていない • 様々な期間の予測を多種多様なデータセット・ベンチマ ークを用いて比較していかなくては、その一般性という のは証明されない 4
- 5. 先行研究 • [16]の研究 • 内容 • M3コンペティションでの統計的手法と機械学習の精度比較 • 結果 • NNsが統計的手法には優っていなかった。 • [12]の研究 • 内容 • 統計的手法、NNs、CIを用いて精度比較 • 結果 • NNsの精度は向上しているものの、統計的手法には優っていなかった。 5 [12] Crone SF, Hibon M, Nikolopoulos K. Advances in forecasting with neural networks? Empirical evidence from the NN3 competition on time series prediction. International Journal of Forecasting. 2011;27(3):635–660. [16] Makridakis S, Hibon M. The M3-Competition: results, conclusions and implications. International Journal of Forecasting. 2000;16(4):451–476.
- 6. 先行研究 • [15]の研究 • 8つのML法の予測精度を比較 • MLP • BNN • RBF • GRNN • データの前処理をする(平均と分散の定常性を得るた め) • 1ヶ月分の予測を行った（評価はsMAPE） 6 • KNN • CART • SVR • GP [15] Ahmed NK, Atiya AF, Gayar NE, El-Shishiny H. An Empirical Comparison of Machine Learning Models for Time Series Forecasting. Econometric Reviews. 2010;29(5–6):594–621
- 7. 先行研究 • 使用データセット(M3コンペティション) データタイプ •ミクロ経済・産業・マクロ経済・財政・人口統計・その他 特徴 •季節性、トレンド、ランダム性が高い 時間間隔 • 年次、四半期、月次、その他 • 月次データの内81ヶ月~126ヶ月の1045時系列を使用 •(https://forecasters.org/resources/time-series-data/m3-competition/)で入手可能 7
- 8. 先行研究 • 結果 • MLP,BNNの精度が高い • 3位以降との精度の差が著しく大きくなっている 8
- 9. 先行研究との違い • 先行研究[15]を拡張 • 8つの統計的手法を追加 • 機械学習を2つ追加（RNNとLSTM） • 精度指標としてMASEを導入 • [31]の研究でMASEでの比較が好ましいと判断された • 短期・中期・長期での予測精度を比較 • 計算複雑度の測定 • 実用的かどうかを判断する情報 • モデルの適合度を測定 • 過学習の可能性を明らかにする情報 9 [15] Ahmed NK, Atiya AF, Gayar NE, El-Shishiny H. An Empirical Comparison of Machine Learning Models for Time Series Forecasting. Econometric Reviews. 2010;29(5–6):594–621 [31] Hyndman RJ, Koehler AB. Another look at measures of forecast accuracy. International Journal of Forecasting. 2006;22(4):679–688.
- 10. 統計的手法の一覧 10 • Naive 2 • 季節調整付きランダムウォークモデル • ナイーブベンチモデル • SES(単純指数スムージング) • トレンド抜きの予測モデル • Holt(Holt指数スムージング) • トレンドつきの予測モデル • Damped(Damped指数スムージング) • トレンドつきの予測モデル • Comb • SES, Holt, Dampedの平均を予測値とする • Theta • M3コンペティションでsMAPEでの精度値が一番良かったもの • ARIMA • 自己回帰和分移動平均モデル • ETS(指数平滑法) 局所統計アルゴリズム [39] Makridakis SG, Wheelwright SC, Hyndman RJ. Forecasting: Methods and applications (Third Edition). New York: Wiley; 1998. 詳細な構築情報は[39]を参照
- 11. 機械学習の一覧 • MLP (多層パーセプトロン) • BNN (ベイジアンニューラルネットワーク) • RBF (放射基底関数) • GRNN (一般回帰ニューラルネットワーク) • KNN (K近傍法) • CART • SVR (サポートベクター回帰) • GP (ガウス過程) • RNN • LSTM 11
- 12. MLP(多層パーセプトロン) • RのRSNNS::mlp()で構築 • 使用データは次の式で0〜1でスケーリングしておく 𝑌′ = 𝑌 − 𝑌 𝑚𝑖𝑛 𝑌 𝑚𝑎𝑥 − 𝑌 𝑚𝑖𝑛 • 隠れ層が1層のNNを構築 • 入力ノード数N(1〜5まで)を10-分割交差検証により選択 • 隠れノード数を2N+1に設定 • スケールド共役勾配法により最適な重みを算出 • 学習率(0.1〜1) • ランダムな初期重みを使用 • 最大反復回数500回 • 活性化関数を設定 • 隠れ層にはロジスティック関数 • 出力ノードには線形関数 • 線形関数にすることでうまく計算ができる[28] 12 [28] Zhang GP, Qi M. Neural network forecasting for seasonal and trend time series. European Journal of Operational Research. 2005;160(2):501–514.
- 13. BNN(ベイジアンニューラルネットワーク) • Rのbrnn::brnn()で構築 • 使用データは次の式で0〜1でスケーリングしておく 𝑌′ = 𝑌 − 𝑌 𝑚𝑖𝑛 𝑌 𝑚𝑎𝑥 − 𝑌 𝑚𝑖𝑛 • [46][47]に従って構築 • Nguyen and Widrowアルゴリズム[48]を使用して初期重みを設定 • Gauss-Newtonアルゴリズムを使用して最適化 • 入力ノード数N(1から5まで)を10-分割交差検証により選択 • 隠れノード数を2N+1に設定 • 最大反復回数は500回 13 [46] MacKay DJC. Bayesian Interpolation. Neural Computation. 1992;4(3):415–447. [47] Dan Foresee F, Hagan MT. Gauss-Newton approximation to bayesian learning. In: IEEE International Conference on Neural Networks—Conference Proceedings. vol. 3; 1997. p. 1930–1935. [48] Nguyen D, Widrow B. Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights. IJCNN Int Joint Conf Neural Networks. 1990;13:C21.
- 14. RBF(放射基底関数) • RのRSNNS::rbf()で構築 • 使用データは次の式で0〜1でスケーリングしておく 𝑌′ = 𝑌 − 𝑌 𝑚𝑖𝑛 𝑌 𝑚𝑎𝑥 − 𝑌 𝑚𝑖𝑛 • 入力ノード数N(1から5まで)を10-分割交差検証により選 択 • 隠れノード数を2N+1に設定 • 最大反復回数は500回 • 出力ノードには線形活性化関数を用いる 14
- 15. GRNN(一般回帰ニューラルネットワーク) • Rのgrnnパッケージで構築 • 入力は、線形にスケールされ、1〜5まで変化 • シグマパラメータと入力数Nを10-分割交差検証により決 定 • シグマは0.05〜1まで0.05刻みで変化 15
- 16. KNN(K近傍法) • Rのclass::KNN()で構築 • 入力は、線形にスケールされ、1〜5まで変化 • Kパラメータと入力数Nを10-分割交差検証により決定 • Kは2〜10まで変化 16
- 17. CART • Rのrpart::rpart()で構築 • 入力は、線形にスケーリング • 入力ノード総数N(1から5まで)を10-分割交差検証により 選択 17
- 18. SVR(サポートベクター回帰) • Rのe1071::SVM()で構築 • 入力は、線形にスケーリング • 学習・予測に放射状の基本的なカーネルを使用 • [15]に従って次のように設定 • θは訓練サンプルのノイズレベルに等しく設定 • 制約違反コストCは目標出力値の最大値である1に固 定 • γパラメータと入力総数Nを10-分割交差検証により決定 18 [15] Ahmed NK, Atiya AF, Gayar NE, El-Shishiny H. An Empirical Comparison of Machine Learning Models for Time Series Forecasting. Econometric Reviews. 2010;29(5–6):594–621
- 19. GP(ガウス過程) • Rのkernlab::gausspr()で構築 • 入力は、線形にスケーリング • 入力ノード総数N(1から5まで)を10-分割交差検証により 選択し • 放射基底のカーネル関数を使用 • 初期ノイズ分散と終端の許容誤差は0.001に設定[15] 19 [15] Ahmed NK, Atiya AF, Gayar NE, El-Shishiny H. An Empirical Comparison of Machine Learning Models for Time Series Forecasting. Econometric Reviews. 2010;29(5–6):594–621
- 20. RNN(リカレントニューラルネットワーク) • Python上のKeras API v2.0.9とTensorFlow v1.4.0で構 築 • 2つの層で構成 • リカレントノードを含む隠れ層 • 1つ以上の線形ノードを含む出力層 • 隠れ層 • 入力ノード数を3に設定 • リカレントユニットを6つに設定 • エポック数を500に設定 • 学習率を0.001に設定 • 全てのノードで線形活性化関数を使用 20
- 21. LSTM • Python上のKeras API v2.0.9とTensorFlow v1.4.0で構 築 • 隠れ層 • 入力ノード数を3に設定 • LSTMユニットを6つに設定 • 出力層 • 1つの線形ノード • 全てのユニットの出力で線形活性化関数を使用 • 再帰ステップにはハードシグモイド関数を使用 • rmspropオプティマイザを使用 • エポック数を500に設定 • 学習率を0.001に設定 21
- 22. 精度指標 • sMAPE（正の誤差のペナルティが大きい） • M3コンペティションで使用 • MASE 22
- 24. 計算複雑度(CC)とモデル適合度 • 計算複雑度 ※Intel® Core™ i7-4790 CPU @ 3.60GHz, 8.00 GB RAM, x64 based processor • モデル適合度 24
- 26. データの前処理 • MLPで実験を行い、今回はその結果を他の機械学習にも 適応 • １ヶ月分の予測を行う • 新たな指標MASEで一番精度の良かった組み合わせで 実験を行なっていく 26
- 30. 結果の考察 • 適切な前処理を行うことで、sMAPEでの精度は向上させ ることができる • MASEでの精度は前処理を行ってもあまり変化がない • 精度が高くてもCC(計算複雑度)が高いものがある 30
- 32. 結果の考察 • sMAPEでの精度の先行研究との違いを調査する必要があ る • 使用した計算機が違う • 手法内のパラメータや使用した関数が違う • 先行研究はMatLabを使用 • 今回はRを使用 • RNNやLSTMのような研究が進んでいるものほど精度が 高いと言うわけではない 32
- 34. 期間の定義 • Short • 短期間 • 1ヶ月〜6ヶ月 • Medium • 中期間 • 7ヶ月〜12ヶ月 • Long • 長期間 • 13ヶ月〜18ヶ月 34
- 35. 短期・中期・長期の予測 • 反復予測 • １ヶ月前の予測値を入力値として利用 • 予測精度に依存してしまう 35
- 36. 短期・中期・長期の予測 • 直接予測 • 出力ノードを予測分用意しておく • 反復予測に比べて計算量が多く複雑 • 訓練に利用できるデータ数が減少する 36
- 40. 結果 • 統計的手法がどの期間でも、一般的に機械学習よりも優 れている • CC(計算複雑度)は統計的モデルの方が小さい • 反復予測・直接予測・マルチニューラルネットワーク予 測のどれかが優れているわけではない。 40
- 41. 今後の流れ • 様々な応用分野で高い精度を出している機械学習が、予 測の分野では精度が低いと言うことは考えられない • 機械学習のネットワークの目的 • 誤差関数を最小化するパラメータや重みを最適化問題 を解くことで「学習」すること • LSTMのような高度な機械学習の方が予測精度向上す るはず 41
- 42. 今後の流れ • 機械学習と統計的手法をデータセットごとに比較するこ とで、精度が違う理由を明らかにしていくなどの調査が 必要 • 他のデータセットを使用しても同じような結果が得られ るのかを調べる必要がある。 • M3はビジネス応用向け • 需要予測には実際に「コースに適した馬」が存在する との報告もある[79] 42 [79] Petropoulos F, Makridakis S, Assimakopoulos V, Nikolopoulos K. ‘Horses for Courses’ in demand forecasting. European Journal of Operational Research. 2014;237(1):152–163.
- 43. 提案手法 • 目的 訓練範囲よりも予測範囲内でのモデルの適合度を上げ、 誤差を小さくすることで予測精度を上げる • 提案手法1(スライディング・シミュレーション) • 訓練データをk等分(train_1,train_2,...train_k)し、 train_1で単純なモデルを生成 • データを1つ追加して学習することを訓練データ全て を使用するまで繰り返す。 • 提案手法2(代替予測を与える) • 予測精度の高い統計的手法の予測結果を疑似真値とし て使用する 43
- 44. 機械学習の懸念点 • 過学習 • モデルの訓練範囲の適合度が高いからと言って、予測 の精度が高くなるわけではない • ノイズをデータのパターンとして認識しないように、 ARIMAのAIC情報基準のような過学習を緩和する基準 が必要になる 44
- 46. 機械学習の懸念点 • 計算時間 • 機械学習は計算に時間がかかる • 実用化するのなら計算量を減らす工夫が必要 • 計算量削減と精度向上はトレードオフ • まずデータを非季節化し，より単純なモデルを利用 46
- 47. 今後の進め方や追加事項のまとめ • 実験データだけではなく、予測の生成方法などを詳細に記載することで ブラックボックスになることを防ぐ • 統計的手法やベンチマークとの比較を行う • 結果を追試できるようにデータを公開する • 未知の将来の値の情報を得ることで、最適化と学習を行う • 過学習を避ける工夫を設ける • データを非季節化するなどで、計算時間を少なくする • データの前処理を自動化する • 予測の不確実性についても議論する • 予測分布は分析的に算出されたものではない 47
- 48. 参考資料 • [12] Crone SF, Hibon M, Nikolopoulos K. Advances in forecasting with neural networks? Empirical evidence from the NN3 competition on time series prediction. International Journal of Forecasting. 2011;27(3):635–660. • [15] Ahmed NK, Atiya AF, Gayar NE, El-Shishiny H. An Empirical Comparison of Machine Learning Models for Time Series Forecasting. Econometric Reviews. 2010;29(5–6):594–621 • [16] Makridakis S, Hibon M. The M3-Competition: results, conclusions and implications. International Journal of Forecasting. 2000;16(4):451–476. • [28] Zhang GP, Qi M. Neural network forecasting for seasonal and trend time series. European Journal of Operational Research. 2005;160(2):501–514. • [31] 48
- 49. 参考資料 • [39] Makridakis SG, Wheelwright SC, Hyndman RJ. Forecasting: Methods and applications (Third Edition). New York: Wiley; 1998. • [46] MacKay DJC. Bayesian Interpolation. Neural Computation. 1992;4(3):415–447. • [47] Dan Foresee F, Hagan MT. Gauss-Newton approximation to bayesian learning. In: IEEE International Conference on Neural Networks—Conference Proceedings. vol. 3; 1997. p. 1930–1935. • [48] Nguyen D, Widrow B. Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights. IJCNN Int Joint Conf Neural Networks. 1990;13:C21. • [79] Petropoulos F, Makridakis S, Assimakopoulos V, Nikolopoulos K. ‘Horses for Courses’ in demand forecasting. European Journal of Operational Research. 2014;237(1):152–163. 49
Editor's Notes
- 前処理を行うのは大切
- 前処理を行うのは大切