未来を予測せよ　〜あるエンジニアが挑んだKaggleコンペの軌跡〜

Copyright (c) 2020 The Japan Research Institute, Limited 1 /32
未来を予測せよ
〜あるエンジニアが挑んだKaggleコンペの軌跡〜
株式会社日本総合研究所先端技術ラボ
森正和
2020/9/24

目次
1. はじめに
1. 自己紹介
2. 先端技術ラボの紹介
2. Kaggle M5 Forecasting
1. コンペの概要
2. コンペに参加した目的
3. データ
4. 評価指標
5. スコアの推移と作業の流れ
6. 解法
7. 結果
8. 後日譚
3. まとめ

1. はじめに

1-1. 自己紹介 (1/2)
名前森正和
所属・肩書株式会社日本総合研究所先端技術ラボエキスパート
経歴 1975年出生
1997年日本総研入社
クレジットカードや銀行業務のシステム開発に従事
2018年先端技術ラボ配属
AI・データ分析を担当
SNS Twitter @marisakamozz
GitHub https://github.com/marisakamozz
Qiita https://qiita.com/marisakamozz
Blog https://marisakamozz.wordpress.com/
Kaggle https://kaggle.com/marisakamozz
興味・関心テーブルデータに対してディープラーニングを適用する手法

1-1. 自己紹介 (2/2)
2020/9/4時点

1-2. 先端技術ラボの紹介 (1/3)
活動方針
SMFGの技術の目利き役として、先端技術を活用した金融サービスの早期実現の為に、
「リサーチ・技術戦略立案」、「技術検証・評価」および「データサイエンス」の機能を提供
ＩＴベンダー
日本総研先端技術ラボ
ミッション
リサーチ
・技術
戦略立案
技術検証
・評価
データ
サイエンス
専門人材育成
リサーチャー
技術専門
人材
先端技術ラボの取組み
大学等
・・・
三井住友
銀行
SMBC
日興証券
三井住友
カード
株式会社日本総合研究所組織概要図
第一開発部門
第二開発部門
国際部門
調査部
創発戦略センター
ﾘｻｰﾁ・ｺﾝｻﾙﾃｨﾝｸﾞ部門
国際戦略研究所
監査部
DX・開発技術推進部
セキュリティ統括部
品質管理部
先端技術ラボ
HRマネジメント部
基盤開発部門
経営管理部
財務管理部
業務管理部
人事部
法務部
広報部

技術獲得（リサーチ）と検証・評価（業務貢献）の両立
技術リサーチ
先行研究調査技術獲得
業務適用評価
Open
Data
論文等
再現
確認
実務検証
業務
データ
活用
可否
ビジネスニーズ
 日進月歩で進展するＡＩ・Blockchain技術の専門性と目利き力を持続的に獲得・向上していくため、先行研究の技術リサーチ、及び導入
済技術・製品では未充足の業務ニーズへの技術検証で貢献
 専門機関・ＩＴベンダー・大学等とも連携し、数年後の実用化が見込まれる先行研究や先端手法の業務活用に取り組む

金融機関のテキストデータを活用した景気センチメントの計測
（2019年度人工知能学会全国大会(第33回)で発表）
東日本大震災
リーマンショック
景
気
セ
ン
チ
メ
ン
ト
（
四
半
期
）
日
銀
短
観
（
現
状
・
全
業
種
・
全
規
模
）

2. Kaggle M5 Forecasting

2-1. コンペ概要
Kaggle M5 Forecastingは過去の売上データから将来の売上を予測することを目標として
Kaggleプラットフォーム上で開催されたコンペ。
売上を予測する「Accuracy」と売上分布を予測する「Uncertainty」の２部門がある。与えられ
るデータは両部門で同一であり、提出物と評価方法が異なる。
項目内容
テーマ米国3州（カリフォルニア州、テキサス州、ウィスコンシン州）に
存在するウォルマート10店舗における3049種類の商品の将
来28日間における売上（販売数量）を予測する。
主催者ニコシア大学
協賛 Google, Uber, Walmart, IIF (International
Institute of Forecasters)
開催期間 2020年3月3日～2020年6月30日
賞金総額 $100,000
ルール • 外部データ利用可能（予測時点で利用可能なものの
み）
• コンピューターリソースの制限なし
概要（参考）M Competitionとは
ニコシア大学のSpyros Makridakis教授が創設した「the Makridakis Open
Forecasting Center (MOFC)」が主催するコンペ。1982年から過去4回のコ
ンペが開催されており、今回は5回目。
（ニコシア：地中海の島国であるキプロス共和国の首都）
画像はKaggleより転載。
（https://www.kaggle.com/c/m5-forecasting-uncertainty）

2-2. コンペに参加した目的
• 時系列分析手法、及び、不確実性に関する技術の調査
• プレゼンスの向上（個人、及び、組織）
時系列分析技術の金融ビジネスへの応用例（外貨調達コスト削減）
銀行は個人や法人の預金を預かり、それを企業に融資することで利ざやを稼ぐ。
銀行は融資先にいつでも資金供給が行えるよう、ある程度のお金（特に外貨）を常時確保しておく必要がある。
将来の預金残高を予測できれば、外部から外貨を調達する必要がなくなり、コスト削減につながる。
個人・法人
他の金融機関
銀行融資先企業
預金
融資

2-2. コンペに参加した目的
時系列データの予測においては、ディープラーニングなどの機械学習手法よりも従来
の統計的手法の方が有効だと言われている。
出典：「Statistical and Machine Learning forecasting methods: Concerns and ways forward」
Spyros Makridakis, Evangelos Spiliotis, Vassilios Assimakopoulos
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889

2-3. データ
与えられるデータは①売上、②カレンダー、③価格の３つのCSVファイル。Training期間の①売
上と②カレンダー・③価格の情報を元に、Validation期間とEvaluation期間の売上を予測。
データ内容期間
Training
2011/1/29～2016/4/24
Validation
～2016/5/22
Evaluation
～2016/6/19
①売上（sales）店舗ごと・商品ごとの日付単位の販売数量の時系列データ
（ある店舗である商品がある日にどれだけの数売れたか）
あり予測対象
(2020/6/1公開)
予測対象
（非公開）
②カレンダー
（calendar）
宗教行事やスポーツ等のイベント開催日と
SNAP（補充的栄養支援プログラム、低所得者向けクーポ
ン）が利用できる日
ありありあり
③価格（prices）店舗ごと・商品ごとの週単位の販売価格あり
（販売されている期間のみ）
ありあり
＜注意点＞
店舗や商品の属性情報は与えられない。
商品はその時点でまだ販売されていない場合があり、それまでは「①売上」はすべて「0」となっている。「③価格」でその時点で販売されていたかどうかの判定が可能。

＜店舗数＞
＜商品数＞
2-3. データ
予測対象の店舗数は10店舗、商品数は3049種類となっている。
売上（販売数量）は多くの日付で0となっており、商品によって平均的な販売数量が異なる。
画像はAKuni氏によるKaggle Notebook「【日本語】Back to (predict) the
future - M5 EDA」より転載。
（https://www.kaggle.com/marutama/back-to-predict-the-
future-m5-eda）
州店舗数
カリフォルニア州（CA） 4
テキサス州（TX） 3
ウィスコンシン州（WI） 3
合計 10
カテゴリ分類商品数
食料品（FOODS） 3 ?
娯楽（HOBBIES） 2 ?
家庭用品
（HOUSEHOLD）
2 ?
合計 7 3049
＜売上データのサンプル＞

2-4. 評価指標
評価は集計する単位によって12種類、合計42840個の時系列データ（28日間）に対して行
われる。Accuracy部門は評価指標としてWRMSSEが用いられる。
Level 集計単位数
店舗商品
1 全店舗全商品 1
2 州全商品 3
3 個別店舗全商品 10
4 全店舗カテゴリー 3
5 全店舗分類 7
6 州カテゴリー 9
7 州分類 21
8 個別店舗カテゴリー 30
9 個別店舗分類 70
10 全店舗個別商品 3,049
11 州個別商品 9,147
12 個別店舗個別商品 30,490
合計 42,840
下記の単位で集計した時系列データ（28日間）で評価される。 𝑛は訓練データ数、ℎは予測期間のデータ数、 𝑌𝑡 は売上実測値、 𝑌𝑡は売上予測
値。
𝑾𝑹𝑴𝑺𝑺𝑬 =
𝑖=1
42,840
𝑤𝑖 ∗ 𝑅𝑀𝑆𝑆𝐸 ,
𝑹𝑴𝑺𝑺𝑬 =
1
ℎ
𝑡=𝑛+1
𝑛+ℎ
𝑌𝑡 − 𝑌𝑡
2
1
𝑛 − 1 𝑡=2
𝑛
𝑌𝑡 − 𝑌𝑡−1
2
,
数式はMOFCの「THE M5 COMPETITION Competitors’ Guide」から引用。
（https://mofc.unic.ac.cy/wp-content/uploads/2020/03/M5-Competitors-
Guide-Final-10-March-2020.docx）
ウェイト𝑤𝑖は合計が1になるように、下記のルールで決める。
① 12種類の時系列データで等配分（それぞれ12分の1）
② 訓練データの直近28日間の売上金額合計に応じて配分
→個別商品の予測誤差は全体の評価にあまり影響しない。
Accuracyの評価指標であるRMSSE(Root Mean Squared Scaled Error)は、通常の
RMSE(Root Mean Squared Error)を、訓練データにおける前日の売上実測値をそのまま
翌日の売上予測値とした場合のRMSEで割ることでスケールをそろえたもの。
（１）集計単位（２）Accuracy部門の評価指標

2-4. 評価指標
Uncertainty部門は予測分布の9つの分位点で評価される。
（３）Uncertainty部門の提出物（9分位点）
12種類、42840個の時系列データについて、予測期間28日それぞれの売上分布の9分位点を提出する。
分位点は0.5%、2.5%、16.5%、25%、50%（中央値）、75%、83.5%、97.5%、99.5%。
下記は全店舗・全商品の時系列データの訓練期間（2011/1/29～2016/4/24）の売上分布と9分位点。
元となる時系列データはトレンドや周期性があるものの、大まかに言って（対数）正規分布のように見える。（中心極限定理？）
0.5% 2.5% 16.5% 25% 50%
中央値
75% 83.5% 97.5% 99.5%
12/25は営業していないためか、売上がほぼ0となっている。

2-4. 評価指標
Uncertainty部門の評価指標はWSPL (Weighted Scaled Pinball Loss) 。
（４）Uncertainty部門の評価指標
𝑛は訓練データ数、ℎは予測期間のデータ数、 𝑌𝑡 は売上実測値、 𝑄𝑡 𝑢 は時点𝑡における予測分布の分位点𝑢の分位数。
ウェイト𝑤𝑖はAccuracy部門と同じ。
𝟏はかっこの中身が真であれば1、そうでなければ0となる関数。
𝑾𝑺𝑷𝑳 =
𝑖=1
42,840
𝑤𝑖 ∗
1
9
𝑗=1
9
𝑆𝑃𝐿(𝑢𝑗) ,
𝐒𝐏𝐋(𝐮) =
1
ℎ
𝑡=𝑛+1
𝑛+ℎ
𝑌𝑡 − 𝑄𝑡(𝑢 )𝑢𝟏 𝑄𝑡 𝑢 ≤ 𝑌𝑡 + 𝑄𝑡(𝑢 − 𝑌𝑡)(1 − 𝑢)𝟏{𝑄𝑡 𝑢 > 𝑌𝑡}
1
𝑛 − 1 𝑡=2
𝑛
𝑌𝑡 − 𝑌𝑡−1
,
数式はMOFCの「THE M5 COMPETITION Competitors’ Guide」から引用。
（https://mofc.unic.ac.cy/wp-content/uploads/2020/03/M5-Competitors-Guide-Final-10-March-2020.docx）
実測値が分位点の右側であれば、
実測値と分位点の差に分位点uをかける。
実測値が分位点の左側であれば、
実測値と分位点の差に 1-分位点u をかける。

2-5. スコアの推移と作業の流れ
Accuracyの理解 Uncertaintyの理解モデルの作成モデルの改善
0.5690
0.5904 0.5899
0.7364
0.6782 0.6590 0.6590 0.6590 0.6590 0.6400
0.5811 0.5768
0.1696 0.1591 0.1596
1.2279
0.3455
0.3176
0.1695 0.1657 0.1630
0
0.2
0.4
0.6
0.8
1
1.2
1.4
5月1日 5月8日 5月15日 5月22日 5月29日 6月5日 6月12日 6月19日 6月26日
スコアの推移
Accuracy(WRMSSE) Private Accuracy(WRMSSE) Public Uncertainty(WSPL) Private Uncertainty(WSPL) Public

2-6. 解法 (1)EDA
多くの商品は散発的に売れており、売上が０となっている日が最も多い。
そのため、個別商品のモデルには負の二項分布を採用。
＜例＞全店舗・個別商品(FOODS_2_262)の時系列データとヒストグラム
ほとんど商品が売れていない期間がある
時系列データヒストグラム
Zero-inflated

2-6. 解法 (1)EDA
商品をカテゴリー単位や分類単位で集計すると様相が異なり、正規分布に近くなる。
そのため、商品を集計したものでは正規分布またはT分布を採用。
＜例＞個別店舗（CA_1）・商品分類（HOUSEHOLD_2）単位で集計した時系列データとヒストグラム
時系列データヒストグラム

2-6. 解法 (1)EDA
まとめると、時系列データごとに下記のモデルを作成する方針を採用。
Each Model Agg Model
負の二項分布正規分布、または、T分布
個別商品の時系列データを予測する全商品・カテゴリー単位・商品分類単位で集計
した時系列データを予測する

2-6. 解法 (2)モデル構造
「Each Model」「Agg Model」ともに同じ構造。
ただし、「Agg Model」は入力特徴量として価格の情報を用いない点が異なる。
入力データ
エンベディング層
（カテゴリー特徴量をエンコーディングする）
LSTM層1 LSTM層2
FC
(月)
FC
(火)
FC
(日)
FC
(土)
・・・
出力データ
28日間それぞれの
売上分布のパラメータ
曜日ごとにFC層を分割
予測対象28日間の
カレンダー・価格
モデル
・・・
直近28日間の
売上・カレンダー・価格
・・・
当初出力層は曜日ごとのFC層ではなくLSTM層にしていたが、うまく周期性を表現できなかったため、FC層に変更。
Batch Norm・Layer NormはLSTMと相性が悪いようなので見送った。

2-6. 解法 (3)特徴量エンジニアリング
 特徴量エンジニアリング
• 前述のモデル構造としたことから当初検討していたラグ特徴量や直近N日間のターゲットエンコ
ーディングは不採用。
 外部データ
• AccuracyのDiscussionに上がっていた”Federal Holidays USA 1966-2020”を使用。
(https://www.kaggle.com/gsnehaa21/federal-holidays-usa-19662020).
 売上のスケーリング
• 「Agg Model」の売上データを標準正規分布に近づけるために、PowerTransformerで売
上をスケーリング。
• 「Each Model」は整数のままとしたかったため、特にスケール変換せず。

2-6. 解法 (4)Cross Validation
当初のクロスバリデーション方針は下図の通り。
しかし、Foldごとにスコアが大きく変動したため、土壇場で4週間単位を8週間単位に変更したが、
スコアが変動する問題は解消せず。

2-6. 解法 (5)Seed問題
これは「Agg Model」での実験結果の一例。Seed以外の条件はすべて同じであるにも関わらず、
スコアが大きく変動していることが見て取れる。
FOLD 1 FOLD 2 FOLD 3 FOLD 4
seed 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
test_wloss
score
0.408 0.412 0.435 0.412 0.643 0.589 0.747 0.631 0.780 0.713 0.577 0.699 0.791 0.505 0.643 0.818
過学習を抑えるための様々な対策を行ったが、最後までこの問題は解決せず。
仕方ないので、すでに公開されていたValidation Phaseの売上データは学習には使用せず、テス
トのみに使用し、Public Leaderboardのスコアが一番高いseedを採用することにした。

2-6. 解法 (6)その他の工夫
 ターゲットエンコーディング
• 時系列＋曜日のターゲットエンコーディングを採用。
• 曜日ごとに分かれている最終FC層に入力。
 オーバーサンプリング
• 直近のデータを重視するため、2015年のデータは２倍に、2016年のデータは4倍にオーバーサ
ンプリング。
 重み付きロス
• 評価指標は売上によって重みづけされるため、重み付きのロスを使って学習。
• 「Each Model」では効果があったが、「Agg Model」では効果がなかった。

2-7. 結果
実装はGitHubで公開中。ぜひスターを！https://github.com/marisakamozz/m5
Validation Phase Evaluation Phase
全店舗・全商品で集計した時系列データの実際の売上と予測（９分位点）。
赤線が実際の売上で、それ以外の線が予測した各分位点。Evaluation Phaseの赤線は最後の１週間の平均。

2-8. 後日譚 (1/3)
 締め切り時刻：日本時間 7/1 朝9:00（UTC 7/1 0:00）
＜Accuracy＞ Public Leaderboardの順位：3155位/約5000チーム
＜Uncertainty＞ Public Leaderboardの順位：596位/約900チーム

2-8. 後日譚 (2/3)
 再現できねぇ！
• 学習前にはseedを固定していた。そのため、何度実行しても同じ結果になる。
• しかし、予測ファイルを作成する前にseedを固定していなかった。そのため、保存したモデルから
同じ予測ファイルを再現できない！
• 別のマシンで最初から実行しても同じ結果にならない。
• torch.cuda.set_rng_state()で何とか解決。（7月9日の出来事）
 モデルの説明資料とプレゼン資料
• 上記の再現モデルとあわせて7月15日の期限までに提出が必要。
• 全部英語。

2-8. 後日譚 (3/3)
 個人的に考える今回の勝因
① 運がよかった
 そもそも時系列データの予測は不確実性が高い。
 実際、今回のコンペでは（私も含めて）初めて参加した人が上位に入っている一方、歴戦の猛者があまり
上位に入っていない。
 Accuracy部門では主催者が用意したベースラインモデルが銅メダルを獲得している。
② 独自のモデル
 多くの参加者が売上を予測した後で信頼区間を付与する２段階のアプローチをとっていた中で、確率分布
そのものをモデル化
 曜日の周期性を表現可能な構造
③ データを訓練に使用するかどうかの判断
 基本的には直近のデータを重視してモデルを作成
 あえて最後の4週間のデータを訓練に使用せず、モデルの評価に使用した

3. まとめ

3. まとめ
将来何が起こるかは誰にもわからない

未来を予測せよ　〜あるエンジニアが挑んだKaggleコンペの軌跡〜

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 未来を予測せよ　〜あるエンジニアが挑んだKaggleコンペの軌跡〜

Similar to 未来を予測せよ　〜あるエンジニアが挑んだKaggleコンペの軌跡〜 (17)