Design pattern 22 repeatable splitting

1. Design Pattern 22: Repeatable Splitting
Seki @tmhssk1
Machine Learning Design Patterns 読書会 #5
2021/5/18

2. Problem
サンプリングの反復性と再現性を確保するためには、⼗分に分散されたカラムと決定性のあるハッシュ関数を使⽤して、
利⽤可能なデータをトレーニングデータセット、検証データセット、テストデータセットに分割することが必要。
多くの機械学習のチュートリアルでは，次のようなコードが⽰されることが多いが、実際にはこの⽅法では失敗することが
多い。
上記のコードは相関する情報を有するサンプルによるリーケージを考慮していない。また、反復で同じ分割を再現できない。
例えばフライトの到着遅延の予測で、同じ⽇のフライトの到着遅延は互いに強く相関することが予想され、ある特定の⽇のフライトの⼀部がトレーニ
ングデータセットにあり、同じ⽇の他のフライトがテストデータセットにある場合、トレーニングデータセットとテストデータセットの間でリーケージが⽣じる。
プログラミング⾔語やランダムシードに関係なく、反復可能なデータの分割が理想であり、また、相関性のある⾏の情報を
持つサンプルが同じ分割に⼊るようにしなければいけない。

3. Solution
⾏間の相関関係を把握する列を特定
航空会社の遅延データセットの例では⽇付の列
その列のハッシュ関数の下数桁を使ってデータを分割
⽇付列にFarm Fingerprintハッシュアルゴリズムを使
⽤して、利⽤可能なデータをトレーニングデータセット、
検証データセット、テストデータセットに分割する
FARM_FINGERPRINT関数は特定の⽇付に対して常に同じ値を返すため、ランダムシードに関係なくこの分割を再現
することが可能

4. Solution
分割に利⽤する列を選ぶ際の注意点
再現性を持って相関する傾向がある情報を含む列
分割の基準として利⽤され、モデルへの⼊⼒では無い
⼗分なユニークな値を含むことが必要。経験則上は10の剰余演算をするのであれば40ほどのユニークな値が必
要。
ラベルが分割の基準となる値に対してうまくばらけていないといけない。分割後にラベルの分布を確認することが必
要。
例︓Kolomogorov–Smirnov検定を⽤いてラベルの累積分布関数をプロットし、各ペアの最⼤距離を確認する。

5. Trade-Off and Alternatives
Single query
トレーニング、検証、テストの分割を⽣成するために、3
つの個別のクエリは必要なく、1つのクエリで⾏うことが
可能。
右のようにsplit_col列を作り、ある⾏が3つのデータ
セットのどれに該当するかを決定する。
1つのクエリを使⽤することで、計算時間は短縮される
が、新規テーブル作成か、追加のsplit_col列をソース
テーブルに追加する必要があります。

6. Trade-Off and Alternatives
Random split
サンプル間でどの列においても相関が存在しないのであれば、データの⾏全体を⽂字列に変換してハッシュ化し、ランダムで反
復可能な分割を⾏う。
重複した⾏がある場合、それらは常に同じ分割になる。

7. Trade-Off and Alternatives
Split on multiple columns
2つの⾏の相関関係を把握するために、複数のカラムを組み合わせている場合は、ハッシュ計算の前に単純にフィールドを連
結する（feature cross）。
feature crossで分割した場合、元の⾏の情報をモ
デルの⼊⼒の1つとして使⽤可能。

8. Trade-Off and Alternatives
Repeatable sampling
データ全体ではなく、より⼩さいデータセットを抽出して分割する場合、2回の剰余演算を下記のように組み合わせる。
70分の1のデータを70の剰余演算で抽出後、
70*10=700の剰余演算でデータを分割する。

9. Trade-Off and Alternatives
Sequential split
時系列モデルの場合、データをシーケンシャルに分割して使⽤するのが⼀般的。
時系列データの将来のラベルを予測することが⽬的で
はない場合でも、特定の期間のデータを⽤いてモデル
を継続的に再学習するケースなどでこのような分割が
必要となる。
連続する時間の間に⾼い相関性がある場合のリー
ケージを避ける⽬的でも⾏われる。
いずれの場合も反復可能な分割を⾏うために、分割
を⾏うためのロジックをバージョン管理し、ロジックが変
更された場合には、モデルのバージョンが更新されるよ
うにする。

10. Trade-Off and Alternatives
Stratified split
天候予測において季節性を考慮して、トレーニングデータセットでは毎⽉の最初の20⽇間、検証データセットでは次の5⽇
間、テストデータセットでは最後の5⽇間を使⽤するという場合、層化後に分割を⾏うこととなる。
⾮常に⼤きなデータセットでは、特徴量が分割後のそれぞれのデータに分散する確率が⾼くなるが、分布の歪んだデータセッ
トでは層化が必要となることが多い。
不均衡データにおける分類問題（不正⾏為の例が⾮常に少ない不正⾏為検出など）では、ラベルによってデータセットを
層別し、各層を均等に分割するとよい。
マルチラベル分類で、あるラベルが他のラベルよりも希少である場合にも層化は重要となる。

11. Trade-Off and Alternatives
Unstructured data
ここまで構造化データを前提としてデータ分割について述べてきたが、画像、動画、⾳声、⾃由形式のテキストなどの⾮構造
化データにもメタデータを利⽤して同じ原理が適⽤可能。
例︓動画のメタデータである撮影⽇、レビュー投稿者のuser_idに対するFarm Fingerprintなど
テキストそのもの、画像や⾳声のファイル名に対するハッシュでは相関関係の問題に対処できないため、分割⽅法をよく検
討する必要がある。
MLのパフォーマンス低下の問題の多くは、潜在的な相関関係を考慮してデータ分割（およびデータ収集）を設計すること
で解決できることが多い。
メタデータがない場合や、インスタンス間に相関関係がない場合は、画像や動画をBase64エンコードし、そのエンコードの
Fingerprintを⽤いることもある。

12. どんなメリットがある︖ どうやって解決する︖
どんなときに使う︖ ドレードオフや関連⼿法はある︖
• データのリーケージを回避し、かつ反復性と再現性を確保
してデータ分割を⾏う。
• 利⽤可能なデータをトレーニングデータセット、検証データ
セット、テストデータセットに分割するとき。
• 関連⼿法︓ランダム分割、Feature cross後の分
割、データ部分抽出後の分割、シーケンシャルな分
割、層化分割
• 関連⼿法︓⾮構造化データに対するメタデータを⽤
いた分割
• 相関する傾向がある情報を含む列をハッシュ化し剰
余演算を⽤いてデータ分割を⾏う。
Design Pattern 22: Repeatable Splitting