Machine Learning Design Patterns の 5: Reframing パターンについて、以下の勉強会で発表した資料です https://grass-roots-ml.connpass.com/event/209674/

1. Machine Learning Design Patterns
Design
Pattern 5:
Reframing
hei4
図は以下から引用：
Lakshmanan, Valliappa, Sara Robinson, and Michael Munn.
Machine learning design patterns. " O'Reilly Media, Inc.", 2020.

2. Problem
• 予測する対象が連続変数のとき、回帰問題として問題設定することが多い
• 同じ特徴量に対して異なるラベルが付けられた複数のデータが存在すると、モデ
ルが推論した予測値は常に誤差を持ち、学習の難度は上がる
事例）15分後の降雨量の予測問題
同じ特徴量セットに対して降雨量0.3cmと0.5cmのデータが存在
• 回帰モデルの性能を向上するには、モデルの複雑さの増加、特徴量の追加、
データの増強、別の損失関数の設計、etc...

3. Solution
• 回帰問題から分類問題へと問題の枠
組みを捉えなおす（Reframing）と、
モデルの性能を改善できる場合がある
• 確率分布が多峰性の場合や、単法
性でも分布の広がりが大きい場合に特
に有効
回帰の場合：
分布の平均値を予測
分類の場合：
確率分布を予測

4. Why It Works
• 離散確率分布として学習することで、回帰を分類に置き換えることができる
• バケット化（＝ヒストグラムのビンにまとめる）の分だけ精度が低下するが、確
率密度関数（PDF, Probability Density Function）の表現力を得る
• 特に分布が多峰性であるとき、分類問題としたほうが
大幅に有利になることがある
多峰性の例
バケット化の幅

5. Why It Works/
Capturing uncertainty
• 単峰性の分布でも、分布の広がりが大きいときは分類問題にすることは有効
• 回帰問題として扱うと、分布の幅が既約誤差*となってしまう
*既約誤差：予測不可能な要因や単なる偶然による誤差であり、減少させることはできない
新生児の
体重予測
問題
7.5±1.0ポンド
の正規分布に近い

6. Why It Works/
Changing the objective
• 分類問題を回帰問題に捉えなおすことで有利になる場合もある
事例）映画の推薦システム
分類問題：ユーザーの視聴履歴から次に推薦する映画を予測する
⇒コンテンツが増えるとカテゴリ数が増えるので、モデルの再訓練が必須
回帰問題：映画を見る可能性のあるユーザーの特性を予測する
⇒推薦時には、対象ユーザーの既知の特性に最も近い映画を選択すればよい
⇒コンテンツが増えても次元は変わらない

7. Trade-Offs and Alternatives (1)
Bucketized outputs Other ways of capturing uncertainty
• 推論した予測値に基づいて分岐して処理するな
ら、分類問題にしたほうが簡単
• 正確に値を予測したいなら回帰のほうが合理的
新生児に救命救急が必要かの判断
• 確率分布を捉える別の方法
• 分位点回帰（10,20,...,90パーセンタイル
点の予測）
• TensorFlow Probabilityなど確率的プログ
ラミング言語を使った分布推定
TIPS)
回帰のほうが必要な訓練データ数は多いため注意

8. Trade-Offs and Alternatives (2)
Precision of predictions
広いビン
狭いビン
ビン数が多い方が
より正確に表現できる
PDFは回帰問題にした際のモデル精度に関連を持つ
⇒非常にシャープな分布なら回帰モデルにした方がよい
広い：分類向き 狭い：回帰向き

9. Trade-Offs and Alternatives (3)
Restricting the prediction range Label bias
• 回帰問題で予測する値の範囲が限定されてい
るとき、最終活性化関数をSigmoidにすること
で値を制限できる
• Sigmoidは通常、分類問題に使用される
• 問題を定義する際には、問題に対して適切な枠
組みになっているか注意が必要
事例）動画のレコメンドシステム
ユーザーが特定の動画サムネイルをクリックする確率に
ついて分類モデルを構築
⇒ クリックベイト*に繋がる恐れがある
ビデオの再生時間についての回帰モデルのほうが適切
*ネット上の虚偽・誇大広告の形態の一つで、ユーザーの興味を引くような文面のテキストや
サムネイル画像を用いてリンクを踏ませること

10. Trade-Offs and Alternatives (4)
Multitask learning
• マルチタスク学習は回帰と分類の同時学習。別個にモデル構築するより性能がよい場合がある
• 同一のパラメータを使うハードパラメータ共有＆正則化によって類似させるソフトパラメータ共有
ハードパラメータ共有 ソフトパラメータ共有
正則化

11. Reframing パターン
どんなメリットがある？
• モデルの複雑化やデータの増強を避けて、モデルの
性能を改善することができる
• 予測する対象の不確実性を学習できる
どうやって解決する？
• 回帰問題から分類問題に捉えなおし、対象の離散
確率分布を学習する
どんなときに使う？
• 予測する対象が連続変数のとき
• 予測する対象が確率的に振る舞うとき。特にその確
率分布が多峰性や、単峰性でも広がりが大きい場
合
トレードオフや関連手法はある？
• トレードオフ：バケット化により精度が低下する
• 関連手法：分位点回帰、PPLを使った分布推定、
パラメータ共有を使ったマルチタスク学習
• 関連手法：分類タスクから回帰タスクへの転換