Smart SEセミナー2021年11月10日　出版記念セミナー: AI活用成熟度と機械学習デザインパターン詳説

1. 問題表現のパターン (第3章)
⽵内広宜(武蔵⼤学)
1
スマートエスイーセミナー︓機械学習デザインパターン詳説

2. 問題表現のパターン
n 全体概要
n 個々のパターンの紹介
Ø問題再設定(Reframing)
Øマルチラベル(Multilabel)
Øアンサンブル学習(Ensemble)
Øカスケード(Cascade)
Ø中⽴クラス(Neutral Class)
Øリバランシング(Rebalancing)
2

3. 問題表現のパターン︓全体概要
n 機械学習において、⼊⼒・出⼒の形式はモデルのアーキテクチャの決定に⼤きな影響を与える
例︓⼊⼒の種類によって効果的なニューラルネットワークが存在
Ø ⼊⼒が時間/空間⽅向に相関を持つ è 畳み込み層の利⽤
Ø 系列データ è 回帰型ニューラルネットワーク
n ここでは、回帰と分類という2種類の機械学習モデルにおける問題表現のパターンを議論
3
パターン 問題 解決
問題再設定 当初の⽬的変数や出⼒で限界 回帰から分類へ変更（逆も）
マルチラベル 出⼒層の活性化がsoftmaxではマル
チラベルの扱い困難
出⼒層の活性化にsigmoidを⽤いる
アンサンブル学習 バイアス（偏り）とバリアンス（分散）
にトレードオフが存在
アンサンブル学習: 学習不⾜時はブースティング、過学習時はバギングほか
カスケード 通常と特殊を同⼀モデルで扱い困難 通常と特殊に分類のうえそれぞれに訓練・予測し集約
中⽴クラス データに主観評価を含むなどにより任
意・ランダム性が⼊り精度が低下
Yes, NoにMaybeを加えた分類とする
リバランシング データセットが不均衡 精度以外の評価、ダウンサンプリング、アップサンプリング、問題再設定

4. 問題再設定
問題
n 回帰・分類の問題として扱うと期待した性能が得られないケースが存在する
Ø回帰問題での例
Ø分類問題での例（直感的な分類ではうまくいかない場合）
4
ü 訓練データ︓降⽔量の時系列データ
ü ⼊⼒︓ある時間の降⽔量
ü 出⼒︓15分後の降⽔量
ü 訓練データ︓出⽣データ
ü ⼊⼒︓妊婦の年齢、週
ü 出⼒︓新⽣児の体重
推薦する映画をドキュメンタリー、アニメなど細
分化するなど設定を変えたい場合がある
è 分類問題では対応が難しい(都度訓練）
ü 訓練データ︓ユーザーが過去の視聴して評価した映画データ
ü ⼊⼒︓映画の情報
ü 出⼒︓推薦すべきかどうかの分類
実数値の予測なので回帰問題として
捉えるのが容易
è ⼗分な性能(精度)が得られない

5. 問題再設定
解決
n 回帰問題è分類問題、分類問題è回帰問題 として捉え直す
5
分類問題を問題として捉える例(映画の推薦)
回帰問題を分類問題として捉える例(降⽔量の予測)
映画A
⼊⼒
機械学習
モデル
映画Aを推薦すべきかのスコア
映画Aを視聴した典型的なユー
ザーの特性
分類
回帰

6. 問題再設定
適⽤のポイント
n 回帰問題では、データの分布が多峰性を持つ場合や正規分布であっても分散が⼤きい場合に、
分類への問題再設定を検討する(逆に分布の分散が⼩さい場合は回帰を使う)
n 分類問題では、直感的な分類ではうまくいかない場合に、回帰への問題再設定を検討する
6
検討課題
回帰から分類に問題再設定する場合には、
分類の数(ビンの幅)が精度に影響を与える
25歳の⺟親から38週⽬に⽣まれた⼦供体重の分布
回帰で予測した場合の最⼩2乗誤差の平均

7. 中⽴クラス
問題
n ⼆値分類問題で、訓練データ中の２群が互いに排反でない場合、期待した分類
性能が得られない
7
O
X
O
O
O
O
O
O
O
X
X
X
X
X
X
X
X
X
O
X
O
O
X
X
X
O
分類精度がよい
分類⾯
分類精度が悪い
全体で⾒ると、期待した分類性能が得られない
例︓処⽅する薬の予測
薬Aを処⽅
薬Bを処⽅
ある症状を⽰す患者のデータ
機械学習モデルの訓練
薬A or 薬B
実際には・・・
• ある基礎疾患がある場合èA
• 特定の状況にある患者èB
それ以外は医師の裁量で決まっている

8. 中⽴クラス
解決
n 「起きる」「起きない」に加え、新しいクラスとして「おそらく起きる」=中⽴クラスを導⼊する
Ø「起きる」と「おそらく起きる」、「おそらく起きる」と「起きない」は排反
Ø3クラス分類問題とする
8
O
X
O
O
O
O
O
O
O
X
X
X
X
X
X
X
X
X
O
X
O
O
X
X
X
O
分類⾯
O
X
O
O
O
△
△
O
X
X
X
△
△
△
△
X
△
△
△
O
X
X
X
O
分類⾯
△
△
分類⾯
△︓中⽴クラス
を導⼊
例︓処⽅する薬の予測
ある症状を⽰す患者のデータ
• 薬Aを処⽅
• 薬Bを処⽅
• どちらの薬でもよい

9. 中⽴クラス
適⽤のポイント
n データ収集時(機械学習問題の初期段階)で検討する
Ø専⾨家による分類で、意⾒が割れるデータが存在する場合
ü 専⾨家でも意⾒が割れるクラスを特徴量の傾向から判別するのは困難
Ø感覚尺度によるデータ（顧客満⾜度など）の場合
ü 被験者により、満⾜の度合いや境界が異なる
Ø予測の応⽤上、全てを⼆値で分類する必要がない場合
ü 例︓株の⾃動取引における、株価上昇・下落の予測
9
検討課題
あらたに分類クラスを訓練データに割り当てるある場合、
ラベリングサービスの利⽤やそのコストの検討が必要
既存の患者のデータ
• 薬Aを処⽅
• 薬Bを処⽅
• 薬Aを処⽅すべき
• 薬Bを処⽅すべき
• どちらの薬でもよかった
新たにクラスを割り当てる必要があるケースも存在
銘柄A
株価上昇
株価下落
銘柄A
株価5%以上上昇
株価5％以上下落
どちらでもない
⾃動取引
• 株価が⼤幅に上昇する銘柄èコールオプション
• 株価が⼤幅に下落する銘柄èプットオプション
• それ以外の銘柄è何もしない

10. リバランシング
問題
n 特定のクラスのデータ数が極端に少ない不均衡データでは分類の正解率は良いものが
得られるものの、実利⽤が困難となるケースがある
Ø不均衡データを使った予測の例︓クレジットカードの不正利⽤の検知
10
分類の正答率(=正しく分類できる割合)
930 + 15
930 + 20 + 35 + 15
=
945
1000
= 0.945
混同⾏列で対⾓要素の数が⼤きい
=分類の正答率が良い
不正利⽤の検知という予測の利⽤における要求
• 正常取引を不正取引と誤認識したくない
• 不正取引を網羅的に検知したい è 不正取引のうち30%しか検知できていない
訓練データ中に不正取引のデータが少な
いため、⼗分な特徴を訓練できていない

11. リバランシング
解決
n 適切な評価指標の選択
Ø検出したクラスに注⽬した指標を⽤いる
Ø適合率、再現率を計算し、P-R曲線などを作成する
n 訓練データの調整
Øダウンサンプリング(アンダーサンプリング)
ü 多数派クラスのデータから⼀部をランダムに選択し、訓練データから取り除く
ü 少数派クラスのデータは変更なし
Øアップサンプリング(オーバーサンプリング)
ü 少数派クラスについて複製または合成によりサンプル数を増やす
ü ダウンサンプリングと組み合わせて使うことが多い(SMOTE法)
Øクラスの重みづけ
ü 少数派クラスのサンプルに重みをつけて、訓練時に重要視する
ü 正確な重みの決定は⾃明ではない
• 各クラスのバランスに応じて決定(各クラスのデータが占める割合の逆数を利⽤）)
• 重みの平均が1.0になるようにする
11
適合率 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
15
20 + 15
=
15
35
= 0.42
再現率 𝑅𝑒𝑐𝑎𝑙𝑙 =
15
35 + 15
=
15
50
= 0.3

12. リバランシング
適⽤のポイント
n ⾮均衡データを扱う場合は、モデルの正解率だけでなく、データ内の意味あるシグナルを
拾っているかどうかを確認することが重要 è 説明可能な予測パターンとの併⽤
12
不正取引検知における不正取引の予測例1
• 不正取引との判定に取引前の送⾦元⼝座の残⾼が予測の最⼤の指標
• 送⾦額は重要な指標となっていない
è 予測の信頼度が⾼い
不正取引検知における不正取引の予測例2
• 送⾦額が予測の最⼤の指標
• 送⾦元⼝座の残⾼が予測に負の影響があると⽰している
è 予測の信頼度が10ポイント下がっている