Machine learning design_pattern_neutral_class

Machine Learning Design Patterns
Design Pattern 9 : Neutral Class
210420
yumaru

Neutral Class 概要 1
 概要
 問題を正しく設定することが大切
 データ収集の段階で適切なラベルが付けられるようにしておく
 問題
 2値分類などでランダムな要素が入ってくる場合に、2値分類をすると識別精度が低下する
 解決方法
 Neutral Classを導入して、”どちらでもいい”などのクラスとする
 メリット
 推論精度の向上

Problem 2
 2値分類で、ランダムな要素が入ってくる場合に無理に2値化をすると識別精度が低下する。
 事例 )
鎮痛剤のアセトアミノフェンとイブプロフェンのどちらを患者に処方するか推論するモデル。
 {アセトアミノフェン、イブプロフェン}
 アセトアミノフェン：胃腸が悪い人の処方
イブプロフェン：肝臓が悪い人に処方
しかし医師によっては基本アセトアミノフェンを処方、またはイブプロフェンを処方するといっ
たランダムな傾向がある。
2値分類で学習
{ アセトアミノフェン、イブプロフェン }
56%

Solution 3
 Neutral Classを追加する
 問題を正しく設計することが大事
 データ収集を適切に設計する必要がある
 事例のような場合は、データ収集時に代替の鎮痛剤の処方が可能かどうかについての質問も答え
られるようにしておく。

2値分類で学習
{ アセトアミノフェン、イブプロフェン }
56%
Why It Works Synthetic data 4
 モデル
 患者にどちらの鎮痛剤を処方するか出力
 データセット
 10%は黄疸(肝臓が悪い)
 10%は胃潰瘍(胃腸が悪い)
 残り80%はランダム
Neutral Classを加えて学習
{ アセトアミノフェン、イブプロフェン、どちらでも }
100%

2値分類で学習
{ 10,9：健康、8以下：要注意 }
56%
{ 10：健康、8,9：中立、7以下：要注意 }
79%
Why It Works In the real world 5
 モデル
 新生児のアプガー指数(出産直後の新生児の健康状態を表す指数)を出力し、閾値で分類
 新生児のアプガー指数1~10が付与

Trade-Offs and Alternatives 6
 そもそもデータ収集の段階でうまく集めていれば回避できる問題
 ラベルの付けのコストが高くなる
 中立クラスをもっておくことが役立つような状況として以下
 エキスパートの中で意見の相違がある場合
 顧客満足度
 embeddingの改善方法として
 Neutral classのリフレーミング

エキスパートの中で意見の相違がある場合 7
 エキスパートの中で意見に相違がある場合、Neutral Classを用いるべき
 以下二つの問題
 誤った信頼度は人がモデルを受け入れるかに影響を与える。
誤った信頼度を出すモデルよりも、中立的な判断ができているモデルの方が好まれる。
 モデルのカスケードをトレーニングしている場合、下流のモデルは中立クラスに非常に敏感にな
る。
 他の代替案
 ラベラー間の結果をまとめる
 5人が3対2に分かれた場合は重みを0.6とする
 ※モデルの出力が0.5の場合、”学習データ不足” か “ラベラー間で結果が異なる” のか区別がで
きない

Neutral Class 概要 8
 概要
 問題を正しく設定することが大切
 データ収集の段階で適切なラベルが付けられるようにしておく
 問題
 2値分類などでランダムな要素が入ってくる場合に、2値分類をすると識別精度が低下する
 解決方法
 Neutral Classを導入して、”どちらでもいい”などのクラスとする
 メリット
 推論精度の向上

2値分類で学習
{ 6以上：満足、5以下：不満足 }
{ 8~10：満足、5~7：どちらでもない、1~4：不満足 }
顧客満足度 10
 モデル
 顧客満足度を予測
 顧客のアンケート回答

 モデル
 フライトの価格決定するモデルを作成し、フライトの価格に対して顧客が購入するかしないかを予測
 フライトチケットの取引記録
 問題
 フライトチケットの取引記録の中には旅行代理店やコンソリデーターなどの取引なども含まれている。しか
し、旅行代理店などは運賃を契約しているため、表示されている価格を支払っていない。
 解決策
 中立クラスを導入して学習
 旅行代理店などの取引記録を除いて学習(旅行代理店などが気になっていた目的地などの情報がなくなってし
まい、価格決定に影響を与える)
2値分類で学習
{ 購入する、購入しない }
{ 購入する、購入しない、旅行代理店など }
embeddingの改善方法として 11

Neutral classのリフレーミング 12
 モデル
 ある証券が値上がりするか、値下がりするかを予測
 株式市場のチャート
 問題
 株式市場の変動が激しいため現在から値下がりする、値上がりするだけでは予測が困難。
 解決策
 “6か月”という幅を持たせて、5%以上上昇、下降、Neutralの3クラスで学習
2値分類で学習
{ 値上がりする、値下がりする }
6か月後に
{ 5%以上上昇する、5%以上下降する、Neutral }

Machine learning design_pattern_neutral_class

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (9)

Featured

Featured (20)

Machine learning design_pattern_neutral_class