Smart SEセミナー2021年11月10日　出版記念セミナー: AI活用成熟度と機械学習デザインパターン詳説

1. 責任あるAIのパターン (第7章)
⽵内広宜(武蔵⼤学)
1
スマートエスイーセミナー︓機械学習デザインパターン詳説

2. 責任あるAIのパターン
n 全体概要
n 個々のパターンの紹介
Ø経験的ベンチマーク(Heuristic Benchmark)
Ø説明可能な予測(Explainable Predictions)
Ø公平性レンズ(Fairness Lens)
2

3. 責任あるAIのパターン︓全体概要
n 機械学習の実⽤化 è 多くの利害関係者が関係
Ø モデル構築者
Ø 機械学習エンジニア
Ø ビジネスの意思決定者
Ø 機械学習システムのエンドユーザ
Ø コンプライアンス管理機関
n 責任あるAIのパターン=モデル構築者のチームや組織の外にいる利害関係者に対する影響を考えるパターン
3
パターン 問題 解決
経験的ベンチマーク 結果の良し悪しの程度を意思決定者
へ説明困難
過去との⽐較や経験則に基づく判断
説明可能な予測 予測に⾄った理由が知りたい 特徴量の寄与度の計算
公平性レンズ 不均衡データに基づく異なる⼈々のグ
ループに対する問題のあるバイアス
（What-If toolやFairness Indicatorsな
どによる）訓練前後のデータセットの分析、結
果⽐較、均衡化など

4. 経験的ベンチマーク
問題
n モデルの性能は、ビジネスの意思決定者にとって直感的にわかりにくい
Ø分類の正答率や回帰の予測誤差が、適⽤先(業務)でどのくらい意味があるのか解釈が難しい
Ø性能指標の改善が、適⽤先にどのくらい影響があるのか⾒積もりが難しい
4
時間
プロジェクト開始
モデルの性能
0%
PoC
本格展開
＋
正答率:X%
を達成
システム開発プロジェクト
正答率:Y%
を⽬指す
モデルの性能︓検証データセットを⽤いて計測 意思決定に必要な評価指標︓適⽤先に依存
正答率がZ%
向上
ビジネスの意思決定者
• 性能を業務の⽂脈で測りたい
• 性能向上をビジネス効果として評価したい

5. 経験的ベンチマーク
解決
n 新たに作成した機械学習モデルとの⽐較を⽬的とした単純なベンチマーク(経験的ベンチマーク)の利⽤
Øデータセットは⽤いても訓練はしない
ü 代表値の利⽤
ü 各ラベルのデータ数を利⽤
Ø直感的で計算が容易であるもの
ü 特定の特徴量のみを利⽤
5
例︓
回帰問題
• ⽬的変数の平均を利⽤
• もっとも重要そうな特徴のみから予測
分類問題
• 訓練データセット内の各ラベルのデータ数から計算した確率で分類
訓練データセットを⽤いて構築した機械学習モデルによる
予測結果と⽐較

6. 経験的ベンチマーク
適⽤のポイント
n 開発時に、⼿法の妥当性を診断することに利⽤することもできる
n 機械学習の有無に関係なく、対象となるタスクが運⽤され、何かしらの評価がなされ
ているのであれば、その評価指標を⽤いる
n モデルの性能向上を本来の利⽤価値に変換することが重要
6
適⽤業務
経験的ベンチ
マーク
機械学習の利⽤ 機械学習の利⽤
既存の⼿法
⼿法の評価 ⼿法の評価 ⼿法の評価
業務の評価 業務の評価 業務の評価
モデルの性能向上
利⽤価値の向上
モデルの改善
OR

7. 説明可能な予測
問題
n 機械学習を本番環境での利⽤を判断するには、モデルの性能だけでは不⼗分な場⾯がある
Ø正答率、適合率、再現率
Ø最⼩2乗誤差
n モデルが正しい予測をするだけでは利⽤を躊躇する場⾯がある
Øモデルによる予測結果を使って意思決定を⾏う場合 è 例︓医療診断や融資判断
Ø規制や法令遵守が求められる利⽤場⾯ è 監査や⾼い透明性が求められる
Ø開発段階において、有効な特徴量を同定したい場合
7
疾患である 疾患でない
疾患と予測
(10%が実は疾患ではない)
疾患だと判断できるが、念の為、機械学習の予測とそ
の理由を知りたい
機械学習の予測結果について理由を調べ、疾患でないと
した⾃⾝の診察に間違いがないことを確認したい
疾患でないと予想
(10%が実は疾患)
機械学習の予測結果について理由を調べ、疾患であ
るとした⾃⾝の診察に間違いがないことを確認したい
疾患でないだと判断できるが、念の為、機械学習の予測と
その理由を知りたい
è 全ての場合で、予測結果に⾄った理由を知りたい
医師による診断
医療診断における機械学習の利⽤の例

8. 説明可能な予測
解決
n ある予測をした際、モデルがその予測に⾄った理由に関係する情報を提供する
Ø線形回帰モデルなど設計上解釈可能なモデル è各特徴量の係数を利⽤
ü係数の値が特徴量と⽬的変数との関係を⽰す
Ø深層学習など複雑なモデル è特徴量の寄与度を計算
üオープンソースライブラリのSHAPがさまざまなモデルに対してAPIを提供
ü特徴量の寄与度については2種類ある
• インスタンスレベル:ここのサンプルについて特徴量を評価
• ⼤域的︓複数のサンプルでの寄与度を平均し、予測全般における特徴量の寄与を評価
8
IG法 XRAI法

9. 説明可能な予測
適⽤のポイント
n 特徴量の寄与度以外にもさまざまな⽅法がある
Ø 例︓対⽐分析(What-Ifツール)
Ø 研究が継続されている分野なので今後もさまざまな⼿法が利⽤可能となると予想
n モデルの説明への過度な信頼には注意が必要
Ø 特徴量の寄与度で表す特徴量と予測出⼒の関係は、訓練データとモデルから得られるもの
Ø モデルの品質を評価する⼀つの基準として⽤いるのが妥当
9
ç 対⽐分析の例1
あるサンプルについて、もっとも類
似していながら予測値が異なるサ
ンプルを⽐較対象とする
ç 対⽐分析の例2
あるサンプルについて、同じ予測結果
となる別のサンプルを⽐較対象とする

10. 公平性レンズ
問題
n モデルを訓練するためのデータセットは⼈間によって作成されるため、バイアスが存在
Øデータセットの統計的特性を反映し、⾃然に発⽣するバイアス è リバランシングパターンで扱う問題
Ø問題のあるバイアス
ü報告バイアス︓ある特徴で特定の値のデータが多くふくまれるなど、現実の世界を反映していない場合
ü暗黙(代理)バイアス︓⼈種や性別などが郵便番号や収⼊などの特徴量に暗黙のうちに反映している場合
ü実験者バイアス︓ラベリングが主観的なものであり、多様な教⽰者で訓練データを作成していない場合
10
モデルの予測がさまざまなユーザーグループやシナリオに対して公平で公正なものとならない可能性

11. 公平性レンズ
解決
n モデルを訓練する前にデータ内の有害なバイアスの領域を特定する
Øデータ分布(収集)によるバイアスè関連するすべての⼈⼝統計において均衡であることを確認
Øデータ表現によるバイアスè関連する特徴量のバランスが取れていることを確認
ü 例えば、個⼈信⽤度の予測であれば、各性別・年齢で「信⽤度低い」とラベル付けされた⼈の割合が均等であること
n 訓練済みモデルを公平な⽬で評価する
Ø特徴量を選択し、その異なる値での予測結果を⽐較する
ØWhat-If Tool(Performance & Fairness機能)を使う
11
データ表現によるバイアスの例
特定の⾦融機関で拒否(0)クラスの数が少ないことがわかる

12. 公平性レンズ
適⽤のポイント
n 説明可能な予測と同様、さまざまなツールや⼿法が開発されつつある
ØFairness Indicators
Ø許容リスト・禁⽌リストの利⽤
Øデータ拡張
ØModel Cards
n 公平性と説明性が混同されがちなので注意する
12
データ
モデル バイアスの発⾒
バイアスの除去
説明性に関する技術が利⽤できる範囲
公平性に関する技術が利⽤できる範囲