Recommended
More Related Content
More from yohei okawa
Recently uploaded
Recently uploaded (14)
Explainable predictions pattern
- 1. Machine Learning Design Patterns Design Pattern 29: Explainable Predictions hei4 図は以下から引用： Lakshmanan, Valliappa, Sara Robinson, and Michael Munn. Machine learning design patterns. " O'Reilly Media, Inc.", 2020.
- 2. Problem • エンドユーザーは、機械学習モデルの出力をそのまま受け入れることを躊躇する 事例）網膜の画像から糖尿病性網膜症(DR)の重症度を予測するモデル もし病気の兆候と無関係なピクセルに基づいてモデルが予測していたら？ • 機械学習モデルの規制や監査に携わるステークホルダーは、モデルの使用とその 影響が正しいか判断するために、モデルが予測結果に至った理由を求める • 機械学習エンジニアは、モデルが予測に使用した特徴量を理解していなければモ デルの品質を向上させることができない 事例）モデルを20個の特徴量で学習したが、2個の特徴量にしか依存していない
- 3. Solution • 機械学習モデルがどのように予測を行うのかを理解し、伝えるための技術は、活 発な研究が行われている分野 • 説明可能性（Explainability）*は、機械学習の中でも急速に発展している 分野であり、モデルの構造や学習するデータの種類に応じて様々な形が存在 * 解釈可能性（interpretability）やモデル理解（model understanding）とも呼ばれる
- 4. Solution • 決定木や線形回帰モデルでは、モデルがどの ように予測しているか直接知ることができる （interpretable by design） 事例）自動車の燃料効率の線形回帰モデル 気筒数が1つ増えるごとに、予測MPGは減少 • 解釈する際には、特徴量ごとに単位が異な る点や、ダミー変数の存在に注意すること 係数は特徴量とMPG (Miles Per Gallon) に対する関係を意味している 気筒数が 1増えると MPGは 0.93下がる 発売年が 1年新しいと MPGは 0.72上がる
- 5. Solution • 複雑なモデルは、特徴量と出力の関係を近似するために、事後的な（post hoc）説明可能性手法を使用する • feature attributionsは、特徴量に帰属値を割り当て、その特徴量が出力にど れだけ貢献したかを示す。Instance-level と Global の2種類が存在する • Instance-level :個々の予測に対する、貢献した特徴量 • Global : 予測する際に全体的に重要な特徴量
- 6. Solution • feature attributions は、ベースライン予 測値からの相対値で特徴量が出力に貢献 した量を示す • 情報量の少ないベースライン：訓練 データセットの平均的なケース • 情報量の多いベースライン：特定のシナ リオ 事例）自転車旅行の期間の予測 Instance-level の feature attribution 情報量の少ないベースライン 予測値はベースラインより 2.9低い 予測値がベースラインより低いので、 ほとんどのattribution値が負になっている
- 8. Solution • SHAPは開発環境でのノートブックやスクリプトに有効。デプロイされたモデルには、 Google CloudのExplainable AIなどクラウドベースの説明用ツールが最適 入力画像 Integrated Gradient： ピクセルレベルでの説明 XRAI：重要な領域を より高いレベルで要約 Integrated Gradientは、医療現場や工場、 研究室などで撮影された「非自然」な画像に向いている
- 9. Trade-Offs and Alternatives (1) • 機械学習は “garbage in, garbage out ”（＝モデルは学習するために使用 されたデータと同等の性能しか持たない）。 • モデルを訓練する前にデータの不均衡を把握できていない場合、説明手法によっ て、データ選択のバイアスを明らかにすることができる 事例）画像に写っているボートの種類を予測するモデル ボートの形状ではなくパドルに依存して「カヤック」と予測していた。訓練データにパド ルがある場合とない場合のカヤックの画像を追加することを検討する Data selection bias
- 10. Trade-Offs and Alternatives (2) Counterfactual analysis and example-based explanations What-ifツールでの Counterfactual analysis 選択しているデータと 予測結果が異なるが 最も近いデータを表示 住宅ローン申請データセットでの 2つのデータポイントの反例比較 Example-based explanations の例 ゲーム「Quick, Draw!」 新しい例題とその予測値を、 訓練データセット内の 類似した例題と比較 プレイヤーが 描いた絵 訓練データセット内の例
- 11. Trade-Offs and Alternatives (3) • 説明性手法はモデルの理解と解釈を大きく向上させるが、モデルの説明を信頼し すぎたり、説明がモデルに対する完璧な洞察を提供すると思い込むと危険。訓練 データがモデルに反映されるグループを不正確に表現していたり、ベースラインが問 題に対してうまく機能していなかったりすると、説明の質は高くならない • 説明によって特徴量と出力の間に見出される関係は、自分のデータとモデルのみ を代表するもので、その外の環境を代表するものではない Limitations of explanations
- 12. Explainable Predictions パターン どんなメリットがある？ • 機械学習モデルがどのように予測を行うのかを理解し、 伝えることができる どうやって解決する？ • 説明可能性は、モデルの構造や学習するデータの種 類に応じて様々な形が存在 • feature attributionは、ベースライン値からの相対 比較で、特徴量が出力に貢献した量を示す どんなときに使う？ • エンドユーザーに予測出力を納得してもらいたいとき • 規制や監査に携わるステークホルダーに、予測出力 に至った理由を説明したいとき • エンジニアがモデル改善を行いたいとき トレードオフや関連手法はある？ • 関連手法：反事例的説明、事例ベースの説明 • トレードオフ：モデルの説明を信頼しすぎたり、説明 がモデルに対する完璧な洞察を提供すると思い込む と危険