Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

機械学習で嘘をつく話

3,615 views

Published on

第2回ザッピングセミナー

【タイトル】
機械学習で嘘をつく話

【アブストラクト】
「機械学習モデルはブラックボックスで説明ができない」とよく言われます。 このようなモデルのブラックボックス性の問題を解消するために、ここ数年では機械学習モデルの“説明法”の研究が活発になされています。本セミナーではこれらの“説明法”を悪用して嘘の説明を作る方法を紹介します。 本セミナーで紹介する手法を絶対に悪用しない、と約束できる方のみ参加をお願いします。

Published in: Technology
  • Be the first to comment

機械学習で嘘をつく話

  1. 1. 第二回ザッピングセミナー 原聡 機械学習で嘘をつく話 原 聡 大阪大学 産業科学研究所 1 第2回ザッピングセミナー, 2020/8/30
  2. 2. 第二回ザッピングセミナー 原聡 機械学習とは n モデル! • 入力データを受け取り、対応する認識・予測結果を返す関数。 例. 手書き数字認識モデル 例. 言語翻訳モデル n 機械学習 ≒ データから!を“自動的”に作る方法 • 入出力関係が単純で既知の場合は、!は人手で作れる。 • 複雑で未知の関係を表現する!を人手で作るのは困難。 2 入力:手書き数字画像 ! 出力:数字 5 入力:日本語文 ! 出力:英語文 This is a pen.これはペンです。 準備
  3. 3. 第二回ザッピングセミナー 原聡 モデル!の学習(教師あり学習) n 訓練データ • 入出力データのペア(#, %) • データセット' = #), %) )*+ , n モデル!の学習 = 損失最小化 • 予測! # と出力%との乖離を損失ℓ(%, ! # )で評価する。 • 損失(予測の乖離)が最小になるモデル!を求める。 min 1 2 )*+ , ℓ(%), ! #) ) 3 #, % = , 5 This is a pen.これはペンです。#, % = , 準備
  4. 4. 第二回ザッピングセミナー 原聡 あなた ◯◯病 なんで? ?? よくわから ない … あなた ◯◯病 なんで? XXの数値 が高い XXの数値 が高い なる ほど “機械学習の説明” とは n 多くの機械学習モデル!は複雑な計算の塊で、出力の 理由を人間が直感的に理解することができない。 n 説明: !から+αの(人間が理解できる)情報を取り出す。 4 準備
  5. 5. 第二回ザッピングセミナー 原聡 “機械学習の説明”の有名な方法:LIME n Why Should I Trust You?: Explaining the Predictions of Any Classifier, KDD'16 [Python実装 LIME; R実装 LIME] • どの特徴が予測に重要だったかを提示する。 • モデルを説明対象データの周辺で線形モデルで近似する。 - 線形モデルの係数の大小で、各特徴の重要度合いを測る。 5 Why Should I Trust You?: Explaining the Predictions of Any Classifierより引用 準備
  6. 6. 第二回ザッピングセミナー 原聡 LIMEによる説明 6 準備
  7. 7. 第二回ザッピングセミナー 原聡 LIMEの応用例 n 画像認識の説明 n モデルのデバッグ • 狼 vs ハスキーの分類 • 狼画像として、雪背景 のもののみを使用。 → LIMEにより、モデルが 雪を根拠に狼を認識 していることがわかる。 7 Why Should I Trust You?: Explaining the Predictions of Any Classifier より引用 準備
  8. 8. 第二回ザッピングセミナー 原聡 【補足】 “機械学習の説明”の参考資料 8 https://www.slideshare.net/SatoshiHara3/ss-126157179 日本語まとめ資料 • 機械学習における解釈性(私のブックマーク), 人工知能, Vol.33, No.3, pages 366--369, 2018. • 説明可能AI(私のブックマーク), 人工知能, Vol.34, No.4, pages 577--582, 2019. https://www.slideshare.net/SatoshiHara3/ver2-225753735 準備
  9. 9. 第二回ザッピングセミナー 原聡 “機械学習の説明”で嘘をつく n Q. 嘘の説明って何? A. モデル!の実態を反映していない説明。 n Q. なぜ嘘をつくの? A. 嘘をつくと得することがあるから。 n Q. どんなときに嘘をつくと得するの? A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデル!を過剰によく見せて売り込みたい、とか。 n Q. なぜ嘘の説明の研究するの?あなた悪い人? A. 良い人のつもり。どんな嘘が技術的に可能か、を知らな いと対策が考えられない。セキュリティ研究に近い。 9 嘘の説明
  10. 10. 第二回ザッピングセミナー 原聡 嘘をついて得する代表例:公平性 n 性別や人種で差別する不公平なモデルは悪いモデル。 • 男性と女性とで基準が異なる学力評価モデル。 • 黒人と白人とで基準が異なるローン審査モデル。 n 大前提:著しく不公平なモデルは使われるべきではない。 n でも、もしも不公平なモデルを使ってるとバレなかったら? • 特定の性別の学生が高い評価を得やすくなる。 - 特定の性別の学生の士気が上がる(かもしれない)。 - 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。 • 特定の人種の人がローンを組みやすくなる。 - 人種間で収入格差がある場合、高収入の人種を優遇した方が 金融機関としてはリスクが下がる。 10 嘘の説明
  11. 11. 第二回ザッピングセミナー 原聡 嘘をついて得する代表例:公平性 n モデルの公平性の説明 11 正直な説明 ローン審査は、あなたの性別がxだ という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス 嘘の説明
  12. 12. 第二回ザッピングセミナー 原聡 嘘をついて得する代表例:公平性 n モデルの公平性の説明 12 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス 嘘の説明
  13. 13. 第二回ザッピングセミナー 原聡 “機械学習の説明”で嘘をつく研究 n Q. 技術的に嘘の説明は可能か? A. 可能。 今後、公平なモデルを装った不公平なサービスを提供す る組織が現れるかもしない。もしかしたら既に社会のどこ かで使われてるかもしれない。 n 研究紹介 • 論文、スライドは原のホームページからアクセス可能 13 嘘の説明
  14. 14. 第二回ザッピングセミナー 原聡 Fairwashing: the risk of rationalization Ulrich Aïvodji, Hiromi Arai, Olivier Fortineau, Sébastien Gambs, Satoshi Hara, Alain Tapp 14 研究1 ICML’19 [Python実装 LaundryML] [資料 Slide & Video]
  15. 15. 第二回ザッピングセミナー 原聡 “Fairwashing”: 偽りの説明による正当化 n モデルの公平性の説明 15 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス 研究1
  16. 16. 第二回ザッピングセミナー 原聡 “Fairwashing”: 偽りの説明による正当化 n モデルの公平性の説明 16 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス “Fairwashing” 悪意のある人・組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1 第二回ザッピングセミナー 原聡
  17. 17. 第二回ザッピングセミナー 原聡 “Fairwashing”: 偽りの説明による正当化 n モデルの公平性の説明 17 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス LaundryML 偽りの説明を生成する方法 → 偽りの説明は技術的に実現可能 “Fairwashing”は現実的に起こりえる “Fairwashing” 悪意のある人・組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1 第二回ザッピングセミナー 原聡
  18. 18. 第二回ザッピングセミナー 原聡 LaundryML: 偽りの説明を生成する方法 n The idea “説明の候補”を複数生成する。 候補の中から自己の正当化に“有用な説明” を選ぶ。 n “説明の候補”の複数生成s • 説明モデルを列挙する。[Hara & Maehara’17; Hara & Ishihata’18] n “有用な説明” • 公平性の正当化の場合、demographic parity (DP)などで各説 明候補の公平性度合いを測る。 • DPが十分小さい説明を選ぶ。 18 アイディア 研究1 これらの研究の 解説資料はこちら
  19. 19. 第二回ザッピングセミナー 原聡 結果例 n Adultデータでの結果 • 説明における各特徴の重要度をFairMLツールにより計測 19 正直な説明 偽りの説明 gender gender 研究1 第二回ザッピングセミナー 原聡
  20. 20. 第二回ザッピングセミナー 原聡 結果例 n Adultデータでの結果 • 説明における各特徴の重要度をFairMLツールにより計測 20 正直な説明 偽りの説明 gender gender If else if else if else if else if else low-income then high-income then low-income then low-income then low-income then high-income capital gain > 7056 marital = single education = HS-grad occupation = other occupation = white-colloar 偽りの説明 【補足】 LIMEでは線形モデルで近似してい たが、ここではルールリストを採用。 研究1 第二回ザッピングセミナー 原聡
  21. 21. 第二回ザッピングセミナー 原聡 まとめ n LaundryMLにより、偽りの説明は技術的に実現可能。 → “Fairwashing”は現実的に起こりえる問題。 n 問: どうしたら“Fairwashing”を防げるか? • 技術的に偽りの説明は検知可能か? • 制度的に防げるか? 21 “Fairwashing” 悪意のある人・組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1
  22. 22. 第二回ザッピングセミナー 原聡 学会発表資料をご覧ください。 22 研究2 https://kfukuchi.me/materials/20200210-aaai20-slide.pdf
  23. 23. 第二回ザッピングセミナー 原聡 今日のまとめ n Q. 嘘の説明って何? A. モデル!の実態を反映していない説明。 n Q. なぜ嘘をつくの? A. 嘘をつくと得することがあるから。 n Q. どんなときに嘘をつくと得するの? A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデル!を過剰によく見せて売り込みたい、とか。 n Q. なぜ嘘の説明の研究するの?あなた悪い人? A. 良い人のつもり。どんな嘘が技術的に可能か、を知らな いと対策が考えられない。セキュリティ研究に近い。 23

×