KCS AI班2017年2月22日の活動。 “Why Should I Trust You?” Explaining the Predictions of Any Classifier (Ribeiro et al., 2016)の紹介。 機械学習のモデルの解釈可能な根拠を提示する手法「LIME」の論文。

1. “Why Should I Trust You?”
Explaining the Predictions of
Any Classifier
論文紹介
Twitter:@UMU____

2. 何の論文か？
• 機械学習は，入力と出力の関係性を学習し，入力から出力を予
測する．
• 「なぜこの予測をしたのか？」予測の根拠
• 「学習した関係性は正しいのか？」モデルの正しさ
• 現在ある機械学習モデルのほとんどはこのような問いに答えら
れず，使用者から見ると“ブラックボックス”．
入力 出力

3. 何の論文か？
この論文は，モデルによらない
• 予測に対する解釈可能な根拠を提示する“LIME”
• モデルが利用する複数の代表的な根拠を提示して，モデルを説
明する“SP-LIME”
を提案．
入力 出力
根拠

4. 何の論文か？
予測の根拠の提示やモデルの説明を行うことで，
• 機械学習による予測を信頼性を高めること
• より良い機械学習モデルを選択すること
• 信頼できない機械学習モデルを改善すること
• また，なぜ信頼できないのかを理解すること
ができるようになる．

5. 説明の流れ
題名の論文について大まかに説明していきます．（少し内容を変更したところがあります）
１．モデルの不信頼性の事例紹介
２．[根拠の提示]“ＬＩＭＥ”の仕組み
３．[モデル説明]“ＳＰ－ＬＩＭＥ”の仕組み
４．モデルの信頼性確認の事例紹介

6. 不信頼性の事例紹介
• ２つのモデルがある（左右）．
• どちらも，与えられた文書が“キリスト教(Christianity)”の話か
“無神論(Atheism)”の話かを判別するモデル．
• Accuracy(教師データと予測が一致する割合)は，右のモデルが
高い．
• では，実際の環境(in the wild)では，右を活用すべき？

7. 不信頼性の事例紹介
ＬＩＭＥによる予測の根拠

8. 不信頼性の事例紹介
• 左のモデルの予測の根拠として挙げられているもの
God mean anyone this Koresh through
• 右のモデルの予測の根拠として挙げられているもの
Posting Host Re by in Nntp
• “Posting” “Host” “Re”はキリスト教にも無神論にも関係ない！
実は，Postingと書かれた文書が無神論の文書に局在(99%)
→“leakage”と呼ばれる現象．

9. “ＬＩＭＥ”の仕組み
• 予測の信頼性を高めるために予測の根拠を提示する”LIME”
• 根拠提示器(ex LIME)に求められる性質：
〇解釈可能性 ：提示する根拠が理解できる程度である（複雑
すぎない．）
〇局所的忠実性 ：提示する根拠による判別とモデルによる判別
が近傍で一致する．
〇モデル非依存性：根拠提示器が特定のモデルに特化しない

10. “ＬＩＭＥ”の仕組み
• これらの３つの性質を満たすために，LIMEでは，根拠が複雑
すぎないよう正規化したうえで，根拠による判別と，モデルに
よる判別が根拠を知りたい予測の入力の近傍で一致するような
根拠を選択する→入力に対する根拠となる．
• 数式化：
𝜉 𝑥 = argmin
𝑔∈𝐺
𝐿(𝑓, 𝑔, 𝜋 𝑥) + Ω(𝑔)
𝑥 ∶ 入力,𝜋 𝑥:近傍重み， 𝑓:モデルによる判別, 𝑔:根拠による判別,
𝐿: 𝑥の近傍で𝑓と𝑔がどれくらい違うか． Ω: 𝑔の複雑さ

11. “ＬＩＭＥ”の仕組み
𝜉 𝑥 = argmin
𝑔∈𝐺
𝐿(𝑓, 𝑔, 𝜋 𝑥) + Ω(𝑔)
• 根拠とモデルが関係なくなればなるほどＬが大きくな
る
• 根拠が複雑になればなるほどΩが大きくなる．
• πの影響で，ｘから遠いところほどＬに寄与しない．
• ΩにL1ノルムを選ぶため，係数がスパースになる．
※スパース：ほとんどの係数がゼロになること．
• 論文では，gの具体例として線形判別，πの具体例と
して指数カーネルを用いている．
根
拠
係数

12. “ＬＩＭＥ”の仕組み
LIMEの説明終わり

13. “ＳＰ－ＬＩＭＥ”の仕組み
• “LIME”によってある予測に対する根拠を提示することができた．
しかし，モデル全体の説明にはなっていない．
• モデル全体（が妥当かどうか）を説明する方法：
沢山の入力-予測の組に対する根拠をみて，根拠が使用者にとっ
て妥当性があるかどうかを調べる．
→時間がかかる．

14. “ＳＰ－ＬＩＭＥ”の仕組み
→“SP-LIME”:たくさんの根拠からモデルを代表する根拠を自動
的に選び出す．
自動で使用者が
見るべき根拠を
少なくしたい
これは真ん中の根拠と似
てるから使用者に見せる
必要がない

15. “ＳＰ－ＬＩＭＥ”の仕組み
• “LIME”によって，根拠（どの要素が判別に
寄与するか）がわかった．
• たくさんの根拠を集めると，根拠行列Wが
できる．
• 根拠行列の1列は，モデルにおいて，ある
要素がどの程度判別に貢献しているかを示
す．
• 大域的重要性𝐼𝑗 = Σ𝑖 𝑊𝑖𝑗 を導入．
（列の総和の平方根）
根拠行列．各1行がある入力
-予測に対する根拠となる．
白はゼロで黒はゼロでない
1行

16. “ＳＰ－ＬＩＭＥ”の仕組み
• 根拠を複数選んだとき，その全体の重要性
ｃは，選んだ根拠に1つでも含まれるゼロ
でない根拠の要素の大域的重要性𝐼𝑗の総和
で計算される．
• 選ぶ根拠の数を一定以下にしたままｃを最
大化するような根拠の組を選択する．
→代表的な根拠を抽出した．
2行と5行を選んだときは，
赤点の列の大域的重要性が
総和されるSP-LIMEの説明終わ
り

17. モデルの信頼性確認の事例紹介
• ハスキーと狼を判別するモデルを作成す
る．
• 学習データセットを集める際，狼の画像
には背景に雪が必ずあるものを，ハス
キーの画像には背景に雪が必ずないもの
を選んで学習させる．
• 入力として雪背景のハスキーを選ぶと，
狼と予測された．
→このときの根拠は？
ハスキー

18. モデルの信頼性確認の事例紹介
• ＬＩＭＥによる根拠
ハスキーと判別した
根拠として，背景の
雪を選んでいること
がわかる．
→データセットの偏
りを把握することが
できた．
注：論文中では，機械学習の知識を持
つ大学院生が，LIMEによる根拠を提
示する前とした後でこのモデルが信頼
できるかどうかについて変化するかを
示したものです．

19. まとめ
• 機械学習では，モデルがなぜそのような予測したのかについて
の根拠の提示，およびモデル全体が信頼できるかについての説
明をすることは重要である．
• 根拠の提示をするために，ＬＩＭＥを提案した．
• モデルの説明をするために，ＳＰ－ＬＩＭＥを提案した．
• 根拠の提示とモデルの説明の効果を検証した．