KDD2016勉強会 資料
•
17 likes•23,827 views
KDD2016勉強会 https://atnd.org/events/80771 論文：“Why Should I Trust You?”Explaining the Predictions of Any Classifier 著者：M. T. Ribeiro and S. Singh and C. Guestrin 論文リンク： http://www.kdd.org/kdd2016/subtopic/view/why-should-i-trust-you-explaining-the-predictions-of-any-classifier
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
More from Toshihiro Kamishima
More from Toshihiro Kamishima (20)
KDD2016勉強会 資料
- 1. “Why should I Trust You?” Explaining the Predictions of Any Classifier 神嶌 敏弘 KDD2016勉強会，2016/10/01 1
- 2. 概要 2 説明 (explanation)：複雑な分類器の判断基準を，人間にも解釈可 能 (interpretable) になるように提示する 人間が見て分かるほど単純なモデルでは予測精度に難 カーネルや深層ネットなど複雑なモデルでは解釈不可能 ↓ 内部構造がブラックボックスの任意の分類器に適用可能 ある事例の分類結果に，各特徴がどれくらい影響を与えているかを 調べて説明とする いくつかの事例についての説明を見せることで，モデル全体への説 明とする ↓ クラウドソーシングを使った被験者実験で説明の有効性を確認 クラウドワーカーで，特徴の前処理ができた
- 5. Local Interpretable Model- agnostic Explanations (LIME) 5 ブラックボックスな分類器に局所的に忠実 ＆ 利用者に解釈可能 ↓ 事例 x の周辺からサンプリングした事例で解釈可能な分類器を訓練 サンプルは x への類似度 πx(z) で， z を重み付けしているので頑健 サンプリングした事例 z を説明する分類器に与えてラベル f(z) を得る 説明用 分類器 負ラベル の事例 正ラベル の事例 説明する の事例
- 6. Local Interpretable Model- agnostic Explanations (LIME) 6 ⇠(x) = arg min gÀG L(f, g, ⇡x) + ⌦(g) 疎な線形説明 g(z’) = wg・z’ 事例の類似度 πx(z) = exp(−D(x, z)2 / σ2 ) 損失 Σz πx( f(z) − g(z) )2 最適化問題を解いて事例 x についての説明を得る 説明する分類器 f(z) 説明 g の複雑さ 利用する特徴がたかだか K 個 K-lasso：正則化パスを用いて K 個を選ぶ
- 8. 深層ネットで分類した画像 8 Google の Inception NN で分類した結果 上位三つのクラスラベルについて，その説明となる領域を示した アコギをエレキと間違 えたのは fretboard の 存在が大きい エレキギター アコースティックギター ラブラドール 元画像
- 9. モデルの説明 (SP-LIME) 9 複数の事例に対する説明を示すことでモデルの説明とする ↓ モデルをうまく説明できる事例の集合を選ぶ f1 f2 f3 f4 f5 できるだけ多くの重要な特徴を被覆 するように，B個の事例を選ぶ ↓ 集合の最大被覆なので，劣モジュラ 性を使い貪欲法で解く 事例の分類にとって重要な特徴
- 10. 人工的な利用者実験 10 評判分析用ベンチマークを用いたオフライン実験 LIME（提案），parzen，greedy，random 説明はモデルに対して忠実か？ 元分類器で最も重要な10個の特徴を説明で復元させた random ＜ parzen ＜ greedy ＜ LIME（90%以上） 説明によって個々の予測への信頼は高まるか？ 信頼できない特徴を決めておいて，それを使わないと予測が変化す る場合は信用できないとして，信用できないことに対する識別率 F1尺度で評価して，LIMEは他より有意に良かった 説明はモデル全体の評価に有用か？ 信頼できない特徴を埋め込んで，それが説明に取り上げられたらモ デルから除外して，最終モデルを作って，その予測精度で評価 ランダムに事例を選ぶより劣モジュラに基づく選択がよかった
- 11. 被験者による評価 11 AMT で 20Newsgroup とわざと作った背景が雪原だったら狼と判 別する狼・ハスキー分類器 を使い被験者実験 利用者が最良の分類器を選択できるか？ 説明をみてまともなモデルを選ぶ割合 → LIMEで劣モ選択がよい 非専門家が分類器を改良できるか？ 説明を見て，無関係と思う特徴（単語）を段階的に除去して分類器 を再構築し，新たなキリスト教・無神論データで評価 被験者は分類器の性能を向上させることができた 説明は洞察を与えるのか？ 狼識別器で説明を見せる前後で，実際に使ってみてうまくいきそう かどうか，またその理由を尋ねてみた 背景に依存しているため，この分類器はダメだと被験者は認識した