[DL輪読会]The Building Blocks of Interpretability
•Download as PPTX, PDF•
1 like•409 views
2019/04/05 Deep Learning JP: http://deeplearning.jp/seminar-2/
![DEEP LEARNING JP
[DL Papers]
“The Building Blocks of Interpretability”
Haruka Murakami, Matsuo Lab
http://deeplearning.jp/](https://image.slidesharecdn.com/190405dlthebuildingblocksofinterpretability-190412011737/85/DL-The-Building-Blocks-of-Interpretability-1-320.jpg)
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from Deep Learning JP
More from Deep Learning JP (20)
[DL輪読会]The Building Blocks of Interpretability
- 1. DEEP LEARNING JP [DL Papers] “The Building Blocks of Interpretability” Haruka Murakami, Matsuo Lab http://deeplearning.jp/
- 2. 書誌情報 • Distill.pub(公開日：18/03) • 被引用数：81 • 著者 – Chris Olah, Google Brain, Arvind Satyanarayan, Google Brain – Ian Johnson, Google Cloud, Shan Carter, Google Brain – Ludwig Schubert, Google Brain, Katherine Ye, CMU – Alexander Mordvintsev, Google Research • 内容：隠れ層の意味解釈の可視化を、従来研究を組み合わせたりUIを工 夫することによって改善した • 選定理由：interpretabilityへの興味、新しい論文誌Distillの取り組みが面白 そうだったから 2
- 3. distill.pub? OpenAIによると • a new kind of journal aimed at excellent communication of machine learning results (novel or existing). • a website and set of associated tools that make it easier for people to explain ML concepts using modern web technologies. 3
- 4. 通常の論文誌よりインタラクティブで記事っぽい • アブストラクト、方法などのいつもの項目がない。概要→解 説,解説,解説,…→結論 • 結果の図がインタラクティブ。 • 実際にぜひ試してみて下さい↓ • https://distill.pub/2018/building- blocks/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=Deep %20Learning%20Weekly • 論文管理ツールに自動で入らない、pdfがないので管理がめんどくさい • 図番号・タイトル、ページ番号がないので、どこに何が書いてあったか分かりづ らい 4
- 5. この論文の概要 5 • 画像識別タスクにおいて、特 徴量を人間が理解できる情 報量にして可視化 – モデルはGoogLeNet – ニューロンを目的に沿ってグ ルーピングする
- 6. 従来研究の問題点と解決方法 • ニューラルネットワークにおける出力の導出理由を知るための研究が行わ れているが、深い抽象化が行われている上でその構成要素を解釈可能に している例は少ない – 従来手法では特徴の可視化、属性分解、次元削減などが行われている • この分野の問題として、従来研究が個々の方法で行われており、一貫して 開発されてきていないということがある • この研究では従来の解釈メソッドそれぞれを構成基礎ブロックとして扱った • 結果、これらの共通点のないテクニックは統一した文法にまとめられ、お互 いに機能を補完した。これにより、それぞれの要素が目的を達しているかど うかを評価することも可能になった 6
- 7. 本研究での考え方 • NNの意味解釈に関する研究の多くはNNの入出力層に注視している • CVでは入力層は各ピクセルのRGB、出力はクラスラベルとその確率 • この研究では各層の学習した表現は３次元立方体として考える – それぞれのセル：活性化もしくはニューロンの発火量 – x,y軸: 画像の空間位置, z軸: 駆動している検知器もしくはチャネル. – このスライスの仕方を変えることで、以下の３つの要素が切り出せる 7
- 9. どう実現しているのか • “semantic dictionary”という意味解釈に使うための特徴量を可視化した辞 書を作成する • NN内全てのニューロンの活性化とニューロンの可視化をペアにし、活性度 の高い順に並べ直す • 特徴量の可視化をアイコン化して列挙すると、人間が実際に判断に使って いるような特徴「垂れ耳」「犬の鼻」「毛の具合」らしきものが現れる 9
- 10. 意味解釈辞書が可能にすること 10 • 個々のニューロンを視覚化して各特徴量がどこを見てい るのかを示すことができるのと同時に、全体として活性化 ベクトルを検討することもできる • 与えられた図の位置で発火するニューロンを視覚化する こともできる – 元の活性化ベクトルと活性化の内積が最大になるように画像を 最適化している
- 12. 顕著性マップを使った空間アトリビューション 12 • 顕著性マップ：出力（分類）時、どの特徴量がどの部分で寄与したかの貢献度を強調表示する マップ • アトリビューションでよく使われる • 問題点：個々のピクセルがアトリビューションに主要に寄与しているのかは分からない、一度に 一つのクラスしか表示できないので個々のポイントの分析はできない
- 13. アトリビューション表示の提案 • アトリビューションを別のUIの構成要素として扱い、ニューラルネットワーク の隠れ層に適用した • ＝その位置で検出された特徴が重要であるかという視点に変える 13
- 14. Human-Scaleへの変換 • 多くの場合、チャネルや空間座標の情報は全体的には相関があるが、別のチャ ネルや座標のものとは関係がないので、無視したい • そのために行列分解を行う（やり方の詳細は書いていなかったが非負行列因数分解を使う） • これにより要素を分解し、理論的に人間が解釈しやすいレベルに情報を落とすこ とができる • 情報が多大に失われることとトレードオフ • 複数の 14
- 17. 問題点と今後の課題 • 処理画像のある種の意味一貫性や意味解釈辞書が確からしいということい うことが前提になっている • アトリビューションがうまくいっているかどうかを個々に検討しているのみで、 実際に使えるかどうかの客観的な検証がない • 今後の課題：より見やすいUIの開発と合理的な意味解釈の手法の開発 17