深層学習の判断根拠を理解するための研究とその意義 @PRMU 2017熊本

Copyright © 2017 TIS Inc. All rights reserved.
深層学習の判断根拠を理解するための
研究とその意義
戦略技術センター
久保隆宏

Copyright © 2017 TIS Inc. All rights reserved. 2
 深層学習における、解釈性の問題
 説明力が問われるシーン
 判断に影響を受ける関係者がいる場合
 法的責任が伴う場合
 継続的なメンテナンスが必要な場合
 判断根拠を理解するための手法
 ネットワークの出力を最大化する入力の作成
 入力に対する感度を分析する
 出力から入力までの経路を逆にたどる
 様々な入力から出力の傾向を推定する
 入力に対する着目点をモデルに組み込む
 説明力に対する評価
 説明の一貫性に対する評価
 説明の正当性に対する評価
 説明力の利用事例
 おわりに
目次

久保隆宏
TIS株式会社戦略技術センター
 化学系メーカーの業務コンサルタント出身
 既存の技術では業務改善を行える範囲に限界があるとの実感から、戦
略技術センターへと異動
 現在は機械学習や自然言語処理の研究・それらを用いたシステムのプ
ロトタイピングを行う
自己紹介
OpenAI Gymを利用した、
強化学習に関する講演
(@PyConJP 2016)
kintoneアプリ内にたまった
データを簡単に学習・活用
(@Cybozu Days 2016)
機械学習のビジネスへの適用/
音楽生成で同人誌ダブル出展
(@技術書典2 2017)

所属するチームのミッション
すべての人が、ティータイムに帰れるようにする
すべての人が、ティータイム(15:00)に帰れる(茶帰)
社会の実現を目指します。
この実現には、既存の仕事を効率化するのでなく、
根本的に「仕事の仕方」を変える必要があります。
しかし、慣れた仕事の仕方というのは簡単には変わ
りません。だからこそ、実際に「体験」をし、効果
を「実感」してもらうことが重要になります。
そのため、私たちは先進的技術を用い、仕事の仕方
が変わる体験を提供していきます。

観点要約
価格手触りサイズ可愛さ
熊のぬいぐるみ
狐のぬいぐるみ
 熊：価格は手頃で、手触りはとてももちもち。サイズは小さいけれど幼児が遊
ぶには適切。
 狐：お買い得な価格て、邪魔にならないサイズ。とってもかわいい。
文章の要約に際しては、ドメインごとに注目すべき観点が提示されている(議事録
であればTodoなど)。
所与の観点を元に要約を行うことで、必要な情報のもれを防ぐとともに、比較表
などのより視覚的な手法を用いることもできる。

arXivTimes
論文の一言サマリをGitHub上で共有する取り組み。併せて会
社共同での論文輪講も実施中(Twitterもやってます)
投稿された論文が分野別にみられるダッシュボード
もリリースしました。
投稿していただくと、投稿した人専用の個人ページ
が表示されるようになります。

Advanced Screening
 本日の講演に際しまとめた情報は、こちらの記事で公開しています。

深層学習における、解釈性の問題

深層学習は様々な分野で適用が行われ、高い実績を挙げている。
しかし、何を根拠に判断を行っているのかはよくわかっていない。
(ついでに言えば、なぜうまく学習できるのかもよくわかっていない)。
そのため、これを明らかにしようという試みが行われている。本講演では、
この取り組みについて紹介をしていく。

精度が高ければ問題ないのでは？
迷惑メールフィルタに理由を説明してほしい
と思ったことないんだけど？
No Problem!

説明力が問われるシーン

判断に影響を受ける関係者がいる場合(1/2)
http://www.itmedia.co.jp/business/articles/1708/29/news011.html
※「ちなみに、ワトソンが「不合格」にしたESは、必ずスタッフが再度目を通しますので、受験者のESがワ
トソンだけで落とされることはありません。」との補足あり

判断に影響を受ける関係者がいる場合(2/2)
判断は、それ自体の正否だけでは成立しない
影響を受ける関係者は、主に以下2つに大別できる。
 判断を元に、それを実行に移す人達
 納得できない判断に対しては、判断を無視する、実行をサボター
ジュするなどの影響が発生する
 判断を元に実行された結果に影響を受ける人達
 納得できない判断に対する反発行動が発生する
判断自体の「正しさ」と、関係者の「正しそうに思える」認識がそろって
初めて実のある判断になる。後者の認識を獲得するために、説明が果たす
役割は大きい。

法的責任が伴う場合(1/2)
https://wired.jp/2017/07/04/tesla-fatal-crash/

法的責任が伴う場合(2/2)
身近な機器に機械学習モデルが搭載されるにつれ、それらの判断が及ぼす
影響も増してくる。そこで、きちんとした検査が求められてくる。
 製品出荷前
 様々な環境において、モデルが想定した精度で機能するか検証する
 製品出荷後
 製品事故発生時の検証など
製品出荷前については、モデルの判断根拠を明らかにすることで、判断に
影響が大きく出るシーン(雨が降っている、街灯が並ぶケースetc)を重点
的にテストするといった対応が可能になる。
製品出荷後については、事故検証という面で意義がある。欧州ではユー
ザーが判断過程を開示するよう要求した場合それに応えられるようにする
ことが検討されており、この点でも説明力が重要となってくる。

継続的なメンテナンスが必要な場合(1/2)
http://jp.techcrunch.com/2016/03/25/20160324microsoft-silences-its-new-a-i-bot-tay-after-twitter-
users-teach-it-racism/

機械学習モデルは、作成された瞬間から学習データにもテストデータにも
ない、未知のデータが発生する環境にさらされる。
 データや、データの分布が変化する
 特に自然言語では、新しい単語の登場や新しい単語の使われ方が発
生することで、モデルの精度に影響が出る(HoloLensなどの新製品、
AKBの登場で「選挙」が芸能の意味を持つようになるなど)。
 判断精度の低下や、判断の偏向を目的とした、悪意あるデータ
 対話ボットに対して政治的に偏った意見ばかり送り付ける、またEC
サイトで特定の商品に対する評判を操作するなど。
こうした変化をとらえるにはモデルの精度といった数値指標を継続的に監
視することがまず第一になる。ただ、「数値が下がった理由」は別途分析
を行う必要がある。この際、モデルの判断根拠がわかっていれば分析が行
いやすい。なお、モデルの再学習を機械的に行う場合は、この判断根拠の
遷移を追っていないといつの間にか凶暴BOTになったりするので注意。
継続的なメンテナンスが必要な場合(2/2)

何れも、機械学習のモデルがより身近に、より長い期間人と関わるように
なるにつれ問題となる点である。
深層学習の登場により、機械学習は性能面での課題をクリアしつつある。
しかし、その機能に付随する社会的な責任を果たせるようにはなっていな
い。
説明力が問われるシーン
察しろ

きみはすごーいけど
せつめいはできないフレンズなんだね！

「理解」とは？
？

判断根拠の理解は、「判断根拠」の算出と、それを人間が理解できるよう
「表現する」という2つの側面がある。この2つがそろってはじめて「説
明」といえる。
 判断根拠
 機械学習は、入力が行われ、ある仕組み(プロセス)を通り、出力に
至る、というのが基本的なプロセス。
 出力に至るプロセスを解き明かす場合(ホワイトボックス)と、入力
と出力の関係だけ分かればよい場合 (ブラックボックス)の2種類が
ある。
 表現
 人が理解可能な形で判断根拠を提示する。具体的には、可視化や説
明文の作成といった手法があげられる。単なる数値の羅列(ベクト
ルなど)はこれには該当しない。
「理解」の定義

以降のセクションでは、「入力と出力の関係だけ分かればよい場合 (ブ
ラックボックス) 」にフォーカスし、手法を紹介していきます。
「理解」の定義

判断根拠を理解するための手法

ネットワークの判断確度が高い入力は、ネットワークの判断根拠を良く含
む入力と言える
ネットワークの出力を最大化する入力の作成(1/2)
Building High-level Features Using Large Scale Unsupervised Learning
Activation Maximization

定式化
𝑥∗ = max
𝑥
log 𝑝 𝑤𝑐 𝑥 − 𝜆 𝑥
あるクラスcに分類される確率が最大であるような入力𝑥(=代表例)を見つ
ける。実際に発生している入力になるべく近いものになるように、𝑥の生
起確率𝑝(𝑥)を含める場合もある。
𝑥∗ = max
𝑥
log 𝑝 𝑤𝑐 𝑥 + log 𝑝(𝑥)
ただ、画像データのように次元数が多い場合は𝑥の分布を求めるのが大変
なので、生成モデルと組み合わせる手法もある。
max
𝑧∈𝑍
log 𝑝 𝑤𝑐 𝑔 𝑧 − 𝜆 𝑧 2
ネットワークの出力を最大化する入力の作成(2/2)

入力のうち、その変化が出力に大きな影響を与える箇所があれば、それは
モデルが重要視しているポイントと言える。
入力に対する感度を分析する(1/2)
SMOOTHGRAD
Saliency Map/Sensitivity Analysis

定式化
𝑆 𝑥 =
𝜕𝑓
𝜕𝑥
2
入力の変化に対する出力の変化、変化量と言えば微分の出番。ニューラル
ネットは元々微分の連鎖律を使用し学習していくため(勾配計算)、分析の
ための特別な実装が不要で簡単に分析ができる。
ただ、これで得られるのは誤差を大きく/小さくするのはどの部分の変化
か、ということ。その意味では、根源的な回答(そもそもなぜその点が重
要なのか？)については答えることができないので注意が必要。
入力に対する感度を分析する(2/2)

出力から入力までの経路を逆にたどる(1/2)
出力した結果を逆にたどっていけば、その出力の根源(=理由)にたどり着
けるのではというアイデア。
Explaining nonlinear classification decisions with deep Taylor decomposition
Deconvolution/LRP

出力から入力までの経路を逆にたどる(2/2)
 Deconvolution
 CNNの特徴マップについて、そのマップ上で活性が見られる点(+
の値の箇所)以外を0にして逆伝搬する。
 そうすると、マップ上の活性に影響を及ぼした部分のみ入力が復元
されるはず、という理屈(Guided Backpropagation)。
 Layer-wise Relevance Propagation(LRP)
 レイヤー間の伝搬において各ノードの貢献度を算出。「貢献度の総
和」は維持されるとして、これを逆伝搬していき入力に射影する。
Demo

様々な入力から出力の傾向を推定する(1/2)
深層学習の「一部の判断」だけなら、周辺の入力/出力を元にその判断を
説明力の高いモデルで模倣することができる
Introduction to Local Interpretable Model-Agnostic Explanations (LIME)
LIME

Introduction to Local Interpretable Model-Agnostic Explanations (LIME)
様々な入力から出力の傾向を推定する(2/2)
オリジナルの画像を複製・変更した入力をいくつか作成し、それに対する
学習済みモデルの出力を得る。この入力と出力のペアを、本体とは別に用
意したより単純/説明力の高いモデルに学習させて、その判断根拠を得る。
ICML2017 ベストペーパーとなった” Understanding Black-box
Predictions via Influence Functions”は、これを定式化した形。

入力に対する着眼点をモデルに組み込む(1/2)
出力に貢献している点がわかる仕組みを、モデルに組み込む
Neural Machine Translation by Jointly Learning to Align and Translate
Attention

入力に対する着眼点をモデルに組み込む(2/2)
Attentionの機構は、モデルの精度面だけでなく説明の面でも有用な仕組
み。画像キャプショニングへの導入は、モデルが真に画像を理解した上で
キャプションを生成しているのかの検証に役立つ。
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

 Attentionは意図的に組み込めるため、精度的な貢献があり説明が求め
られるシーンで使われ得るなら利用しない理由はない。
 Activation Maximization、またLIMEはニューラルネットに限らず様々
なモデルで使用できる。ニューラルネットと既存手法の比較実験に有
用。
 Saliency Map/Deconv/LRPなどはそれなりに手間だが、今後深層学習
系のフレームワークに組み込まれる？ことを期待。
汎用ニューラルネット限定
要モデルでの対応

Q：良い説明を考えてみよう！
な
ん
で
論
文
の
執
筆
す
す
ん
ど
ら
ん
の
か
・
・
・

説明力に対する評価
仮に説明ができたとして、その妥当性をどのように評価すればよいか？
 説明の正当性に対する評価
 説明の一貫性に対する評価

説明の正当性に対する評価
説明において重要とされている特徴を抜いた場合、それは出力に大きな影
響を及ぼすはず
これは、説明において重要とされている点を徐々に欠損させていくことで、
判断精度がどう下がるか観測することで検証できる(説明における重要度
に応じて下がるほど良い説明ということになる)。
Methods for Interpreting and Understanding Deep Neural Networks

ド
ラ
ク
エ
発
売
し
な
か
っ
た
ら
完
成
で
き
た
の
か
よ

説明の一貫性に対する評価
一貫性が担保されていれば、入力における近しさと説明における近しさは
同等のはず
 特定の入力に近い別の入力があった場合、それぞれの説明は近しくな
らなければならないはず
 特定の入力と対極にあるような別の入力があった場合、それらの説明
は異なったものになるはず
これは、「様々な入力から出力の傾向を推定
する」のと同等の手法で検証が行える。
Methods for Interpreting and Understanding Deep Neural Networks

合
コ
ン
行
く
時
は
ず
い
ぶ
ん
元
気
そ
う
だ
な

説明はすれば終わりではない
進
捗
出
さ
な
い
罪
で

 モデルの検証
 複雑な事象の理解
説明力の利用事例

様々なモデルに対してその「説明」を比較することで、精度面だけでなく
どのような性質があるのかを検証することができる。
モデルの検証
“What is Relevant in a Text Document?”:An Interpretable Machine Learning Approach
上図は、文書分類についてCNNとSVMでどのような単語が分類の根拠と
して見られたのかを比較している(positiveに働いたのが赤、negativeが
青)。これは、継続的なモデルのメンテナンスを行う上でも有用な機能と
なる。

モデルの理解が不十分なことがわかることで、新しいタスクやデータセッ
トが提案されることもある。
モデルの検証
Zero-Shot Visual Question Answering CLEVR: A Diagnostic Dataset for Compositional
Language and Elementary Visual Reasoning
VQAのタスクで、よくある答えを丸覚えし
て回答しているケースがあったため(何匹
ですか?にはとりあえず「2匹」とか)、学
習データ中にはない回答をきちんと選べる
かどうかを検証
きちんと理解しているかを診断するために、
シンプルな画像(物体がいくつか置いてあ
るような画像)に対し、様々な内容(物体の
色や形といった属性、個数、位置など)を
問う質問が用意されている。

分子の性質を決定する原子間の結合など、関係が複雑で人間の認知が難し
い現象が多々ある。
そこに表現力に優れた深層学習を適用し、その判断理由を説明させること
で理解の助けとすることができる。
複雑な事象の理解
上図は分子構造を成すのに貢献している原子間の関係性を可視化したもの。
Quantum-Chemical Insights from Deep Tensor Neural Networks

未だ解決されていない科学的・社会的課題は多く、深層学習が寄与できる
領域は大きい。
おわりに(1/4)
Galaxy Zoo - The Galaxy Challenge
Global Terrorism DatabaseCT Medical Image Analysis Tutorial

SNS上の発言などから危機的状況(自殺しちゃいそうなど)かを検知す
る・・・だけでなく、「すぐに対応すべきかどうか」を人が判断するため
にその判断根拠を提示するという研究(Attentionを使用)。
精度だけでなく、説明を提示できるようになれば「人との連携」が可能に
なり、より解決可能な課題が増える。
おわりに(2/4)
Detecting and Explaining Crisis

いわゆる「人工知能」関連の技術は半ば面白半分に煽られているという現
状もある。特に深層学習については、やはり判断根拠がわからないという
ブラックボックスな面がこうした状況を招いている原因ともいえる。
こうした現状を放置していると、謎の法規制がかけられる懸念もある。
AIベンチャーの雄が総務省の開発指針に反対する理由
おわりに(3/4)
https://jp.sputniknews.com/world/201708013947295/
https://wired.jp/2017/02/14/deepmind-ai-social-impact/
http://jp.techcrunch.com/2017/01/20/20170119ai-
software-is-figuring-out-how-to-best-humans-at-designing-
new-ai-software/

深層学習の力を、その精度だけに留めておく理由はない。
判断根拠が提示できるようになれば、様々な分野における難問、また社会
課題に対して貢献できる。
同時に、これは深層学習という研究が実社会に出ていく中で求められるこ
とでもある(その中には、わけのわからないAIという偏見を解いていくプ
ロセスも含まれる)。
判断根拠を理解する手法は、深層学習が実応用のフェーズに入っていくに
つれさらに重要性を増す技術である。
おわりに(4/4)

しんそうがくしゅうとひとが
たいせつなフレンズになれるといいね！

深層学習の判断根拠を理解するための研究とその意義 @PRMU 2017熊本

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (16)

Similar to 深層学習の判断根拠を理解するための研究とその意義 @PRMU 2017熊本

Similar to 深層学習の判断根拠を理解するための研究とその意義 @PRMU 2017熊本 (20)

More from Takahiro Kubo

More from Takahiro Kubo (20)