BlackBox モデルの説明性・解釈性技術の実装_DLLAB_191127

COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED.
0
BlackBoxモデルの説明性・解釈性技術の実装
※公開用
（株）電通国際情報サービス（通称、ISID）
クロスイノベーション本部 AIテクノロジー部小川雄太郎
DLLAB 機械学習モデル解釈ナイト (エンジニア向け)
19年11月27日 19:00-19:40@日本マイクロソフト株式会社・品川

1
本発表の内容
01 簡単に会社と自己紹介
02 説明性・解釈性技術の重要性
03 種々の説明性・解釈性技術を実装・実行した結果と感想
04 おわりに

簡単に会社と自己紹介
Section
01
2

株式会社電通
3
1975年に創業
電通グループのIT集団（SIer）
General Electric
Company（GE）
電通国際情報サービス（ISID）

4
出身：1986年生まれ、兵庫県西宮市出身
経歴：明石高専、東京大学工学部、東京大学新領域創成科学研究科
博士課程を卒業。脳科学の分野にて博士号（科学）を取得
所属：ISID クロスイノベーション本部・AIテクノロジー部
兼職：早稲田大学・非常勤講師、日本ディープラーニング協会委員
副業：PyTorchのディープラーニング本、深層強化学習本、雑誌連載
詳細：https://github.com/YutaroOgawa/about_me
小川雄太郎（おがわゆうたろう）

5
近著の紹介
PyTorchによる発展ディープラーニング
第1章：画像分類と転移学習(VGG)
第2章：物体検出(SSD)
第3章：セマンティックセグメンテーション(PSPNet)
第4章：姿勢推定(OpenPose)
第5章：GANによる画像生成(DCGAN、Self-Attention GAN)
第6章：GANによる異常検知(AnoGAN、Efficient GAN)
第7章：自然言語処理による感情分析(Transformer)
第8章：自然言語処理による感情分析(BERT)
第9章：動画分類(3DCNN、ECO)
https://www.amazon.co.jp/dp/4839970254

説明性・解釈性技術の重要性
Section
02
6

7
言葉の定義
●解釈性：アルゴリズムが予測に至るために用いるプロセスを人間が
どれだけ簡単に理解しやすいかを示す（例：決定木は解釈性が高い）
●説明性：とある推論結果において、入力したデータの各説明変数が
予測結果にどの程度影響を与えたのかなどを示す
解釈性（Interpretability）と説明性（Explainability）の定義
「AIプロダクト品質保証ガイドラインAI4Q」[1]を参考に

8
解釈性・説明性が大切な理由
顧客（社外・社内）：
推論結果を安心して使用できる≒BlackBox性の緩和
競争力：
自社のサービス・製品の差別化要因になる
自社：
モデル改善に役立つ、ESG経営に役立つ

9
競争力：
自社：

10
解釈性・説明性が競争力となる理由
ガートナー先進テクノロジのハイプ・サイクル：2019年 [2]
説明可能なAIは、黎明期から期待期へと入りかけの注目技術である

11
フォレスターのAutoMLサービスのリーダー製品の選定基準に
Explainablitityが入る[3]

12
●機械学習モデルの解釈性・説明性は近年の注目技術である
●さらに、優れた製品・サービスとしての差別化要因となる
ゆえに、自社製品・サービスの競争力を高めるべく、ぜひ解釈性・
説明性技術の取り組みを開始すべきである

13
競争力：
自社：

14
解釈性・説明性が自社にとって重要な理由
1. モデル改善の役に立つ
⇒解釈性・説明性により、学習済モデルや推論結果の根拠の一端を
知ることは、学習済モデルのバイアス（真に有るべきモデルからの
ズレ）などを知ることができ、より良い学習済みモデルの構築に役
立つ。
（例）説明性技術により、学習済モデルの重要な特徴量が「性別」
と明らかになったとする⇒学習データに性別での歪みがあるかもし
れない。倫理・公平性についても企業的問題があるかもしれない。

15
2. ESG経営に役立つ
上場・非上場に関わらず、株式会社にとって重要なのは、
投資家から自社が株式投資価値があると認められることである
昨今、投資家が着目するDX・AI関連の切り口
[4]※参考：Gartner IT Symposium/Xpo 2019、28F：投資家はあなたのデジタル戦略の夢を見るか
①他社と比べた際の持続的な競争優位性
➡「成長を生む≒儲ける仕組み」にAIが組み込まれていること
②「ESG」に関連する企業活動
➡ 環境（E）、社会（S）、ガバナンス（G）の状況。とくにG。

16
2. ESG経営に役立つ➡ガバナンス（G）
ガバナンスとは、「企業経営を管理監督する仕組み」。
ではAIにおいて、企業はどのように社員や製品・サービスを管理・
監督する必要があるのか？
（次ページへ）

17
公平性・説明性を求める各種のガイドラインが整備されつつある[5]参考
Partnership on
AI（2016/09）
Stanford AI100
in 2030
（2016/09）
RoboLawロボッ
ト規制ガイドラ
イン（2014/09）
人工知能学会倫
理委員会設立
（2014/12）
アシロマ23のAI
原則（2017/01）
IEEE Ethically
Aligned Design
v1（2016/12）
ロボティクスにかかる民
法規制に関する欧州委員
会への提言（2017/01）
米国大統領府人
工知能・自動化と
経済（2016/12）
GDPR
（2018/05）
IEEE Ethically Aligned
Design First Edition
第1版（2019/1）
人工知能に関す
るOECD原則
（2019/05）
総務省：AI開発
ガイドライン
（2018/07）
内閣府：人間中心の
AI社会原則（案）
（2018/12）
経団連：AI活用戦略
（2019/02）
ソニーグループ
AI倫理ガイドラ
イン（2018/09）
富士通グループ
AIコミットメン
ト（2019/03）
NECグループ AIと
人権に関するポリ
シー（2019/04）
NTTデータグ
ループAI指針
（2019/05）
NRIグループAI
倫理ガイドライ
ン（2019/10）

18
経団連：AI活用戦略～AI-Readyな社会の実現に向けて～19年2月[6]
具体的には？
（次ページ）

19
経団連：AI活用戦略～AI-Readyな社会の実現に向けて～19年2月[6]
公正・アカウンタブル・
透明性を確保した
説明可能なAIの開発へ

20
（例）NRIグループAI倫理ガイドライン（2019/10）[7]

21
（例）NRIグループAI倫理ガイドライン（2019/10）[7]

22
2. ESG経営に役立つ➡ガバナンス（G）➡AIにおける人権倫理・公
平性とは？
公平性に関する代表的な尺度と解説の一例 [8-12]参考。
例えば、HR-Techにおけるハイパフォーマーを分類する際の「性
別」を例に。
（次ページへ。）
※性別の場合、本資料は男性・女性の2区分ですが、さらに配慮をするべき場合もあります。

AIにおける人権倫理・公平性の指標例（一例：ハイパフォーマー分類）
1. Group unaware（集団非識別）：性別（のような、個人が努力では変え難い属性
情報）を機械学習に使用しない
2. Equal opportunity（機会均等）：訓練データにおいて、データ数に性別による
偏りがあるか
3. Statistical Parity Difference（統計均衡差）：訓練データにおいて、性別によっ
てH（ハイパフォーマー）に分類される可能性に偏りがあるか
4. Equal Opportunity Difference（機会均等差）：Hと分類する真陽性の精度が、
性別によって偏りがあるか
5. Average Odds Difference（平均オッズ差）:オッズ（真陽性/偽陽性）が、性別
によって偏りがあるか
6. Disparate Impact（差別効果）：性別がHと分類するのに対して、与える影響力

24
公平性指標の各詳細は、AI開発に関わるエンジニアにとっては非常
に重要なことであり、是非知っておいていただきたいです。
また、
6. Disparate Impact（差別効果）例：性別がH（ハイパフォー
マー）と分類するのに対して、与える影響力
を明らかにする際に、解釈性・説明性の技術は重要となります

25
1. Group unaware（集団非識別）：（例）性別を機械学習に使用しない
ハイパフォーマ性別特徴量A 特徴量B
1 男性 2.4 A
0 男性 3.5 B
1 女性 3.3 A
1 女性 6.4 S
0 男性 2.1 C
性別をはじめ、「個人が努力では変え難い属性情報」を
機械学習システムの入力変数に使用しない

26
2. Equal opportunity（機会均等）：（例）訓練データにおいて、データ数に性別
による偏りがあるか
1 男性 2.4 A
0 男性 3.5 B
1 女性 3.3 A
1 女性 6.4 S
0 男性 2.1 C
性別をはじめ、「個人が努力では変え
難い属性情報」が訓練データで偏りが
あるか事前チェック
男性女性
●人
■人

27
3. Statistical Parity Difference（統計均衡差）：（例）訓練データにおいて、性別
によってHに分類される可能性に偏りがあるか
性別をはじめ、「個人が努力では変え
難い属性情報」でHの割合に偏りがな
いか事前チェック
男性女性
▲%
〇%
ハイパフォーマの割合
1 男性 2.4 A
0 男性 3.5 B
1 女性 3.3 A
1 女性 6.4 S
0 男性 2.1 C

28
4. Equal Opportunity Difference（機会均等差）：（例）Hと分類する真陽性の確
率の性別による差
ハイパフォーマ特徴量A 特徴量B
1 2.4 A
0 3.5 B
1 3.3 A
1 6.4 S
0 2.1 C
機械学習システムにおいて、真陽性の確率（緑色のマス）が、男性・女性など、
「個人が努力では変え難い属性情報」によってどの程度の差があるのかを示す
機械学習
システム
Hで予想H
真陽性
Hで予想notH
偽陰性
notHで予想H
偽陽性
notHで予想notH
真陰性
Hで予想H
真陽性
Hで予想notH
偽陰性
notHで予想H
偽陽性
notHで予想notH
真陰性
男性
女性

29
5. Average Odds Difference（平均オッズ差）:（例）オッズ（真陽性/偽陽性）が、
性別によって偏りがあるか
1 2.4 A
0 3.5 B
1 3.3 A
1 6.4 S
0 2.1 C
機械学習システムにおいて、オッズ（真陽性：緑色/偽陰性：赤色）が、男性・
女性など、「個人が努力では変え難い属性情報」によって偏りがないか≒正解
率での判断
機械学習
システム
Hで予想H
真陽性
Hで予想notH
偽陰性
notHで予想H
偽陽性
notHで予想notH
真陰性
Hで予想H
真陽性
Hで予想notH
偽陰性
notHで予想H
偽陽性
notHで予想notH
真陰性
男性
女性

30
6. Disparate Impact（差別効果）：（例）性別がHと分類するのに対して、与える
影響力
1 2.4 A
0 3.5 B
1 3.3 A
1 6.4 S
0 2.1 C
機械学習システムにおいて、真陽性の確率（緑色のマス）が、男性・女性など、
「個人が努力では変え難い属性情報」によってどの程度の割合差があるのか。
（女性の真陽性率）/（男性の真陽性率）で計算。0.8を閾値とすることが多い。
機械学習
システム
男性
女性
Hで予想H
真陽性
Hで予想notH
偽陰性
notHで予想H
偽陽性
notHで予想notH
真陰性
Hで予想H
真陽性
Hで予想notH
偽陰性
notHで予想H
偽陽性
notHで予想notH
真陰性

31
●より優れた機械学習モデル構築へとつながる技術である
●投資家のESG観点が高まる中、AIのガバナンスが重要視される社会
となっている
●AIガバナンスにおける、公正・アカウンタブル・透明性を有する機
械学習・ディープラーニングモデルの構築が求められている
ゆえに、自社製品・サービスの競争力を高め、ガバナンスを強化する
ためにも、ぜひ解釈性・説明性技術の取り組みを開始すべきである

32
競争力：
自社：
以上、解釈性・説明性技術に取り組むことが大切な理由を解説しました

種々の説明性・解釈性技術を実装・実行
した結果と感想
Section
03
33

34
サマリー：説明性技術の調査と実装した感想
縦軸はデータ形式、横軸は説明性技術を示します。
〇はおススメ技術、△は実装してみて微妙に感じた技術、?は未実装、ーは基本的
には技術適用が不可能なケース、空欄はライブラリが未整備、をそれぞれ示します
LIME SHAP Anchors
Grad-
CAM
Attention influence
表形式データ △ 〇 △ ーーー
画像分類 △ △ 〇ー〇
日本語テキスト
（tf-idf）
〇 ? ? ーーー
（BERT）
ーーーー △ 〇

35
技術選定基準
本調査で解釈性・説明性技術として対象とした手法は、日本人工知能
学会の「機械学習における解釈性」に関するレビュー論文(18年5月発
行) [13] にて、紹介されている手法を中心に選択

36
解釈性と説明性
解釈性については、機械学習アルゴリズムそのものの話なので、今回
はパスします。
・決定木やロジスティック回帰は解釈性が高い
です。
また、後ほど講演がある、ロジスティック回帰の発展版である
・EBM（Explainable Boosting Machine）
≒一般化加法モデルGA2M（Generalized Additive 2 Model ）
も解釈性の高さが期待されるアルゴリズムです。

37
説明性については、
・大域的説明性：モデル内の重要な説明変数を示す
・局所的な説明：推論結果に強く影響した特徴量を示す
or 入力と類似性の高い訓練データを示す
の2タイプが存在します

38
大域的説明性：モデル内の重要な説明変数を示す
Born Again Trees [14]：学習データ＋学習データの疑似生成データ（推論判定は
学習済みモデルで実施）を訓練データとして、決定木モデルを構築
いろいろな手法：学習済みモデルにおいて、重要度の高い特徴量を知る
●特徴量加工による重要度（MeanDecreaseAccuracy）
特徴量を加工した疑似生成データを用意し、推論性能の悪化から、各特徴量の
重要度を求める（Morris sensitivity analysisなど）
●ジニ係数など情報量を用いた重要度（MeanDecreaseGiniなど）
Tree系のアルゴリズムで、各ノードにおいて「判定に使用した特徴量の種類、
ジニ係数、そのノードで分割された訓練データの数」の情報から計算。scikit-
learnのTree系アルゴリズムの特徴量重要度はこちら

39
表形式データ
※実装プログラムは以下のGitHubにあります
https://github.com/YutaroOgawa/my_azure

40
局所的説明性（表形式データ）
表形式データにおいては、LIME、SHAP、Anchorsが主に使用されます[15-21]
LIME
SHAP
Anchors

41
LIME
LIMEは、局所的な説明が欲しいテストデータを中心にperturbedデータを生成し、
元のモデルでそれらを推論、その結果から新たに線形モデルを作成。作った線形モ
デルの係数から、テストデータの推論にどの特徴量が重要だったのかを説明
【手順】
1. 局所的な説明が欲しいテストデータのサンプル1つを決定
2. 訓練データの確率分布に従うperturbedデータを生成（デフォルトは5,000個）
3. 元の機械学習モデルでperturbedデータを推論
4. perturbedデータと推論結果から線形モデルを構築（その際、対象テストデータ
とperturbedデータの距離で重み付けして誤差を計算。近傍データを重視）
5. 線形モデルの係数から説明

42
LIME
タイタニックの生存予測のデータセットでのLIMEの例
このような特徴の人の生存確率をランダムフォレストモデルで予測すると、
（死亡、生存）確率＝（0.1、0.9）と予測されました。ですがどうしてこのよう
な予測結果になるのか？どの特徴量が重要だったのでしょうか？
- 性別：女性
- 年齢：21才
- 兄弟、配偶者の数：０
- 両親、子供の数：1
- 部屋の階級：3
- 乗船した港：Southampton
- 乗船料金：

43
LIME
タイタニックの生存予測のデータセットでのLIMEの結果例
乗船港がサウサンプトンである点、乗船料金が低い点が生存確率を下げる要因です。しかし、性
別が女性である点、同船兄弟がいない点、年齢が23歳以下である点が、生存確率の向上の要因で
す。特に、性別が女性であるというほぼ1点の理由により、生存と予想されています。

44
SHAP
SHAPは、局所的な説明が欲しいテストデータのサンプルにおいて、各特徴量を平均
値に変化させたときの推論結果の変化度合いから、そのサンプルでの特徴量の値が
平均値から離れていることの重要性を調べ、特徴量の寄与度を求めます。その際に
ゲーム理論のShapley値（シャープレイ値） [22] の計算に基づいて各説明変数の推論
結果への寄与度を求めます
【手順】
1. 局所的な説明が欲しいテストデータのサンプル1つを決定
2. Shapley値（シャープレイ値）値の計算

45
SHAP
タイタニックの生存予測のデータセットでのSHAPの結果例
・SHAPの標準出力では読み取りにくいので、図を書きなおす（次ページ）

46
SHAP
タイタニックの生存予測のデータセットでのLIMEの結果例
訓練データ全体の平均生存確率は0.38です。対してこの方は、性別が女性である点で生存確率が
+0.31向上し、両親・子供の同船者数が1である点から生存確率が+0.16され、乗船料金が7.90ド
ルと安いことから生存確率は-0.09されます。その他の特徴量は微小に関わり、その結果、生存確
率は0.90となっています。
全体平均
生存確率
0.38
性別：女性で+0.31、両親・子供：1人で＋0.16
乗船料金：7.90で-0.09
0.90
推論結果
その他も少しは影響

47
Anchors
LIME
Anchors
AnchorsはLIMEの著者らが続いて発表した手法です

48
Anchors
局所的な説明が欲しいテストデータのうち、その推論結果に判定されるために必要
な「ローカルな説明変数の集合領域」（Anchor）を求め、そのAnchorから局所的な
説明を求める手法。

49
Anchors
LIMEの課題。テキストデータでの例。
2つの文章があり、その説明性をLIME
で行うと、同じ“not”という単語が、
文脈によってPositiveに影響したり、
Negativeに影響したりする（二重否定
の文章になっているため）。
これは各単語レベルでlocalな線形モ
デルを作成していることに起因する。
そこでAnchorは推論結果になるのに
「十分な特徴量の集合（Anchor）」
を求めそれを説明性と考える。

50
Anchors
LIMEの課題。テキストデータでの例。
Anchorsはどの特徴量があれば、その
推論結果になるのに十分か（各特徴量
の値の領域集合=Anchor）を求め、そ
こから説明を求める。
左図であれば、
“This movie is not bad. ”
がPositiveに判定されるのに必要な特
徴量の集合は”not bad” だと判定する。

51
Anchors
タイタニックの生存予測のデータセットでのAnchorsの結果例
性別が女性であること、乗船クラスが2（中位）であること、両親・子供の同船
者数が1であること、年齢が21～24歳であること、これらの特徴量があるため、
この人は生存と予測されます
注目

52
表形式データ：LIME、SHAP、Anchorsの感想
表形式データにおいて、これら3つを比べた際には、SHAPがおすすめです
●LIMEは距離を測る概念が出てくるので、距離指標の設定が面倒
●LIMEの出力はそのまま確率値にならないので、説明しづらい
●理論的にLIMEはSHAPの特殊な形で、SHAPはLIMEを包含している
●Anchorsはライブラリの整備があまり整っていない（ように感じる）
●Anchorsは連続値を扱えないため、年齢などはビンに区切る必要がある
【結論】ストレートにSHAPが使いやすい。ただし、注意点。
SHAPのライブラリはそのままだとカテゴリカルデータを扱いづらい。

53
ネット上にあるLIMEとSHAPの実装例コードには間違っているものもあるので、
注意してください。
タイタニックデータであれば、乗船港などの「カテゴリカルデータ」を「数値
データ」にラベル変換したあと、「one-hot表現」にしてLIMEやSHAPで扱う必
要があります。ネット上の実装例の多くはカテゴリカルデータを順序データとし
て誤って実装しています。またone-hot表現と通常の列の扱いを実装で区別する点
は注意が必要です。
性別
0
1
子供の数
2
1
乗船港
2
3
乗船港
B港
C港
乗船港A 乗船港B 乗船港C
0 1 0
0 0 1
one-hotとしてまとめて
実装する点に注意
ネット上にある
コードの多い間違え
表形式データ：LIME、SHAP、Anchorsの感想

54
画像データ

55
Grad-CAM [23]：Gradient-weighted Class Activation Mapping
画像分類で、重要だったピクセルをヒートマップで表示する手法。手続きとしては、
推論結果が誤りだったと仮定し、その推論結果を変化させるために影響があるピク
セルがどこなのかを求める。そこでCNNの最終畳み込み層のバックプロパゲーショ
ン時のチャネルkの分類cに対するパラメータの損失勾配の平均（α 𝑘
𝑐
）と最終畳み込
み層の得られた特徴量マップ（𝐴𝑖,𝑗
𝑘
）の値を掛け算してヒートマップを求める。

56
Grad-CAM
ImageNetで学習済みのVGG-19モデルで画像分類をする。坂本龍馬の
画像[24]で（モデルはPyTorchのデフォルトモデルを使用）
VGG
（ImageNet）分類の結果????

57
画像で（モデルはPyTorchのデフォルトモデルを使用）
VGG
（ImageNet）
【結果】確率: 0.41で、
pedestal, plinth, footstalloutput
Pedestal, plinth, footstallは日本語で、
台，脚，台座。どうして、Man、Personと
推定されないのか。
判定理由をGrad-CAMで可視化。
Grad-CAM

58
Grad-CAM
Grad-CAMの結果を見ると、竜馬よりも背後に
ある「教卓のようなもの」に強く反応している。
ヒートマップの赤くなっている部分が後ろの教
卓に集まっているので、「台，脚，台座」と判
定したと考えられる。
なお、そもそもImageNetにはMan、Personな
ど、人物のクラスが存在しない。

59
LIMEは表形式データだけでなく、画像にも使用できる。ただしその場
合、perturbed dataは1ピクセルごとに作るのではなく、訓練データか
らスーパーピクセルと呼ばれる画像の固まりに分ける（下の図におい
て、黄色線で囲まれた固まり）。この状態でスーパーピクセルを変化
させ、推論結果への影響を求める。
LIME

60
LIME
LIMEの結果を見ると、人物よりも背後にあ
る「教卓のようなもの」に強く反応している。
左図の緑色部分にとくに着目して、「台，脚，
台座」と判定したと考えられ、推論結果がう
まく説明される。

61
SHAPの画像版はスーパーピクセルではなく、ピクセルレベルで動作
SHAP
実行結果は画像内のエッジが強調されるば
かりで、うまく説明性を得ることができな
かった。
理由としては、画像分類において「推定結
果のラベルがかなり確度が高い」ケースで
ないと、ピクセルレベルでの小さな変化が
推定結果に大きく影響し、様々なピクセル
が重要になる（と予想。クラス数が多いモ
デルだと確度を高く出しにくい？）

62
Anchorsの画像版はtodoのまま更新されておらず、整備されていな
い？
Anchors
注目

63
画像データ：Grad-CAM、LIME、SHAPの感想
画像データにおいて、これら3つを比べた際には、 Grad-CAMがおすすめ
●LIMEの画像説明性はハイパーパラメータが多くて、使用しづらい。
いかようにも結果が出せる・・・。
（とくに、いくつのスーパーピクセルを寄与度に計算するか設定など。左図
は1つに設定している）
●SHAPはあまり機能しなかった
【結論】ストレートにGrad-CAMが使いやすい。ただし、注意点。

64
画像データにおいて、 Adversarial Examplesで改変。ノイズを入れると、判定結果は
猫になる。しかしGrad-CAMの結果はノイズには着目しない。Grad-CAMはあくまで、
その推論結果のラベルを変化させるのに寄与するピクセルを強調する。
（今回の場合はノイズよりも赤ピクセルを変える方が、catと判定される確率は減る）
VGG
（ImageNet）
cat

65
Grad-CAM系の手法は本当に説明性を与えているのか、もう少し慎重に考えよう、という
論文もある[25]。論文ではどれが良くてどれがダメまで言っていないが、著者らとは別のブ
ログではGuided系はエッジに引っ張られやすいから、普通のGrad-CAMが無難ともある[26]

66
日本語テキスト（tf-idf）

67
LIME
tf-idfでベクトル化して文書分類し、その推論結果をLIMEで説明する。LIMEでテキ
ストデータを扱う場合、 perturbedデータは各単語をランダムに除いたテキスト
データを作成される。その後、線形モデルを構築して、各単語の係数から推論結果
に対する各単語の寄与度を求める。
今回、分類対象の文書はlivedoor ニュースコーパス（9クラス）[27]を使用した。
訓練データは4,421文書、検証データは1,473 文書、テストデータは1,473 文書。
Juman++v2 [28]で単語を分かち書きした。使用データとして、タイトルは省き、文
書の先頭から128単語（正確にはサブワード）のみを使用した（128単語以上の部分
は切り捨てる。実際の文書の1/5くらいの長さとなる）。
機械学習モデルはtf-idfでベクトル化→LSAで次元圧縮→非線形SVM（正解率81%）。

68
LIME
試合、放送、プロなどの単語に着目し、sports-watchに、正しく分類
日本語テキストデータのtf-idfでの機械学習推論結果をLIMEで説明
注目

69
LIME
ケア、美容、ヘアなどの単語に着目し、peachy（ふわふわ女子系チャネル）に誤分類
（正解は家電）
日本語テキストデータのtf-idfでの機械学習推論結果をLIMEで説明
注目

70
日本語テキスト（tf-idf）：LIMEの感想
時間が足りず、SHAPとAnchorsまで実装できなかった
ただ、LIMEでもまずまず機能し、どの単語が重要だったのかが分かる気がし
ている。
【結論】LIMEはまずまず機能しそう。今後、SHAPやAnchorsの検討へ

71
日本語テキスト（BERT）

72
BERT[29]による文書系AIの取り組み
BERTとは：自然言語処理のディープラーニングモデルです
詳細は拙著をご覧ください、実装しながら解説しています
PyTorchによる発展ディープラーニング
第1章：画像分類と転移学習(VGG)
第2章：物体検出(SSD)
第3章：セマンティックセグメンテーション(PSPNet)
第4章：姿勢推定(OpenPose)
第5章：GANによる画像生成(DCGAN、Self-Attention GAN)
第6章：GANによる異常検知(AnoGAN、Efficient GAN)
第7章：自然言語処理による感情分析(Transformer)
第8章：自然言語処理による感情分析(BERT)
第9章：動画分類(3DCNN、ECO)
https://www.amazon.co.jp/dp/4839970254

73
BERTによる文書系AIの取り組み
BERTのAttentionを可視化（全multi-headの平均）
ラベルはsports-watchと正しく判定され、強く着目している単語は、“女子プロゴル
ファー”や“ゴルフ”など。

74
BERTによる文書系AIの取り組み
BERTのAttentionを可視化（全multi-headの平均）
その他の実行例。ドライヤーの記事だが、「家電チャネル」ではなく、「peachy
（ふわふわ女子系チャネル）」に誤って分類。その理由をAttentionから確認すると、
とくに“美容“、”ブロー”、”!”などの単語に引っ張られたと考えられる。

75
BERTによる文書系AIの取り組みの感想
BERTによるAttentionを説明性に使用するのはまずまず機能しそうな気がし
たが、人により判断は分かれそうではある。
●「Attention is not Explanation」という論文 [30] も発表されており、
Attetionは説明性として十分か議論はある。
しかしこの論文のモデルはBiLSTMであって、Transformer型のモデルで
はない。LSTMはAttentionがなくても動作するので、この論文で示してい
る“Attentionに説明性能に疑問がある“という意見は、Transformerを利用
したBERTにも当てはまるとは、私は考えていないです
●ただし、BERTは入力できる文字数の制限があり使いづらい・・・

77
Influence[31]
influcenceは、説明したいテストデータと最もよく似た訓練データを1つ探す手法。
説明したい推論したテストデータと類似性の高い訓練データを提示させる。
そこで、「とある訓練データ1つを抜いてモデルを学習させて推論すると、説明し
たいテストデータの推論結果が最も変化する訓練データ」を求める。
実際に訓練データをleave-one-outした全パターンの学習モデルを用意して推論す
るのは計算コスト的に非現実的なので、各訓練データが説明したいテストデータ
の推論結果のlossの値にどれくらい寄与しているのかを求める。摂動論的アプ
ローチであり、学習済みモデルパラメータ近傍での近似計算となる。
この計算式を影響関数(influence function)と呼ぶ（次ページへ）

7878
influenceの計算手法。以下の式を訓練データすべてについて計算して、最小（負
の最大）の訓練データを求めると、その訓練データはテストデータの損失を下げ
るのに最も重要であり、テストデータと類似性が高いと考えられる。
z_testに対する損失を
モデルパラメータで偏
微分。すなわち、
z_testの損失が減る誤
差逆伝搬時のパラメー
タ更新ベクトルの方向
z_testに対する損失を、
とある訓練データzを
抜いたモデルと抜かな
いモデルで推論した場
合の推論結果に対する
損失の変化量
とある訓練データzを含ま
ない訓練済みモデルに、z
を追加した場合のパラ
メータの更新を摂動論で
計算した際の更新ベクト
ルの方向
Influence

79
3層からなる簡単なCNNでMNISTのinfluenceを実行した結果。ヘシアン行列Hを
計算するためにパラメータの2階微分が必要であり、今回はPyTorchで実装
テスト画像類似性が高いとされた訓練画像推論を悪化させる訓練画像
Influence

80
・influenceで抽出される、類似性の高い訓練データとは、その訓練データを学習
することで対象のテストデータの推論結果が良くなるものである。これは厳密に
計算されているわけではなく、近似的計算（摂動論）である点に注意
・計算においてテストデータの損失値も必要なため、説明対象とするテストデー
タの正解も必要
・影響関数（influence function）の計算には、損失に対する訓練データのヘシア
ン（損失をモデルパラメータで2階偏微分した数値の訓練データでの総和）の逆行
列が必要（H-1）。そのため、損失関数がモデルパラメータで2階微分できる必要
があり、木系のアルゴリズムなどでは使用できない、と私は思っている・・・
・なおモデルの全パラメータでのヘシアン計算はコスト大なため、最後の全結合
層のみを使用している
Influenceの感想

81
・influenceは損失関数が明示的なディープラーニングとは相性が良く、BERTな
ど自然言語処理モデルでも同様に、テストデータと類似する訓練データを求める
ことができる。以前、発表したのでこちらをご覧ください
Influenceの感想
https://www.slideshare.net/DeepLearningLab/bertaiaz
ure?ref=https://dllab.connpass.com/event/144647/pre
sentation/

82
（再掲）サマリー：説明性技術の調査と実装した感想
縦軸はデータ形式、横軸は説明性技術を示します。
〇はおススメ技術、△は実装してみて微妙に感じた技術、?は未実装、ーは基本的
には技術適用が不可能なケース、空欄はライブラリが未整備、をそれぞれ示します
LIME SHAP Anchors
Grad-
CAM
Attention influence
表形式データ △ 〇 △ ーーー
画像分類 △ △ 〇ー〇
（tf-idf）
〇 ? ? ーーー
（BERT）
ーーーー △ 〇

おわりに
Section
04
83

84
「ISIDにおけるAI部門の位置づけと、製造業を中心とした事例の紹介」芝田潤
画像診断や自然言語処理、時系列データ分析系を中心としたAIアルゴリズム開発プ
ロジェクト事例とAI人材育成支援事例についてご紹介します。
「AIテクノロジー部の研究開発と製品開発事例」小川雄太郎
LightGBMを製造業の流体シミュレーションの高速化に応用し、新たな手法を構築し
た研究内容と、Azure DevOps、Azure MLサービスを利用し、両者を合わせること
でMLOps的な体制を構築している事例について紹介します。
https://techplay.jp/event/758740
その他、ISIDのAIテクノロジーに
興味がある方はTechPlayにもぜひ
ご参加ください。

85
これからのアナウンス
私たちと一緒に働いていただけるコンサルタント、エンジニアも募集中
以下サイトをご覧ください
●AIビジネスプロジェクトマネージャ
https://www.isidgroup.com/u/job.phtml?job_code=532
●データサイエンス・ビジネス開発エンジニア
https://www.isidgroup.com/u/job.phtml?job_code=430
https://www.isidgroup.com/u/job.phtml?job_category_code=5&company_code=1

86
以上

87
引用文献とおすすめ資料
[1] QA4AIコンソーシアムのAIプロダクト品質保証ガイドライン（19年5月）
http://www.qa4ai.jp/download/
[2] ガートナー、「先進テクノロジのハイプ・サイクル：2019年」を発表（2019年8月30日）
https://www.gartner.com/jp/newsroom/press-releases/pr-20190830
[3 ] The Forrester New Wave™: Automation-Focused Machine Learning Solutions, Q2 2019
https://www.forrester.com/report/The+Forrester+New+Wave+AutomationFocused+Machine+Learning+Solutions+
Q2+2019/-/E-RES143845#
https://www.edgeverve.com/wp-content/uploads/2019/05/The-Forrester-New-Wave_Automation_Focused-
Machine-Learning-Solutions_Q2-2019.pdf
[4]参考：Gartner IT Symposium/Xpo 2019、28F：投資家はあなたのデジタル戦略の夢を見るか
https://gartner-em.jp/symposium/
[5] 参考：人工知能学会：浦本学会長の基調講演（19年6月）
https://confit.atlas.jp/guide/event/jsai2019/session/1A01-01/tables?FgiqDDntph
[6] 経団連 AI活用戦略～AI-Readyな社会の実現に向けて～（19年2月）
http://www.keidanren.or.jp/policy/2019/013.htmlhttps://jpn.nec.com/press/201904/20190402_01.html
[7]野村総合研究所、「NRIグループAI倫理ガイドライン」を策定
https://www.nri.com/jp/news/newsrelease/lst/2019/cc/1024_1

88
[8] 機械学習の公平性への取り組み－Fairness-aware data miningを中心に－、神嶌敏弘、産業技術総合研究所、人工知
能学会2019@新潟
https://www.jst.go.jp/crds/sympo/201906_JSAI/index.html
[9] Playing with AI Fairness
https://pair-code.github.io/what-if-tool/ai-fairness.html
[10] AIのバイアス問題、求められる「公平」とは何
https://kaztaira.wordpress.com/2018/09/22/%EF%BD%81%EF%BD%89%E3%81%AE%E3%83%90%E3%82%A4%E3%8
2%A2%E3%82%B9%E5%95%8F%E9%A1%8C%E3%80%81%E6%B1%82%E3%82%81%E3%82%89%E3%82%8C%E3%82%
8B%E3%80%8C%E5%85%AC%E5%B9%B3%E3%80%8D%E3%81%A8%E3%81%AF%E4%BD%95/
[11] 公平性に配慮した学習とその理論的課題、福地一斗、理研AIP、IBIS2018@愛知
http://ibisml.org/ibis2018/files/2018/11/fukuchi.pdf
[12] IBM：Introducing AI Fairness 360
https://www.ibm.com/blogs/research/2018/09/ai-fairness-360/
[13] 機械学習における解釈性、原、人工知能、2018.5。
https://jsai.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=9217&item_no=1&attribute_id=2
2&file_no=1

89
[14] Born Again Trees 。Breiman, L., & Shang, N. (1996). Born again trees. University of California, Berkeley, Berkeley,
CA, Technical Report.
[15] LIME。 Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). Why should i trust you?: Explaining the predictions
of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data
mining (pp. 1135-1144). ACM.
[16] LIMEのGitHub。https://github.com/marcotcr/lime
[17] SHAP。 Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. In Advances in
Neural Information Processing Systems (pp. 4765-4774).
[18] SHAPのGitHub。 https://github.com/slundberg/shap
[19] Interpreting your deep learning model by SHAP
https://towardsdatascience.com/interpreting-your-deep-learning-model-by-shap-e69be2b47893
[20] Anchor。 Ribeiro, M. T., Singh, S., & Guestrin, C. (2018, April). Anchors: High-precision model-agnostic
explanations. In Thirty-Second AAAI Conference on Artificial Intelligence.
[21] AnchorのGitHub。 https://github.com/marcotcr/anchor
[22] Interpreting your deep learning model by SHAP
https://towardsdatascience.com/interpreting-your-deep-learning-model-by-shap-e69be2b47893

90
[23] Grad-CAM。Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., & Batra, D. (2017). Grad-cam: Visual
explanations from deep networks via gradient-based localization. In Proceedings of the IEEE International Conference
on Computer Vision (pp. 618-626).
[24] 坂本龍馬の画像を引用
http://barbarossa.red/ryoma-truth/
[25] Adebayo, J., Gilmer, J., Muelly, M., Goodfellow, I., Hardt, M., & Kim, B. (2018). Sanity checks for saliency maps.
In Advances in Neural Information Processing Systems (pp. 9505-9515).
[26] Guided Grad-CAM is Broken! Sanity Checks for Saliency Maps.
https://glassboxmedicine.com/2019/10/12/guided-grad-cam-is-broken-sanity-checks-for-saliency-maps/
[27] livedoor ニュースコーパス
https://www.rondhuit.com/download.html
[28] Juman++v2
http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++
[29] BERT。Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional
transformers for language understanding. arXiv preprint arXiv:1810.04805.
[30] Attention? Sarthak Jain, Byron C. Wallace. (2019). Attention is not Explanation. arXiv preprint arXiv:1902.10186.

91
[31] influence。 Koh, P. W., & Liang, P. (2017, August). Understanding black-box predictions via influence functions.
In Proceedings of the 34th International Conference on Machine Learning-Volume 70 (pp. 1885-1894). JMLR. org.
[32] 機械学習モデルの判断根拠の説明、原、第20回ステアラボ人工知能セミナー、2018.12。
https://www.slideshare.net/SatoshiHara3/ss-126157179
[33]機械学習と解釈可能性、吉永、ソフトウェアジャパン2019。
https://speakerdeck.com/line_developers/machine-learning-and-interpretability

92
[34]深層学習の判断根拠を理解するための研究とその意義、久保、PRMU 2017熊本。
https://www.slideshare.net/takahirokubo7792/prmu-2017
[35] 2019年度人工知能学会全国大会（第33回）企画セッション「機械学習における説明可能性・公平性・安全性への
工学的取り組み」
https://www.jst.go.jp/crds/sympo/201906_JSAI/index.html

93
[36] Explainable AI in Industry (KDD 2019 Tutorial)
https://www.slideshare.net/KrishnaramKenthapadi/explainable-ai-in-industry-kdd-2019-
tutorial?utm_campaign=piqcy&utm_medium=email&utm_source=Revue%20newsletter

94
[36] Explainable AI in Industry (KDD 2019 Tutorial)
https://www.slideshare.net/KrishnaramKenthapadi/explainable-ai-in-industry-kdd-2019-
tutorial?utm_campaign=piqcy&utm_medium=email&utm_source=Revue%20newsletter

95
CONFIDENTIAL
本文書（添付資料を含む）は、株式会社電通国際情報サービスが著作権その他の権利を有する営業秘密（含サプライヤー等第三者が権利を有するもの）です。
当社の許可なく複製し利用すること、また漏洩することは「著作権法」「不正競争防止法」によって禁じられております。本資料内の社名・製品名は各社の登録商標です。

BlackBox モデルの説明性・解釈性技術の実装_DLLAB_191127

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Similar to BlackBox モデルの説明性・解釈性技術の実装_DLLAB_191127

Similar to BlackBox モデルの説明性・解釈性技術の実装_DLLAB_191127 (20)

BlackBox モデルの説明性・解釈性技術の実装_DLLAB_191127