2021/08/27 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Where do Models goWrong? Parameter-Space Saliency Maps for Explainability”
Naoki Nonaka
2021/8/26

2. 書誌情報
2021/8/26 2
• 会議：Arxiv投稿
• 著者：

3. 概要
2021/8/26 3
p 深層学習モデルの解釈性の問題に取り組んだ研究
p 誤分類に影響したパラメータを分析するアプローチ
p 誤分類への影響の大きいパラメータを補正することで性能改善
できることを示した

4. 背景: モデルの説明性とSaliency
2021/8/26 4
Saliency map: ラベルの予測に寄与する要素を特定する手法
→ 代表的な手法としてGrad-CAM（下図）
入力
GradCAM
［紹介論文のAppendixより］
モデルの説明性が求められる領域は多い

5. 背景
2021/8/26 5
従来手法 提案手法
入力の要素（ピクセル）
に注目
モデルのパラメータ
に注目

6. 提案手法: Saliency profile
2021/8/26 6
1. 各モデルパラメータについての損失関数の勾配の大きさ
2. CNNではフィルタごとに平均値を算出
3. 全サンプルでの平均μ・標準偏差σで標準化

7. フィルタごとの勾配 / Saliency profileの比較
2021/8/26 7
Shallow Deep
p 勾配（上段）：浅い層のSaliencyが大きい
p 提案手法（下段）：層間でのSaliencyの違いが小さい

8. 分類の正誤とSaliency
2021/8/26 8
Shallow Deep
p 正解例（上段）：Saliencyは -0.3 0.0
p 誤答例（下段）：Saliencyは 0 6 → スケールが大きい
不具合の原因のフィルタを特定できる可能性

9. Saliency profileによる入力の重み付け
2021/8/26 9
Saliency profileを元に誤分類に影響する入力のピクセルを特定する
1. 最もSalientなフィルタ群を選択
2. 選択したフィルタ群への入力を増やし，boosted saliency profile !!を得る
3. !!/ !間のコサイン距離を計算し，その勾配の絶対値を算出する
= 各ピクセルが選択したフィルタFのSaliencyに影響を与える度合い

10. Saliency profile 小括
2021/8/26 10
p モデルのパラメータに着目して分類に影響する素性を特定する手法
p 各層のSaliencyの値を算出して，層の総数に相当する次元のベクトルで表現
p 単に勾配を使用するのと比較して，層の深さによる影響が小さい
p 誤分類したサンプルにおいてはSaliencyの値が大きくなる
p saliency profileに影響するピクセルを特定可能

11. 実験・分析
2021/8/26 11
p Salientフィルタの除去
p Saliency profileでの近傍サンプルの分析
p Salientフィルタの再学習
p フィルタの不具合を生じる入力特徴の分析

12. Salient filterの除去
2021/8/26 12
以下の3つの規則に従ってフィルタを除去
n Most salient
n Random
n Least salient
元のモデルで誤分類されたサンプルについて以下を算出
n 誤分類されたクラスの確信度
n 真のクラスの確信度
n 正しく分類されるようになったサンプルの割合

13. Salient filterの除去
2021/8/26 13
Most salientなフィルタを除いた場合，
p 左図：誤分類されたクラスの確信度は大きく低下
p 中央図：真のクラスの確信度が向上（Pruning数20程度まで）
p 右図：正しく分類されるサンプルが増加

14. Saliency profileでの近傍サンプルの分析
2021/8/26 14
Saliency profileの類似度が高いサンプルを表示
p 画像は類似している
p 誤分類されるクラスのペアは同一

15. Salient filterの再学習
2021/8/26 15
以下の3つの規則に従ってフィルタを選択し再学習
n Most salient
n Random
n Least salient
元のモデルで誤分類されたサンプルについて以下を算出
n 正しく分類されるようになったサンプルの割合
n 正しく分類されるようになった近傍サンプルの割合
n 近傍サンプルにおける真のラベルの確信度の変化

16. Salientフィルタの再学習
2021/8/26 16
Most salientなフィルタを除いた場合，
p 左図：正しく分類されるようになるサンプル割合が多い
p 中央図：正しく分類される近傍サンプルが増加
p 右図：近傍サンプルの確信度が向上

17. フィルタの不具合を生じる入力特徴の分析
2021/8/26 17
n 予測ラベル：「シャチ」
n 真のラベル：「ホオジロザメ」

18. フィルタの不具合を生じる入力特徴の分析
2021/8/26 18
p Saliencyの大きい領域を順番にMask
正解ラベル
の確信度

19. まとめ
2021/8/26 19
p Saliencyを分析において，ネットワークのパラメータに着目
p Saliency profileを評価・補正することで，
誤分類されたサンプルを正しく分類できることを実験的に示した
p Saliencyの大きい領域をmaskすることで誤分類を改善できる
場合があることを示した