山本研究室で行なっている論文紹介で齊藤が紹介した論文のスライドです。

1. ジャーナルクラブ
「Explaining Models: An Empirical
Study of How Explanations Impact
Fairness Judgment 」
齊藤 史明
総合科学技術研究科 情報学専攻 1年
saito@design.inf.shizuoka.ac.jp 2019年11月20
日
1

2. 基本情報
タイトル
「Explaining Models: An Empirical Study of
How Explanations Impact Fairness Judgment」
著者
Jonathan Dodge, Q. Vera Liao, Yunfeng Zhang,
Rachel K. E. Bellamy, Casey Dugan
出典
IUI '19 Proceedings of the 24th International Conference on
Intelligent User Interfaces Pages 275-285
2

3. 概要
機械学習によって作成された学習器には、
差別的な観点が入っている恐れがある。
この問題点を人間が知覚し改善できるように、
学習器の出力プロセスについて人間に
説明する手法を複数提案し、効果を測定した。
説明手法によって異なる効果があり、その効果も
被験者の機械学習への信頼性によって変化した。
3
出力についての説明
学習器による出力

4. 背景：１
機械学習による意思決定のサポートが
行われつつある
人事採用
マーケティング
医療
司法
4

5. 背景：２
しかし、学習器が差別的な分類を
行う懸念がある。
差別的な判断をしていたケースを
訓練データにしてしまい、
それを元に学習器が分類してしまう
データが公平に見えても、
学習の結果として、差別的な分類を
してしまう
5

6. 背景：３
アルゴリズムや訓練データの改善が
必要とされる一方で、
人間がアルゴリズムの公平性を
認識・精査できる能力も求められている。
6
このアルゴリズムは大丈夫？
何が問題？

7. 目的
Q：機械学習の公平性について
人間はどのように判断するのか？
–出力結果の説明の方法によって判断は変化するか？
–元々の認知能力や機械学習への認識は
公平性判断に影響を与えるか？
–出力結果のそれぞれの説明方法の
メリットとデメリットは何か？
7

8. 実験：１
タスク：ある被告が再犯をするか判断する
–学習器による予想を頼りに行う
–予想の詳細説明を受けることができる
•４種類の説明の内、割り振られた１種類の説明を受ける
被告：A
人種：〇〇人
年齢：18~29
容疑の重大性：軽
前科：0
予想：再犯可能性あり
8

9. 説明手法：１
Aさんは〇〇人ですが、
もし××人だったら、システムは
再犯をしないと予測しました。
Aさんは18~29歳ですが、
もし39歳以上だったらシステムは
再犯をしないと予測しました。
9
各要素が再犯度にどのような影響を
与えているか
＋（再犯しやすい）と
−（再犯しにくい）で表示します
人種
– 〇〇人(0)
– ××人(+)
容疑の重大度
......
年齢
– 18~29(++++)
– 30~39(+)
Sensitivity
どの因子が変わると予想が
変化するか見せる
Input-Influence
どの要素が予想に影響するか
見せる

10. 説明手法：２
訓練データにAさんと
似た属性の10人が
いましたが、
その内の6人は
再犯をしました。
10
予測は過去の再犯データに
基づいています。
Aさんと同じ属性に＊マークが付きます
人種
–〇〇人の40%が再犯
–××人の60%が再犯*
年齢
–18~29歳の58%が再犯*
–30~39歳の49%が再犯
Case
訓練データから似たケースと
その結果を見せる
Demographic
統計に基づく説明

11. 実験：２
学習器の予想が公平であったか
７段階で評価してもらう
（１：不公平 〜 ７：公平）
タスクは6件行う
–人種によって学習器の判断が変わったケース 2件
–そうではないケース 4件
11

12. 実験：３
アンケートで被験者の特性を測る
–機械学習へのイメージ
•「犯罪リスクの予測のために人種を考慮する」などの
質問について「有害↔︎有益」「非倫理的↔︎倫理的」を
7段階で評価
–認知傾向
• 「The Very Efficient Assessment of Need for Cognition: Developing a Six-
Item Version」を参考
12

13. 結果：１
13
青色の破線が人種によって予想が変わったケース
赤色の実線がそうでないケース
caseとsensitivityの説明手法はあと２種の手法よりも人
種のみによる影響をより不公平であると感じさせた

14. 結果：２
左：人種を考慮することが不公平であると思っている人
右：公平もしくはどちらでもないと思っている人
14
特定の変数が不公平であると考える人には、
Sensitivity手法の説明は不公平さが伝わりやすい

15. 結果：３
機械学習への信頼性はそれぞれの説明手法の
効果に影響を与える
15
赤色の×印が機械学習を信頼している被験者
青色のひし形が機械学習を信頼していない被験者

16. 考察・まとめ
説明手法によって
学習器の問題点が分かりやすくなる効果と
公平性に注意深くなる効果がある
説明手法の効果は個人の機械学習への
信頼性に影響を受ける
手法を組み合わせることでより良い
サポートをすることができる
16