Recommended
More Related Content
What's hot
What's hot (20)
Similar to Understanding Blackbox Predictions via Influence Functions
Similar to Understanding Blackbox Predictions via Influence Functions (20)
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (8)
Understanding Blackbox Predictions via Influence Functions
- 1. Understanding Black- box Predictions via Influence Functions Pang Wei Koh， Percy Liang Stanford University ICML2017 DLゼミ 小川一太郎
- 2. 概要 • ICML2017 best paper • Stanford University • https://arxiv.org/abs/1703.04730 • https://github.com/kohpangwei/influence-release • 学習するデータが、モデルの出力した結果に対してど れほど影響を与えたのか検証する • AIを商品にしたときに、意思決定の説明をユーザーに することができる。 • ラベルを間違えた学習データや、悪影響を及ぼした学 習データを見つけることができる。
- 3. 関連研究 • より単純なモデルをテスト点の周りにフィッ ティングさせて解析:Ribeiro(2016) • テスト点を摂動させて、予測がどう変化するか 確認する:Simonyan(2013) ,Datta (2016),Adler(2016). • この研究ではCook & Weisberg(1980) の影響 関数を用いることで、再学習せずに訓練データ を区別することができる
- 4. 手法1 • 入力: 𝑥 ∈ 𝑋 • 出力: 𝑦 ∈ 𝑌 • 学習点:𝑧𝑖 = 𝑥𝑖, 𝑦𝑖 ∈ 𝑋 × 𝑌 • パラメーター:𝜃 ∈⊝ • Loss: 𝐿(𝑧, 𝜃) • Empirical risk : 1 𝑛 σ𝑖=1 𝑛 𝐿(𝑧𝑖, 𝜃) • 損失を最小化するパラメーター: መ𝜃 ≡ arg min 𝜃∈⊝ 1 𝑛 𝑖=1 𝑛 𝐿(𝑧𝑖, 𝜃)
- 5. 手法2 • ある点𝑧が学習されないときの影響度 𝜃−𝑧 − 𝜃 𝜃−𝑧 ≡ arg min 𝜃𝜖⊝ 𝑧 𝑖≠𝑧 𝐿(𝑧𝑖, 𝜃) • 損失に対する𝑧の影響をパラメータεで管理 𝜃𝜀,𝑧 ≡ arg min 𝜃 1 𝑛 𝑖=1 𝑛 𝐿(𝑧𝑖, 𝜃) + 𝜀𝐿(𝑧, 𝜃) 𝜀 = − 1 𝑛
- 6. 影響関数1 • Cook&weisbergより、ある学習データがモデ ルに与える影響が計算できる I 𝑢𝑝,𝑝𝑎𝑟𝑎𝑚𝑠(𝑧) = ฬ 𝜕𝜃 𝜀,𝑧 𝜕𝜀 𝜀=0 = −𝐻𝜃 −1 ∇ 𝜃 𝐿(𝑧, መ𝜃) 𝐻𝜃 = 1 𝑛 𝑖=1 𝑛 ∇ 𝜃 2 𝐿(𝑧𝑖, 𝜃) 𝐻 𝑓 = ∇2 𝑓 = 𝜕2 𝑓 𝜕𝑥1 2 𝜕2 𝑓 𝜕𝑥2 𝜕𝑥1 ⋮ 𝜕2 𝑓 𝜕𝑥 𝑛 𝜕𝑥1 𝜕2 𝑓 𝜕𝑥1 𝜕𝑥2 𝜕2 𝑓 𝜕𝑥2 2 ⋮ 𝜕2 𝑓 𝜕𝑥 𝑛 𝜕𝑥2 ⋯ ⋯ ⋱ ⋯ 𝜕2 𝑓 𝜕𝑥1 𝜕𝑥 𝑛 𝜕2 𝑓 𝜕𝑥2 𝜕𝑥 𝑛 ⋮ 𝜕2 𝑓 𝜕𝑥 𝑛 2 • 影響関数 𝐼𝐹 𝑥; 𝐹𝑜, 𝑇 = lim 𝑡→0 𝑇 1 − 𝑡 𝐹𝑜 + 𝑡𝛿 𝑥 − 𝑇[𝐹𝑜] 𝑡
- 7. 影響関数2 • 𝜀が微小の時 𝜃−𝑧 − 𝜃 ≅ − 1 𝑛 I 𝑢𝑝,𝑝𝑎𝑟𝑎𝑚𝑠(𝑧) • I 𝑢𝑝,𝑙𝑜𝑠𝑠(𝑧,𝑧 𝑡𝑒𝑠𝑡) ≡ ฬ 𝑑𝐿 𝑍𝑡𝑒𝑠𝑡,𝜃 𝜀,𝑧 𝑑𝜀 𝜀=0 =∇ 𝜃 𝐿 𝑧𝑡𝑒𝑠𝑡, 𝜃 𝑇 ฬ 𝜕𝜃 𝜀,𝑧 𝜕𝜀 𝜀=0 = −∇ 𝜃 𝐿 𝑧𝑡𝑒𝑠𝑡, 𝜃 𝑇 𝐻𝜃 −1 ∇ 𝜃 𝐿(𝑧, 𝜃) ∇ 𝜃 𝐿 𝑧𝑡𝑒𝑠𝑡, መ𝜃 𝑇 𝐻𝜃 −1 の効率的な求め方があり、計算の高速化が可能 →省略 学習データが、あるテストデータの判定にどう影響を与えたか
- 9. 仮定：損失関数が凸関数 • 𝐻の逆行列を求めるためには正定値行列である 必要がある。 • CNNなどではほぼ不可能。 • 𝐻 + λ𝐼とすることで正定値にする
- 14. まとめ • モデルの動作を学習データをもとに分析するこ とができる • 影響関数を使用する • 影響関数の効率的な求め方を示している • 影響関数を求められない関数も近似などで可能 • 解決できる問題の例 • 学習データのモデルへの影響度調査 • 学習データのラベルのミスの検出 • 学習データとテストデータの分布の違い検出