Recommended
More Related Content
Featured
Featured (20)
Machine learning and Security Chapter 8
- 1. Machine Learning and Security 1 CHAPTER 8 Adversarial Machine Learning 著者：Clarence Chio & David Freeman 発売日：2018年2月 https://github.com/oreilly-mlsec/book-resources/blob/master/mlsec-cover-oreilly.jpg 立命館大学 飯田啄巳
- 2. 2 この本で書かれていること 異常検知 マルウェア解析 ネットワークトラフィック解析 消費者Webサイトの防御 生産システム 敵対的機械学習 飯田
- 3. 3 目次 • 機械学習のセキュリティ分野への重要性 • 機械学習の脆弱性 • 敵対的機械学習の転移性 • モデルポイズニング攻撃 • 回避攻撃 • 結論
- 5. 5 いかにしてギャップを埋めるか 敵対的機械学習 ＝ 機械学習に対する攻撃 （だますAI) ギャップ ＝ 現状機械学習に信頼性がないが、 将来使用される可能性が高い 原因 認識がブラックボックス（透明性の欠如） 結果 １．なぜその結果が出力されるのかが理解しにくい ２．攻撃されても気が付きにくい 機械学習のロバスト性を保証できないと ギャップを埋められない！ 機械学習の重要性
- 11. 11 攻撃の転移性 敵対的サンプルは，異なる学習モデルに対しても誤認識を引き起こしやすい 学習モデルA 学習モデルB 敵対的 サンプル 誤認識 理論的分布空間 Aの敵対的空間(Adversarial Space) ・全く異なるモデルでも敵対的空間 が大きく重なる SVM*1とNN*2間でも重なる *1 サポートベクトルマシン *2 ニューラルネットワーク 攻撃の転移性
- 12. 12 攻撃の転移性 敵対的サンプルは，異なる学習モデルに対しても誤認識を引き起こしやすい 学習モデルA 学習モデルB 敵対的 サンプル 誤認識 敵対的 サンプル 誤認識 理論的分布空間 Aの敵対的空間(Adversarial Space) ・全く異なるモデルでも敵対的空間 が大きく重なる SVM*1とNN*2間でも重なる *1 サポートベクトルマシン *2 ニューラルネットワーク 攻撃の転移性
- 13. 13 攻撃の転移性 敵対的サンプルは，異なる学習モデルに対しても誤認識を引き起こしやすい 学習モデルA 学習モデルB 敵対的 サンプル 敵対的 サンプル 理論的分布空間 Aの敵対的空間(Adversarial Space) Bの敵対的空間(Adversarial Space) ・全く異なるモデルでも敵対的空間 が大きく重なる SVM*1とNN*2間でも重なる *1 サポートベクトルマシン *2 ニューラルネットワーク 攻撃の転移性 敵対的 サンプル 誤認識 誤認識
- 14. 14 モデルポイズニング（Model Poisoning） ・オンライン学習システムに攻撃 －データに定常性が無い －セキュリティ違反と任意に修正できる点が原因 *Red Herring(燻製ニシンの虚偽)とも 無差別な攻撃 標的攻撃 無差別な 標的 ポイズニング攻撃
- 15. 15 モデルポイズニング（Model Poisoning） データ量の多い人気サービスはモデルポイズニング攻撃に強い ⇒ 攻撃するにはより多くの、”チャフ”*1が必要 一方で 攻撃者がチャフを抑制すると，検出するのが難しくなる可能性がある ・茹でガエル攻撃（Boiling frog attacks） 方法： 分類器の決定境界を決定時に段階的にチャフ 結果： より効果的かつチャフだと疑われにくい攻撃ができる *1チャフ – モデルポイズニングの攻撃データ ポイズニング攻撃
- 16. 16 長期的なモデルポイズニング 10 11 12 13 14 159876 異常 既存システム：リクエスト頻度 > 10 request/ min ⇒ 異常 攻撃者：１週間決定境界付近の頻度でリクエストを送信 正常 ポイズニング攻撃
- 17. 17 長期的なモデルポイズニング 10 11 12 13 14 159876 異常 高い確信度で異常だと判定 何も学ばない 確信度99.9% 既存システム：リクエスト頻度 > 10 request/ min ⇒ 異常 攻撃者：１週間決定境界付近の頻度でリクエストを送信 正常 ポイズニング攻撃
- 18. 18 長期的なモデルポイズニング 10 11 12 13 14 159876 異常 決定境界ぎりぎり付近 学習する（確信度が低い） 確信度60% 既存システム：リクエスト頻度 > 10 request/ min ⇒ 異常 攻撃者：１週間決定境界付近の頻度でリクエストを送信 正常 ポイズニング攻撃
- 19. 19 長期的なモデルポイズニング 10 11 12 13 14 159876 異常 決定境界ぎりぎり付近 学習する（確信度が低い） 確信度60% 攻撃可能 既存システム：リクエスト頻度 > 10 request/ min ⇒ 異常 攻撃者：１週間決定境界付近の頻度でリクエストを送信 正常 ポイズニング攻撃
- 25. 25 例：2値分類器へのポイズニング攻撃 t=1 t=2 t=3 t=4 t=5 t=6 ポイズニング攻撃
- 26. 26 適切チャフポイントの見つけ方 データx 識別器 正常 異常 • 複数回のデータを入力 予測結果から決定境界類推 • 予測確率がわかる攻撃者は強い =0.2 =0.8 決定関数の勾配が判明 ポイズニング攻撃
- 27. 27 モデルポイズニング攻撃の対策 ・オンライン学習の再学習周期を長くする － 低速で入れられたチャフを検出しやすい － 攻撃が有効であるのか時間を要する 効果 新データを検査する方法がある場合は・・・ ・手持ちのテストデータを使って，再学習前後での劇的な変化を検査 ・決定境界の付近にしきい値を設ける 割合が突然増えた！ ポイズニング攻撃の可能性 ポイズニング攻撃
- 28. 28 回避攻撃（Evasion Attack） 回避攻撃・・・Adversarial Examplesを見つける攻撃 0 6 例：0 を 6 に誤分類させる ＋摂動 回避攻撃
- 29. Black-Box model 29 回避攻撃（Evasion Attack） ポイズニング攻撃より一般的 － 学習段階でなくても有効 － 攻撃の転移性+ローカルの代理モデル を利用した攻撃が可能 理由 ローカルの 代替モデル 入力 出力 攻撃 攻 撃 転移性 Adversarial Examples 回避攻撃
- 30. 30 Adversarial Examples の研究 https://www.youtube.com/watch?time_continue=5&v=gkKyBmULVvMhttps://www.youtube.com/watch?v=YXy6oX1iNoA Anish Athalye, Logan Engstrom, Andrew Ilyas, Kevin Kwok, “Synthesizing Robust Adversarial Examples” , https://arxiv.org/abs/1707.07397 Kevin Eykholt, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, Tadayoshi Kohno, Dawn Song, “Robust Physical-World Attacks on Deep Learning Models”, https://arxiv.org/abs/1707.08945 ・頑強なAdversarial Examples （角度を変えても誤分類） カメをライフルと誤認識 ・標識を騙す シールを 貼る 止まれ 45km/h 制限 回避攻撃
- 32. 32 Adversarial Examples を生成する手法 (1) • Fast Gradient Sign Method (FGSM) 𝑥 = 𝑥 + 𝜖𝑠𝑖𝑔𝑛(𝛻𝑥 𝐿𝑜𝑠𝑠 𝒙, 𝑦 ) 摂動の項 オリジナルの入力 損失(Loss)を最大化する方向に摂動𝜖を加える （正しく分類できなくなる勾配上昇方向に） とにかく誤分類させる 回避攻撃
- 33. 33 Adversarial Examples を生成する手法 (2) • Jacobian Saliency Map Approach (JSMA) Saliency Map Saliency Mapを使って特定の狙ったクラスへ誤分類させる 28 28 各ピクセルの 分類への寄与度 勾配上昇方向へ 28 28 回避攻撃
- 34. 34 回避攻撃に対する防御 (1) （現状）回避攻撃に対する堅固な防御手法はない 攻撃者よりも多くの時間や計算リソースがあれば防げる １．敵対的学習 理論的分布空間 敵対的空間(Adversarial Space) 生 成 器 分 類 器 分類器を騙す 騙されない様に学習 6 です (実際は 0 ) 0 結果 回避攻撃 ココを作ってるイメージ
- 37. 37 回避攻撃に対する防御 (2) １．防衛的蒸留 蒸留とは・・・本来学習モデルを小さくする手法 教 師 モ デ ル 0 0 0 1 0 0.001 0.00034 0.45083 0.53306 0.00294 推論結果 正解 ラベル データ 生 徒 モ デ ル データ 0.03 0.042 0.03 0.9 0.02 推論結果 0.001 0.00034 0.45083 0.53306 0.00294 正解 ラベル クラス間の近さ情報が含まれる soft target 教師モデル 生徒モデル> 犬 猫 馬 猿 鳥 回避攻撃
- 38. 38 回避攻撃に対する防御 (2) １．防衛的蒸留 蒸留とは・・・本来学習モデルを小さくする手法 教 師 モ デ ル 0 0 0 1 0 0.001 0.00034 0.45083 0.53306 0.00294 推論結果 正解 ラベル データ 生 徒 モ デ ル データ 0.03 0.042 0.03 0.9 0.02 推論結果 0.001 0.00034 0.45083 0.53306 0.00294 正解 ラベル クラス間の近さ情報が含まれる soft target 教師モデル 生徒モデル= 犬 猫 馬 猿 鳥 回避攻撃
- 39. 39 結論 • 機械学習自体が安全かつ堅牢である必要がある • 機械学習では，攻撃されているのかがわかりにくい • 機械学習への攻撃は従来の攻撃とは異なる • ポイズニング攻撃や回避攻撃に対する完璧な防御は現状 不可能 • 機械学習システムの設計者は，ユーザによる誤操作を予 測する必要がある
- 40. 40 補足
- 41. 41 ベイズ誤り率 𝑃(𝐶1|𝑥) 𝑃(𝐶2|𝑥) 𝜀(𝑥) 𝑥 𝜀 𝑥 = min 𝑃 𝐶1 𝑥 , 𝑃 𝐶2 𝑥 𝐶1と判定される 𝐶2と判定される𝑥1 𝜀(𝑥1) 条件付きベイズ誤り率 𝐶2と判定するけど、 𝐶1だと思う確率 ベイズ誤り率=条件付きベイズ誤り率の(xに関する)期待値 参考：20130716 はじパタ３章前半 ベイズの識別規則
- 42. 42 ベイズ誤り率 ベイズ誤り率=条件付きベイズ誤り率の(xに関する)期待値 𝜀∗ = E 𝜀 𝑥 = 𝑅1+𝑅2 𝜀 𝑥 𝑝 𝑥 𝑑𝑥 = 𝑅1+𝑅2 min 𝑃 𝐶1 𝑥 , 𝑃 𝐶2 𝑥 𝑝 𝑥 𝑑𝑥 連続分布の期待値 = 𝑅1+𝑅2 min 𝑃 𝑥 𝐶1 𝑃 𝐶1 𝑃 𝑥 , 𝑃 𝑥 𝐶2 𝑃 𝐶2 𝑃 𝑥 𝑝 𝑥 𝑑𝑥 ベイズの定理 = 𝑅2 𝑃 𝑥 𝐶1 𝑃 𝐶1 𝑑𝑥 + 𝑅1 𝑃 𝑥 𝐶2 𝑃 𝐶2 𝑑𝑥
- 43. 43 ベイズ誤り率 𝜀∗ = 𝑅2 𝑃 𝑥 𝐶1 𝑃 𝐶1 𝑑𝑥 + 𝑅1 𝑃 𝑥 𝐶2 𝑃 𝐶2 𝑑𝑥 𝑃(𝐶1|𝑥) 𝑃(𝐶2|𝑥) 𝜀(𝑥) 𝑥 𝐶1と判定される 𝐶2と判定される
- 44. 44 Adversarial Examples を生成するテクニック (2) • Jacobian Saliency Map Approach (JSMA) 誤分類したい方向に摂動を加える 𝑆 𝑿, 𝑡 𝑖 = 0 𝜕𝑭 𝑡 𝑿 𝜕𝑿𝑖 < 0 or 𝑡≠𝑗 𝜕𝑭𝑗 𝑿 𝜕𝑿𝑖 > 0 𝜕𝑭 𝑡 𝑿 𝜕𝑿𝑖 𝑡≠𝑗 𝜕𝑭𝑗 𝑿 𝜕𝑿𝑖 , それ以外 𝑆(𝑿, 𝑡)が大きな𝑿を選ぶとtクラスに 誤分類されやすい ターゲットクラスtの確率が低かったり, それ以外に分類される確率が高かったらS(X, t)=0
Editor's Notes
- 攻撃者が機械学習に対する攻撃で、セキュリティ解決を出し抜く可能性がある
- 学習器に取りうる全てのデータを与えたとしても生じる誤差 システム設計者は、理論的分布空間すべての特性が訓練用データでカバーされていると期待している。 しかし、実際にはカバーされない、されなくなる。これが盲点
- 学習器に取りうる全てのデータを与えたとしても生じる誤差 システム設計者は、理論的分布空間すべての特性が訓練用データでカバーされていると期待している。 しかし、実際にはカバーされない、されなくなる。これが盲点
- 赤ちゃん、絵本
- 2匹のカエルを用意し、一方は熱湯に入れ、もう一方は緩やかに昇温する冷水に入れる。すると、前者は直ちに飛び跳ね脱出・生存するのに対し、後者は水温の上昇を知覚できずに死亡する
- サポートベクトルマシン 異常検知：線形回帰，リッジ回帰，ロジスティック回帰，迷惑メールフィルタ，マルウェア分類器 特徴抽出器：PCA，深層学習 に有効
- サポートベクトルマシン 異常検知：線形回帰，リッジ回帰，ロジスティック回帰，迷惑メールフィルタ，マルウェア分類器 特徴抽出器：PCA，深層学習 に有効
- サポートベクトルマシン 異常検知：線形回帰，リッジ回帰，ロジスティック回帰，迷惑メールフィルタ，マルウェア分類器 特徴抽出器：PCA，深層学習 に有効
- サポートベクトルマシン 異常検知：線形回帰，リッジ回帰，ロジスティック回帰，迷惑メールフィルタ，マルウェア分類器 特徴抽出器：PCA，深層学習 に有効
- 勾配情報は，複雑な決定境界を見つけるのに有用（悪用される シナリオ： 次元削減を必要とするシステム
- 学習スパンを長くすることで，茹でガエル攻撃を検出しやすい． i.g 5分間のデータの集約，1週間のデータの集約では1週間分のデータの集約の方が低速で入れられたチャフを検出しやすい． 新しいデータを学習させる前に検査
- Adversarial Examplesは 従来の機械学習モデル(ロジスティック回帰，SVM，最近傍法，決定木など）にも 深層学習モデルにも攻撃できる重要な手法．
- Adversarial Examplesは画像に適用しやすい（ピクセル値を少し変えるだけ，視覚的にあまり変化がない）
- これらの攻撃＝ブラックボックス攻撃
- 正解だけ教えるんじゃない 正解に近いクラス（クラス関係）も教える 強い
- 正解だけ教えるんじゃない 正解に近いクラス（クラス関係）も教える 強い
- 正解だけ教えるんじゃない 正解に近いクラス（クラス関係）も教える 強い
- 正解だけ教えるんじゃない 正解に近いクラス（クラス関係）も教える 強い
- ターゲットのクラスに分類される