Your SlideShare is downloading. ×
PoisoningAttackSVM (ICMLreading2012)
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

PoisoningAttackSVM (ICMLreading2012)

4,943
views

Published on

Published in: Technology, News & Politics

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,943
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
14
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Poisoning Attacks against Support Vector Machines ICML読み会 2012/07/28 Hidekazu Oiwa (@kisa12012) oiwa (at) r.dl.itc.u-tokyo.ac.jp12年7月28日土曜日 1
  • 2. 読む論文 • Poisoning Attacks against Support Vector Machines • Battista Biggio (Itary), Blaine Nelson, Pavel Laskov (German) • http://icml.cc/2012/papers/880.pdf (論文) • http://www.slideshare.net/pragroup/battista- biggio-icml2012-poisoning-attacks-against- support-vector-machines (スライド) • 第一著者がDr. Laskovの元へ約半年visitingしてた時の論文 • Adversarial Classificationの研究者12年7月28日土曜日 2
  • 3. 目次 • 研究の概要 • Poisoning Attacksとは? • 問題設定 • 提案アルゴリズム • Poisoning Attacks against SVMs • カーネルSVMへの拡張 • 実験 • 人工データ実験 • 手書き文字認識実験12年7月28日土曜日 3
  • 4. 研究概要12年7月28日土曜日 4
  • 5. 背景 • (大規模)機械学習流行中 • Malicious Behavior : 悪意あるエージェントの行動 • 分類器や異常検知器を混乱させる様に動く • Ex. スパムフィルタリング・マルウェア解析 • 目標:Malicious Behaviorに頑健なアルゴリズム • そのためには… • Malicious Behaviorの性質の分析が求められる12年7月28日土曜日 5
  • 6. Malicious Behaviorの分類 [Barreno+ ML10] • Causative Attack • 設計者が持っている訓練データを直接操作,書き換え • Exploratory Attack • 設計者が持っている分類器を直接操作,書き換え • これらに対応したアルゴリズムは,すでに複数提案されている • Poisoning Attack • 設計者の訓練データに新しく悪性データを注入 • 他の手法と比べて,より現実的な攻撃方法 • 設計者のデータベースを直接弄る必要がないため • 異常検知系の先行研究しかない [Kloft+ AISTATS10]+12年7月28日土曜日 6
  • 7. Poisoning Attack 訓練データ SVM12年7月28日土曜日 7
  • 8. Poisoning Attack 訓練データ SVM12年7月28日土曜日 7
  • 9. Poisoning Attack 訓練データ SVM 性能劣化12年7月28日土曜日 7
  • 10. 問題設定 設計者 攻撃者 training set validation set n m Dtr = {xi , yi }i=1 Dval = {xk , yk }k=1 悪性データ (xc , yc ) yc は予め固定SVMは悪性データを含めた Validation Setに対する分類性能をtraining setから学習 一番押し下げる xc を生成12年7月28日土曜日 8
  • 11. 本研究の概要 • SVMへのPoisoning Attacksの解析 • 悪性データ作成アルゴリズムの提案 • Incremental SVM • カーネル拡張 • 人工データ実験 • 手書き文字認識データ実験12年7月28日土曜日 9
  • 12. 提案アルゴリズム12年7月28日土曜日 10
  • 13. 最適化問題 X X max L(xc ) = [1 yk fxc (xk )]+ = gk (xc ) xc k k • Validation Setにおける損失を最大化 • fx (·) : 悪性データ込みで学習されたSVM c • 非凸な最適化問題 0 xc = xc + t · u • 解法:Gradient Ascent u / rL(xc ) • SVMの更新と悪性データの更新を繰り返す • ステップ幅を適切に設定すれば局所最適解に収束12年7月28日土曜日 11
  • 14. アルゴリズムの概要 Poisoning Attacks against SVMs Algorithm 1 Poisoning attack against SVM 3.1. Artificial data Input: Dtr , the training data; Dval , the validation (0) data; yc , the class label of the attack point; xc , the 初期点は,既存データ We first consider a two-dimensional da model in which each class follows a G initial attack point; t, the step size. のラベルをflipして作成 bution with mean and covariance mat Output: xc , the final attack point. µ = [ 1.5, 0], µ+ = [1.5, 0], ⌃ = 1: {↵i , b} learn an SVM on Dtr . The points from the negative distributio 2: k 0. the label 1 (shown as red in the subse 3: repeat and otherwise +1 (shown as blue). Th (p) 4: Re-compute the SVM solution on Dtr [{xc , yc } the validation sets, Dtr and Dval (consis using incremental SVM (e.g., Cauwenberghs & SVMの更新 500 points per class, respectively) are ra Poggio, 2001). This step requires {↵i , b}. from this distribution. 5: Compute @L on Dval according to Eq. (10). 6: @u Set u to a unit vector aligned with @L . 勾配を算出 In the experiment presented below, the r (p) (p 1) @u attacking class. To this end, a random 7: k k⇣ 1 and xc⇣ + ⌘ xc⌘ + tu blue class is selected and its label is fli (p) (p 1) 8: until L xc L xc <✏ 悪性データの更新 as the starting point for our method. 9: return: xc = xc (p) ascent method is then used to refine t til its termination condition is satisfied. from [Biggio+ 12] trajectory is traced as the black line in F12年7月28日土曜日 the linear kernel (upper two plots) and 12
  • 15. SVMの更新 • Incremental SVM [Cauwenberghs+ NIPS00] • 1つずつデータを追加しながらSVMを学習 • 全データの役割が不変な範囲の最適化問題を反復的に解く • Reserve Point / Support Vector / Error Vector • 条件を破らないと収束しない場 W W W 合,データの役割を変更 gi=0 gi>0 gi<0 • 各最適化時には,サポートベク αi=0 xi C αi xi C αi=C ターのパラメータのみが更新 xi • データが追加されるたびに,全 support vector error vector パラメータが収束するまで最適 Figure 1: Soft-margin classification SVM training. from [Cauwenberghs+ NIPS00] 化すれば,SVMの最適解に収束 coefficients are obtained by minimizing a convex quadratic objective func constraints [12]12年7月28日土曜日 13
  • 16. 最適化問題の勾配計算 • Incremental SVMのアイデアを用いる Poisoning Attacks against SVMs product rule: • 更新時に各データの役割が変動しない仮定を置く inverted matrix are independent of x , we obtain: c @b • サポートベクターのみに着目すれば良い @↵ = 1 ↵ (Qc ss 1 )· @Q > sc + yk , (3) @u ⇣ @u @u • 更新式はカーネル関数に依存 @b = 1 ↵ c· @Q > . sc (9) @u ⇣ @u • 厳密な計算には,条件を破らないステップ幅の導出が必要 Substituting (9) into (3) and further into (1), we obtain @Qkc @bil. , @u @u . • 本研究では定数ステップ幅で値を更新,計算をサボる the desired gradient used for optimizing our attack: @L X⇢ m @Qsc @Qkc = Mk + ↵c , (10) @u @u @u can be further re- k=1 taken in direction whereVM solution. Thisate condition using 1 Mk = (Qks (Qss1 T ) + yk T ).enberghs & Poggio, ⇣ from [Biggio+ 12]oint in the training 12年7月28日土曜日 14
  • 17. 実験12年7月28日土曜日 15
  • 18. 人工データ実験 Poisoning Attacks against SVMs mean Σi ξi (hinge loss) classification error 5 5 0.06 0.16 0.14 0.05 0.12 0.04 線形 0 0.1 0.08 0 0.03 カーネル 0.06 0.04 0.02 0.01 0.02 −5 0 −5 −5 0 5 −5 0 5 mean Σi ξi (hinge loss) classification error 5 5 0.145 0.14 0.035 RBF 0.135 0.13 0.03 0 0 カーネル 0.125 0.12 0.025 0.115 −5 0.11 −5 0.02 −5 0 5 −5 0 5 from [Biggio+ 12]12年7月28日土曜日 16
  • 19. 手書き文字認識 実験設定 MNIST 実験データ ( 7 vs. 1; 9 vs. 8; 4 vs. 0) 線形カーネル SVM C=1 training set 100 validation set 50012年7月28日土曜日 17
  • 20. 手書き文字認識 実験結果 (7 vs. 1) Poisoning Attacks against SVMs Before attack (7 vs 1) After attack (7 vs 1) classification error 0.4 validation error 5 5 0.3 testing error 10 10 15 15 0.2 20 20 0.1 25 25 0 5 10 15 20 25 5 10 15 20 25 0 200 400 number of iterations ラベルは1 from [Biggio+ 12] Before attack (9 vs 8) After attack (9 vs 8) classification error 0.4 validation error 5 5 0.3 testing error 10 10 1512年7月28日土曜日 15 0.2 18
  • 21. Before attack (7 vs 1) After attack (7 vs 1) classification error 0.4 5 10 手書き文字認識 5 10 0.3 validation error testing error 0.2 実験結果 (8 vs. 9) 15 15 20 20 0.1 25 25 0 5 10 15 20 25 5 10 15 20 25 0 200 400 number of iterations Before attack (9 vs 8) After attack (9 vs 8) classification error 0.4 validation error 5 5 0.3 testing error 10 10 15 15 0.2 20 20 0.1 25 25 0 5 10 15 20 25 5 10 15 20 25 0 200 400 number of iterations ラベルは8 from [Biggio+ 12] Before attack (4 vs 0) After attack (4 vs 0) classification error 0.4 validation error 5 5 0.3 testing error 10 10 1512年7月28日土曜日 15 0.2 19
  • 22. Before attack (9 vs 8) After attack (9 vs 8) classification error 0.4 5 10 手書き文字認識 5 10 0.3 validation error testing error 実験結果 (4 vs. 0) 15 15 0.2 20 20 0.1 25 25 0 5 10 15 20 25 5 10 15 20 25 0 200 400 number of iterations Before attack (4 vs 0) After attack (4 vs 0) classification error 0.4 validation error 5 5 0.3 testing error 10 10 15 15 0.2 20 20 0.1 25 25 0 5 10 15 20 25 5 10 15 20 25 0 200 400 number of iterations ラベルは0 from [Biggio+ 12]Modifications to the initial (mislabeled) attack point performed by the proposed attack strategy, ford two-class problems from the MNIST data set. The increase in validation and testing errors across is also reported. 12年7月28日土曜日 20
  • 23. 実験結果から • 悪性データがラベルクラスの性質を取り込んだデータに変化 • 7の下部が1の横棒に似た形になるなど • 1データで,15-20%のエラー率向上を達成 • 初期点では2-5% • その後のデータ改良にて,上記のエラー率を達成 • アルゴリズムの有効性を示した形に • training dataの数を増やした時は,もっと性能は悪いで しょうが…12年7月28日土曜日 21
  • 24. 0.25 0.2 0.15 複数データ実験 0.1 0.05 Poisoning Attacks against SVMs 0 0 2 4 6 8 ing manyattack points in training steps. It would be int % of tiny gradient data to investigate a more accurate and e cient co tion of the largest possible step that does not a classification error (7 vs 1) classification error (9 vs 8) 0.4 0.4 structure of the optimal solution. validation error validation error 0.35 testing error 0.35 Anothererror testing direction for research is the simultaneo • mization of multi-point attacks, which we succ 悪性データを一個ずつ追加で入れていった場合の性能推移 0.3 0.3 0.25 approached with sequential single-point attac 0.25 first question is how to optimally perturb a s 0.2 • 0.2 the training data; that is, instead of individua 決定境界に近いデータを初期点に置くと,悪性データ 0.15 0.15 mizing each attack point, one could derive sim 0.1 0.1 ous steps for every attack point to better optim がreserve pointに陥るため,そこで更新がストップ Poisoning Attacks against SVMs 0.05 0.05 overall e↵ect. The second question is how to the best subset of points to use as a startin 0 0 ing many attack points in trainingsteps. It would be interestingof attack points in training datathe latter is a subs for the attack. Generally, 0 2 0 2 4 6 8 % of tiny 4gradient data 6 8 % to investigate a more accurate and e cient computa- tion problem but heuristics may allow for impr tion of the largest possible step that does not alter the proximations. Regardless, we demonstrate th classification error (7 vs 1) structureclassificationoptimal8)solution. of the error (9 vs non-optimal multi-point attack strategies sign classification error (4 vs 0) 0.4 0.4 0.4 validation error validation error degrade the SVM’s performance. validation error 0.35 testing error 0.35 Another direction for research is the simultaneous opti- error testing error 0.35 testing mization of multi-point attacks, which we0.3 An important practical limitation of the p successfully 0.3 0.3 approached with sequential single-point 0.25 method is the assumption that the attacker attacks. The first question is how to optimally perturb a subset of of the injected points. Such assu the labels 0.25 0.25 0.2 0.2 0.2 may not hold when the labels are only assi the training data; that is, instead of individually opti- 0.15 0.15 trusted sources such as humans. For instance, 0.15 mizing each attack point, one could derive simultane- filter uses its users’ labeling of messages as its 0.1 0.1 ous steps for every attack point to better optimize their0.1 truth. Thus, although an attacker can send a 0.05 0.05 overall e↵ect. The second question is how to choose 0.05 messages, he cannot guarantee that they will h the best subset of points to use as a starting point 0 0 0 0 0 labels2 necessary for his attack. This imposes 4 6 8 0 2 4 6 8 for the%attack.4 Generally, the latter is a subset selec-of attack points in training data 2 6 8 % of attack points in training data of attack points in training data ditional requirement that the attack data mus % tion problem but heuristics may allow for improved ap- certain side constraints to fool the labeling orac from [Biggio+ 12] proximations. Regardless, we demonstrate Results of the multi-point, multi-run experiments Figure 3. that even is needed to understand these poten ther work classification error (9 vs 8) non-optimal multi-point0) classification error (4 vs attack strategies MNIST data set. In each plot, we show the clas- on the significantly 0.4 0.4 constraints and to incorporate them into atta validation error degrade the SVM’s performance. sification errors due to poisoning as a function of the per- validation error 0.35 centage of training contamination would bethe incorporate t 0.35 testing error testing error The final extension for both to validation 0.3 An important practical limitation of solid line) and inverse sets (black dashed problem; that (red the proposedtesting feature-mapping line). The world 0.312年7月28日土曜日 method is the assumption that the attacker controls of7 finding real-worldmiddle is data t topmost plotproblem is for the vs.1 classifier, the attack for 22 0.25
  • 25. まとめ • SVMに毒を盛る! • SVMの精度をガタ落ちさせるデータを新しく注入 • 性能を落とすデータの作り方を提案 • 最適化問題は非凸だが,勾配法で解く形に • カーネルSVMにも適用可能 • 手書き文字認識タスクで実験 • たった1データで精度を2割前後落とす事に成功12年7月28日土曜日 23
  • 26. Future Work • より効率的,頑健,高速な最適化手法 • カーネル毎でのPoisoning Attackへの耐性評価 • 複数の悪性データを同時に注入可能なケース • データのラベルを攻撃者が固定できないケース • 設計者の人力でラベル付けされる場合等 • ラベル付を誘導するため,入力データに制約が必要 • 現実的には,入力データの人工生成は困難 • 入力ベクトルがbag-of-wordsの場合,それっぽいテキストに 変換可能な結果を返す必要がある12年7月28日土曜日 24