journalclub EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES

2. Abstract
1. Introduction
2. Related Work
3. The Linear Explanation of Adversarial Examples
4. Linear Perturbation of Non-Linear Models
5. Adversarial Training of Linear Models Versus Weight Decay
6. Adversarial Training of Deep Networks
7. Different Kinds of Model Capacity
8. Why Do Adversarial Examples Generalize?
9. Alternative Hypotheses
10. Summary and Discussion

3. ニューラルネットワークを含め、機械学習モデルは敵対的なサンプルを正しく判別できない。
敵対的なサンプルとは、誤った答えに⾼い信頼度をもたせてモデルがアウトプットするように、意図的に僅か
ではあるが最悪となる摂動を加えたサンプルのことである。
当初、この現象は⾮線形性や過学習の観点から説明できないかと試みられていた。
しかし我々は、ニューラルネットワークの敵対的サンプルに対する脆弱性はその線形的性質にあると主張する。
我々の主張は、敵対的サンプルに対する脆弱性の最も興味深い現象（トレーニングデータとネットワーク構造
による汎化）についての最初の説明でもあり、新たな定量的な結果によって裏付けられている。
さらに、この我々の視点は敵対的サンプルを作り出すシンプルかつ迅速な⽅法を⽣み出す。
提案⼿法を⽤いた敵対的学習はMaxoutネットワークを⽤いたMNISTデータの学習において、テストデータに
対するエラーを減少させた。
Abstract

4. The cause of these adversarial examples was a mystery, and speculative explanations have
suggested it is due to extreme nonlinearity of deep neural networks, perhaps combined with
insufficient model averaging and insufficient regularization of the purely supervised learning
problem. We show that these speculative hypotheses are unnecessary. Linear behavior in high-
dimensional spaces is sufficient to cause adversarial examples. This view enables us to design a
fast method of generating adversarial examples that makes adversarial training practical.
⽬的（1. Introductionより抜粋）
敵対的サンプルがなぜ存在するかは解明されておらず、ディープニューラルネットワークが過度な⾮線形
⽣を有することなどが原因だと推測されている。しかし、こういった仮説が誤りであり、⾼次元における
線形的な挙動が敵対的サンプルの原因となることを証明し、この観点に基づいて迅速に敵対的サンプル⽣
成し敵対的学習を可能とする⼿法を提案する。

5. 結果（10. Summary and Discussionより抜粋）
敵対的サンプルは、⾼次元のドット積の特性に起因すると説明することができる。過度の⾮線形というより
は、モデルが過度に線形である結果である。
空間上の特定の点ではなく、摂動の⽅向が問題となる。敵対的サンプルが陥⼊るポケットが空間上に存在す
るわけではない。
我々は敵対的サンプルを作成する⼀連の迅速な⽅法について紹介した。
我々は敵対的学習が正則化として機能することを⽰した。

6. 1. Introduction
https://arxiv.org/pdf/1312.6199.pdf
The adversarial examples represent low-probability (high-dimensional)
“pockets” in the manifold, which are hard to efficiently find by simply randomly
sampling the input around a given example.
敵対的サンプルの原因はこれまで解明されておらず、ディープラーニングネットワークの⾮線形性によると
推測されていた。
しかしこの推測は間違いで、⾼次元空間における線形的な挙動が敵対的サンプルの原因となる。

7. 2. Related Work
Box-constrained L-BFGSを⽤いて以下の最⼩化問題を解くことで敵対的サンプルを作成
ImageNetを含めたいくつかのデータセットにおいて、作成した敵対的サンプルは元画像に⾮常に
よく似ていてその差は⼈間では判別不能であった。
Szegedy et al. (2014)について
同⼀の敵対的サンプルは異なったモデル間、または異なったトレーニングデータのサブセットによ
る学習をまたいで誤分類される。
浅いSoftmax regressionを⽤いたモデルは敵対的サンプルに対して抵抗性が乏しい。
敵対的サンプルを学習することによってモデルの正則化が可能だが、この⽅法では最適化コストが
⼤きく現実的でない。

8. 3. The Linear Explanation of Adversarial Examples
ηがセンサーやデータストレージの中で無視できるほど⼗分⼩さければ、分類器はその差を認識して分
類できないように思える。
今、⼊⼒としてxを考えた時、
しかし重みベクターwとのドット積を考えてみる。
敵対的摂動の影響は でなく によってもたらされる。
wがn次元で要素の平均がmであった場合、εmnが摂動に影響することがわかる。（||η||∞ < ε）
||η||∞⾃体は当然ながら次元とともに⼤きくなるわけではない。しかし⾼次元でnが⼤きくなると⼩さ
かった摂動が⼤きく影響するようになる。

9. 4. Linear Perturbation of Non-Linear Models
：モデルパラメータ
：⼊⼒
：ターゲットラベル
与える摂動を以下と定義。
Fast gradient sign method
：コスト関数
浅いSoftmax+MNISTでerror rate 99.9%、Maxout+CIFAR-10で89.4%のerror rateを達成。
上記はGoogLeNet+ImageNetでの検証。

10. 5. Adversarial Training of Linear Models Versus Weight Decay
：ロジスティック関数
：ソフトプラス関数
を満たすモデルを考える。下記関数に対する勾配効果法で最適化を測るとする。
前述と同様にsign関数を⽤いた摂動を与えるとすると、sign(w)ʼ = -sign(w)であり、
であるため、
敵対的学習は上記を最⼩化する問題に落とし込める。厳密には異なるが、L1正則化に類似した形となっている
ことがわかる。

11. 6. Adversarial Training of Deep Networks
コスト関数を下記と定義
著者らは を⽤いて以降の実験を⾏なった。
Maxout networkを⽤いて敵対的学習を⾏うことでMNISTでエラー率が0.94%から0.84%に減少。
Maxout networkのユニットをを240/layerから1600/layerに増やしてパラメータ調整を⾏い平均エ
ラー率0.782%を最終的に達成。
敵対的サンプルに対するエラー率は89.4%から
17.9%へ。
また、敵対的学習によりネットワークの重みは
より局所的かつ解釈可能な形態となった。

12. 7. Different Kinds of Model Capacity
単純なRBFネットワークを考える
μの近傍しか⾼い信頼性を持って正しく分類できないが、敵対的サンプルに対して低い信頼性を⽰せる
という意味で、敵対的サンプルに対して抵抗性を有すると⾔える。
実験ではMNISTの敵対的サンプルに対して、エラー率は55.4%であったことに加え、誤分類時の信頼
度はわずか1.2%であった（クリーンなテストデータに対する信頼度の平均は60.6%）。

13. 8. Why Do Adversarial Examples Generalize?
敵対的サンプルは異なる他のモデルにおいても同様に誤分類される。しかも誤分類時には同じクラス
に誤分類する傾向がある。
⾮線形性や過学習ではこの現象は説明できない。敵対的サンプルは局所的に起きるという観点とこの
現象は⽭盾する。
線形性に起因すると考えれば、敵対的サンプルは広い部分空間に渡って発⽣し得ることがわかる。
また、敵対的サンプルの分類についてMaxout、浅いRBF、Softmaxネットワークで⽐較したところ、
三者間でそれぞれおおよそ50%以上が同じように分類される。
なぜ敵対的サンプルが汎化性を有するのかは
完全には解明できないが、これらのネット
ワークが根本的に類似した線形的な挙動を有
していることによる可能性がある。

14. 9. Alternative Hypotheses
⽣成サンプルによる学習は学習過程を制限してしまう、またはモデルに対してサンプルが偽物かどう
かを識別するように学習させてしまい、本物のサンプルにのみ信頼性の⾼い結果を出⼒してしまう。
Multi-prediction deep Boltzmann machines(MP-DPM)を⽤いても敵対的サンプルの誤分類は
排除できなかった。
敵対的サンプルが存在してしまうのは個別のモデルの特徴によるものであり、複数モデルの平均を推
論に⽤いることで敵対的サンプルの効果を回避できる。
12個のMaxoutモデルを作成し異なるランダムシードで重みの初期化、dropout、ミニバッチの
選択を⾏ない、ensembleとしたが、敵対的サンプルに対する誤分類は排除できなかった。
→
→

15. 10. Summary and Discussion
敵対的サンプルは、⾼次元のドット積の特性に起因すると説明することができる。過度の⾮線形というより
は、モデルが過度に線形である結果である。
敵対的サンプルの効果が異なるモデルをまたいで汎化されてしまうのは、敵対的な摂動がモデルの重みベク
ターに⾮常に近い⽅向性を有する結果であり、異なるモデルが同じタスクに対して類似した関数を学習した
結果であると説明できる。
空間上の特定の点ではなく、摂動の⽅向が問題となる。有理数のような実数を細かく並べた敵対的サンプル
が陥⼊るポケットが空間上に存在するわけではない。
⽅向が問題となるため、敵対的な摂動は異なるクリーンなサンプルに対して汎化する。
我々は敵対的サンプルを作成する迅速な⽅法について紹介した。
我々は敵対的学習が正則化として機能することを⽰した。
我々はシンプルだが有効性の⾼くないL1正則化及びノイズを⽤いたコントロール実験を⾏い、この効果が再
現されないことを確認した。

16. 10. Summary and Discussion
最適化しやすいモデルは摂動を受けやすい。
線形モデルは敵対的摂動に抵抗する性質を⽋く。普遍性定理によって与えられるような隠れ層を有する構造
のみに対して敵対的摂動に対する学習を⾏うべきである。
RBFネットワークは敵対的サンプルに対して抵抗性を有する。
⼊⼒された摂動をモデリングするよう学習されたモデルは敵対的サンプルに対して抵抗性を有さない。
アンサンブル学習は敵対的サンプルに対して抵抗性を有さない。