Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Gunosy2015-08-05

1,308 views

Published on

Gunosy2015-08-05

Published in: Technology
  • Be the first to comment

Gunosy2015-08-05

  1. 1. Gunosy 論文紹介 Explaining and Harnessing Adversarial Examples Goodfellow, Shlens & Szegedy @google
  2. 2. Goodfellow+ 2015 • ICLR(International Conference on Learning Representations) 2015 poster session • Szegedy2014の続き論文 • モントリオール大学Bengioの弟子,Maxoutの人 • Pylearn2の作者 • GoogLeNetチーム(ちなみにCaffeの作者Jiaもいる…) • 本人のトーク: https://www.youtube.com/watch?v=Pq4A2mPCB0Y
  3. 3. “adversary” = 「妨害」=「意 図的ノイズ混入」
  4. 4. Szegedy+ 2014 http://arxiv.org/abs/1312.6199
  5. 5. Nguyen+ 2015 http://arxiv.org/abs/1412.1897
  6. 6. 動機 • 妨害でstate of artのNN(ConvNet)は誤認識 • その理由はなぜか • 妨害を強みに変えられないか
  7. 7. • fast gradient sign method (fgsm) • 定式: • 入力データのコスト関数の勾配のsign関数を付加するだけ ˜x = x + ✏sign(rxJ(✓, x, y))
  8. 8. • MNISTの3/7を判別するロジスティック回帰問題 • 単一ユニット,活性化関数はロジステック関数 • ウェイト(a)で学習したものを,妨害(b)を乗せてテスト • fgsmを適用 -> 99%のエラー率 (妨害なしでは1.6%のエラー率) • 人間の目では判別できるのに,機械では全く判定できなくなる ✏ = 0.25
  9. 9. 妨害込みで学習する • コスト関数を妨害込みで: • 線型モデル(maxout + dropout), MNISTの例 • 妨害あり学習の学習時間はかなりかかる • 妨害込みテスト:妨害なし学習のエラー率 89.4% -> 妨害あり学習のエラー率 17.9% ˜J(✓, x, y) = ↵J(✓, x, y) + (1 ↵)J(✓, x + ✏sign(rxJ(✓, x, y)), y)
  10. 10. 非線形モデルは妨害に強い • RBF(Radial Basis Function): • 浅いRBFモデルをMNISTでトレーニング • MNIST + 妨害 -> 55.4%のエラー率 • しかし,confidenceを取り違えたのは1.2% • 非線形のRBFは妨害に強い P(y = 1|x) = exp((x µ)T (x µ))
  11. 11. • “4”が正解の10MINIST問題 • 線形モデルとしてのmaxoutネット • 線形モデルでは妨害の影響力が広範囲に渡る ˜x = x + ✏sign(rxJ(✓, x, y))
  12. 12. 結論 • 妨害でNNが誤認識するのは,NNに線形モデ ルを採用しているから • 妨害を含めて学習したNNは妨害に強くなる • 非線形のRBFは妨害につよい • 線形モデルでは妨害の影響は広範囲である
  13. 13. Adversarial examples • Stanford CS231nのAssignment ConvNetを利 用: http://cs231n.github.io/ • デモ: [conv - relu - pool] x 3 - affine - relu - dropout - affine - softmax

×