Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Text processing like humans do : visually attacking and shielding nlp systems[paper survey]

1,084 views

Published on

Text processing like humans do : visually attacking and shielding nlp systems
presentation in paper reading

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Text processing like humans do : visually attacking and shielding nlp systems[paper survey]

  1. 1. Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems Steffen Eger, Gözde Gül Şahin, Andreas Rücklé , Ji-Ung Lee, Claudia Schulz , Mohsen Mesgar, Krishnkant Swarnkar , Edwin Simpson , Iryna Gurevych Ubiquitous Knowledge Processing Lab (UKP-TUDA) Research Training Group AIPHES Department of Computer Science, Technische Universität Darmstadt
  2. 2. 長澤 駿太(テツ) - 法政大学理工学部応用情報工学科 B4 知的情報処理研究室(彌冨研) 所属 - ブログ書いてます(論文読みとか) - https://tetsu316.hatenablog.com - kaggleとかのコンペも好きです - 好きなだけで強くはないです 研究分野 - 文字体系を考慮した自然言語処理 2 @tetsu316naga iron316 自己紹介
  3. 3. 文献情報 Steffen Eger, Gözde Gül Şahin, Andreas Rücklé , Ji-Ung Lee, Claudia Schulz, Mohsen Mesgar, Krishnkant Swarnkar , Edwin Simpson , Iryna Gurevych Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies arxiv : https://arxiv.org/abs/1903.11508
  4. 4. TL;DR 視覚的摂動を利用した攻撃Visual Perturber (VIPER)を提案 - 既存のSoTA手法のスコアの低下を確認 - VIPERに対して人間とNLPシステムにgapを確認 VIPERに対する防衛手法を提案 - 以下の3つの手法の提案 - Image-base embedding - Adversarial training (AT) - ルールベースによる対策
  5. 5. 背景 人間の視覚的な情報は文字を認識する上で重要 文字形状の似ている文字に置換されていても読むことが可能 機械学習などのNLPシステムでは これらに対して弱い 視覚的 摂動
  6. 6. 提案手法 (VIPER) 視覚的な摂動を取り入れた文を自動で生成するVIPERを提案 - ベルヌーイ分布pの確率で置換 - 文字の置換候補を以下の方法で取得 - ICES (image-base character embedding space) - 文字画像をベクトルに変換 (24*24 -> 576) - K近傍(K=20)を使用 - DCES (description-base character embedding space) - Unicode11.0.0に付与されている説明文を使用 - ECES (easy character embedding space) - 人手によるアノテーション - すべての文字はa-zA-Zに属する
  7. 7. 提案手法 (VIPER) ELMo[Peter+ 2018]を用いた単語分散表現 - SELMo (standard ELMo) - 単語表現を文字レベルから獲得する - 文字レベルのembeddingに対してCNNを用いる - VELMo (visually informed variant of ELMo) - SELMoと同じ構成 - 文字表現にICESを用いる [Peter+ 2018] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer, “Deep contextualized word representations”, in NAACL 2018
  8. 8. 実験 (人間) VIPERに対して人間がどれだけ修復能力を持つか - 英語がnear-nativeかnativeのアノテータ6人が挑戦 - 設定パラメータ - clean: VIPER(0,_), i.e., no perturbation - VIPER(p,ICES) for p = 0.2,0.4,0.6,0.8 - VIPER(p,DCES) for p = 0.2,0.4,0.6,0.8 - VIPER(p,ECES) for p = 0.4,0.8 - 各条件最大20文
  9. 9. 結果 (人間) - 置換の確率上がるに連れerrorは上がっていく - ICESが高いのは「i」「l」「I」などが混合しやすいため - 最低でも90%は修復することができてる
  10. 10. 実験 (NLP system) 4つのタスクに対してVIPERを評価 - G2P (Grapheme-to-phoneme) -> character level - 単語に対する音素を求めるタスク - POS tagging -> word level - 単語に対する品詞付与 - Chunking -> word level  - 構文解析?(名詞句や動詞句などを付与) - TC (toxic classification) -> sentence level - 有害コメントor無害の二値分類 - kaggleのデータセットを使用 - sentence vectorにはword vectorのaverageを使用
  11. 11. 評価と結果 (NLP system) VIPERを適用前後の比で評価 モデルは各タスクのSOTAを使用 pが大きくなると精度が下がっていくことを確認 G2P taskではSoTAの20%のほどの精度しか出ていない
  12. 12. 提案手法と実験 (防衛編) VIPERに対して防衛手法を3つ提案 - AT (adversarial training) - CE (character embedding) - G2PではICES,それ以外ではVELMoを使用 - RBR (rule-base recovery) - ECESを用いたrule-baseによる文字修復 評価 - 学習データにVIPER(0.2, DCES)をかけたもので学習 最終評価 防衛適応前後の比 攻撃適応前後の比
  13. 13. 結果 (防衛編) - AT - G2P以外のタスクでスコアの向上を確認 - 類似文字に対してATでは適切な表現を得られなかった - CE - 単語単位のタスクではスコアの向上がなかった - ELMoのアーキテクチャには必要ない?
  14. 14. 結果 (防衛編) - AT + CE - 全タスクでスコアの向上を確認 - お互いが補うような形でスコアが上がっている? - RBR - 全体的にスコアの向上を確認 - RBRはほか比べかなりhardな手法 - 多言語の単語を意味がないものにしてしまう?
  15. 15. 結果まとめ - RBRを用いる場合は機械翻訳に通してからの方が良い - AT+CEはCEのみよりもドメインシフトを抑えている - CEだとl, i, Iなどの違いを吸収できず,違う単語に? - 文字単位に対するCNNの機能が弱い - すべてのアプローチを導入してもcleanなスコアより かなり下回っている - VIPER攻撃はそれだけNLPシステムに対して強い攻撃 - これらは人間とNLPシステムの大きな違い
  16. 16. 議論 (エラー分析) TCタスクには有害コメントに対して6種類のフラグを持つ - フラグの合計をTL(toxic level)と定義 これに対しVIPER, 防衛アプローチに対してTLの変化を確認 防衛アプローチを入れることでTLの変化を減らすことが可能 特定単語に対して摂動を加えるとTLの低下が起きる - he などの単語には入れても効果なし
  17. 17. まとめ 視覚的摂動を利用した攻撃手法VIPERを提案 - 既存のSoTA手法の精度低下を確認 - VIPERに対して人間は強く,NLPシステムは弱い VIPERに対する3つの防衛手法の提案 - 組み合わせることでより効果が高くなった 人間とNLPシステムのgapを埋めることが今後システムの 構築の上で重要になってくる

×