Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2017.02.27
AISECjp #9
Hosted by Isao Takaesu
Discussion
AIの脆弱性について
AIに対する漠然とした懸念
AISECjp
・世界経済フォーラム(WEF)
AIやIoTのような新しいテクノロジは、データの窃盗やビジネスの破壊、産業制御関連への
攻撃を企むサイバー攻撃者に、より大きな攻撃対象の領域を作り出している。
・Int...
AIに対する具体的な攻撃手法
 機械学習モデルの窃取
 誤分類の誘発
 報酬ハッキング
 モデルポイゾニング
 機械学習ライブラリのバグを悪用
AISECjp
従来の攻撃手法に加え、AI特有の攻撃手法が存在。
機械学習モデルの窃取
▼ 参考文献
- Stealing Machine Learning Models via Prediction APIs
AISECjp
機械学習モデルへの入出力値を手掛かりに、モデルの計算ロジック
(LRのDecisi...
誤分類の誘発
AISECjp
分類器(CNN)への入力画像を(人間には分からないくらいに)
微小に細工することで、CNNの誤分類を誘発。
▼ 参考文献
- Simple Black-Box Adversarial Perturbations f...
報酬ハッキング
AISECjp
エージェントの学習に使用するポリシー(方策)を操作することで、
最適ではない行動を学習させる。
▼ 参考文献
- Vulnerability of Deep Reinforcement Learning to P...
モデルポイゾニング
AISECjp
大量の悪意のあるデータを分類器に学習させることで、決定境界を
最適値から外す(モデルポイゾニング)。
▼ 参考文献
- 現実世界での機械学習によるアノマリ検知システムの構築と回避
機械学習ライブラリのバグを悪用
AISECjp
OpenCV, numpy, scikit-learnなどのライブラリに存在する脆弱性を
利用することで、DoSや制御の乗っ取りなどを行う。
▼ 参考文献
- The Pursuit of Exp...
AIのビジネス利用例
AISECjp
様々な分野でビジネス利用が進んでいる
・AIが窓口業務の補助
・利用客の多い場所・時間を予測してタクシーを配車
・Jリーグの年間入場者数の予測
・効率的な働き方のレコメンド
・マルウエア検知・侵入検知への利...
AISECjp
セキュリティを考慮しているか?
議題
 AIを使ったサービス・プロダクトは安全か?
 機械学習アルゴリズムに欠陥はないのか?
 新たな脆弱性はないか?
 セキュリティ向上のための啓蒙は?
・・・
AISECjp
参考文献
AISECjp
・Stealing Machine Learning Models via Prediction APIs
https://arxiv.org/abs/1609.02943
・Simple Black-Box Adve...
Download “.PDF” version of this document:
≫ https://aisecjp.connpass.com/event/44600/
Upcoming SlideShare
Loading in …5
×

Discussion AIの脆弱性について

785 views

Published on

AIの脆弱性について

Published in: Software
  • Be the first to comment

Discussion AIの脆弱性について

  1. 1. 2017.02.27 AISECjp #9 Hosted by Isao Takaesu Discussion AIの脆弱性について
  2. 2. AIに対する漠然とした懸念 AISECjp ・世界経済フォーラム(WEF) AIやIoTのような新しいテクノロジは、データの窃盗やビジネスの破壊、産業制御関連への 攻撃を企むサイバー攻撃者に、より大きな攻撃対象の領域を作り出している。 ・Interop Tokyo 2016 新しい技術革新が起きたときに、最初はそれを使って何ができるかと夢を追うような議論 がされるが、実際に使われ始めて理解が進むと、セキュリティなどの現実的な議論が始まる。 ・人工知能技術戦略会議 (1)生産性、(2)健康、医療・介護、(3)空間の移動、(4)セキュリティという四つのテーマを 産業化ロードマップとして策定。ただし中間まとめ案では、「セキュリティは共通基盤で技 術の進展も激しいので、対象とはしていない」(経産省)
  3. 3. AIに対する具体的な攻撃手法  機械学習モデルの窃取  誤分類の誘発  報酬ハッキング  モデルポイゾニング  機械学習ライブラリのバグを悪用 AISECjp 従来の攻撃手法に加え、AI特有の攻撃手法が存在。
  4. 4. 機械学習モデルの窃取 ▼ 参考文献 - Stealing Machine Learning Models via Prediction APIs AISECjp 機械学習モデルへの入出力値を手掛かりに、モデルの計算ロジック (LRのDecision boundaryなど)を特定し、モデルを複製。
  5. 5. 誤分類の誘発 AISECjp 分類器(CNN)への入力画像を(人間には分からないくらいに) 微小に細工することで、CNNの誤分類を誘発。 ▼ 参考文献 - Simple Black-Box Adversarial Perturbations for Deep Networks original : perturbed : (誤分類) stingray sea lion ostrich goose jay junco water ouzel redshank
  6. 6. 報酬ハッキング AISECjp エージェントの学習に使用するポリシー(方策)を操作することで、 最適ではない行動を学習させる。 ▼ 参考文献 - Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
  7. 7. モデルポイゾニング AISECjp 大量の悪意のあるデータを分類器に学習させることで、決定境界を 最適値から外す(モデルポイゾニング)。 ▼ 参考文献 - 現実世界での機械学習によるアノマリ検知システムの構築と回避
  8. 8. 機械学習ライブラリのバグを悪用 AISECjp OpenCV, numpy, scikit-learnなどのライブラリに存在する脆弱性を 利用することで、DoSや制御の乗っ取りなどを行う。 ▼ 参考文献 - The Pursuit of Exploitable Bugs in Machine Learning
  9. 9. AIのビジネス利用例 AISECjp 様々な分野でビジネス利用が進んでいる ・AIが窓口業務の補助 ・利用客の多い場所・時間を予測してタクシーを配車 ・Jリーグの年間入場者数の予測 ・効率的な働き方のレコメンド ・マルウエア検知・侵入検知への利用 ・保険査定業務の自動化 ・自動運転自動車の開発 ・・・
  10. 10. AISECjp セキュリティを考慮しているか?
  11. 11. 議題  AIを使ったサービス・プロダクトは安全か?  機械学習アルゴリズムに欠陥はないのか?  新たな脆弱性はないか?  セキュリティ向上のための啓蒙は? ・・・ AISECjp
  12. 12. 参考文献 AISECjp ・Stealing Machine Learning Models via Prediction APIs https://arxiv.org/abs/1609.02943 ・Simple Black-Box Adversarial Perturbations for Deep Networks https://arxiv.org/abs/1612.06299 ・Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks https://arxiv.org/abs/1701.04143 ・現実世界での機械学習によるアノマリ検知システムの構築と回避 https://www.slideshare.net/codeblue_jp/by-clarence-chio-code-blue-2015 ・ The Pursuit of Exploitable Bugs in Machine Learning https://arxiv.org/abs/1701.04739
  13. 13. Download “.PDF” version of this document: ≫ https://aisecjp.connpass.com/event/44600/

×