機械学習応用システムの安全性の研究動向と今後の展望
•
0 likes•404 views
This document discusses some of the challenges in developing AI systems that utilize machine learning. It notes that machine learning systems rely on probabilities and statistics based on training data, making quality assurance difficult. It is also difficult to fully understand and interpret models from deep neural networks. The document suggests that new approaches are needed for developing machine learning-based systems, as traditional software engineering approaches do not work well. Establishing the field of "machine learning engineering" is important for building AI systems that can reliably ensure quality.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 機械学習応用システムの安全性の研究動向と今後の展望
Similar to 機械学習応用システムの安全性の研究動向と今後の展望 (20)
More from Nobukazu Yoshioka
More from Nobukazu Yoshioka (14)
Recently uploaded
Recently uploaded (20)
機械学習応用システムの安全性の研究動向と今後の展望
- 3. 2 機械学習を応用したAIシステムへの期待 n DNNの画像の認識率は人間を超える n 画像認識の自動化によるAIシステムの普及 n BERT等により、文脈に沿った自然言語処理が 可能になってきている n 文脈に沿った処理の自動化への期待 Content-Based Image Retrieval using Deep Learning AlexNet ResNet GoogLeNet （戦略プロポーザル）AI応用システムの安全性・信頼性を確保する新世代ソフトウェア工学の確立 ／CRDS-FY2018-SP-03, https://www.jst.go.jp/crds/report/report01/CRDS-FY2018-SP-03.html
- 8. 7 結構良い性能が出てていて信頼性は確保でき そう Yolo v3をMS COCOで訓練したモデルを利用 BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/
- 10. 9 えっ、なんで？？？
- 12. 11 機械学習を応用したAIシステムの開発の難しさ 機械学習を応用したシステム 確率・統計的な精度 訓練データに依存 従来型システムの開発 演繹的にアルゴリズム・論理の 組み合わせ • 適切なシステムの構築が困難 • 品質の担保が困難 0 20 40 60 80 100 開発者へのギャップアンケート (278回答） 要求定義、テスト・品質保証が最も ギャップが大きい 根本的に異なる考え方が必要 手法が未成熟 特化したツールが存在 従来どおり ギャップ MLSE2018アンケート 調査結果より https://sites.google.com/view/sig-mlse/%E7%99%BA%E8%A1%8C%E6%96%87%E7%8C%AE
- 13. 12 機械学習応用したAIシステムの開発の難しさ 機械学習を応用したシステム 確率・統計的な精度 訓練データに依存 従来型システムの開発 演繹的にアルゴリズム・論理の 組み合わせ • 適切なシステムの構築が困難 • 品質の担保が困難 0 20 40 60 80 100 開発者へのギャップアンケート (278回答） 要求定義、テスト・品質保証が最も ギャップが大きい 根本的に異なる考え方が必要 手法が未成熟 特化したツールが存在 従来どおり ギャップ MLSE2018アンケート 調査結果より https://sites.google.com/view/sig-mlse/%E7%99%BA%E8%A1%8C%E6%96%87%E7%8C%AE 機械学習工学の確立 が重要 機械学習が組み込まれると従来 のように品質を担保できない！
- 16. 15 機械学習工学に関するその他の活動 n 機械学習品質マネジメントガイドライン n https://www.aist.go.jp/aist_j/press_release/pr2020/pr 20200630_2/pr20200630_2.html n AIプロダクト品質保証ガイドライン（QA4AI） n http://www.qa4ai.jp/download/ 研究プロジェクト n NEDO 「人と共に進化する次世代人工知能に関する技術開発事業／ 実世界で信頼できるAIの評価・管理手法の確立／機械学習システム の品質評価指標・測定テストベッドの研究開発」 n JST 未来社会創造事業「機械学習を用いたシステムの高品質化・実用 化を加速する“Engineerable AI”技術の開発」 n JST CREST「信頼されるAIシステムを支える基盤技術」
- 17. 16 機械学習応用システムの開発の難しさ n 要求の難しさ n 機械学習への期待が大きい u どんな振る舞いでも自動導出できる？？ u 訓練データがないと正確な判断ができない n そもそもどこまでできるのか、やりたいか、判断していい のかが不明 n テスト・品質保証の難しさ n 訓練の妥当性の確認の難しさ n 振る舞いを完全に把握できない u モラルに反する振る舞い n 新たなセキュリティ・プライバシーの問題 n 意図的に判断を狂わせる攻撃 n 訓練データに含まれる個人情報を推測
- 19. 18 主な課題 1. 保証範囲が決められない！ 2. 重大な不備が見つかっても対応できない！ 1. 原因分析ができない！ 2. 不備をすべて対策した訓練済みモデルが作れ ない！ 3. 動作保証ができない！ どんな不備があるか分からない！
- 22. 21 さらにこういう状況も発見！
- 23. 22 DNNだと何が難しいのか？ 対象世界の広がり：実行環境・状況の複雑さ、不確かさ 実現に関する難しさ： 1. DNNで訓練されたモデルの複雑さ、意味付けの難しさ 2. 訓練済みモデルの制御した変更の難しさ 3. DNN特有の脆弱性 複雑なルールの組み合わせを自動で導出 どのような対象世界か不明、可能性が膨大 やってほしいこと （仕様） 自動運転システム DNN DNNの脆弱性に 起因したリスク 実行環境・状況に 起因したリスク
- 24. 23 実行環境・状況の複雑さ、不確かさ Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 23
- 29. 28 雇用時の人種差別 アマゾンの採用AIツール、女性差別でシャットダウン n アマゾンは、採用AIツールの開発に取り組んでいた。だが、AI ツールは女性に対する偏見を示したとロイターは伝えた。 n エンジニアは、AIが女性に対して好意的ではない評価を行っ たのは、採用すべき人材の学習に使用した履歴書の大半が男 性の履歴書だったことが原因と突き止めた。 n だが、修正がうまくいかず、同社は2017年初めにこのプロジェ クトを中止したようだ。 https://www.businessinsider.jp/post-177193
- 30. 29 機械学習へのアタック Attack against ML Ian Goodfellow, "Adversarial Examples", Deep Learning Summer School, Montreal, 2015 Adversary Example
- 31. 30 アプリケーション事例と脅威例 アプリケーション事例 脅威例 自動運転車 故意に交通事故を起こし、人命を奪 う チャットボット 人権侵害を侵害するなどの不適切な 発言を起こさせ、サービスを停止に 追い込む 製品・サービスの異常や故障の検知 異常や故障を見逃すようにし、損害 を与える パーソナルアシスタント 誤認識によるなりすましや登録した 個人情報の流出 顔認証を使ったサービス 誤認識させ、サービス利用を阻害す る。なりすましによる不正なサービス 利用。 メールフィルタリング フィルタリングの誤判断によりメール の利便性が落ちる
- 32. 31 DNNの脆弱性：Adversarial Examples (敵対的 標本) Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018 Carlini, N., & Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. Proceedings - IEEE Symposium on Security and Privacy, 39–57.
- 34. 33 特定の特徴をもたせた敵対的標本 Sharif, M., Bhagavatula, S., Bauer, L., & Reiter, M. K. (2019). A general framework for adversarial examples with objectives. ACM Transactions on Privacy and Security, 22(3). https://doi.org/10.1145/3317611 Xu, K., Zhang, G., Liu, S., Fan, Q., Sun, M., Chen, H., … Lin, X. (2020). Adversarial T-Shirt! Evading Person Detectors in a Physical World. arXiv. https://doi.org/10.1007/978-3-030-58558-7_39
- 35. 34 敵対的標本（攻撃）の発見 オリジナル画像 STOPの標識と判断する入力領域 速度制限の標識と判断する入力領域 少しの書き換えで判断が 変わる変更を探索 Eykholt, K., Evtimov, I., Fernandes, E., Li, B., Rahmati, A., Xiao, C., Song, D. Robust Physical-World Attacks on Deep Learning Models, CVPR 2018
- 37. 36 セキュリティ担保の難しさ 対象世界の広がり： n ビックデータの活用、膨大なデータのバリエーション（実行環 境・状況の複雑さ、不確かさ） n データ管理が困難 n 書き換えのバリエーションが豊富 n 妥当な訓練データセットの把握が困難 Ø 故意の書き換えを検知しにくい DNNで訓練されたモデルの複雑さ： n 容易に判断を変更する入力（敵対的標本）を作ることができる n 判断の境界が不明：脆弱性を容易に発見できない、容易に取 り除けない
- 38. 37 動的な訓練へのアタック例： Malware検知 Suciu, O., Mărginean, R., Kaya, Y., Daumé, H., & Dumitraş, T. (2018). Technical Report: When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks. In the 27th USENIX Security Symposium (pp. 1299–1316). Retrieved from http://arxiv.org/abs/1803.06975
- 39. 38 攻撃者が知り得る情報・可能な操作と攻撃 推論パイプライン n 推論結果の入出力・信頼度 Ø 正解の信頼度を下げ、意図したラベルの信頼度を上げる入力 を発見する n 訓練済みモデルのアーキテクチャ Ø 同じアーキテクチャの敵対的標本を利用 n 訓練済みモデルのパラメータ Ø オフラインで敵対的標本を検索 Ø オフラインで訓練データを推測 訓練パイプライン n 訓練データの追加、書き換え Ø 特定の入力に対して誤動作させるバックドアを埋め込む 攻撃 敵対的標本
- 40. 39 様々な種類の脅威が研究されている 特定のラベルに推論させる データセット全体に有効な書き換え 複数のDNNに有効な書き換え 十分小さい書き換えを計算 人間にとって同じに見える書き換え Yuan, X., He, P., Zhu, Q., & Li, X. (2019). Adversarial Examples: Attacks and Defenses for Deep Learning. IEEE Transactions on Neural Networks and Learning Systems, 30(9), 2805–2824. 検知させなくする 間違った検知
- 41. 40 プライバシー・機密情報の問題 n 個人情報・機密情報を使って訓練 n 訓練に使った元データを推測 差分プライバシーの応用 顔を認識する訓練済みモデル 訓練データ Fredrikson, M., Jha, S., & Ristenpart, T. (2015). Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures. Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security - CCS ’15, 1322–1333.
- 42. 41 研究動向 n 2018年（MLSE設立時）から急激に研究が増え てきている 著名なソフトウェア⼯学の国際会議のMLSE関連論⽂数 n ICSE: n 2020: 17件, 2019:7件, 2018:1件、2017: 0件 n ASE: n 2020: 8件、2019: 4件、 2018: 4件、2017: 0件 n FSE n 2020: 25件、2019: 4件、2018: 1件、2017: 0件 n RE n 2020: 3件、 2019: 1件、2018: 1件、2017: 0件 n REFSQ n 2020: 1件、 2019: 0件、2018: 0件、2017: 0件 平成30年度成果報告書 産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査
- 43. 42 研究分野の動向 新しく立ち上がった国際会議 n The AAAI's Workshop on Artificial Intelligence Safety, 2019-: https://safeai.webs.upv.es/ n International Workshop on Artificial Intelligence Safety Engineering (WAISE) @ SAFECOMP, 2018-: https://www.waise.org/ n AISafety @IJCAI, 2019-: https://www.aisafetyw.org/ n 2020 USENIX Conference on Operational Machine Learning: https://www.usenix.org/conference/opml20 n The Conference on Systems and Machine Learning (SysML): https://mlsys.org/ n International Workshop on Machine Learning Systems Engineering (iMLSE)@APSEC, 2018- Safe AIに関するセンター n Center for AI Safety (Stanford University, USA): http://aisafety.stanford.edu/ n PRECISE Center of Safe AI (University of Pennsylvania, USA): https://precise.seas.upenn.edu/safe-autonomy コミュニティ n The Software Engineering for Machine Learning Applications (Polytechnique Montreal, Canada) https://semla.polymtl.ca/organizers/
- 44. 43 課題を解決しそうな最近の研究(ICSE2020の例) 学習データの妥当性が不明 学習データが不⾜ 学習データの収集コストが⼤きい 重要な場⾯での動作を担保できない 原因分析と対策ができない 不要動作を保証できない 保証範囲が不明確 安全な停⽌を保証できない 製品確認時 学習データ収集時 修正時 要件 テストの妥当性が不明 モデルのアップデート セキュリティを担保できない 保証のコストが⼤きい 協力: スバル、デンソー、トヨタ他 ３件 １件 １件 １件 １件 ４件 １２件 １件
- 45. 44 最近のソフトウェア工学系の研究 1. テストの自動化の研究がダントツで多い 2. WSレベルではテストの妥当性の議論もされて いる 3. 原因追求に関してはサーベイ・ガイドラインレベ ルが出てきた 4. DNNの自動修正が出てきた ML系の研究ではセキュリティ・ロバストネス・フェア ネスの観点での妥当性検証が多い（と思う）
- 46. 45 保証範囲の明確化 Rahimi, M., & Chechik, M. (2019). Toward Requirements Specification for Machine-Learned Components. In 27th International Requirements Engineering Conference (pp. 241–244).
- 47. 46 原因追求：原因、不都合の分類 Nargiz Humbatova, Gunel Jahangirova, Gabriele Bavota, Vincenzo Riccio, Andrea Stocco, Paolo Tonella, Taxonomy of Real Faults in Deep Learning Systems, ICSE 2020 Md Johirul Islam, Rangeet Pan, Giang Nguyen, Hridesh Rajan, Repairing Deep Neural, Networks: Fix Patterns and Challenges, ICSE 2020
- 48. 47 原因追求： 意味を考えて何を間違いやすいか 分析 Cynthia C. S. Liem and Annibale Panichella, Oracle Issues in Machine Learning and Where to Find Them, 8th International Workshop on Realizing Artificial Intelligence Synergies in Software Engineering, 2020
- 49. 48 シナリオベースの影響分析 Ribeiro, M. T., & Guestrin, C. (2016). “Why Should I Trust You?” Explaining the Predictions of Any Classifier. In the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining - KDD ’16 (pp. 1135–1144). 出力に寄与している入力を抽出 出力に寄与している訓練データを抽出 Pang Wei Koh, Percy Liang, Understanding Black-box Predictions via Influence Functions, Proceedings of the 34th International Conference on Machine Learning, PMLR 70:1885-1894, 2017.
- 50. 49 解析可能なモデルを変換・抽出 WFAで モデル抽出 Takamasa Okudono, Masaki Waga, Taro Sekiyama, Ichiro Hasuo: Weighted Automata Extraction from Recurrent Neural Networks via Regression, AAAI 2020 Satoshi Hara, Kohei Hayashi, Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach, Proceedings of the Twenty-First International Conference on Artificial Intelligence and Statistics, PMLR 84:77-85, 2018. 場合分けを大まかに理解する
- 52. 51 DNNの怪しそうなパラメータの発見、再学習 Hao Zhang, W.K. Chan, Apricot: A Weight-Adaptation Approach to Fixing Deep Learning Models. (ASE2019)
- 53. 52 敵対的標本への対策 訓練の工夫 n 敵対的標本で訓練 u さまざまな敵対的標本を生成 u 起こりうる敵対的標本を優先的に発見 n ロバストネスを担保した訓練済みモデルの構築 n 入力が少し変わっただけで、判断を大きく変えない訓練済みモデル u 訓練済みモデルの弱点を発見する研究 n 訓練済みモデルを蒸留や書き換えによって軽量化 n ロバストネスに関する論理的保証 u 特定の大きさ以下のノイズに対して予測が不変であることを証明 システム上の工夫 n 入力データを書き換えて誤判断しないようにする n ノイズを加える。 訓練データと同じ特徴（分散）をもつデータに書き換える。 n アタックの検知 n 通常とは異なる入力、振る舞いを検知 n （出力の信頼度など） 不要な情報を公開しない
- 54. 53 アタックされたデータで訓練されたかを自動判定 発火パターンをクラスタリングすることで判定 Chen, B., Carvalho, W., Baracaldo, N., Ludwig, H., Edwards, B., Lee, T., … Srivastava, B. (2019). Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering. In AAAI Workshop on Artificial Intelligence Safety (p. 8).
- 55. 54 今後（も）有望な研究 n DNNの訓練の理解： リバースエンジニアリング n シナリオベースの影響分析 ⇒ 説明性（XAI）の研究 抽象化 n DNNからの解析可能なモデルを生成・変換 微調整 n 訓練済みモデルの解析と修正 n セマンティクスを考慮したDNN（知識融合型訓練） n 解析しやすい・分割しやすい・解釈性が高いDNNアーキテクチャ n 不正解のリスク、正解の価値を考慮した訓練 n 機械学習の最新セキュリティ研究が実際のAIシステムにどこまで有用 かの評価と整理 n 敵対的標本がAIシステム上どれくらいリスクとなり得るかを整理 DNN（関数）と意味モデル（セマンティクス） とのギャップを埋める
- 57. JST 未来社会創造事業 「機械学習を用いたシステムの 高品質化・実用化を加速する "Engineerable AI”(eAI)技術の開発」 〜 PDCAサイクルを回せるAI 〜 国立情報学研究所 supported by https://qaml.jp/
- 58. 57 機械学習応用システムの開発技術の課題 n ソフトウェア工学と機械学習の融合が不十分 n 既存のソフトウェア工学は帰納的パラダイムに適用できない n 機械学習に工学的観点が不足 n 既存の融合技術は、特定の状況や事例ベースで活用が限定的 n 特定の状況以外で技術を活用、横展開ができない ギャップ 工学的な観点がない ソフトウェア 工学技術 機械学習技術 システム要求・前提との 関係が不明確 工数・体制・保証が 考えられていない 機械学習と不整合 演繹的な論理体系 融合が不十分 😔 適切なシステムの構築が困難 😔 品質の担保が困難 ソフトウェア 工学 機械学習 理論 機械学習工学 機械学習 機械学習を応用したシステム 品質の担保が困難 ギャップ 工学的な観点がない 演繹的な論理体系 有機的融合 🙂 演繹と帰納のパラダイム融合 🙂 決定的モデルと確率・統計的モデルの融合 🙂 機械学習とシステムのライフサイクルの融合 従来型ソフトウェア
- 59. 58 eAIプロジェクト 目的：AIシステムを製品化に必要な信頼性・安 全性を担保するための工学技術の開発 1. 信頼性・安全性の保証 2. 原因追求と改善：PDCAが回せる 代表：国立情報学研究所 石川冬樹准教授 パートナー： n 学術：早大、九大、東工大、JAIST他 n 産業界：デンソー、スバル、トヨタ、 NTTデー タ、富士通研究所、NEC、 東芝、JAMSS他
- 60. 59 JST 未来社会創造事業 【概要】 n 社会・産業ニーズを踏まえ、経済・社会的にインパクトのある出口を明 確に見据えた技術チャレンジ n ５年で、実用化が可能かどうか見極められる段階（概念実証：POC）を 目指す 重点公募テーマ： サイバー世界とフィジカル世界を結ぶモデリングとAI 詳細： http://www.jst.go.jp/mirai/jp/ 総括：前田 章 （元 株式会社日立製作所 ICT事業統括本部 技師長） ２０２１年から本格研究を開始
- 63. 62 お断り n 推論に使った訓練済みモデルは、Yolo v3をCOCO で訓練させたモデルです。 n そのため、現実的でない訓練モデル・訓練データの可能 性があります n 例に出した写真は以下のオープンデータセットに含 まれているものです。研究目的以外には使えません 。利用制限に関しては各オープンデータのサイトを 御覧ください。 n BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ n Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPed estrians/