プロジェクトマネージャのための機械学習工学入門
•Download as PPTX, PDF•
1 like•911 views
本講演では、AIプロジェクトのプロジェクトマネージャが知るべき機械学習工学の入門を解説する。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to プロジェクトマネージャのための機械学習工学入門
Similar to プロジェクトマネージャのための機械学習工学入門 (20)
More from Nobukazu Yoshioka
More from Nobukazu Yoshioka (9)
プロジェクトマネージャのための機械学習工学入門
- 2. 1 チュートリアルの内容 機械学習工学概論、機械学習システムの要求 吉岡信和（早稲田大学） 機械学習システムの設計 鷲崎弘宜（早稲田大学） AIプロジェクトのマネジメント 内平直志（JAIST） → 吉岡が代理 AIプロジェクトにおける利害関係者との協働 竹内広宜（武蔵大学） 出版予定の本にもとづいています。
- 4. 3 機械学習を応用したシステム例 1. 売上向上： タクシー配車予測、店舗来客分析、生産量予測・生育予測（農業）、 需要予測（アパレル/小売） 2. コスト削減： コールセンターの自動化、点検の自動化など 3. 信頼性担保： がんの検出による診断支援、原油の備蓄量分析など 4. 監視/管理： 電力の需要・発電量の予測、ドライバーの安全管理など 5. 人員不足解消： 配達ルートの最適化、レジでの商品自動識別など 引用：【保存版】課題から探すAI・機械学習の最新事例52選, https://sorabatake.jp/11124/
- 6. 5 なぜ、機械学習が急速に発展しているのか？ データの普及 オープンサイエンスとオープンデータ IoT・センサーの普及 Crowed Sourcing: データの収集、ラベル付け マシンパワー クラウド・GPUの普及 研究者・技術者の急増 産業の発展 高性能なアプリケーション・ 新たなアプリケーションの発掘
- 7. 6 オープンサイエンスとオープンデータ ImageNet: http://www.image-net.org/ 1,400万枚を超える画像,物体名（クラス名）は2万種類以上 14,197,122 images, 21841 synsets indexed 画像に写っている物体名（クラス名）を付与 http://starpentagon.net/analytics/imagenet_ilsvrc2012_dataset/ Berkeley DeepDrive BDD100k: http://bdd-data.berkeley.edu/ Currently the largest dataset for self-driving AI. Contains over 100,000 videos of over 1,100-hour driving experiences across different times of the day and weather conditions. The annotated images come from New York and San Francisco areas. 訓練済みモデルの公開と集合知による改良 https://modelzoo.co/
- 8. 7 Content-Based Image Retrieval using Deep Learning CLS: Classification Error LOC: Localization Error AlexNet ResNet GoogLeNet 認識率の向上 ImageNet Large Scale Visual Recognition Competition
- 9. 8 従来システムと機械学習を応用したAIシステム の違い プログラミングが難しい処理 アルゴリズムに書き下すことができない 人が行っていた処理 訓練済みモデルの解釈は困難 計算に膨大な時間・リソース・情報が必要な処 理 リアルタイム処理が困難な計算 特定の状況におけるショートカットルールを機械学 習により抽出 例） 気象シミュレーション サポートベクタマシン 深層学習 決定木 予測性能 解釈可能性 ランダムフォレスト 妥当性確認 が難しい
- 10. 機械学習を使ったシステム開発
- 12. 11 機械学習に関するコードはシステム全体のコードの ごく一部でしかない コンフィグレー ション データの収集 特徴量の抽出 機械 学習 データの 検証 計算機リソースの 管理 分析ツール プロセス管理ツール 基盤のサービング モニタ リング D. Sculley, et al., Hidden technical debt in Machine learning 23 systems. In Proceedings of the 28th International Conference on Neural 24 Information Processing Systems -Volume 2 (NIPS' 15)
- 14. 13 ＭＬ開発＝訓練パイプライン＋推論パイプライン 機械学習モデル の要求 データ収集 データクリー ニング 正解データ 作成 前処理 訓練 訓練済みモデル の評価 訓練済みモデル のデプロイ 訓練済みモデル のモニタリング 外れ値を削除 欠損値を埋める ラベリング 推論パイプライン 訓練データ セット 生データ 検証データ セット 評価データ セット スケーリング、 形式変換、 データ拡張 生データ データ収集 前処理 推論 訓練済みモ デル 訓練済みモ デル 特徴量エンジニアリング 訓練パイプライン 訓練のためのプログラム 推論のためのプログラム
- 15. 14 システムの開発プロセスへの機械学習プロセス の組み込みパターン例 国立研究開発法人産業技術総合研究所 サイバーフィジカルセキュリティ研究センター. (2020). 機械学習品質マネジメントガイ ドライン. 産業技術総合研究所 人工知能研究センター. https://www.cpsec.aist.go.jp/achievements/aiqm/
- 17. 16 機械学習応用システムの開発と通常のシステ ム開発の違い 機械学習応用システムの仕様を事前に決めることができない 推論モデルのパラメータ（振る舞い）を訓練データから計算 試行錯誤（トライ＆エラー）が必須 システムの品質低下への対処 訓練済みモデルの品質低下、コンセプトドリフト データの傾向が時間とともに変化 データの収集・加工に膨大なコストが必要 データの管理が重要 利用データと訓練済みモデルのパラメータのバージョン管理が 必要 効率の良い試行錯誤、再現性の確保 機械学習モジュール間での影響が大きい 複数の訓練済みモデルを用いる場合注意が必要 Wan, Z., Xia, X., Lo, D., & Murphy, G. C. (2019). How does Machine Learning Change Software Development Practices? IEEE Transactions on Software Engineering, 1–14. https://doi.org/10.1109/tse.2019.2937083
- 18. 17 機械学習応用システムの開発の難しさ 機械学習を応用したシステム 確率・統計的な精度 訓練データに依存 従来型システムの開発 演繹的にアルゴリズム・論理の 組み合わせ • 適切なシステムの構築が困難 • 品質の担保が困難 0 20 40 60 80 100 プロジェクト管理 更新 問題の把握と修正（デバッグ） 運用 テスト，品質の評価・保証 アーキテクチャ設計 訓練データの収集・選択・生成やその管理 開発運用に関し顧客と行う意思決定 開発者へのギャップアンケート (278回答） 要求定義、テスト・品質保証が最も ギャップが大きい 根本的に異なる考え方が必要 手法が未成熟 特化したツールが存在 従来どおり ギャップ MLSE2018アンケート 調査結果より https://sites.google.com/view/sig-mlse/%E7%99%BA%E8%A1%8C%E6%96%87%E7%8C%AE
- 20. 19 機械学習応用システムの開発・運用の難しさ 要求抽出の難しさ 実現可能な要求の抽出と整理の難しさ 機械学習への期待が大きい そもそもどこまでできるのかが不明 AIシステムとしての新たな要求への対応 公平性、プライバシー、低い説明可能性の考慮 テスト・品質保証の難しさ 訓練プログラム・訓練済みモデルの妥当性の確認の難しさ 振る舞いを完全に把握できない 機械学習特有の脆弱性への対応 意図的に判断を狂わせる攻撃 訓練パイプラインの難しさ 発見的なプロセス、工数の予測が困難 コードの再利用の難しさ データ処理に関するマネジメントの難しさ ツールの未成熟 機械学習のためのバージョン管理
- 21. 20 えっ、なんで？？？
- 23. 22 DNNだと何が難しいのか？ 対象世界の広がり：実行環境・状況の複雑さ、不確かさ 実現に関する難しさ： 1. DNNで訓練されたモデルの複雑さ、意味付けの難しさ 2. 訓練済みモデルの制御した変更の難しさ 3. DNN特有の脆弱性 複雑なルールの組み合わせを自動で導出 どのような対象世界か不明、可能性が膨大 やってほしいこと （仕様） 自動運転システム DNN DNNの脆弱性に 起因したリスク 実行環境・状況に 起因したリスク 22
- 24. 23 実行環境・状況の複雑さ、不確かさ Czarnecki, K., & Salay, R. (2018). Towards a Framework to Manage Perceptual Uncertainty for Safe Automated Driving. International Conference on Computer Safety, Reliability, and Security, 439–445. 23
- 26. 機械学習工学の動向
- 27. 26 2018年度に設立 3000人以上の コミュニティ メルシー https://sites.google.com/view/sig-mlse https://mlxse.connpass.com/
- 28. 27 機械学習工学に関連するその他の活動 機械学習品質マネジメントガイドライン https://www.cpsec.aist.go.jp/achievements/aiqm/ AIプロダクト品質保証ガイドライン（QA4AI） http://www.qa4ai.jp/download/ 研究プロジェクト NEDO 「人と共に進化する次世代人工知能に関する技術開発事 業／実世界で信頼できるAIの評価・管理手法の確立／機械学習 システムの品質評価指標・測定テストベッドの研究開発」 JST 未来社会創造事業「機械学習を用いたシステムの高品質 化・実用化を加速する“Engineerable AI”技術の開発」 JST CREST「信頼されるAIシステムを支える基盤技術」
- 29. 研究動向
- 30. 29 研究動向 2018年（MLSE設立時）から急激に研究が増え てきている 著名なソフトウェア工学の国際会議のMLSE関連論文数 ICSE: 2022: 38件, 2021: 18件, 2020: 17件, 2019:7 件, 2018:1件 ASE: 2021: 11件, 2020: 8件、2019: 4件、 2018: 4件 FSE 2021: 17件, 2020: 25件、2019: 4件、2018: 1件 RE 2021: 3件, 2020: 3件、 2019: 1件、2018: 1件 平成30年度成果報告書 産業分野における人工知能及びその内の機械学習の活用状況及び人工知能技術の安全性に関する調査
- 31. 30 研究分野の動向 新しく立ち上がった国際会議 The AAAI's Workshop on Artificial Intelligence Safety, 2019-: https://safeai.webs.upv.es/ International Workshop on Artificial Intelligence Safety Engineering (WAISE) @ SAFECOMP, 2018-: https://www.waise.org/ AISafety @IJCAI, 2019-: https://www.aisafetyw.org/ 2020 USENIX Conference on Operational Machine Learning: https://www.usenix.org/conference/opml20 The Conference on Systems and Machine Learning (SysML): https://mlsys.org/ International Workshop on Machine Learning Systems Engineering (iMLSE)@APSEC, 2018- Safe AIに関するセンター Center for AI Safety (Stanford University, USA): http://aisafety.stanford.edu/ PRECISE Center of Safe AI (University of Pennsylvania, USA): https://precise.seas.upenn.edu/safe-autonomy コミュニティ The Software Engineering for Machine Learning Applications (Polytechnique Montreal, Canada) https://semla.polymtl.ca/organizers/
- 32. 31 最近のソフトウェア工学系の研究 1. テストの自動化の研究が多い 2. WSレベルではテストの妥当性の議論もされて いる 3. 原因追求に関してはサーベイ・ガイドラインレベ ルが出てきた 4. DNNの自動修正が出てきた ML系の研究ではセキュリティ・ロバストネス・フェア ネス（公平性）の観点での妥当性検証が多い
- 33. 32 今後有望な研究 DNNの訓練の理解： リバースエンジニアリング シナリオベースの影響分析 ⇒ 説明性（XAI）の研究 抽象化 DNNからの解析可能なモデルを生成・変換 微調整 訓練済みモデルの解析と修正 セマンティクスを考慮したDNN（知識融合型訓練） 解析しやすい・分割しやすい・解釈性が高いDNNアーキテクチャ 不正解のリスク、正解の価値を考慮した訓練 機械学習の最新セキュリティ研究が実際のAIシステムにどこまで有用 かの評価と整理 敵対的標本がAIシステム上どれくらいリスクとなり得るかを整理 DNN（関数）と意味モデル（セマンティクス） とのギャップを埋める
- 36. 35 ソフトウェア工学と機械学習の融合 ソフトウェア工 学 機械学習 演繹的パラダイム （トップダウン） 活動 活動 帰納的パラダイム （ボトムアップ） 活動 統計的性質・理論 機械学習理論の組込み 演繹と帰納を統合した 安全性分析・保証、再利用 安全性を分析しやすい機械学習 再利用しやすい機械学習 活動 活動 活動 工学的観点からの機械学習の 再整理、構築 制約範囲内の学習 知識獲得 エンジニアリング可能な機械学習！ ML特有の不確実性を克服
- 37. 36 エンジニアリング可能な機械学習 性能 工学的観点(安全性、再利用性、メンテナンス性など) (D)NN エンジニアリング可能な (D)NN アンサンブル エンジニアリング可能な アンサンブル学習 SVMs エンジニアリング可能な SVMs DT エンジニアリング可能な DT プログラミング 価値を出せる最低性能 運用可能なシステム エンジニアリング可能な 機械学習 高安全な機械学習
- 38. 37 まとめ 機械学習応用システムと機械学習工学 機械学習応用システムの開発の従来との違い データに関するプロセス、試行錯誤のプロセス 機械学習応用システムの開発の難しさ 要求の難しさ 実現可能性 安全性確保の難しさ テスト・品質保証の難しさ 新たなセキュリティ・プライバシーの問題 機械学習工学の動向と今後の方向性 演繹と帰納のパラダイム融合 決定的モデルと確率・統計的モデルの融合 機械学習とシステムのライフサイクルの融合
- 39. 38 お断り 推論に使った訓練済みモデルは、Yolo v3をCOCO で訓練させたモデルです。 そのため、現実的でない訓練モデル・訓練データの可能 性があります 例に出した写真は以下のオープンデータセットに含 まれているものです。研究目的以外には使えません 。利用制限に関しては各オープンデータのサイトを 御覧ください。 BDD100K: A Large-scale Diverse Driving Video Database: https://bair.berkeley.edu/blog/2018/05/30/bdd/ Caltech Pedestrian Detection Benchmark: http://www.vision.caltech.edu/Image_Datasets/CaltechPed estrians/