Download as PDF, PPTX
![機械学習シス
テム開発課題
機械学習
チーム
開発チーム
根拠を欠くリ
リース
利用者
機械学習モデルの性能問題
・リスクに関する誤解や見落
とし・不整合
非安全な利用体験
高リスクな機械学
習システム
高リスクな
機械学習モデル
機械学習モデルに対する要求 プロジェクト・システムの要求
追跡困難
プロジェクトやシステムレベル
における誤った評価
追跡困難で行
き当たりばった
りな改善戦略
、比較困難
• 機械学習チームとソフトウェア開発チームが異なるサイロ作業
• 機械学習を組み入れたシステムの安全性リスク、性能上の誤った判断の誘発
安全性: 特定交通標識の誤分類を抑制
機能・利便性: 高速可能な道路を認識
機械学習による交通標識認識
の正解率が [0.9, 1.0]
「30km制限」を「
80km制限」と誤分
類
自動運転車における速度制
限超過に伴う恐怖や事故リ
スク [*]
[*] Guardian, “Tesla recalls 362,000 vehicles over self-driving software flaws that risk crashes” 2023/2/16
3](https://image.slidesharecdn.com/eai-fw-eai-20250116-250116103946-4153503b/85/AI-eAI-2025-1-16-3-320.jpg)
![5
側面 フレームワーク M3S [Villamizar+] [Nalchigar21] [ML-Quadrat] [Koseler19]
ビジネス要求 価値 機械学習目標 ビジネス
利用者 価値 UX ビジネス
アーキテク
チャ
アーキテクチャ インフラ
データ データ データ データ表現 テキスト クラス図
安全性 安全性
論証 論証
機械学習タス
ク・性能
機械学習タスク、ゴール 図・モデル 分析 テキスト クラス図
機械学習モ
デル訓練
統合パイプライン コード生成 コード生成
機械学習性
能テスト
統合パイプライン コード生成 コード生成
機械学習モ
デルの高信
頼化戦略
統合パイプライン
包括的、統
合を通じ根
拠を伴う適
切な文書化
マルチビュー・アプローチ モデルベース・アプローチ
機械学習モデル訓練・テ
ストとの統合を欠く
高いレベルの分析を欠く](https://image.slidesharecdn.com/eai-fw-eai-20250116-250116103946-4153503b/85/AI-eAI-2025-1-16-5-320.jpg)
![機械学習システムのマルチビュー・モデリング [Software Quality J. ’24]
ML Canvas
AI Project Canvas Safety Case
Architectural Diagram (SysML) KAOS Goal Model
STAMP/STPA
Value
MLOps Architecture Goals
Safety
Argumentation
Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi-
view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
7](https://image.slidesharecdn.com/eai-fw-eai-20250116-250116103946-4153503b/85/AI-eAI-2025-1-16-7-320.jpg)
![一貫性・追跡性保証の
ためのメタモデル [ICEBE’23]
ML Canvas
AI Project Canvas
Safety Case
KAOS Goal Model
STAMP/STPA
Architecture (SysML)
ML workflow
pipeline
8
Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic
Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper Award
Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning
Projects and its Management,” Future Generation Computer Systems, Elsevier, pp. 1-12, 2024.](https://image.slidesharecdn.com/eai-fw-eai-20250116-250116103946-4153503b/85/AI-eAI-2025-1-16-8-320.jpg)
![メタモデルに基づく拡張
20
Hiroshi Tanaka, Ide Masaru, Kazuki Munakata, Hironori
Washizaki, and Nobukazu Yoshioka, “Activity-based modeling
strategy for reliable machine learning system analysis targeting
GUI-based applications,” 10th International Conference on
Dependable Systems and Their Applications (DSA 2023)
機械学習システムのメタモデル
軽量なアクティビ
ティベースの信頼
性・安全性リスク
解析の拡張
[DSA’23]
Business-ML alignment model ML canvas AI canvas
機械学習シス
テムのビジネ
ス整合確保の
ための拡張
[FGCS’24]
Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori
Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based
Metamodel for Machine Learning Projects and its Management,”
Future Generation Computer Systems, Vol. 32, 2024](https://image.slidesharecdn.com/eai-fw-eai-20250116-250116103946-4153503b/85/AI-eAI-2025-1-16-20-320.jpg)
Uploaded byHironori Washizaki
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
More Related Content
![UX 아카데미 오픈프로젝트 [쿠팡이츠 - UX/UI 개선]](https://cdn.slidesharecdn.com/ss_thumbnails/rbuxa20coupangeats-221226074523-66d02e9c-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
鷲崎弘宜, "高品質なAIシステムの開発・運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
- 1. 高品質なAIシステムの開発・運用のための フレームワーク 鷲崎 弘宜 早稲田大学 /国立情報学研究所 / エクスモーション http://www.washi.cs.waseda.ac.jp/ 謝辞: eAIフレームワークチーム（参加: アイシン、富士通、ライフマティックス 、武蔵大、JAISTほか）ならびに関係者各位 JST未来社会創造事業JPMJMI20B8 機械学習を用いたシステムの高品質化・実用化を加速する"Engineerable AI" 技術の開発 eAIシンポジウム 2025年1月16日 1
- 2. フレームワーク（共通の仕組みをまとめた枠組み）による効率化・高品質化 開発 Dev 運用Ops 開発チーム 利用者 機械学習 システム モニタリング・フィ ードバック 稼働・運用 システム レベル要求 リリース 機械学習 モデル 統合 機械学レベ ル関心事 機械学習 チーム 機械学習レベ ル要求 機械学習 ML 訓練・調整 開発チーム 利用者 ソフトウェアシ ステム モニタリング・フィ ードバック 稼働・運用 システム レベル要求 リリース 従来のフレームワーク 求められる一気通貫のフレームワーク 訓練パイプライン Accuracy = 0.8 Recall = 0.7 Precision = 0.7 Accuracy = 0.9 Recall = 0.6 Precision = 0.95 様々なバー ジョン データセット 設定 現実的目標か? リスクは許容 されうるか？ 不確実性を持つ 機械学習部分を どのように扱えるか？ どのバージョン を扱うべきか？ どのように安全性 リスクや性能を 検討・対話・改善 できるか？ 2
- 3. 機械学習シス テム開発課題 機械学習 チーム 開発チーム 根拠を欠くリ リース 利用者 機械学習モデルの性能問題 ・リスクに関する誤解や見落 とし・不整合 非安全な利用体験 高リスクな機械学 習システム 高リスクな 機械学習モデル 機械学習モデルに対する要求 プロジェクト・システムの要求 追跡困難 プロジェクトやシステムレベル における誤った評価 追跡困難で行 き当たりばった りな改善戦略 、比較困難 • 機械学習チームとソフトウェア開発チームが異なるサイロ作業 •機械学習を組み入れたシステムの安全性リスク、性能上の誤った判断の誘発 安全性: 特定交通標識の誤分類を抑制 機能・利便性: 高速可能な道路を認識 機械学習による交通標識認識 の正解率が [0.9, 1.0] 「30km制限」を「 80km制限」と誤分 類 自動運転車における速度制 限超過に伴う恐怖や事故リ スク [*] [*] Guardian, “Tesla recalls 362,000 vehicles over self-driving software flaws that risk crashes” 2023/2/16 3
- 4. 実現フレームワーク に基づく開発 機械学習 チーム 開発チーム 利用者 安全な利用 体験 機械学習モデル改善・容易な比較 根拠を伴い記録された 訓練・改善戦略 機械学習部分を組み入 れたリスク解析と対策 根拠・責任あるリ リース判断 一貫した情報、機械学習モデルから システム・上位目標までの整合 リスクを抑えられた機 械学習システム • 機械学習モデルからシステムまでの全体へとアクセス可 •チーム間のフィードバックループが可能になり、機械学習部分 を組み入れたシステムの安全性リスクへ根拠をもって対応 高リスクな標識「 80km制限」を優先 した機械学習モデ ル調整 「30km制限」の「80km制 限」誤分類リスク特定、低 減確認 「100km制限」を認識し機 能・利便確保 速度制限を 遵守し安全 かつ利便 均等な調 整の試み 対象を絞っ た調整 誤分類 要求・ゴール ゴール 論証上 の分解 対策 システムか ら部分まで 要求追跡 4
- 5. 5 側面 フレームワーク M3S[Villamizar+] [Nalchigar21] [ML-Quadrat] [Koseler19] ビジネス要求 価値 機械学習目標 ビジネス 利用者 価値 UX ビジネス アーキテク チャ アーキテクチャ インフラ データ データ データ データ表現 テキスト クラス図 安全性 安全性 論証 論証 機械学習タス ク・性能 機械学習タスク、ゴール 図・モデル 分析 テキスト クラス図 機械学習モ デル訓練 統合パイプライン コード生成 コード生成 機械学習性 能テスト 統合パイプライン コード生成 コード生成 機械学習モ デルの高信 頼化戦略 統合パイプライン 包括的、統 合を通じ根 拠を伴う適 切な文書化 マルチビュー・アプローチ モデルベース・アプローチ 機械学習モデル訓練・テ ストとの統合を欠く 高いレベルの分析を欠く
- 6. メタモデル メタモデルに基づく高信頼AIシステム 開発のフレームワーク 交通標識認識 深度推定・ セグメンテーション 訓練データ 問題追跡・ 可視化 セキュリティや 使いやすさを含 む要求分析 リスク評価 AI訓練・評価 リスク再評価 AI修正 リスク特定と 論証 解決追跡・ 可視化 品質改善の戦略＆論証 （例: AIモデル修正、セ ーフガード） 誤認識・ 誤動作 問題分析・リスク解析AI訓練・評価・修正 AI・ソフトウェア・システム・シ ステム間連携 設計 解決・設計 要素 レイヤや対象を超えた対応関係・追跡・一貫性維持 6
- 7. 機械学習システムのマルチビュー・モデリング [Software QualityJ. ’24] ML Canvas AI Project Canvas Safety Case Architectural Diagram (SysML) KAOS Goal Model STAMP/STPA Value MLOps Architecture Goals Safety Argumentation Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024. 7
- 8. 一貫性・追跡性保証の ためのメタモデル [ICEBE’23] ML Canvas AIProject Canvas Safety Case KAOS Goal Model STAMP/STPA Architecture (SysML) ML workflow pipeline 8 Hironori Takeuchi, Jati H. Husen, Hnin Thandar Tun, Hironori Washizaki and Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for a Holistic Business – IT Alignment View on Machine Learning Projects,” IEEE International Conference on E-Business Engineering (ICEBE 2023), Best Paper Award Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning Projects and its Management,” Future Generation Computer Systems, Elsevier, pp. 1-12, 2024.
- 9. 道路標識認識の例 街中 高速道路 AIプロジェクトキャンバス MLキャンバス アーキテクチャ設計 データ スキル 出力 価値提案 統合 ステーク ホルダ 顧客 コスト 収益 街中と高速道路とで信頼性・安全性を考慮して 許容可能な認識精度の機械学に基づくシステム をどのように開発、改訂できるか？ JatiH. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
- 10. 10 機械学習モデルA モデルB モデルC 分類の性能評価 安全性・信頼性論証 誤分類データ修正に向けた選択 バランスの取れた修正 修正結果 積極的な修正 さらなる改訂へ 1. データの改訂 2. 画像の質向上に 向けたアーキテク チャ改訂 3. ビジネスゴール の見直し 誤分類データ 安全性解析 要求・ゴール分析 Jati H. Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Thandar Tun, Yoshiaki Fukazawa, Hironori Takeuchi, “Integrated Multi- view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, pp. 1-51, Springer, 2024.
- 12. 分析設計モデリングの仕組み 1. 要求の構造化定義（例えば個 々のラベル別の最低予測性能） 3. 性能モニタリングによる不 満足要求の特定 2.深層学習モデルの要求満足状況 の確認 5. 性能改善のための戦略追加（ 例えば深層学習モデル調整） 6. 調整後の深層学習モデル の性能の取り込み 7. 不満足要求の新規満足の確 認 4. 不満足の影響が伝搬する他 の分析設計モデル箇所の特定 8. 関連する他の分析設計モデ ル上の変化の確認 Jati Husen, Hironori Washizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Integrated Multi-view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, Vol. 32, Springer-Nature, 2024 プラグイン 12
- 13. フレームワーク適用実験を通じた有用性確認 Jati Husen, HironoriWashizaki, Jomphon Runpakprakun, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Integrated Multi-view Modeling for Reliable Machine Learning-Intensive Software Engineering,” Software Quality Journal, Vol. 32, Springer-Nature, 2024 • Control Group: 6名（実務家4、学生2） • Experiment Group: 7名（実務家4、学生3） バランス の取れた DNN調整 積極的な DNN調整 13 作業時間の短縮、確認＆検討時間の大幅短縮効果 DNN調整を通じた要求満足状況の確認・評価に効果
- 14. New versions of artefacts Trainingfeedback (Re-)Training artefacts Old versions of artefacts モデリングとMLパイプライン統合 マルチビュー モデリングツール 統合プラグイン ML Model Performance Monitor モデル調整 ツール統合 他のプラグイン 機械学習 パイプライン 機械学習モデル訓 練 バージョン コントロール Model-driven decisions (Re-)Training, Repair Configurations and Parameters メタモデル Multi-view traceability guide ML artefact - elements connection guidance Artefact version monitoring guidance Data Version Control DVC Pipeline Jomphon Runpakprakun, Jati H. Husen, Hironori Washizaki, Nobukazu Yoshioka, Yoshiaki Fukazawa, “Towards Integrated Model-Based Machine Learning Experimentation Framework,” 10th International Conference on Dependable Systems and Their Applications (DSA 2023) 14
- 15. 成果格納システム (in docker-compose) Kubernetes System (minikube) 実験・実行管理フレームワーク コンテナレジストリ(GitLab) オブジェクト格納ストレージ (MinIO) バージョンコントロール (GitLab) ワークロードPod 実験・実行リポジトリ 利用者 API/CLI エンドポイント Command execution Config updates Experiment deployment Experiment versioning モデリングとMLパイプライン統合: バックエンド側 詳細 15 DVC Pipeline
- 16. 1. リスク特定 1. ML分類器や周辺の相互作 用着目による非安全制御動 作特定 2.リスク分析 1. 複数側面に基づく拡張混同 行列の構築 2. 一定規模データセットによる 分類器の誤分類の頻度測定 3. 非安全制御動作のリスクレ ベル決定 3. リスク評価 1. 非安全制御動作の優先順位 付けと対応是非・方針検討 4. リスク対応 1. 対策の実施 2. リスク再評価 UCA4-P-2 (Specific UCAs) Classification model misclassified “30 km/h” as “80 km/h” Classification model misclassified “60 km/h” as “20 km/h” … リスク解析: MLコンポーネントレベル・ 交通標識の認識例 16 大久保利哉ほか, “機械学習システムの不確実性を考慮したデータ駆動型かつシナリオベースのリスク分析”, 情報処理学会 第218回 ソフトウェア工学研究発表会, 2024
- 17. リスク解析（つづき） 1. リスク特定 1. ML分類器や周辺の 相互作用着目による 非安全制御動作特 定 2.リスク分析 1. 複数側面に基づく拡 張混同行列の構築 2. データセットによる誤 分類の可能性評価 3. 非安全制御動作のリ スクレベル決定 3. リスク評価 1. 非安全制御動作の 優先順位付けと対応 検討 4. リスク対応 1. 対策の実施（DNNリ ペア、データ拡張な ど） 2. リスク再評価 17 セーフティケー スにおけるリス ク対策の検討 （例: 20km, 30km, 50km, 60kmの分類精 度に重点をo いたDNN調整） 対策前 対策後 多側面に おける重大 度の設定 発生可能性 ＆重大度 → リスク
- 18. ソリューションガイドとしてのパターン群 特定文脈での問題と解決をまとめたもの • 抽象と具象のつなぎ、問題・解決再利用、アーキテクチャ一貫 • 様々な利害関係者間の共通言語 パターン化とフレームワーク統合 •『Software-Engineering Design Patterns for Machine Learning Applications』15 のパターン, IEEE CS旗艦誌Computer掲載, Best Paper Award • 機械学習パターン適用支援（および検出） Data Layer Logic Layer Presentation Layer User Interface Database Data Collection Data Lake Business Logic Data Processing Inference Engine Real World Business Logic Specific ML Specific Architectural Layers Deployed as ML System Business Logic Data Flow ML Runtime Data Flow ML Development Data Flow Legend パターン 文脈 問題（品質要求） 解決 一部クラスの DNN調整 DNNによる分 類・・・ 一部クラスの分類 性能の低さ DNNの部分自 動調整・・・ モデルから のビジネスロ ジック分離 機械学習アルゴリ ズム依存のビジ ネスロジック・・ ビジネスロジックと アルゴリズムの頻 繁な変更・・・ API設定と3レ イヤ化・・・ 一部クラスのDNN調整 モデルからのビジネスロジック分離 18 Hironori Washizaki, et al., “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer, Vol. 55, No. 3, pp. 30-39, 2022 (Best Paper Award)
- 19.
- 20. メタモデルに基づく拡張 20 Hiroshi Tanaka, IdeMasaru, Kazuki Munakata, Hironori Washizaki, and Nobukazu Yoshioka, “Activity-based modeling strategy for reliable machine learning system analysis targeting GUI-based applications,” 10th International Conference on Dependable Systems and Their Applications (DSA 2023) 機械学習システムのメタモデル 軽量なアクティビ ティベースの信頼 性・安全性リスク 解析の拡張 [DSA’23] Business-ML alignment model ML canvas AI canvas 機械学習シス テムのビジネ ス整合確保の ための拡張 [FGCS’24] Hironori Takeuchi, Jati H. Husenb, Hnin Thandar Tun, Hironori Washizaki, Nobukazu Yoshioka, “Enterprise Architecture-based Metamodel for Machine Learning Projects and its Management,” Future Generation Computer Systems, Vol. 32, 2024
- 21. まとめと展望 • フレームワークの必要性 – 従来開発との違い •高信頼AIシステム開発フレームワーク – メタモデルに基づく整合と追跡 – 多面的モデリング – MLワークフローパイプライン統合 – リスク解析＆パターン • 展望 – メタモデル拡張に基づく適用展開 – （生成）AIに基づくモデリング・高信頼化支援 21