Download as PDF, PPTX
Uploaded byNaoshi Uchihira
AIシステム開発のプロジェクトマネジメント
AIシステム、特に機械学習システムの開発は、従来のITシステム開発にはない様々な難しさがある。本講演では、機械学習システム開発におけるプロジェクトマネジメントの特徴、難しさを整理するとともに、具体的な企業の取り組み事例を通じて、困難を乗り越えるためのポイントを説明する。
AIシステム開発のプロジェクトマネジメント
- 1. Copyright 2023, JAISTNaoshi Uchihira. 武蔵大学AIの社会浸透研究会 第1回公開セミナー「AIの社会実装に向けた技術的課題と取り組み」 AIシステム開発の プロジェクトマネジメント 1 2023/10/18 内平直志(Naoshi Uchihira) 北陸先端科学技術大学院大学 uchihira@jaist.ac.jp
- 2.
- 3. 3 機械学習システム開発プロジェクトが失敗するパターン 参考：ブレインパッドほか，失敗しない データ分析・AIのビジネス導入，森北出版，2018. プロジェクトの立ち上げ ＰｏＣ （概念検証） ビジネス適用 ゴール設定アセスメント 分析設計 実施・評価 実地試験 開発 運用・保守 目的が曖昧 ・データから何か見 つけて！ ・ＡＩ導入が目的化 データが使えな い ・存在しない ・品質が悪い 数値目標の罠・ 機械学習では数値 目標（要求仕様）が 設定できない ミスが見えない・分析 作業でミスをしていても精 度では分からない場合が ある 引継ぎ問題 ・優秀なエンジニ アは運用時まで残 らない。 使われない ・実際の業務にフ ットしてない 環境変化に対 応できない 機械学習システムの開発・運用プロセス
- 4. 4 機械学習システム開発の課題・ニーズ ■調査報告 ・NEDO, “産業分野にお ける人工知能及びその 内の機械学習の活用状 況及び人工知能技術の 安全性に関する調 査,”2019. ・IPA, “AI白書2019,”角 川アスキー総合研究所, 2018，など． ■インタビュー デンソー，パナソニック， スバル，キオクシア， キューピー，ブレインパッ ド，フューチャー，ＮＴＴ データ，東芝など． http://www.jaist.ac.jp/ks/labs/uchihira/mlas-pm-map.html
- 5. 5 機械学習システム開発の課題とニーズ カテゴリ 具体的な課題（例） 信頼性・安全性 学習時と運用時のデータの違い、悪意を持ったユーザへの対応、モ デル洗練化とコストのバランス、どこまで検証すればよいか不明、 帰納（機械学習）と演繹（ルール・物理モデル）との融合。 効率・生産性適切なモデル・アルゴリズムの選択、タグ付けコストの削減、モデ ルの再利用、バージョン管理。 プロセス管理 試行錯誤で開発工数が読めない，顧客の期待値のギャップ，ＡＩシ ステムの品質管理担当者が不在，知識継承・引継ぎ問題，現場との 乖離 人間とAIの関係 ＡＩの結果を顧客に納得してもらう説明性，行動に結び付く結果で ないと使えない，人間のＡＩへの適応 ビジネス・経営 PoC(Proof of Concept)貧乏、マネタイズの難しさ，オープンイノベー ションの推進． 基準の必要性 安全基準・品質保証ガイドラインの必要性、契約時の免責、障害時 の責任。EUのAI規制法（AI Act），G7 生成AIのルール AIの正しい理解 AIブームに翻弄（AI導入が目的化）、AIの限界の理解不足。 AI人材育成 AIを活用できる経営者・ユーザ・マネジャー・システム開発者の人材 不足。 プ ロ ジ ェ ク ト マ ネ ジ メ ン ト
- 6. 6 プロセス管理の課題・ニーズ • 試行錯誤で開発工数が読めない：試行錯誤のマネジメントが必要 → パナソニック，アイシン，リクルートの事例 •顧客の期待値のギャップ：顧客の期待値のギャップが大きいと困難 を生じる。顧客の期待値の管理が重要。官公庁は、ＡＩを使うと予 算が付くが、顧客がＡＩでどこまでできるか理解していない（総合 ITソリューションベンダー） • ＡＩシステムの品質管理担当者が不在：ＡＩ品質管理担当者を置い ている部門もある（AIソリューションベンダー） • 現場との乖離：現場とデータサイエンティストのギャップは結果を 示すことで解消 （現場はＡＩを信じないが，説明可能性も求めな い）（ユーザ企業），現場で使えるシステム・運用法開発が重要 （歩留まり新聞）（ユーザ企業）
- 7. 7 AIと人間の関係の課題・ニーズ • ＡＩの結果を顧客に納得してもらう説明性：ＡＩを活用した 与信審査において，ステークホルダ（融資を断る顧客）に対 して解釈・説明可能性が求められるが，内部での説明と実際 の顧客への説明は異なる．顧客に納得してもらうための説明 でなければならない．（総合ITソリューションベンダー） • 行動に結び付く結果でないと使えない：説明可能であっても 、その説明によりアクションに結び付かないと意味がない． 例えば、ソフトウェア開発で、機能の数とバグの数の相関が わかっても、機能を減らすわけにはいかない（ユーザ企業） •人間のＡＩへの適応：商標の類似検索システムでは、人間が 検索システムに適用している．この場合，精度の視点でＡＩ を変えると適応している人間が困ることがある． （総合ITソリューションベンダー）
- 8.
- 9. 9 可視化 予測 最適化 自律化 人間の役割 機 械 の 役 割 人間と機械の関係は 信頼関係も含めて 安定した状態間を 非連続的に深化する Okuda, et.al.(2021) ExploitationPattern for Machine Learning Systems, ITC-CSCC 2021. 機械学習システムにおける人間と機械の関係の深化 各フェーズにフィットした 機械と人間の関係の設計が必要 （自動運転の例）
- 10.
- 11. 11 ビジネス・経営の課題・ニーズ • ＰＯＣから本格研究への移行へのキャズム： – ＡＩ導入が目的になってしまって、ＡＩならではの効果や付 加価値の創出を織り込んだビジ ネス提案までたどり着けない （NEDO報告書） – POCから本開発に進めるポイントは投資対効果の明確化や実運 用を見越したアーキテクチャ設計やデータの準備 （ITソリューションベンダー） – モデルの現場への導入にあたっては，Ｆ値などの指標で説明 しても理解されない．導入効果を「金額」で示したら理解さ れ，評価された（ユーザ企業） 知恵を絞ってシミュレーション等で効果を可視化し 経営者の背中を押す材料を提供 （パナソニックの事例）
- 12.
- 13.
- 14.
- 15. 15 DX推進プロジェクトの関係者にインタビュー 企業属性 部署 A 電機メーカーDX推進部門 B 電機メーカー 研究開発部門 C 素材メーカー DX推進部門 D 電子商取引部門 社内システム開発部門 E AIシステムベンダー 経営者 F 医療系アウトソーシン グサービス企業 情報システム部門 日本企業6社のDXプロジェクトに携わる専門家6名を対象に、1〜2時間 の半構造化オンラインインタビューを実施．DXプロジェクトの阻害要因 を分類・分析．
- 16. 16 ７つの困難パターン 1. 現在の業務が優先され、DXに割く時間がない。 (事業運営部門×DX推進部門） 2. 投資に対するリターンが説明できない。 (事業運営部門×DX推進部門） 3.経営トップやDX推進本部の意向が業務部門に伝わっていない。 (経営者・DX推進部門×事業運営部門) 4. データサイエンティストは、ビジネスオペレーションで何が起こ っているのか知らない。(DX推進技術部門×業務部門) 5. 顧客は自分のデータをITベンダーに渡したくないと思っている。 (ITベンダー×業務部門) 6. 業務部門は、現状のプロセスに満足している。 (DX推進部門×業務運営部門) 7. AIブームをきっかけとしたAI導入の目的の不明確さ。 (ITベンダー×業務部門)
- 17. 17 ステークホルダ間の協働を阻害するギャップ ギャップ名 説明 例 情報 （形式知） 情報（伝達可能な形式知）の非対 称性によるギャップ。 ＤＸ推進部門が持っている最新のAI技術 に関する情報を現場は知らない。 経験 （暗黙知） 関係者の過去の経験（暗黙知）に 基づく知識のギャップ。 DX推進部門やITベンダーが現場の実態を 知らずに理想論でDXを推進しようとする。 将来認識DXの目的や将来の方向性や道筋に 関する認識の違い。 経営者はDXを推進しないと会社の将来は ないと危機感を持っているが、現場は今 の延長でも問題ないと思っている。 評価基準 それぞれの部門の評価基準・優先 度の違い。 DX推進部門はDXを進めたいが現場は直近 の業務の着実な遂行を優先する。 利害 部門間で利害が相反する。 ITベンダーにとって顧客企業データをす べて欲しいが、顧客企業とってノウハウ をITベンダーに提供したくない。 相互信頼 部門間の信頼がないと、不確実な 将来に対してネガティブになる。 ＤＸが本当にうまくいくのかわからない が、ＤＸ部門の信頼できる人が言うので ついていく。 取組ペース 部門間でDX推進のペースが合わな い。 DX推進部門と従来型の現場では取り組み のペースが異なる。 ギャップを解消するマネジメントが必要
- 18. 18 機械学習システム開発のプロジェクトマネジメントの特徴 機械学習システム開発プロジェクトでは、段階的かつ継続的に 「不確実性」と「試行錯誤」のマネジメントを行うことが重要 出典：産業技術総合研究所,機械学習品質マネジメントガイドライン 第2版, 2021. 構想システム定義 リスク分 析 要求定義 データ検 討・準備 機械学 習・訓練 品質検査 訓練・実 験 結果検討 PoC段階 試行錯誤 データ準 備・整理 開発段階 試行錯誤 総合検査 運用 性能監視 利用終了 要求の変更を と伴う改修 運用時 データ収集 追加学習・ 修正 品質検査 システム 更新 運用改善段階 試行錯誤
- 19. 19 機械学習システム開発の成功要因 小西と本村 は産総研が企業と取り組んだ２８件の機械学 習システムのプロジェクトを分析し成功の要因を抽出． ① プロジェクトの目的や活用シナリオが明確で、目標と なる指標（KPI）が設定できる。 ②現場のニーズが強くモチベーションが高く協力が得ら れる。 ③ 必要なデータが低コストで持続的かつ拡張的に収集で きる。 ④ 社内体制が構築でき運用と改善が継続できる。 出典：小西葉子, 本村陽一,AI 技術の社会実装への取り組みと課題~ 産総研 AI プロ ジェクトから学ぶ. RIETI Policy Discussion Paper Series 17-P-012, 2017．
- 20. 20 関係者の積極的な協力を得るためには • 機械学習システムによる人間の業務の自動化においては、必要な データの収集のためには現場の担当者の協力が不可欠． • 現場の担当者にとっては本来業務でない余計な作業であり、さら に自動化によって自分の仕事がなくなるという危惧もあり、協力 を得るのは簡単ではない． •田中と久保は、データの整備やモデルの評価・調整に多くの現場 関係者の本来業務以外の協力が不可欠であり、関係者の積極的な 協力を得るためには、「ありのままの姿」から「あるべき姿」へ の「優れたシナリオ」が有効だとし、それをP2Mに基づき考察． • P2Mでは、「あるべき姿」を複数のプロジェクト群で実現する。 「優れたシナリオ」には、「あるべき姿」が実現できるという「 根拠」と「あるべき姿」が自分たちにとってもメリットになると いう「魅力」が必要。 出典：田中 裕子, 久保 裕史,"人工知能を活用した業務自動化における P2M 理論の適用," 国際P2M学会誌, vol.12, no.2, pp.1-16, 2018.
- 21. 21 Step1:顧客と提供価値の明確化 Step2: IoT/AIによる提供価値実現 Step3: エコシステムの戦略策定 Step4:デジタル・イノベーションに 特有のリスクマネジメント 価値創造 キャンバス SCAIグラフ オープン＆ クローズ キャンバス プロジェクトFMEA 価値設計 戦略設計 プロジェクト 設計 システム 設計 関係者間のギャップを解消する手法 デジタルイノベーションデザイン手法（JAIST） 日立製作所：顧客協創方法論「NEXPERIENCE」 NEC：デジタルエクスペリエンスデザイン， 戦略技術ロードマッピング，など 出典：内平直志."IoT 時代のイノベーション・デザイン." 研究 技術 計画 33.4 (2018): 334-344.
- 22. 22 ＡＩプロジェクトマネジメント事例 事例１：AIを活用した工場の生産設備の予知保全 （パナソニック） 事例２：機械学習による画像からの製品の欠陥検知 （アイシン） 事例３：ネットサービスにおけるAIを活用した利用体験の最適化 （リクルート） 事例４：電力需要予測のための機械学習システム開発 （東芝） ポイント： 1. 試行錯誤のマネジメント 2. 投資対効果の捻出 3. 品質保証問題の解決
- 23.
- 24.
- 25. 25 事例１：AIを活用した工場の生産設備の予知保全（パナソニック） • 機械学習モデル構築の試行錯誤のプロセスの可視化と進捗管理 – プロジェクトの最終目標とそれを達成するための課題および候補 となる方法と優先順位をKPIツリーとして整理． –プロジェクトの推進構造と進捗状況を可視化． プロジェクト の最終目標 （KGI） 解決課題A (KPI) 解決課題B (KPI) 解決方法A1 解決方法A2 解決方法B1 解決方法B2 解決課題A1A (KPI) 解決方法A1A1 解決方法A1A2 出典：浜田伸一郎 吉岡信和 内平直志,KPIツリーを用いた機械学習プロジェクト管理 フレームワーク,日本ソフトウェア科学会第38 回大会(2021 年度) 講演論文集,2021.
- 26. 26 事例１：AIを活用した工場の生産設備の予知保全（パナソニック） •機械学習システムの段階的評価 – 機械学習システムの効果を事前に予想するのは難しい． – 「鶏が先か卵が先か」問題をシミュレーションも活用した段階的評価で解決． –「利用シナリオ」と「保全・故障のコストモデル」から、総合的なコストシミ ュレーションを行い、効果を金額で示す． – シミュレーションでは、多くの仮定を置く必要があるが、効果を「金額」で示 すことにより、経営者の意思決定を促すことができた． •生産設備の故障に関するデータを補完的に作成 – 生産設備の状態（故障を含む）に関するログデータは記録されていなかった． – ログデータに含まれている単位時間当たりの製品不良数に注目し、そこから生 産設備の状態のラベル付けを行い課題を解決． •工場の生産設備のデータは機密性への対応 – 機械学習モデルは社内の専門家が行った．外部の専門家に委託する場合は大き な障壁となることが予想される．
- 27. 27 事例２：機械学習による画像からの製品の欠陥検知（アイシン） Duy, Truong VinhTruong, and Naotake Natori. "Efficient Defect Detection from Consecutive Monocular Images by Deep Learning." 2020 19th IEEE International Conference on Machine Learning and Applications (ICMLA). IEEE, 2020. 機械学習を活用した製品の品質検査の自動化プロジェクト
- 28.
- 29.
- 30. 30 機械学習モデル構築の試行錯誤プロセス • 課題・ニーズ調査 PJメンバーが、現場の課題・ニーズを丹念に聞き、真のニーズを引き出す． • ベースラインの設定と予備実験・課題抽出 技術調査で使えそうな手法（ベースライン）を選択し、適用上の課題を抽出し 、改善することで、実用化までのリードタイムを短縮．本事例では、ベースラ イン手法が、欠陥検出に必要なミリオーダーの精度は出ず，対策を抽出し、構 造化し、予想導入効果と開発期間を考慮して優先順位をつけた． •改良手法の検討と前提条件変更 優先順位に基づき、様々な手法を試行錯誤で実施．様々な手法を適用してみた ものの、目標精度を実現できなかったが、前提条件としていた「カメラのフレ ームレート」を変更することで、精度が向上する可能性があり、現場との交渉 を行い、認められた．現場の真のニーズの把握に基づく柔軟な発想、現場との 信頼関係、交渉術が必要． • 導入後のフォローアップ 「コンセプトドリフトへの対応」「クレームに即対応」「現場への導入教育や 定期講習」「ドキュメントやマニュアル整備」「現場が自立化できるよう調整 や校正のツール（再学習・追加学習・能動学習）の用意」などを実施．
- 31.
- 32. 32 事例３：ネットサービスにおけるAIを活用した利用体験の最適化（リクルート） • ネットサービスの利用者である個人と企業にはそれぞれのニー ズがあり、それを満たすためのバランスをとる設計が難しい。 • 良い結果を出すためには、単体の機械学習モデルではなく、課 題を部分問題に分割して、その組み合わせで結果を出す必要が あるが、部分問題への分割設計なども難しい。また、過去デー タがたまってない場合は、人間の経験値から推定してモデル化 する必要もある。 •これらの開発は、本質的に試行錯誤が重要であるが、インター ネットサービスでは、本番環境での試行錯誤を行う点が、スマ ートファクトリと大きく異なる。 ⇒AI技術者の試行錯誤のプロセスを高速化・効率化する ためのマネジメント
- 33. 33 AI技術者の試行錯誤を効率化するAIプロジェクトマネジメント 1. 試行錯誤フィールドの設定段階 ① ビジネスやサービスのKPIがAIの目的変数に設定可能かを確認し、AI化との 相性を判断（例えば、○○サイトの○○率）。 ②AI技術者の実環境での試行錯誤フィールドを設計．システム全体の中のAIコ ンポーネントとして独立性高く切り出し、システムに対するコンポーネン トの入力／出力をうまく設計。 ③ 試行錯誤フィールドを支えるアーキテクチャ（箱）設計 • AI技術者がAI技術以外の雑事（外部との調整等）から解放されること • 複数モデルの並列実験が可能であること • 本番環境で試行が失敗しても致命的な問題にならないこと ④ アーキテクチャ（箱）の情報システム開発を行う。この開発は、ウオータ ーフォール型． ⑤ 試行錯誤フィールドへの要求は、ビジネスの大目標を達成するためのＡＩ コンポーネントのKPI、NGゾーンの提示、ガバナンスの設計を行う。KPIと しては、クリック率、契約率などのポジティブKPIのほかに、偏差などのネ ガティブKPIもある。
- 34.
- 35. 35 AI技術者の試行錯誤を効率化するAIプロジェクトマネジメント 2. 試行錯誤の実施段階 ① この段階では、マネジメントは実現手段を指示せずに、ＡＩ 技術者が試行錯誤を繰り返し、良い結果を出すことに集中で きるようにする． 実際、データを見てみないとわからないので、データを見る 前に行う実現手段の指示や、実現手段の計画策定は邪魔とな る場合が多い． ここでＡＩコンポーネントの開発者は少数精鋭である。 ②この段階の、ＡＩコンポーネントの性能向上は、実運用しな がら定常業務的に実施する。 ③ 試行錯誤のＡＩコンポーネントが失敗した（性能が出ない） 場合、即座に既存システムに切り替えて問題を最小化． 参考文献：大島將義, 内平直志,インターネットサービスにおける アジャイル開発が持つ 不確実性の低下メカニズム,第33回 国際P2M学会春季研究発表大会174-189, 2022.
- 36.
- 37. 37 事例４：電力需要予測のための機械学習システム開発（東芝） 本プロジェクトの大きな課題は、機械学習システムの品質保証 電力会社からシステムとして受注し、納品する場合は出荷のため の品質保証が必要． 機械学習システムにおいては従来型の「品質保証」は難しい． 運用時には、人間が最終確認することもあり機械学習の結果が完 璧である必要はないが、顧客に「納品」となると従来の「出荷判 定基準」が適用されてしまう． 顧客（ユーザ） 開発企業 納 品 製 品 品 質 保 証 機械学習応用 サブシステム 機械学習応用 サブシステム 製品 製品 開発 運用
- 38.
- 39. 39 Toshiba VPP asa Service（電力需要予測） https://www.global.toshiba/jp/news/energy/2020/12/news-20201204-01.html バーチャルパワープラント（VPP）に関するサブスクリプション方式のサービスとして、発電事業者 および小売事業者向けに「PV発電量」および「電力需要」の2種類の予測機能のサービス提供
- 40.
- 41.
- 42.
- 43.