機械学習型サービス運用時の課題と実践的手法

©2020 Toyota Motor Corporation第23回情報論的学習理論ワークショップ
機械学習型サービス運用時の課題と実践的手法
第23回情報論的学習理論ワークショップ、2020/11/23-26
加藤整、西澤博之、島崎景子、前田英一、桑原貴文、丸井智景
1
#95
加藤整(トヨタ自動車)
機械学習型サービス運用時の課題と実践的手法
機械学習が産業適用されている現在, 従来のソフトウェア工学と比較して品質保
証・検証・運用が課題として認識されつつある.運用面では人的, システム的な最
善慣行がMLOpsとして蓄積されつつあるが, 適用範囲は運用全体の一部に限ら
れる.本稿ではMLOps適用範囲を俯瞰した上で, 我々が取り組んでいる自然言
語上のユーザ発話クラス分類タスクを産業適用した際のモデル検証体制, エラー
ハンドリングを含めたモデル更新手法を紹介し、有効性について議論する.

本発表のサマリー
2
機械学習が産業適用されている現在, 従来のソフトウェア工学と比較して品質保証・
検証・運用が課題として認識されつつある.
運用面では人的, システム的な最善慣行がMLOpsとして蓄積されつつあるが, 適用
範囲は運用全体の一部に限られる.
本稿ではMLOps適用範囲を俯瞰した上で, 我々が取り組んでいる自然言語上の
ユーザ発話クラス分類タスクを産業適用した際のモデル検証体制, エラーハンドリング
を含めたモデル更新手法を紹介し、有効性について議論する.

機械学習用プログラムは全体のほんの一部. インフラ, 監視, 資源管理, プロセス管理, 設
定管理等, 実運用には膨大な工数がかかる[1]
3[1]D. Sculley, et al., In Proc. NIPS2015, “Hidden technical debt in Machine learning systems.”
データ検証計算機資源
管理
インフラ
監視
解析ツール
プロセス管理ツール
データ収集
特徴量抽出
機械学
習コード
設定
Fig. 1: 機械学習システムでは、機械学習コード(図中中央の小さな黒いボックス)はほんの一部というのが現実.
他に様々な周辺インフラが必要となる．([1]より翻訳して転載)

MLOpsで語られる背景課題と解決アプローチは多岐に渡る (1/2)
• ソフトウェア工学的課題[2]
•契約，仕様，受け入れの課題
•何ができるかは具体的には事前に約束できない
•PoC(お試し)で止まることが多い
•不確かさが多く，顧客，ユーザにしてもらうことが従来より困難に
•従来のテストアプローチが通じない
• 機械学習システム特有の課題[3]
•データサイエンティスト(アナリスト，研究者出身) とソフトウェアエンジニア(本番環境を見据えた加発者)
•少しモデルを変更させると振舞いが大きく変更(Changing Anything Changes Everything)
•継続的な学習(外部環境変化へのモデル追随)
→ 各社/OSS取り組み(5つのアプローチ)
• MLOpsの価値[4]
• 最初から最後までデータサイエンスチームで(サービスについて)オーナーシップを持てる
• 最終顧客に対して継続的に価値を提供できる
• ソフトウェアの系統管理，耐監査性が強化
4
[2] 石川冬樹, 機械学習に対するソフトウェア工学の技術動向，第22回情報論的学習理論ワークショップ(IBIS2019), 2019
[3] 有賀康顕, MLOpsの歩き方，n月刊ラムダノート Vol.1 No. 1, ラムダノート, 2019, pp. 55-77.
[4] D. Aronchick, Using MLOps to Bring ML to Production, MLOps NYC, 2019

MLOpsで語られる背景課題と解決アプローチは多岐に渡る (2/2)
5
IT企業のMLOps Platforms
自分自身でMLOps環境を構築
[5] Introducing FBLearner Flow: Facebook’s AI backbone, 2016, facebook Engineering https://engineering.fb.com/2016/05/09/core-data/introducing-fblearner-flow-facebook-s-ai-backbone/
[6] D. Baylor, et al. “TFX: A TensorFlow-Based Production-Scale Machine Learning Platform”, In Proc. SIGKDD, 2017 https://www.tensorflow.org/tfx?hl=ja
[7] Meet Michelangelo: Uber’s Machine Learning Platform, 2017 https://eng.uber.com/michelangelo-machine-learning-platform/
TensorFlow Extended,
本番環境パイプライン作成，管理
([6]より転載)
FBLearner Flow, 実験管理
([5]より転載)
Uber Michelangelo, データ取得，学習，
評価，デプロイ，予測，監視できる環境
([7]より転載)
Amazon
Elastic Kubernetes Service
Amazon SageMaker
mlflow Kubeflow

MLOps全体像：機械学習の産業適用には，以下3つの視点からの取り組みが重要
6
ソフトウェア工学的課題
(機械学習工学的アプローチ)
データサイエンティストと
システム運用者の協働
(最善慣行)
継続的精度向上
(MLOps基盤構築)
Fig. 2: 機械学習の産業適用に向けた３つの視点．ベン図を構成する各閉曲線の内部に産業適用時の課題とその解決アプローチを記載

MLOps全体像：機械学習の産業適用には，以下3つの視点からの取り組みが重要
7
ソフトウェア工学的課題
(機械学習工学的アプローチ)
継続的精度向上
(MLOps基盤構築)
データサイエンティストと
システム運用者の協働
(最善慣行)
Fig. 2: 機械学習の産業適用に向けた３つの視点．ベン図を構成する各閉曲線の内部に産業適用時の課題とその解決アプローチを記載
DevOpsの機械学習版
評価/検収方法,受入条件，
運用フロー定義
精度向上に向けた運用フロー
基盤(MLFlow/AirFlow,
AWS SageMaker,
Amazon EKS(k8s+Kubeflow))
各種CI・CDツール
取り組みを後半で説明

©2020 Toyota Motor Corporation第23回情報論的学習理論ワークショップ 8
自然言語上のユーザクラス分類タスク
産業適用時の課題とアプローチ

自然言語上のユーザ発話クラス分類タスク
9
定義: “自然言語上のユーザ発話クラス分類”
全ユーザ発話空間内の発話について，i) 検討サービスの意図集合の元に対応づけられるか否かを判定し，
ii)対応付けられるとしたらどの元に対応するかを特定
全ユーザー発話空間
検討サービスの対象発話
意図集合
検討サービスの意図集合
u0
i1
u10 i10
i20
u11
u20
i)
ii)
Fig. 3: 発話と意図を対応させる対応関係(写像)†. 点線で囲まれた閉曲線は無限集合，実線で囲まれた閉曲線は有限集合．
検討サービスの意図集合以外の全ての意図をi0と定義
†対応関係は全ユーザ発話空間Uの任意の発話uに対して, F(u)がI={i0, {i1, i2, ……, }}の唯一つの元に写すという意味で写像関係である
i0
U I={i0, {i1, i2, ……, }}
F: U→I

10
前記タスクの産業適用(アプリケーション)
検討サービスの意図集合の各元について対応する回答を用意することで，ファクトイド型のオープンドメイン質問応答システムに適用
i) 判らないものは判らないと回答したい．ii)回答できることは正しく†回答したい
†システム設計者が利用者の意図を想定して用意した回答を引き当てることが必ずしも正しいとは限らない．
産業適用時においては最終的にはシステム全体のUX評価が重要
意図集合
検討サービスの意図集合
u1
i1
u10 i10
i20
u11
u20
i)
ii)
回答集合
a1
a10
a20
Fig. 4: 質問応答システムを実現させる発話，意図，回答の対応関係．
i0
U I={i0, {i1, i2, ……, }}
A

11
伝統的なシステム開発機械学習的開発
オントロジーを用いて知識を表現
正規表現を用いた発話揺らぎの吸収(発話意図理解)
✓ 決定論的に入出力が決まる．
✓ ソフトウェア工学的手法に基づいた品質保証・検証・
運用が可能．
✓ エラーは一意に特定され，コードのロジックを直接修正
することでエラーを解消することが可能．
教師データを基に「発話と意図を対応させる写像」を
機械学習．
✓ 決定論的に入出力が決まる(内部ロジックでは確率論
的に出力結果を評価)
✓ 機械学習工学的手法に基づいた品質保証・検証・
運用が必要
✓ システム開発者が意図していない対応関係(入出力
関係)については機械学習モデル全体(入力データとモ
デル選択)を更新することでしか解消できない．解消
できる保証もない
F: U→I ルールベース F: U→I 機械学習モデルベース
[8]を参考に作成

提案するモデル検証体制とデータアノテーション作業の効率化
12
A
B
C
〜
〜
〜
発話
A
B
C
ユーザー
付与
方針
意図
集合
学習用
データ
評価用
データ
機械学習
モデル
機械学習
モデル構築
意図設計
ラベル付与
(合議制)
モデル評価
学習用
データ
評価結果
機械学習
モデル再構築
機械学習
モデル
モデル評価
・・・
機械学習
モデル
最終
動作確認
リリース
最終評価
デプロイ
モデル再構築，モデル再評価アノテーション，モデル構築，評価発話収集
Fig. 5: 質問応答システムを実現させる運用フロー

システム構築
者の想定範囲
13
A
B
C
〜
〜
〜
発話
A
B
C
ユーザー
付与
方針
意図
集合
学習用
データ
評価用
データ
機械学習
モデル
機械学習
モデル構築
意図設計
ラベル付与
(合議制)
モデル評価
学習用
データ
評価結果
機械学習
モデル再構築
機械学習
モデル
モデル評価
・・・
機械学習
モデル
最終
動作確認
リリース
最終評価
デプロイ
【課題2】
評価データの範囲内で精度の高く過学習
的状況に陥りがち，モデルがロバスト性を
失ってしまう
【課題1】
限定的な発話空間内でのモデル構築，
評価になるので、ユーザーA,B,Cの利用
体験が悪いことに気づけない
【課題3】
開発時，運用時ともにラベル付与に膨大
な工数を要する

システム構築
者の想定範囲
14
A
B
C
〜
〜
〜
発話
A
B
C
ユーザー
付与
方針
意図
集合
学習用
データ
評価用
データ
機械学習
モデル
機械学習
モデル構築
意図設計
ラベル付与
(合議制)
モデル評価
学習用
データ
評価結果
機械学習
モデル再構築
機械学習
モデル
モデル評価
・・・
機械学習
モデル
最終
動作確認
リリース
最終評価
デプロイ
【対策2：評価者とモデル構築者独立】
評価者とモデル構築者を独立させる．評
価用データを共有させず，評価結果
(Overall Accuracy)のみをモデル構築
者に渡すことでモデルのロバスト性を高める
【対策1: 負例発話収集】
様々なユーザーから発話を収集することで、
システム構築者が意識していない空間も
網羅，”負例”となる発話も収集する
【対策3：アノテーション効率化】
過去に作成した機械学習モデルを用いて
確信度の高い意図を抽出，意図候補を
作成することでアノテーション作業を効率
化

まとめと今後の方向性
15
MLOps適用範囲を俯瞰した上で、我々が取り組んでいる自然言語上のユーザ発話
クラス分類タスクを産業適用した際のモデル検証体制、エラーハンドリングを含めたモデ
ル更新手法について以下3つを紹介した
1. 負例発話収集
2. 評価者とモデル構築者独立
3.アノテーション効率化
本運用開始後における継続的精度向上とその基盤，データサイエンティストと
システム運用者の協働にむけた最善慣行(ベストプラクティス)，運用フロー等について
は今後順次報告する

References
[1] D. Sculley, G. Holt, D. Golovin, E. Davydov, T. Phillips, D. Ebner, V. Chaudhary, M. Young, J.F. Crespo, D. Dennison. Hidden Technical Debt in Machine
Learning Systems. In Proceedings of the 28th International Conference on Neural Information Processing Systems, Montral, CANADA, December 7-12, 2015.
[2] 石川冬樹, 機械学習に対するソフトウェア工学の技術動向，第22回情報論的学習理論ワークショップ(IBIS2019), 2019.
[3] 有賀康顕, MLOpsの歩き方，n月刊ラムダノート Vol.1 No. 1, ラムダノート, 2019, pp. 55-77.
[4] D. Aronchick, Using MLOps to Bring ML to Production, MLOps NYC, 2019.
[5] Introducing FBLearner Flow: Facebook’s AI backbone, 2016, facebook Engineering.
https://engineering.fb.com/2016/05/09/core-data/introducing-fblearner-flow-facebook-s-ai-backbone/
[6] D. Baylor, E. Breck, H.T. Cheng, N. Fiedel, C. Y. Foo, Z. Haque, S. Haykal, M. Ispir, V. Jain, L. Koc, C. Y. Koo, L. Lew,C. Mewald, A. N. Modi, N. Polyzotis,
S. Ramesh, S. Roy, S.E. Whang, M. Wicke, J. Wilkiewicz, X. Zhang, M. Zinkevich, TFX: A TensorFlow-Based Production-Scale Machine LearningPlatform. In
Proceedings of the 23rd ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Halifax, Canada, August 13-17, 2017.
https://www.tensorflow.org/tfx?hl=ja
[7] Meet Michelangelo: Uber’s Machine Learning Platform, 2017.
https://eng.uber.com/michelangelo-machine-learning-platform/
[8]有賀康顕, 継続的改善をし続けるための機械学習基盤の課題，第22回情報論的学習理論ワークショップ(IBIS2019), 2019.
16

Questions, comments, suggestions?
For more information,
please visit my web-site:
Acknowledgements
This paper owes much to the lessons learned in a collaboration with TOYOTA Connected
and FUJISOFT inc. We would particularly like to thank Mr. Tonozaki of FUJISOFT.

発表者プロフィール
18
加藤整
トヨタ自動車（株）コネクティッド先行開発部
第1電子先行開発室第4グループ長
・次世代エージェント開発担当
《略歴》
• 2018年~ 現職
• 2014年~ トヨタIT開発センター調査企画担当
• 2012年~ 日本IBM 戦略コンサルタント
• 2002年~ IBM東京基礎研究所リサーチャー
• 2002年東大院数理科学研究科博士課程修了
1997年東京大学工学部航空宇宙工学科卒業、99年同大学院修士課程、02年博士課
程修了。同年IBM東京基礎研究所入所。マルチエージェントシステム、極値統計理論に基づ
くリスク解析の研究等に従事。12年より日本IBM戦略コンサルティング部門にて戦略、イノベー
ション、新規事業創出、マーケティングのコンサルティング実施。
18年トヨタ自動車入社、同年6月より現職。博士(数理科学)

End of File

機械学習型サービス運用時の課題と実践的手法

Recommended

Recommended

More Related Content

Similar to 機械学習型サービス運用時の課題と実践的手法

Similar to 機械学習型サービス運用時の課題と実践的手法 (20)

Recently uploaded

Recently uploaded (9)

機械学習型サービス運用時の課題と実践的手法