AI予約サービスのMLOps事例紹介

Mobility Technologies Co., Ltd.
MoT TechTalk #12
タクシーアプリ『GO』大規模トラフィックを捌く分析
データ基盤の全容に迫る！

AI予約サービスの
MLOps事例紹介
鈴木隆史
01
2

AI予約とは
3

従来のタクシー予約の課題
● 人力による予約管理
● 事前に車両確保するため乗務員の拘束時間が長い
● 受けられる枠に限りがある
AI予約
● 指定日時直前に車両確保する（乗務員の拘束時間が短い）
○ 指定日時で周辺に車両がいる保証がないためAIモデルを活用
● 指定日時前後に手配できる車両供給数を予測
○ 予測された車両数を用いてAI予約可能枠を計算して利用
● 従来の10倍以上のご依頼に対応
タクシー会社にとってのAI予約のメリット
4

車両供給数予測パイプラインの最小構成
5
分析データ特徴量 MLモデル
車両数
推論結果
BigQuery Kubernetes Engine Cloud Storage
予約API
Memorystore

直近の分析データを利用することによる弊害
● 雨や電車遅延などの直近トレンドに追従させるため、直近の分析データを活
用している
● 日次の分析集計データと違い、直近の分析データはストリーミング処理の遅
延の影響を受けやすく、それによる分析データ異常値が発生しやすい
● モデルの推論結果にも異常値が含まれると、本来はAI予約可能枠が空い
ているのに予約ができないなどのUX悪化に繋がる
● モデル推論自体に遅延が発生した場合は、予約APIで利用するデータが空
になってしまう
AI予約におけるMLシステムの課題 (1/2)
6

モデルの推論精度の妥当性
● 推論時には答えが分からない未来の数値を予測しているため、推論した結
果の妥当性を確認しないと、サービス改善に繋がらない
● 特定期間で訓練した車両供給数モデルの精度は、地域の周辺施設や季節
性などの変化によって経年劣化していく
○ 固有のモデルを使い続けると、時間が経つにつれて的外れな推論をし
てしまうケースがある
AI予約におけるMLシステムの課題 (2/2)
7

車両供給数予測パイプラインの追加項目
8
分析データ
車両数
推論結果
Cloud Composer ※ 追加項目
統計値
過去の
トレンド
Validation
Assertion
Fallback
特徴量 MLモデル
直近の
トレンド
Validation Assertion Recurring
精度監視
Data Portal
Monitoring
予約API
Memorystore
Assertion

直近の分析データを扱う課題
● 分析データの遅延、異常値についてはBigQueryのAssertionで検知
● MLモデルの障害については統計値を事前に用意してフォールバック
推論の精度担保における課題
● 定期的にモデルを切り替えるシステムにすることで、精度の経年劣化を防
止
● 推論データを事後で正解データと比較して精度誤差を監視し、異常発生時
には通知
MLシステム課題に対する対応
9

車両供給数予測パイプライン（分析データの遅延チェック）
10
分析データ
車両数
推論結果
統計値
過去の
トレンド
Validation
Assertion
Fallback
直近の
トレンド
精度監視
Data Portal
Monitoring
予約API
Memorystore
Assertion

分析データ
● 1日10億レコード規模のデータがある
○ 数秒おきの車両位置情報データ
○ 車両の状態（空車かどうか）
● 分析データはストリーミング挿入される
○ ほとんどのデータは数十秒の遅延で反映される
が、インフラ障害で数十分遅延することもある
○ 分析データ利用時にデータ遅延していないかをSQL
で検証しエラー検知
車両供給数予測パイプライン（分析データの遅延チェック）
11
分析データ
BigQuery
Validation

車両供給数予測パイプライン（統計値のフォールバック）
12
分析データ
車両数
推論結果
統計値
過去の
トレンド
Validation
Assertion
Fallback
直近の
トレンド
精度監視
Data Portal
Monitoring
予約API
Memorystore
Assertion

車両供給数予測パイプライン（統計値のフォールバック）
13
分析データ統計値
Fallback
BigQuery
統計値
● 統計値とは、地域や時間帯などのセグメントごと
に、過去の車両供給数のトレンドを集計したもの
● MLモデルが遅延したときに、推論結果が空に
なってしまうのを防ぐために作成
○ 障害や遅延などでモデル推論結果が、時間
内に作成されなかった場合は、自動的にこ
の統計値にフォールバックする
過去の
トレンド
Assertion

車両供給数予測パイプライン（特徴量の異常値チェック）
14
分析データ
車両数
推論結果
統計値
過去の
トレンド
Validation
Assertion
Fallback
直近の
トレンド
精度監視
Data Portal
Monitoring
予約API
Memorystore
Assertion

特徴量
● 特徴量は、直近の車両供給数をMLモデルで推
論するために事前作成しておくデータ
● 特徴量に異常がないかはBigQuery Assertionを
利用している
● 事前に特徴量ごとに設定した閾値でAssertし、エ
ラーがある場合は予測パイプラインを停止し、異
常値をデプロイしない
車両供給数予測パイプライン（特徴量の異常値チェック）
15
分析データ特徴量
Assertion
BigQuery

車両供給数予測パイプライン（MLモデルの定期更新）
16
分析データ
車両数
推論結果
統計値
過去の
トレンド
Validation
Assertion
Fallback
直近の
トレンド
精度監視
Data Portal
Monitoring
予約API
Memorystore
Assertion

MLモデル
● 過去の統計値から車両供給量を求める場合、直近のトレ
ンド（雨、電車遅延など）に対応できないため、直近のトレ
ンド追従のためMLモデルを利用
● MLの推論結果は一度BigQueryに格納してエラー検証
○ 扱うデータをBigQueryで統合管理することで、運用コ
ストやオペミスを軽減
● Composerでモデルを定期的に更新して、季節性などによ
る精度の経年劣化を防いでいる
車両供給数予測パイプライン（MLモデルの定期更新）
17
MLモデル
Kubernetes Engine
直近の
トレンド
Recurring
Assertion
Cloud Composer

車両供給数予測パイプライン（推論精度の定期監視）
18
分析データ
車両数
推論結果
統計値
過去の
トレンド
Validation
Assertion
Fallback
直近の
トレンド
精度監視
Data Portal
Monitoring
予約API
Memorystore
Assertion

精度監視
● 事後には、該当時間の実際のタクシー車両供給数の
正解データが分かるので、MLモデルの車両供給数
の推論データとの精度誤差をダッシュボード化してい
る
● 精度メトリクスのSlack通知により、精度悪化を検知し
ている
車両供給数予測パイプライン（推論精度の定期監視）
19
車両数
推論結果
Cloud Storage
精度監視
Data Portal
Monitoring

直近の分析データを扱う課題
● 分析データの遅延、異常値についてはBigQueryのAssertionで検知
● MLモデルの障害については統計値を事前に用意してフォールバック
推論の精度担保における課題
● 定期的にモデルを切り替えるシステムにすることで、精度の経年劣化を防
止
● 推論データを事後で正解データと比較して精度誤差を監視し、異常発生時
には通知
まとめ（再掲）
20

MLリリースフローの自動化
● 学習パイプラインと推論パイプラインの特徴量やモデルなどが密結合のた
め、スキーマ変更を伴うサービス更新時に手動リリース作業が発生している
複数モデルの並列パイプラインの提供
● リリースバージョンごとに特徴量データを分離して、ブルーグリーンデプロイ
やモデルのA/Bテストが気軽にできる並列パイプライン提供をサポートして
いく予定
今後の対応
21

クロージング
02
22

技術全般 Twitter @mot_techtalk
Thank You!
We Are Hiring!
23
AI関連 Twitter @mot_ai_tech

confidential
文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
24

AI予約サービスのMLOps事例紹介

More Related Content

More from Takashi Suzuki

AI予約サービスのMLOps事例紹介