名取 直毅, 対応性のある運用のパターン, 出版記念セミナー: AI活用成熟度と機械学習デザインパターン詳説, 2021

1. 出版記念セミナー: AI活用成熟度と機械学習デザインパターン詳説
新時代の新常識: AIエンジニアが知るべき30のベストプラクティス
20:05-20:20 対応性のある運用のパターン
名取 直毅（株式会社アイシン）
ステートレスサービング関数、バッチサービング、継続的モデル評価、2段階予測、キー付き予測などのレジリエ
ンス・対応性のあるサービング・運用に関わるデザインパターンを解説します。

2. 対応性のある運用のパターン• 訓練モデルをデプロイし人の関
与なく弾力的に予測稼働・運用
パターン 問題 解決
ステートレスサービング関数
Stateless Serving Function
モデルの巨大化。訓練時と
稼働時の環境相違
モデルの中核のみエキスポート、ス
テートレスREST APIとしてデプロイ
バッチサービング
Batch Serving
非同期の予測を数多く実施
困難
バッチ処理、分散処理環境下で大量
データによる非同期予測
継続的モデル評価
Continued Model Evaluation
コンセプトドリフト、デー
タドリフト
継続的なモデル評価・モニタリング
と再訓練
2段階予測
Two-Phase Predictions
エッジデバイス上の縮退さ
れた訓練モデルの性能低下
単純なタスク用のモデルをエッジ、
複雑なものをクラウド上で稼働
キー付き予測
Keyed Predictions
多数の入力データをスケー
ラブルに扱えない
入力へキー付加、キー付きで出力す
ることで分散環境下で容易な扱い
キー付き予測
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
2/9

3. 問題
デプロイ後にコンセプトドリフトやデータドリフトが発生し、モデルが劣化する。訓練
データセット更新やモデル再訓練のタイミングや頻度がわからない。
【コンセプトドリフトの例】クレジットカードのICカード化（Chip and Pin）によって不正
使用の手口がオンライン上へと移行し、不正検知モデルの予測精度が急激に低下。
【データドリフトの例】特徴量分布が変わる（スキーリゾートがオープン⇒病院で若年層の
患者が増加）、意味が変わる（ある体重を「肥満」とみなすかどうかは時代とともに変化）。
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
継続的モデル評価（Continued Model Evaluation）
（入力と推論対象の関係）
3/9
機械学習モデルには「訓練/検証/テストの各データは同じ分布から」という暗黙の前提がある
本番環境では
その前提が崩れる

4. 解決
モデルの予測性能を継続的に監視し、開発時と同じ指標でそれを評価する。そのためには
入力データ、モデル出力、正解（ground truth）が必要。例えば、Google Cloud AI Platform
は、入出力を定期的にサンプリングしBigQueryテーブルへ保存する機能を備える。一方、ほ
とんどの場合、正解の取得には時間がかかる（対象となるイベントのサイクルにも依存）。
- まず、モデルをデプロイする
- 次に、入出力の一部を定期的にサンプリングして保存する（サンプリング頻度は運用シス
テムのスループットとのトレードオフ）
- さらに、正解を取得する。人間によるラベリング（すべて、または信頼度が低いとモデル
が判断したもの）。ユーザとの対話（暗黙のフィードバック）
- 最後に、モデルを評価する。例えば多クラス分類モデルであれば、適合率（precision）、
再現率（recall）、F値（F1-score）、混同行列（confusion matrix）など
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
継続的モデル評価（Continued Model Evaluation）
4/9
混同行列にはモデル出力と正解のすべての組合せが表示され、クラス間の分類性能がわかる

5. トレードオフと代替案
- 再訓練のトリガー：継続的な評価で性能低下を測定し、モデル再訓練のトリガーとする。
再訓練のコストに対してどの程度の性能低下を許容できるかというトレードオフ
- スケジュールされた再訓練：継続的な評価を毎日行い、1週間や1ヶ月に1回程度、定期的
に再訓練。更新されたモデルが以前のモデルよりも優れている場合のみ置き換え
- TFXを用いたデータ検証：継続的な評価が事後的（post hoc）であるのに対し、TFXの
TensorFlow Data Validationはデータドリフトの予兆も検出
- 再訓練間隔の推定：古いデータで訓練したモデルを最新データで評価、再訓練間隔を推定
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
継続的モデル評価（Continued Model Evaluation）
性能低下を再訓練のトリガーとする
スケジュールされた再訓練 性能低下速度から再訓練間隔を推定
性能低下
⊿t
5/9

6. 問題
常にインターネットに接続できるとは限らない状況では、モデルはエッジにデプロイされ
る。デバイスの制約上、モデルを軽量化しなければならない。モデルのサイズ、精度、レイ
テンシーなどのトレードオフをバランスよく調整する必要あり。
【状況の例】フィットネストラッキングデバイス。インターネット接続のない郊外でユーザ
の活動量から推薦。
【軽量化の例】モデルを少ないバイト数で表現する量子化（quantization）。例えばTF Lite
は、保存されたモデルをエッジに最適化された小さなフォーマットに変換する。サイズやレ
イテンシーを大幅に削減する反面、精度が低下する恐れ。
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
2段階予測（Two-Phase Predictions）
Cloud AutoML Visionのオプション画面―サイズ、精度、レイテンシーのトレードオフ
6/9

7. 解決
問題を2つに分けて考え、2つのモデルをデプロイする。
- デバイス上にデプロイ可能、小型で安価、単純なタスクを処理するモデル
- クラウド上で必要なときにのみ起動するより複雑なモデル
【Google Home（Nest）】スマートデバイス上にはウェイクワード「OK Google」だけを
聞き取るモデル。クラウド上には様々なユーザクエリを理解し応答するために音声認識と自
然言語処理を必要とするより複雑なモデル。
【工場機械の故障診断】まず通常音から「異常音」を検出するモデルをオフラインで構築。
次に機械の種類や故障の仕方などを割り出す複雑なモデルをクラウドに構築。
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
2段階予測（Two-Phase Predictions）
「サックス」のスペクトログラムの例
（音を視覚的に表現することで、画像用
の事前学習モデルから転移学習できる）
Kaggleの汎用音声認識データセット
「チェロ」「ノック」「電話」「トランペット」など
合計41種、約9,000件の音のサンプル
2段階予測で全41種のデータから18種の楽器を識別する
7/9

8. トレードオフと代替案 ※いずれもインターネットに接続できないなどでクラウドモデルの呼出しが難しい状況
- スタンドアロン単一段階モデル：クラウドモデルより精度は落ちるがオフラインで動作す
る複雑なデバイスモデル。例えばGoogle翻訳
- 特定の使用場面でのオフラインサポート：アプリケーションの特定部分だけをオフライン
で利用可能に。例えばオフライン時のGoogleマップ（○：運転用、×：徒歩・自転車）
- 準リアルタイム多予測処理：膨大な数のデバイスからデータを入力するクラウドモデルと
同一タスクを持つ各デバイス内のモデル。例えばスマートホームで温度や気圧などのデー
タを取得するセンサデバイス単体でも異常診断（クラウドではより大域的に診断）
- オフラインモデル向けの継続的な評価：データドリフトを起こさないように、デバイス内
で継続的な評価を行い再訓練の必要性を判断
『機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決』Lakshmananら著, 鷲崎ら訳, オライリージャパン, 2021
2段階予測（Two-Phase Predictions）
デバイス上の
統計的機械翻訳
デバイス上の
ニューラル機械翻訳
オンラインの
ニューラル機械翻訳
8/9