More Related Content
Similar to Design pattern 18 continued model evaluation
Similar to Design pattern 18 continued model evaluation (20)
More from Tomohisa Seki
More from Tomohisa Seki (12)
Recently uploaded
Recently uploaded (10)
Design pattern 18 continued model evaluation
- 1. Design Pattern 18: Continued Model Evaluation Seki @tmhssk1 Machine Learning Design Patterns 読書会 #4 2021/5/11
- 4. Solution 例）HackerNewsデータセットで学習したテキスト分類モデルをGoogle Cloud AI Platform(GAIP)に展開する例 学習データセットの⼊⼒:記事のタイトル、 ラベル:その記事が発信されたニュースソース（nytimes、techcrunch、githubのいずれか） Deploying the model 上記で予測モデルを作成後に、オンライン予測で予測結果とその信頼度を出⼒する形でデプロイ Saving predictions モデルデプロイ後にリクエストのサンプルを保存するジョブを稼働(システム負荷を考慮して全てのリクエストを保存する必要 はない) 本例ではGAIP上のContinuous Evaluationセクションで、モデル名、モデルのバージョン、予測要求のタイムスタンプ、 モデルへの⼊⼒、モデルの出⼒を指定したBigQueryテーブルに保存するよう設定する Capturing ground truth ⼈⼿によるラベリングサービスの利⽤する、ユーザーの⾏動をフィードバックとして利⽤するなどの⼿段でGround Truthを 取得・保存する モデルの予測結果が介⼊となってGround Truthに影響が与える可能性があることを考慮する
- 5. Solution 例）HackerNewsデータセットで学習したテキスト分類モデルをGoogle Cloud AI Platform(GAIP)に展開する例 Evaluating model performance Continuous evaluation Ground Truth蓄積後に評価指標を計算する GAIPでは各評価指標、混同⾏列の作成が可能 異なるモデルバージョン間での評価指標の⽐較、特定の直近の評価期間に焦点を当てて⽐較を⾏う ⼀連の⼯程をスケジューリングして断続的に実⾏し、評価指標が設定した閾値を下回った場合に再トレーニングを⾏う よう設定する
- 7. Trade-Off and Alternatives Triggers for retraining パフォーマンスの低下を検知したらすぐにモデルの再トレーニングを⾏うかどうかについては、それにかかるコストに対してどの程度 のパフォーマンス低下を許容できるかをトレードオフとして考慮の上検討する Serverless triggers Google Cloud Function、AWS Lambda、Azure Functionsではサーバレスに トリガーに対して再トレーニングを⾃動化することが可能 トリガーの閾値の設定には再トレーニングのコスト、複数バージョンのモデル維持のオー バーヘッドの発⽣が関与する Performance Time Retrain Retrain Threshold Performance Time Retrain Retrain Retrain Retrain Threshold Scheduled retraining 通常、継続的なモデル評価が毎⽇⾏われる場合、スケジュールされた再トレーニングは1週間または1ヶ⽉ごと⾏う、という形をとる 新たなモデルは前のモデルよりも優れた性能を発揮した場合にのみ、代替モデルとして導⼊されるようにする 実際には再トレーニングの頻度はユースケース、データの蓄積速度、コストによって異なる
- 8. Trade-Off and Alternatives Data validation with TFX 継続的な評価は事後的有効性があるが、運⽤中に受信した新しいデータを監視し、データ分布の変化を先取りして特定す るというアプローチも存在する TensorFlow Extended（TFX）プラットフォームでは、学習データと運⽤中に⼊⼒されたデータを⽐較することが可能であり、 データドリフトを検出することが可能 Estimating retraining interval 古いデータを利⽤して学習したモデルのパフォーマンスを新しい データで評価して、パフォーマンスの低下を確認し、再トレーニング の頻度を推定する Stale data Current data Model trained on stale data Model trained on stale data Evaluation on stale data Evaluation on current data Compare evaluation metrics -6 Month
- 9. どんなメリットがある︖ どうやって解決する︖ どんなときに使う︖ ドレードオフや関連⼿法はある︖ • コンセプトドリフトやデータドリフトなどによりモデル性能の劣 化が起きた場合にモデルを更新し性能を維持する • モデルのデプロイ後に経時的な性能劣化を回避する必 要がある場合 • トレードオフ︓再トレーニングコストに対してどの程度の パフォーマンス低下を許容できるかをトレードオフとして 考慮の上検討する必要がある • 関連⼿法︓データドリフトに対してはデータの分布を 事前に検出するというアプローチも存在する • 運⽤開始後の⼊⼒データ及びラベルを⽤いてモデル 評価を⾏い、特定の評価値が閾値以下となった時点 でモデルの再トレーニングを⾏う Design Pattern 18: Continued Model Evaluation