SlideShare a Scribd company logo
機械学習デザインパターン
Machine Learning Design Patterns
鷲崎 弘宜
早稲田大学 / 国立情報学研究所 /
システム情報 / エクスモーション
2021年 7月2日
washizaki@waseda.jp
http://www.washi.cs.waseda.ac.jp/
1
MLSE夏合宿2021チュートリアル
目次
• 機械学習デザインパターン
• 各デザインパターン紹介
• デザインパターンの整理と認知
2
機械学習工学とパターン(ランゲージ)
• 特定文脈での問題と解決をまとめたもの(のまと
まり)
• 抽象と具象をつなぐ道具: 問題・解決再利用、アーキテ
クチャ一貫
• 様々な関係者間の共通言語
• 設計や要求・プロセスのパターン整理とフレーム
ワークへの統合へ
• 『Machine Learning Design Patterns』(MLDP), V.
LakshmananらGoogleプラットフォームチームによる30
のパターン, et al., O’Reilly 2020(eAIチームにより10月訳
書出版予定)
• 『Software Engineering Patterns for ML Applications』
(SEP4MLA), eAIチームによる系統的文献調査に基づく15
のパターン, https://github.com/eai-transfer/ml-design-
pattern
• 『AIエンジニアのための機械学習システムデザインパ
ターン』澁井雄介(翔泳社, 2021),機械学習のモデルや
ワークフローを本番システムで稼働させる作法,
https://github.com/mercari/ml-system-design-pattern 3
機械学習システムの構成とパターン
4
学習
データ
学習済み
モデル
予測・推論(に
基づく振舞い)
基盤ソフトウ
ェアシステム
データ
データ表現
パターン
問題表現パ
ターン
モデル訓練パターン
レジリエントサー
ビングパターン
再現性パターン
責任のあるAIパターン
レジリエントサー
ビングパターン
目次
• 機械学習デザインパターン
• 各デザインパターン紹介
• デザインパターンの整理と認知
5
データ表現パターン
6
• 様々なデータから機械学習モデルが扱いやすいフィーチャへの表現
パターン 問題 解決
ハッシュ化
フィーチャ
Hashed Feature
カテゴリ変数についてとりうる
種類を特定困難。One-hot
encodingではCold-Start問題。
ユニークな文字列としたうえで
ハッシュ値に変換。
埋め込み
Embeddings
One-hot encodingではデータの近
さを扱えない
意味的な近さを表すように特徴
の埋め込み。
フィーチャ交差
Feature Cross
もともとの変数群そのままでは
関係に基づく分類や予測が困難
複数のカテゴリ変数の組み合わ
せで関係を容易に表現
マルチモーダル
入力 Multimodal
Input
異なる種別の入力を扱いにくい 分散表現の結合
x × y ラベル
AC +
BC -
AD -
BD +
A
B
C
D
フィーチャ交差
マルチ
モーダル
入力
x
y
ハッシュ化フィーチャ Hashed Feature
• 問題: カテゴリ変数についてとりうる種類を特定困難。One-hot encodingで
はout-of-vocabulary問題・Cold-Start問題。
• 解決:
• 1. ユニークな文字列へ変換
• 2. 決定的な方法でハッシュ値に変換
• 3. ハッシュ値の設定バケット数(カテゴリ数)の剰余の採用
• 考慮: バケット衝突、他の集約フィーチャ併用、バケット数チューニング
7
One-hot encoding
tf.feature_column.categorical_column_with_hash_bucket(
airport, num_buckets, dtype=tf.dtypes.string
)
Hashed Feature
TensorFlowに
おける実装
埋め込み Embeddings
• 問題: カテゴリ数が膨大な場合の難しさ(疎行列化)。One-hot encoding
ではデータの近さを扱えない。
• 解決: 訓練可能な特徴埋め込みレイヤで意味的な近さを表すように小次
元のベクトル化、および、重みの訓練
• 考慮
• 経験則: 次元数 = 元のカテゴリ数の4乗根
• テキスト: 語単位の小次元ベクトル表現、平均をとるなどの集約。Word2Vecや
BERTなどのさらなる意味・文脈考慮。
• 画像: 畳み込みCNN、オートエンコーダなど
8
訓練後のベクトル表現
オートエンコーダ
問題表現パターン
9
パターン 問題 解決
問題再設定
Reframing
当初の目的変数や出力で限界 回帰から分類へ変更(逆も)
マルチラベル
Multilabel
出力層の活性化がsoftmaxでは
マルチラベルの扱い困難
出力層の活性化にsigmoidを用いる
アンサンブル学
習Ensembles
バイアス(偏り)とバリアン
ス(分散)のトレードオフ
アンサンブル学習: 学習不足時はブースティ
ング、過学習時はバギングほか
カスケード
Cascade
通常と特殊を同一モデルで扱
い困難
通常と特殊に分類のうえそれぞれに訓練・予
測し集約
中立クラス
Neutral Class
データに主観評価を含むなど
により任意・ランダム性
Yes, NoにMaybeを加えた分類とする
Rebalancing
リバランシング
データセットが不均衡 Accuracy以外評価、ダウンサンプリング、
アップサンプリング、Reframing
ブースティング バギング
マルチラベル
アンサンブル学習
問題再設定 Reframing
• 問題: 確率的であるため、特に精緻な実数の予測に固執すると
当初の目的変数や出力形式では限界を生じる場合が有る(特
に分布上のピークが複数の場合)。
• 解決: 問題を捉えなおす。特に回帰から分類へ変更する。
• 考慮:
• 数値が重要な場合は逆に回帰へ(例: 都市そのものより緯度・経度)
• 分類への移行方法: 回帰結果による分類、マルチタスク学習
• 真に目的にかなうものか注意(例:おすすめ映画の種類からユーザのク
リック数へと予測問題を変更すると、過剰にクリック数の増大方向)
10
分類が正確な場合 回帰が正確な場合
カスケード Cascade
• 問題: 通常と特殊を同一モデルで扱い困難
• 解決: 通常と特殊に分類のうえ、それぞれに訓練したモデ
ルで予測し、最後に集約
• 考慮
• 分類が決定的であれば、本来は入力を加えて単一モデル化すべき
• Rebalancingできるのであればそうすべき
11
分類
通常時
の予測
特殊時
の予測
最終
評価
モデル訓練パターン • 訓練の繰り返し(ループ)の仕方
12
パターン 問題 解決
価値ある過学習Useful
Overfitting
物理シミュレーションのように
全入力を扱える
過学習で良い。実際にはモンテカルロ
法でサンプリングなど
チェックポイント
Checkpoints
複雑なモデルは訓練に時間を要
する
訓練モデル外の情報も含めて全ての状
態をエポック単位で保存・再開
転移学習 Transfer
Learning
非構造データ訓練に巨大データ 転移学習、ファインチューニング
分散戦略 Distribution
Strategy
深層学習モデルの訓練に長時間 並列化による分散学習
ハイパーパラメータ
チューニング
Hyperparameter Tuning
ハイパーパラメータ人手チュー
ニングは長時間・不正確。グ
リッドサーチでは非効率。
外側の最適化ループとしてのハイパー
パラメータチューニング。ベイズ最適
化による効率的探索。
価値ある
過学習
ハイパーパ
ラメータ
チューニン
グ
転移学習 Transfer Learning
• 問題: 非構造データ訓練に巨大データ必要。特にテキスト
や画像では汎用のモデルで個別の問題を十分に扱えない。
• 解決: 同種データで訓練済みのモデルによる転移学習
• 考慮: 重みの変更是非
• フィーチャエクストラクション: 重みFix
• ファインチューニング: 重みの更新
13
基準 データ
セット
タスク
の同一
性
許容時
間・コ
スト
フィー
チャエク
ストラク
ション
小 異なる
タスク
少
ファイン
チューニ
ング
大 同一・
類似タ
スク
多
訓練済みモデル
分散戦略 Distribution Strategy
• 問題: 深層学習モデルの訓練に長時間
• 解決: 訓練データの分割によるデータ並列化・分散学習
• 考慮
• 同期: ミニバッチとしての単位ごとに全ワーカで共有集約
• 非同期(Parameter-Server-Architecture): 各ワーカは他による更
新を待つことなく学習、遅い計算機がある場合や通信が遅い場
合に有効
• モデル並列化: モデル全体がメモリに乗りきらない場合にモデル
の分割
14
同期 非同期
モデル並列化
レジリエントサービングパターン MLDP
• 訓練モデルをデプロイし人の関与なく弾力的に予測稼働・運用
15
パターン 問題 解決
ステートレスサービング
関数Stateless Serving
Function
モデルの巨大化。訓練時と
稼働時の環境相違
モデルの中核のみエキスポート、ステー
トレスREST APIとしてデプロイ
バッチサービングBatch
Serving
非同期の予測を数多く実施
困難
バッチ処理、分散処理環境下で大量デー
タによる非同期予測
継続的モデル評価
Continued Model
Evaluation
コンセプトドリフト、デー
タドリフト
継続的なモデル評価・モニタリングと再
訓練
2段階予測 Two-Phase
Predictions
エッジデバイス上の縮退さ
れた訓練モデルの性能低下
単純なタスク用のモデルをエッジ、複雑
なものをクラウド上で稼働
キー付き予測 Keyed
Predictions
多数の入力データをスケー
ラブルに扱えない
入力へキー付加、キー付きで出力するこ
とで分散環境下で容易な扱い
キー付き予測
継続的モデル評価 Continued Model Evaluation
• 問題: モデルはデプロイした瞬間から劣化していく。背景にある
前提の変化に伴う入力と目標の関係の変化(コンセプトドリフ
ト)、入力データからの予測時データの変化(データドリフト)。
• 解決: 継続的なモデル評価・モニタリングと再訓練
• 考慮
• 閾値による性能と訓練コストのトレードオフ
• オフラインでの古いデータによる学習モデルの新データへの適用評価
16
閾値によ
る変化
古い
データ
最新
データ
学習モ
デル
学習モ
デル
流用
古いデー
タによる
評価
最新デー
タによる
評価
評価メトリクス比較
2段階予測 Two-Phase Predictions
• 問題: エッジデバイスへデプロイする縮退訓練モデルの性能低下
• 解決: 単純なタスク用のモデルをエッジ(例: 「OK, Google」の識別
分類)、複雑なものをクラウド上で稼働(例: 音声指示の認識)
• 考慮
• 通信が貧弱な場合に備えてエッジデバイスで完結するオフラインモデル
• センサデータを、エッジで異常判定時のみクラウドへ送信
• エッジデバイス側のモデルの定期的な更新
17
再現性パターン • 決定的な出力を得やすく、訓練・開発効率
18
パターン 問題 解決
変換Transform 入力とフィーチャの異なり 変換・前処理の仕方を保存再利用、訓練・
予測時で一貫
繰り返し可能な分割
Repeatable Splitting
ランダムな訓練、検証、テスト
用分割では再現困難
関係を用いたい変数をハッシュ化し剰余に
よりデータ分割
ブリッジ化スキーマ
Bridged Schema
入力データのスキーマが訓練後
に幾らか変更
古いデータを確率的な方法で新データス
キーマへ変換
ウィンドウ化推論
Windowed Inference
訓練・運用間の歪みを避けられ
るよう一定の時間枠ごと集約
モデルの状態を外部記録、時間依存の方法
で集約計算された特徴量の一貫利用
ワークフローパイプラ
イン Workflow Pipeline
単一ファイルではスケールせず 各ステップを分けてサービス化
フィーチャストア
Feature Store
アドホックなフィーチャエンジ
ニアリング
プロジェクトやチームを超えたフィーチャ
共有
モデルバージョニング
Model Versioning
モデル更新時の後方互換性困難 モデルバージョンを異なるエンドポイント
提供、比較
(cash, card)
(cash, gift card, debit card, credit card)
変換 ブリッジ化スキーマ
繰り返し可能な分割 Repeatable Splitting
• 問題: ランダムな訓練、検証、テスト用分割では再現困難かつ関係なし
• 解決: 関係を用いたい変数をハッシュ化し剰余により、その関係持った
形での訓練、検証、テスト用それぞれのデータ分割
• 考慮
• 時系列上の同様の分割(時間的連続性)
• 非構造化データの場合: メタデータの利用、一律エンコードしてハッシュ化など
19
airline delay date airport
AAA 1000 2020/6/14 NRT
BBB 1100 2020/6/14 HND
CCC 1200 2020/6/14 HND
CCC 30 2020/6/15 NRT
DDD 10 2020/6/16 LAX
単純な分割 dateに着目した分割
責任のあるAIパターン
• 様々な利害関係者へ
のモデルの影響
20
パターン 問題 解決
経験的ベ
ンチマー
クHeuristic
Benchmark
結果の良し悪
しの程度を意
思決定者へ説
明困難
過去との比較や
経験則に基づく
判断
説明可能
な予測
Explainable
Predictions
予測の説明困
難
シンプルなモデ
ル採用、予測結
果における説明
など
公平性レ
ンズ
Fairness
Lens
不均衡データ
に基づく異な
る人々のグ
ループに対す
る問題のある
バイアス
(What-If toolや
Fairness
Indicatorsなどに
よる)訓練前後
のデータセット
の分析、結果比
較、均衡化など
(Short)
using 19990914 build on win98 using
the new account wizard if I add
multiple accounts with the same
server…
(Long)
this mean the problem was with their
web page and its cool now or we still
need to figure out what the actual
bug was and fix that…
Y. Noyori, H. Washizaki, et al., “Extracting features related to
bug fixing time of bug reports by deep learning and gradient-
based visualization,” 2021 IEEE International Conference on
Artificial Intelligence and Computer Applications
経験的ベンチマーク Heuristic Benchmark
• 問題: 結果の良し悪しの程度を意思決定者へ説明困難
• 解決: 過去との比較や経験則に基づく判断
• 考慮
• (機械学習に限らず)業界標準やプラクティスがあればそれに従う
• ときとしてエキスパートの知見
• モデルの改善の影響を利用価値(採用判断上の指標、例えば金銭的
価値、良い検索結果など)に翻訳して説明できることが望ましい
21
シナリオ例 経験上のベンチマーク例 タスク例
時系列の将来値
を予測する回帰
問題
• 永続的か、線形トレンドか。
• 季節性の考慮
• 年間データの場合、前年の同じ日/
週/四半期と比較
週間の販売量
を予測
現在、人間の専
門家が解決して
いる分類問題
人間の専門家のパフォーマンス 網膜スキャン
から目の病気
を検出
・・・ ・・・ ・・・
目次
• 機械学習デザインパターン
• 各デザインパターン紹介
• デザインパターンの整理と認知
22
MLDP および SEP4MLA の整理
Topology Programming Model operations
レジリエ
ント
サービ
ング
再現性
責任・説
明性
モデル
訓練
問題
表現
データ
表現
Hashed Feature Embeddings
Feature Cross Multimodal Input
Reframing Multilabel
Ensembles Cascade
Neutral Class Rebalancing
Useful Overfitting
Checkpoints
Transfer Learning
Distribution Strategy
Stateless Serving Function
Hyperparameter
Tuning
Batch Serving Continued Model Evaluation
Keyed Predictions
Windowed Inference
Repeatable Splitting
Transform
Bridged Schema
Two-Phase Predictions
Feature
Store
Model
Versioning
Heuristic Benchmark
Workflow Pipeline
Fairness Lens
Explainable
Predictions
Different Workloads in Different
Computing Environments
Distinguish Business Logic from ML
Models
ML Gateway Routing Architecture
Microservice Architecture for ML
Lambda
Architecture
Kappa
Architecture
Data Lake for ML
Parameter-
Server Abstraction
Data flows
up, Model
flow down
Secure Aggregation
Separation of Concerns
and Modularization of
ML Components
Discard PoC Code
ML Versioning
Encapsulate ML models
within Rule-base Safeguards
Deployable Canary Model
今後の拡充検討エリア
機械学習デザインパターンの認知と組織的取り組み
• 2021年3月セミナー参加者アンケート調査、118名回答
• 高活用: Ensembles, Rebalancing, ML Versioning, Microservice
Architecture for ML
• 低活用: Feature Store, Federated Learning, Deployable Canary Model
• SEP4MLA(再現性、運用中心)よりMLDP(データ、問題表現、
訓練ほか広範)活用多い
• チームや組織としての設計課題への取り組みがより組織
化されるにつれて、パターンの利用割合が増加
⇒ フレームワークへの組み入れを通じた組織的再利用の取り組み
促進へ
24
取り組み方針 回答者数 #MLDP MLDP割合 #SEP4MLA SEP4MLA割合
チーム・組織内で
の知識化
37 202 18.2% 64 11.5%
外部のパターン参
照あり
31 168 18.1% 50 10.8%
共有や再利用の取
り組み無し
37 152 13.7% 35 6.3%
その他(機械学習
検討中など)
13 20 5.1% 3 1.5%
25
まとめ
• 『Machine Learning Design Patterns』(MLDP), V. Lakshmananら
Googleプラットフォームチームによる30のパターン, et al.,
O’Reilly 2020(eAIチームにより10月訳書出版予定)
• 機械学習モデルおよびシステムの設計のコツをまとめたデザインパ
ターン
• 網羅的: データ表現、問題表現、モデル訓練、レジリエントサービ
ング、再現性、責任のあるAI
• 実践的: 特にGoogleプラットフォーム上で有用、コード例あり
• 発展的: 個々に代替やトレーオフの考慮解説あり、パターン間の関
連あり
• 展望: 実践整理、パターン間関連ほか
26
問題表現
データ表現
モデル訓練
問題表現
データ表現
モデル訓練 モデル訓練
サービング
再現性 再現性
責任AI 責任AI
再現性
責任AI
サービング
サービング
問題表現
データ表現
PoC 開発 運用(MLOps)

More Related Content

What's hot

(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
Hironori Washizaki
 
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
 
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
BrainPad Inc.
 
グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
 
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
Deep Learning JP
 
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...
Deep Learning JP
 
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイCounterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
 
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
 
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
 
SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​
SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​
SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​
SSII
 
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
 
不均衡データのクラス分類
不均衡データのクラス分類不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
Masanao Ochi
 
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
Nobukazu Yoshioka
 
MLOps入門
MLOps入門MLOps入門
MLOps入門
Hiro Mura
 
AWSではじめるMLOps
AWSではじめるMLOpsAWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
 

What's hot (20)

(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説(修正)機械学習デザインパターン(ML Design Patterns)の解説
(修正)機械学習デザインパターン(ML Design Patterns)の解説
 
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
 
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
 
グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門
 
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
 
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
 
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Vi...
 
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイCounterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
 
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
 
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
 
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
 
SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​
SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​
SSII2020TS: 機械学習モデルの判断根拠の説明​ 〜 Explainable AI 研究の近年の展開 〜​
 
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
 
不均衡データのクラス分類
不均衡データのクラス分類不均衡データのクラス分類
不均衡データのクラス分類
 
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
 
MLOps入門
MLOps入門MLOps入門
MLOps入門
 
AWSではじめるMLOps
AWSではじめるMLOpsAWSではじめるMLOps
AWSではじめるMLOps
 

Similar to 機械学習デザインパターン Machine Learning Design Patterns

新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
Hironori Washizaki
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
Preferred Networks
 
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
 
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
 
機械学習応用のためのソフトウェアエンジニアリングパターン
機械学習応用のためのソフトウェアエンジニアリングパターン機械学習応用のためのソフトウェアエンジニアリングパターン
機械学習応用のためのソフトウェアエンジニアリングパターン
HironoriTAKEUCHI1
 
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Hironori Washizaki
 
ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計
ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計
ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計
Hironori Washizaki
 
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
Hironori Washizaki
 
AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論
AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論
AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論
Nobukazu Yoshioka
 
プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門
Nobukazu Yoshioka
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Preferred Networks
 
データ分析コンペでスキルアップしよう.pdf
データ分析コンペでスキルアップしよう.pdfデータ分析コンペでスキルアップしよう.pdf
データ分析コンペでスキルアップしよう.pdf
H. K
 
[RIT]MLmodeling service
[RIT]MLmodeling service[RIT]MLmodeling service
[RIT]MLmodeling service
RIT
 
18233002 20201104
18233002 2020110418233002 20201104
18233002 20201104
ArakiSatoshi
 
地図を片手にアジャイル開発
地図を片手にアジャイル開発地図を片手にアジャイル開発
地図を片手にアジャイル開発
Zenji Kanzaki
 
パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度
Hironori Washizaki
 
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
Hironori Washizaki
 
機械学習応用アーキテクチャ・デザインパターン概観
機械学習応用アーキテクチャ・デザインパターン概観機械学習応用アーキテクチャ・デザインパターン概観
機械学習応用アーキテクチャ・デザインパターン概観
Hironori Washizaki
 
データモデルの更新を効率よく検証するの並列可能性
データモデルの更新を効率よく検証するの並列可能性データモデルの更新を効率よく検証するの並列可能性
データモデルの更新を効率よく検証するの並列可能性
Jiachen Yang
 

Similar to 機械学習デザインパターン Machine Learning Design Patterns (20)

新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
新しいソフトウェアエンジニアリングのためのパターンランゲージに向けて
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
 
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
 
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
 
組込みSW開発技術研究会キックオフミーティング
組込みSW開発技術研究会キックオフミーティング組込みSW開発技術研究会キックオフミーティング
組込みSW開発技術研究会キックオフミーティング
 
機械学習応用のためのソフトウェアエンジニアリングパターン
機械学習応用のためのソフトウェアエンジニアリングパターン機械学習応用のためのソフトウェアエンジニアリングパターン
機械学習応用のためのソフトウェアエンジニアリングパターン
 
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善Qua s tom-メトリクスによるソフトウェアの品質把握と改善
Qua s tom-メトリクスによるソフトウェアの品質把握と改善
 
ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計
ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計
ソフトウェアパターン概論およびパターンを活用したアーキテクチャ設計
 
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
鷲崎 メトリクスとGQMチュートリアル-公開版-20130912
 
AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論
AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論
AIシステムの要求とプロジェクトマネジメント-前半:機械学習工学概論
 
プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
 
データ分析コンペでスキルアップしよう.pdf
データ分析コンペでスキルアップしよう.pdfデータ分析コンペでスキルアップしよう.pdf
データ分析コンペでスキルアップしよう.pdf
 
[RIT]MLmodeling service
[RIT]MLmodeling service[RIT]MLmodeling service
[RIT]MLmodeling service
 
18233002 20201104
18233002 2020110418233002 20201104
18233002 20201104
 
地図を片手にアジャイル開発
地図を片手にアジャイル開発地図を片手にアジャイル開発
地図を片手にアジャイル開発
 
パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度パターンのつながりとAI活用成熟度
パターンのつながりとAI活用成熟度
 
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
鷲崎 メトリクスの基礎とGQM法によるゴール指向の測定 2014年12月18日 日本科学技術連名SQiP研究会 演習コースI ソフトウェア工学の基礎
 
機械学習応用アーキテクチャ・デザインパターン概観
機械学習応用アーキテクチャ・デザインパターン概観機械学習応用アーキテクチャ・デザインパターン概観
機械学習応用アーキテクチャ・デザインパターン概観
 
データモデルの更新を効率よく検証するの並列可能性
データモデルの更新を効率よく検証するの並列可能性データモデルの更新を効率よく検証するの並列可能性
データモデルの更新を効率よく検証するの並列可能性
 

More from Hironori Washizaki

次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
Hironori Washizaki
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
Hironori Washizaki
 
SWEBOK and Education at FUSE Okinawa 2024
SWEBOK and Education at FUSE Okinawa 2024SWEBOK and Education at FUSE Okinawa 2024
SWEBOK and Education at FUSE Okinawa 2024
Hironori Washizaki
 
Machine Learning Software Engineering Patterns and Their Engineering
Machine Learning Software Engineering Patterns and Their EngineeringMachine Learning Software Engineering Patterns and Their Engineering
Machine Learning Software Engineering Patterns and Their Engineering
Hironori Washizaki
 
IEEE Computer Society 2024 Technology Predictions Update
IEEE Computer Society 2024 Technology Predictions UpdateIEEE Computer Society 2024 Technology Predictions Update
IEEE Computer Society 2024 Technology Predictions Update
Hironori Washizaki
 
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
Hironori Washizaki
 
IEEE Computer Society’s Strategic Activities and Products including SWEBOK Guide
IEEE Computer Society’s Strategic Activities and Products including SWEBOK GuideIEEE Computer Society’s Strategic Activities and Products including SWEBOK Guide
IEEE Computer Society’s Strategic Activities and Products including SWEBOK Guide
Hironori Washizaki
 
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
Hironori Washizaki
 
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
Hironori Washizaki
 
Joseph Yoder : Being Agile about Architecture
Joseph Yoder : Being Agile about ArchitectureJoseph Yoder : Being Agile about Architecture
Joseph Yoder : Being Agile about Architecture
Hironori Washizaki
 
世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート
世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート
世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート
Hironori Washizaki
 
SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...
SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...
SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...
Hironori Washizaki
 
デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向
デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向
デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向
Hironori Washizaki
 
SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~
SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~
SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~
Hironori Washizaki
 
人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集
人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集
人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集
Hironori Washizaki
 
スマートエスイーコンソーシアムの概要と2021年度成果紹介
スマートエスイーコンソーシアムの概要と2021年度成果紹介スマートエスイーコンソーシアムの概要と2021年度成果紹介
スマートエスイーコンソーシアムの概要と2021年度成果紹介
Hironori Washizaki
 
DXの推進において企業内に求められる人材やデジタル人材の育て方
DXの推進において企業内に求められる人材やデジタル人材の育て方DXの推進において企業内に求められる人材やデジタル人材の育て方
DXの推進において企業内に求められる人材やデジタル人材の育て方
Hironori Washizaki
 
対応性のある運用のパターン
対応性のある運用のパターン対応性のある運用のパターン
対応性のある運用のパターン
Hironori Washizaki
 
モデル訓練のパターン
モデル訓練のパターンモデル訓練のパターン
モデル訓練のパターン
Hironori Washizaki
 

More from Hironori Washizaki (20)

次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
次世代AI時代のトレンドと高信頼AIソフトウェアシステム開発に向けたフレームワーク&パターン
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
COMPSAC 2024 D&I Panel: Charting a Course for Equity: Strategies for Overcomi...
 
SWEBOK and Education at FUSE Okinawa 2024
SWEBOK and Education at FUSE Okinawa 2024SWEBOK and Education at FUSE Okinawa 2024
SWEBOK and Education at FUSE Okinawa 2024
 
Machine Learning Software Engineering Patterns and Their Engineering
Machine Learning Software Engineering Patterns and Their EngineeringMachine Learning Software Engineering Patterns and Their Engineering
Machine Learning Software Engineering Patterns and Their Engineering
 
IEEE Computer Society 2024 Technology Predictions Update
IEEE Computer Society 2024 Technology Predictions UpdateIEEE Computer Society 2024 Technology Predictions Update
IEEE Computer Society 2024 Technology Predictions Update
 
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
鷲崎弘宜, "国際規格ISO/IEC 24773とその意義", 情報処理学会 第86回全国大会
 
IEEE Computer Society’s Strategic Activities and Products including SWEBOK Guide
IEEE Computer Society’s Strategic Activities and Products including SWEBOK GuideIEEE Computer Society’s Strategic Activities and Products including SWEBOK Guide
IEEE Computer Society’s Strategic Activities and Products including SWEBOK Guide
 
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究・教育他への活用
 
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
アジャイル品質のパターンとメトリクス Agile Quality Patterns and Metrics (QA2AQ) 20240225
 
Joseph Yoder : Being Agile about Architecture
Joseph Yoder : Being Agile about ArchitectureJoseph Yoder : Being Agile about Architecture
Joseph Yoder : Being Agile about Architecture
 
世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート
世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート
世界標準のソフトウェア工学知識体系SWEBOK Guide最新第4版を通じた開発アップデート
 
SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...
SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...
SWEBOK Guide Evolution and Its Emerging Areas including Machine Learning Patt...
 
デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向
デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向
デジタルトランスフォーメーション(DX)におけるソフトウェアの側面とダイバーシティ・インクルーシブに関する研究実践動向
 
SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~
SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~
SQuBOKガイドV3概説 ~IoT・AI・DX時代のソフトウェア品質とシステム監査~
 
人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集
人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集
人生100年・60年カリキュラム時代のDX人材育成: スマートエスイー 2021年度成果および2022年度募集
 
スマートエスイーコンソーシアムの概要と2021年度成果紹介
スマートエスイーコンソーシアムの概要と2021年度成果紹介スマートエスイーコンソーシアムの概要と2021年度成果紹介
スマートエスイーコンソーシアムの概要と2021年度成果紹介
 
DXの推進において企業内に求められる人材やデジタル人材の育て方
DXの推進において企業内に求められる人材やデジタル人材の育て方DXの推進において企業内に求められる人材やデジタル人材の育て方
DXの推進において企業内に求められる人材やデジタル人材の育て方
 
対応性のある運用のパターン
対応性のある運用のパターン対応性のある運用のパターン
対応性のある運用のパターン
 
モデル訓練のパターン
モデル訓練のパターンモデル訓練のパターン
モデル訓練のパターン
 

機械学習デザインパターン Machine Learning Design Patterns

  • 1. 機械学習デザインパターン Machine Learning Design Patterns 鷲崎 弘宜 早稲田大学 / 国立情報学研究所 / システム情報 / エクスモーション 2021年 7月2日 washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 1 MLSE夏合宿2021チュートリアル
  • 3. 機械学習工学とパターン(ランゲージ) • 特定文脈での問題と解決をまとめたもの(のまと まり) • 抽象と具象をつなぐ道具: 問題・解決再利用、アーキテ クチャ一貫 • 様々な関係者間の共通言語 • 設計や要求・プロセスのパターン整理とフレーム ワークへの統合へ • 『Machine Learning Design Patterns』(MLDP), V. LakshmananらGoogleプラットフォームチームによる30 のパターン, et al., O’Reilly 2020(eAIチームにより10月訳 書出版予定) • 『Software Engineering Patterns for ML Applications』 (SEP4MLA), eAIチームによる系統的文献調査に基づく15 のパターン, https://github.com/eai-transfer/ml-design- pattern • 『AIエンジニアのための機械学習システムデザインパ ターン』澁井雄介(翔泳社, 2021),機械学習のモデルや ワークフローを本番システムで稼働させる作法, https://github.com/mercari/ml-system-design-pattern 3
  • 6. データ表現パターン 6 • 様々なデータから機械学習モデルが扱いやすいフィーチャへの表現 パターン 問題 解決 ハッシュ化 フィーチャ Hashed Feature カテゴリ変数についてとりうる 種類を特定困難。One-hot encodingではCold-Start問題。 ユニークな文字列としたうえで ハッシュ値に変換。 埋め込み Embeddings One-hot encodingではデータの近 さを扱えない 意味的な近さを表すように特徴 の埋め込み。 フィーチャ交差 Feature Cross もともとの変数群そのままでは 関係に基づく分類や予測が困難 複数のカテゴリ変数の組み合わ せで関係を容易に表現 マルチモーダル 入力 Multimodal Input 異なる種別の入力を扱いにくい 分散表現の結合 x × y ラベル AC + BC - AD - BD + A B C D フィーチャ交差 マルチ モーダル 入力 x y
  • 7. ハッシュ化フィーチャ Hashed Feature • 問題: カテゴリ変数についてとりうる種類を特定困難。One-hot encodingで はout-of-vocabulary問題・Cold-Start問題。 • 解決: • 1. ユニークな文字列へ変換 • 2. 決定的な方法でハッシュ値に変換 • 3. ハッシュ値の設定バケット数(カテゴリ数)の剰余の採用 • 考慮: バケット衝突、他の集約フィーチャ併用、バケット数チューニング 7 One-hot encoding tf.feature_column.categorical_column_with_hash_bucket( airport, num_buckets, dtype=tf.dtypes.string ) Hashed Feature TensorFlowに おける実装
  • 8. 埋め込み Embeddings • 問題: カテゴリ数が膨大な場合の難しさ(疎行列化)。One-hot encoding ではデータの近さを扱えない。 • 解決: 訓練可能な特徴埋め込みレイヤで意味的な近さを表すように小次 元のベクトル化、および、重みの訓練 • 考慮 • 経験則: 次元数 = 元のカテゴリ数の4乗根 • テキスト: 語単位の小次元ベクトル表現、平均をとるなどの集約。Word2Vecや BERTなどのさらなる意味・文脈考慮。 • 画像: 畳み込みCNN、オートエンコーダなど 8 訓練後のベクトル表現 オートエンコーダ
  • 9. 問題表現パターン 9 パターン 問題 解決 問題再設定 Reframing 当初の目的変数や出力で限界 回帰から分類へ変更(逆も) マルチラベル Multilabel 出力層の活性化がsoftmaxでは マルチラベルの扱い困難 出力層の活性化にsigmoidを用いる アンサンブル学 習Ensembles バイアス(偏り)とバリアン ス(分散)のトレードオフ アンサンブル学習: 学習不足時はブースティ ング、過学習時はバギングほか カスケード Cascade 通常と特殊を同一モデルで扱 い困難 通常と特殊に分類のうえそれぞれに訓練・予 測し集約 中立クラス Neutral Class データに主観評価を含むなど により任意・ランダム性 Yes, NoにMaybeを加えた分類とする Rebalancing リバランシング データセットが不均衡 Accuracy以外評価、ダウンサンプリング、 アップサンプリング、Reframing ブースティング バギング マルチラベル アンサンブル学習
  • 10. 問題再設定 Reframing • 問題: 確率的であるため、特に精緻な実数の予測に固執すると 当初の目的変数や出力形式では限界を生じる場合が有る(特 に分布上のピークが複数の場合)。 • 解決: 問題を捉えなおす。特に回帰から分類へ変更する。 • 考慮: • 数値が重要な場合は逆に回帰へ(例: 都市そのものより緯度・経度) • 分類への移行方法: 回帰結果による分類、マルチタスク学習 • 真に目的にかなうものか注意(例:おすすめ映画の種類からユーザのク リック数へと予測問題を変更すると、過剰にクリック数の増大方向) 10 分類が正確な場合 回帰が正確な場合
  • 11. カスケード Cascade • 問題: 通常と特殊を同一モデルで扱い困難 • 解決: 通常と特殊に分類のうえ、それぞれに訓練したモデ ルで予測し、最後に集約 • 考慮 • 分類が決定的であれば、本来は入力を加えて単一モデル化すべき • Rebalancingできるのであればそうすべき 11 分類 通常時 の予測 特殊時 の予測 最終 評価
  • 12. モデル訓練パターン • 訓練の繰り返し(ループ)の仕方 12 パターン 問題 解決 価値ある過学習Useful Overfitting 物理シミュレーションのように 全入力を扱える 過学習で良い。実際にはモンテカルロ 法でサンプリングなど チェックポイント Checkpoints 複雑なモデルは訓練に時間を要 する 訓練モデル外の情報も含めて全ての状 態をエポック単位で保存・再開 転移学習 Transfer Learning 非構造データ訓練に巨大データ 転移学習、ファインチューニング 分散戦略 Distribution Strategy 深層学習モデルの訓練に長時間 並列化による分散学習 ハイパーパラメータ チューニング Hyperparameter Tuning ハイパーパラメータ人手チュー ニングは長時間・不正確。グ リッドサーチでは非効率。 外側の最適化ループとしてのハイパー パラメータチューニング。ベイズ最適 化による効率的探索。 価値ある 過学習 ハイパーパ ラメータ チューニン グ
  • 13. 転移学習 Transfer Learning • 問題: 非構造データ訓練に巨大データ必要。特にテキスト や画像では汎用のモデルで個別の問題を十分に扱えない。 • 解決: 同種データで訓練済みのモデルによる転移学習 • 考慮: 重みの変更是非 • フィーチャエクストラクション: 重みFix • ファインチューニング: 重みの更新 13 基準 データ セット タスク の同一 性 許容時 間・コ スト フィー チャエク ストラク ション 小 異なる タスク 少 ファイン チューニ ング 大 同一・ 類似タ スク 多 訓練済みモデル
  • 14. 分散戦略 Distribution Strategy • 問題: 深層学習モデルの訓練に長時間 • 解決: 訓練データの分割によるデータ並列化・分散学習 • 考慮 • 同期: ミニバッチとしての単位ごとに全ワーカで共有集約 • 非同期(Parameter-Server-Architecture): 各ワーカは他による更 新を待つことなく学習、遅い計算機がある場合や通信が遅い場 合に有効 • モデル並列化: モデル全体がメモリに乗りきらない場合にモデル の分割 14 同期 非同期 モデル並列化
  • 15. レジリエントサービングパターン MLDP • 訓練モデルをデプロイし人の関与なく弾力的に予測稼働・運用 15 パターン 問題 解決 ステートレスサービング 関数Stateless Serving Function モデルの巨大化。訓練時と 稼働時の環境相違 モデルの中核のみエキスポート、ステー トレスREST APIとしてデプロイ バッチサービングBatch Serving 非同期の予測を数多く実施 困難 バッチ処理、分散処理環境下で大量デー タによる非同期予測 継続的モデル評価 Continued Model Evaluation コンセプトドリフト、デー タドリフト 継続的なモデル評価・モニタリングと再 訓練 2段階予測 Two-Phase Predictions エッジデバイス上の縮退さ れた訓練モデルの性能低下 単純なタスク用のモデルをエッジ、複雑 なものをクラウド上で稼働 キー付き予測 Keyed Predictions 多数の入力データをスケー ラブルに扱えない 入力へキー付加、キー付きで出力するこ とで分散環境下で容易な扱い キー付き予測
  • 16. 継続的モデル評価 Continued Model Evaluation • 問題: モデルはデプロイした瞬間から劣化していく。背景にある 前提の変化に伴う入力と目標の関係の変化(コンセプトドリフ ト)、入力データからの予測時データの変化(データドリフト)。 • 解決: 継続的なモデル評価・モニタリングと再訓練 • 考慮 • 閾値による性能と訓練コストのトレードオフ • オフラインでの古いデータによる学習モデルの新データへの適用評価 16 閾値によ る変化 古い データ 最新 データ 学習モ デル 学習モ デル 流用 古いデー タによる 評価 最新デー タによる 評価 評価メトリクス比較
  • 17. 2段階予測 Two-Phase Predictions • 問題: エッジデバイスへデプロイする縮退訓練モデルの性能低下 • 解決: 単純なタスク用のモデルをエッジ(例: 「OK, Google」の識別 分類)、複雑なものをクラウド上で稼働(例: 音声指示の認識) • 考慮 • 通信が貧弱な場合に備えてエッジデバイスで完結するオフラインモデル • センサデータを、エッジで異常判定時のみクラウドへ送信 • エッジデバイス側のモデルの定期的な更新 17
  • 18. 再現性パターン • 決定的な出力を得やすく、訓練・開発効率 18 パターン 問題 解決 変換Transform 入力とフィーチャの異なり 変換・前処理の仕方を保存再利用、訓練・ 予測時で一貫 繰り返し可能な分割 Repeatable Splitting ランダムな訓練、検証、テスト 用分割では再現困難 関係を用いたい変数をハッシュ化し剰余に よりデータ分割 ブリッジ化スキーマ Bridged Schema 入力データのスキーマが訓練後 に幾らか変更 古いデータを確率的な方法で新データス キーマへ変換 ウィンドウ化推論 Windowed Inference 訓練・運用間の歪みを避けられ るよう一定の時間枠ごと集約 モデルの状態を外部記録、時間依存の方法 で集約計算された特徴量の一貫利用 ワークフローパイプラ イン Workflow Pipeline 単一ファイルではスケールせず 各ステップを分けてサービス化 フィーチャストア Feature Store アドホックなフィーチャエンジ ニアリング プロジェクトやチームを超えたフィーチャ 共有 モデルバージョニング Model Versioning モデル更新時の後方互換性困難 モデルバージョンを異なるエンドポイント 提供、比較 (cash, card) (cash, gift card, debit card, credit card) 変換 ブリッジ化スキーマ
  • 19. 繰り返し可能な分割 Repeatable Splitting • 問題: ランダムな訓練、検証、テスト用分割では再現困難かつ関係なし • 解決: 関係を用いたい変数をハッシュ化し剰余により、その関係持った 形での訓練、検証、テスト用それぞれのデータ分割 • 考慮 • 時系列上の同様の分割(時間的連続性) • 非構造化データの場合: メタデータの利用、一律エンコードしてハッシュ化など 19 airline delay date airport AAA 1000 2020/6/14 NRT BBB 1100 2020/6/14 HND CCC 1200 2020/6/14 HND CCC 30 2020/6/15 NRT DDD 10 2020/6/16 LAX 単純な分割 dateに着目した分割
  • 20. 責任のあるAIパターン • 様々な利害関係者へ のモデルの影響 20 パターン 問題 解決 経験的ベ ンチマー クHeuristic Benchmark 結果の良し悪 しの程度を意 思決定者へ説 明困難 過去との比較や 経験則に基づく 判断 説明可能 な予測 Explainable Predictions 予測の説明困 難 シンプルなモデ ル採用、予測結 果における説明 など 公平性レ ンズ Fairness Lens 不均衡データ に基づく異な る人々のグ ループに対す る問題のある バイアス (What-If toolや Fairness Indicatorsなどに よる)訓練前後 のデータセット の分析、結果比 較、均衡化など (Short) using 19990914 build on win98 using the new account wizard if I add multiple accounts with the same server… (Long) this mean the problem was with their web page and its cool now or we still need to figure out what the actual bug was and fix that… Y. Noyori, H. Washizaki, et al., “Extracting features related to bug fixing time of bug reports by deep learning and gradient- based visualization,” 2021 IEEE International Conference on Artificial Intelligence and Computer Applications
  • 21. 経験的ベンチマーク Heuristic Benchmark • 問題: 結果の良し悪しの程度を意思決定者へ説明困難 • 解決: 過去との比較や経験則に基づく判断 • 考慮 • (機械学習に限らず)業界標準やプラクティスがあればそれに従う • ときとしてエキスパートの知見 • モデルの改善の影響を利用価値(採用判断上の指標、例えば金銭的 価値、良い検索結果など)に翻訳して説明できることが望ましい 21 シナリオ例 経験上のベンチマーク例 タスク例 時系列の将来値 を予測する回帰 問題 • 永続的か、線形トレンドか。 • 季節性の考慮 • 年間データの場合、前年の同じ日/ 週/四半期と比較 週間の販売量 を予測 現在、人間の専 門家が解決して いる分類問題 人間の専門家のパフォーマンス 網膜スキャン から目の病気 を検出 ・・・ ・・・ ・・・
  • 23. MLDP および SEP4MLA の整理 Topology Programming Model operations レジリエ ント サービ ング 再現性 責任・説 明性 モデル 訓練 問題 表現 データ 表現 Hashed Feature Embeddings Feature Cross Multimodal Input Reframing Multilabel Ensembles Cascade Neutral Class Rebalancing Useful Overfitting Checkpoints Transfer Learning Distribution Strategy Stateless Serving Function Hyperparameter Tuning Batch Serving Continued Model Evaluation Keyed Predictions Windowed Inference Repeatable Splitting Transform Bridged Schema Two-Phase Predictions Feature Store Model Versioning Heuristic Benchmark Workflow Pipeline Fairness Lens Explainable Predictions Different Workloads in Different Computing Environments Distinguish Business Logic from ML Models ML Gateway Routing Architecture Microservice Architecture for ML Lambda Architecture Kappa Architecture Data Lake for ML Parameter- Server Abstraction Data flows up, Model flow down Secure Aggregation Separation of Concerns and Modularization of ML Components Discard PoC Code ML Versioning Encapsulate ML models within Rule-base Safeguards Deployable Canary Model 今後の拡充検討エリア
  • 24. 機械学習デザインパターンの認知と組織的取り組み • 2021年3月セミナー参加者アンケート調査、118名回答 • 高活用: Ensembles, Rebalancing, ML Versioning, Microservice Architecture for ML • 低活用: Feature Store, Federated Learning, Deployable Canary Model • SEP4MLA(再現性、運用中心)よりMLDP(データ、問題表現、 訓練ほか広範)活用多い • チームや組織としての設計課題への取り組みがより組織 化されるにつれて、パターンの利用割合が増加 ⇒ フレームワークへの組み入れを通じた組織的再利用の取り組み 促進へ 24 取り組み方針 回答者数 #MLDP MLDP割合 #SEP4MLA SEP4MLA割合 チーム・組織内で の知識化 37 202 18.2% 64 11.5% 外部のパターン参 照あり 31 168 18.1% 50 10.8% 共有や再利用の取 り組み無し 37 152 13.7% 35 6.3% その他(機械学習 検討中など) 13 20 5.1% 3 1.5%
  • 25. 25
  • 26. まとめ • 『Machine Learning Design Patterns』(MLDP), V. Lakshmananら Googleプラットフォームチームによる30のパターン, et al., O’Reilly 2020(eAIチームにより10月訳書出版予定) • 機械学習モデルおよびシステムの設計のコツをまとめたデザインパ ターン • 網羅的: データ表現、問題表現、モデル訓練、レジリエントサービ ング、再現性、責任のあるAI • 実践的: 特にGoogleプラットフォーム上で有用、コード例あり • 発展的: 個々に代替やトレーオフの考慮解説あり、パターン間の関 連あり • 展望: 実践整理、パターン間関連ほか 26 問題表現 データ表現 モデル訓練 問題表現 データ表現 モデル訓練 モデル訓練 サービング 再現性 再現性 責任AI 責任AI 再現性 責任AI サービング サービング 問題表現 データ表現 PoC 開発 運用(MLOps)