Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Introduction to TFX Family
1. TFT
2. TFMA
3. TFDV
 上田隼也 @hurutoriya 2018/09/01
$ whoami
● 上田隼也 :: @hurutoriya
● キカイガクシュウエンジニア
● Machine Learning Casual Talks Co-Organizer
● https://shunyaueta.com/
機械学習システムの困難性
機械学習モデルができた後に立ちはだかる壁
引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)
機械学習システムの困難性
● 継続的再学習 (Continuous Learning)
● システムに必ずヒトが介在する (Human-in-the-loop)
● データは不変の存在ではない (Data is mutable)
引用 : Hi...
機械学習システムコンポーネント
● データ収集→特徴量抽出→データ検証 (ETL)
● 各種ワークフロー管理
● 推論結果のサービング環境
● マシンリソース管理
● モデルの精度トラッキング
プロダクションレベルの機械学習システムとは?
● 最重要: Reliability + Scalability
○ Google が提唱する機械学習基盤の考え
○ TensorFlow Extend
● 機械学習システム各種ワークフロー
● 機...
High-level component overview of a machine learning platform.
現在リリースされているTFXコンポーネント
1. TensorFlow Data Validation (TFDV)
2. TensorFlow Transformation (TFT)
3. TensorFlow Model Analysis...
TensorFlow Data Validation
● データ検証を行うコンポーネント
● データパイプラインの定義: Apache Beam
○ 柔軟性
■ 各種統計値を柔軟に計算可能
○ 拡張性
■ 分散処理フレームワークの特性
TensorFlow Data Validation
● Notebook上で統計値を可視化(Facets を利用)
TensorFlow Data Validation
● スキーマの推測
○ データの特性を反映する形でスキーマを推測
○ データは流動的なものなのでシステム側で適合させる
TensorFlow Data Validation
● 新データに対する検証
TensorFlow Data Validation
● 継続的なデータ検証
TensorFlow Data Validation
● 異なるデータセットに対する検証
TensorFlow Data Validation
● 学習環境と本番環境間の不均衡検出
TensorFlow Transformation
● 平均・標準偏差に基づいた正規化
● (入力データの語彙に基づいた)文字列→数値の変換
● TensorFlowの計算グラフとしてエクスポート可能
TensorFlow Model Analysis
機械学習モデルの解析を行う
● TensorBoard との違い
○ TensorBoeard : 学習の判断に必要
■ モデルの収束など
○ TFMA: モデルリリースの判断に必要
■ Cr...
TensorFlow Model Analysis
● One model VS. multiple models
○ TensorBoard: 基本的に単一モデルのメトリクス
○ TFMA: 複数モデルを時系列に沿って評価可能
TensorFlow Model Analysis
● モデルの評価をセグメントごとに分割
TensorFlow Model Analysis
● セグメントごとに分割された評価指標の可視化
Reference
● TFX: A TensorFlow-Based Production-Scale Machine Learning Platform
○ 日本語解説資料
● Kubeflow
○ 日本語解説資料
● Applied Ma...
Upcoming SlideShare
Loading in …5
×

Introduction to TFX (TFDV+TFT+TFMA)

496 views

Published on

TensorFlow Extend (TFX) の解説資料です。

https://docs.google.com/presentation/d/1R-vsoCKb1XPrMv81tpYddVH8mVunKCFuShHAOfWv9Rs/edit?usp=sharing
GIF 動画の部分がレンダリングできないので、気になる方は Google Slide ver. を御覧ください

https://d3m.connpass.com/event/98934/
Data Driven Developer Meetup #1 で発表した資料です。
TensorFlow DataValidation, TensorFlow Transformation,
TensorFlow Model Analysis の解説を行っています。

Published in: Technology
  • Be the first to comment

Introduction to TFX (TFDV+TFT+TFMA)

  1. 1. Introduction to TFX Family 1. TFT 2. TFMA 3. TFDV  上田隼也 @hurutoriya 2018/09/01
  2. 2. $ whoami ● 上田隼也 :: @hurutoriya ● キカイガクシュウエンジニア ● Machine Learning Casual Talks Co-Organizer ● https://shunyaueta.com/
  3. 3. 機械学習システムの困難性 機械学習モデルができた後に立ちはだかる壁 引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)
  4. 4. 機械学習システムの困難性 ● 継続的再学習 (Continuous Learning) ● システムに必ずヒトが介在する (Human-in-the-loop) ● データは不変の存在ではない (Data is mutable) 引用 : Hidden Technical Debt in Machine Learning Systems (NIPS2015)
  5. 5. 機械学習システムコンポーネント ● データ収集→特徴量抽出→データ検証 (ETL) ● 各種ワークフロー管理 ● 推論結果のサービング環境 ● マシンリソース管理 ● モデルの精度トラッキング
  6. 6. プロダクションレベルの機械学習システムとは? ● 最重要: Reliability + Scalability ○ Google が提唱する機械学習基盤の考え ○ TensorFlow Extend ● 機械学習システム各種ワークフロー ● 機械学習エンジニアとユーザーとして捉えた際に 何が必要案件なのかを洗い出してくれてる KDD Link here, KDD Video here, Paper Link here, Author Demo Video here .
  7. 7. High-level component overview of a machine learning platform.
  8. 8. 現在リリースされているTFXコンポーネント 1. TensorFlow Data Validation (TFDV) 2. TensorFlow Transformation (TFT) 3. TensorFlow Model Analysis (TFMA) Apache Beam に依存しており、Python2.7環境が必須
  9. 9. TensorFlow Data Validation ● データ検証を行うコンポーネント ● データパイプラインの定義: Apache Beam ○ 柔軟性 ■ 各種統計値を柔軟に計算可能 ○ 拡張性 ■ 分散処理フレームワークの特性
  10. 10. TensorFlow Data Validation ● Notebook上で統計値を可視化(Facets を利用)
  11. 11. TensorFlow Data Validation ● スキーマの推測 ○ データの特性を反映する形でスキーマを推測 ○ データは流動的なものなのでシステム側で適合させる
  12. 12. TensorFlow Data Validation ● 新データに対する検証
  13. 13. TensorFlow Data Validation ● 継続的なデータ検証
  14. 14. TensorFlow Data Validation ● 異なるデータセットに対する検証
  15. 15. TensorFlow Data Validation ● 学習環境と本番環境間の不均衡検出
  16. 16. TensorFlow Transformation ● 平均・標準偏差に基づいた正規化 ● (入力データの語彙に基づいた)文字列→数値の変換 ● TensorFlowの計算グラフとしてエクスポート可能
  17. 17. TensorFlow Model Analysis 機械学習モデルの解析を行う ● TensorBoard との違い ○ TensorBoeard : 学習の判断に必要 ■ モデルの収束など ○ TFMA: モデルリリースの判断に必要 ■ Cross Validationの結果など
  18. 18. TensorFlow Model Analysis ● One model VS. multiple models ○ TensorBoard: 基本的に単一モデルのメトリクス ○ TFMA: 複数モデルを時系列に沿って評価可能
  19. 19. TensorFlow Model Analysis ● モデルの評価をセグメントごとに分割
  20. 20. TensorFlow Model Analysis ● セグメントごとに分割された評価指標の可視化
  21. 21. Reference ● TFX: A TensorFlow-Based Production-Scale Machine Learning Platform ○ 日本語解説資料 ● Kubeflow ○ 日本語解説資料 ● Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective ● Introducing FBLearner Flow: Facebook’s AI backbone ● Machine Learning in Uber's Data Science Platforms ● Bighead: Airbnb’s End-to-End Machine Learning Platform ● Rules os ML: EN, JP ● Machine Learning Glossary by Google

×