Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
Proprietary and Confidential ©2017 JapanTaxi, Inc...
2
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
2
Proprietary and Confidential ©2017 JapanTaxi, I...
3
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
3
Proprietary and Confidential ©2017 JapanTaxi, I...
4
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc....
5
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
5
Proprietary and Confidential ©2017 JapanTaxi, I...
6
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc....
7
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
7
Proprietary and Confidential ©2017 JapanTaxi, I...
8
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
8
Proprietary and Confidential ©2017 JapanTaxi, I...
9
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
9
Proprietary and Confidential ©2017 JapanTaxi, I...
10
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
10
Proprietary and Confidential ©2017 JapanTaxi,...
11
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc...
12
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
12
Proprietary and Confidential ©2017 JapanTaxi,...
13
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
13
Proprietary and Confidential ©2017 JapanTaxi,...
14
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
14
Proprietary and Confidential ©2017 JapanTaxi,...
15
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc...
16
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
16
Proprietary and Confidential ©2017 JapanTaxi,...
17
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc...
18
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
18
Proprietary and Confidential ©2017 JapanTaxi,...
19
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
19
Proprietary and Confidential ©2017 JapanTaxi,...
20
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc...
21
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
21
Proprietary and Confidential ©2017 JapanTaxi,...
22
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
22
Proprietary and Confidential ©2017 JapanTaxi,...
23
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc...
24
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
24
Proprietary and Confidential ©2017 JapanTaxi,...
25
Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved
25
Proprietary and Confidential ©2017 JapanTaxi,...
Upcoming SlideShare
Loading in …5
×

of

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 1 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 2 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 3 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 4 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 5 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 6 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 7 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 8 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 9 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 10 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 11 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 12 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 13 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 14 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 15 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 16 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 17 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 18 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 19 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 20 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 21 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 22 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 23 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 24 ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ Slide 25
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

0 Likes

Share

Download to read offline

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

Download to read offline

ニューヨークで開催された機械学習運用に関するカンファレンス「ML Ops NYC 19」とデータ系のカンファレンス「Strata Data Conference 2019 New York」の注目セッションをまとめました

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to like this

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

  1. 1. 1 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved MLOps NYC 19 & Strata Data Conference 2019 New York 注目セッションまとめ 2019/12/4 JapanTaxi 次世代モビリティ事業部 渡部徹太郎
  2. 2. 2 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 2 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 自己紹介 ID : fetaro 名前:渡部 徹太郎 研究:東京工業大学でデータベースと情報検索の研究(@日本データベース学会) 前職: - 大手SIer: オンライントレードシステム基盤 - 大手SIer: オープンソース技術部隊 (MongoDB等) - リクルートテクノロジーズ: ビッグデータ分析基盤 (EMR, Hortonworks, BigQuery, Oracle Exadata) 現職: - JapanTaxi: データエンジニア エディタ: - emacs派 → InteliJ派 趣味: - 自宅サーバ 日本AWSユーザ会(JAWS) ビッグデータ支部
  3. 3. 3 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 3 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MLOps NYC 2019 o カンファレンスの概要 o Netflix社事例 oWalmart社事例 目次  Strata Data Conference 2019 NewYork o カンファレンスの概要 oSurvey Monkey 社事例 o Geotab社 / Google 社事例 o おまけ • EXPO • 求人ボード
  4. 4. 4 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved ML Ops NYC 2019 カンファレンスの概要
  5. 5. 5 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 5 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved ML Ops NYC 2019の様子  MLOps(機械学習の本番化や運用)をテーマにしたカンファレンス  著名なStrata Data Conferenceの初日(Dev Day)に近くの会場で開催されたカンファレンス o 間違いなくStrataの参加者を取り込もうと狙っている  セッションは1並列だが、著名な企業の発表が多く内容の濃いカンファレンスだった  参加費は約$300
  6. 6. 6 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Netflix社 A Human Friendly Approach to MLOps
  7. 7. 7 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 7 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MLのプロジェクト o データ探索(〜2週間) o プロトタイピング(6〜8週間) o 本番化 (12〜14週間) o リリース後のモデル更新 (〜8週間)  課題 o プロトタイピング、本番化、リリース後のモデル更新に時間がかかる  解決法 o 独自フレームワーク「Metaflow」の導入 o Metaflowは以下の開発スタック全体をラッピングしてくれる Netflix Metaflow
  8. 8. 8 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 8 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MetaflowではPythonのデコレータ(@で始まる関数修飾子)を駆使する o データサイエンティストはローカルでPythonを書くだけで良い o ローカルで開発することができ、そのままクラスタ上で分散処理させることが可能 Netflix DAG(データアローダイアグラム)の生成 各ステップの結果の永続化
  9. 9. 9 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 9 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Netflix 計算リソースの確保 forループで並列処理
  10. 10. 10 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 10 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Netflix オンライン推論エンドポイントの作成 https://blog.japantaxi.co.jp/2019/11/20/5133詳細な説明:JapanTaxiブログ: DAGの中間状態をNotebookでデバッグ https://www.youtube.com/watch?v=fOSZuONmLbA#action=share動画:  結果 o サイエンティストからは「本番デプロイの複雑さを軽減してくれた」と好評を得ている o 最初のモデルの本番化であれば、1週間未満で実現できているプロジェクトが最も多くなった o 〜100のアクティブユーザ
  11. 11. 11 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Walmart社 Data as the Enabler of Digital Transformation
  12. 12. 12 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 12 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MLプロジェクトの60%〜80%がプロダクションにならずに頓挫している o 連携不足 • IT担当、エンジニア、データ、そしてデータサイエンスのチームの連携不足 • データサイエンティストがエンジニアリングの知識不足 o ビジネスの理解を得られない • データの品質が不明瞭 • ビジネスとの握りが曖昧 • ビジネスへの説明不足 o MLのOps(運用)の難しさ • データサイエンティストが書いたコードは本番には採用できない • データのETLにかなり苦労する Walmart
  13. 13. 13 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 13 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  Walmartでのアプローチ o MLプロジェクトで3つのゴールデンルールを作り、これを説明することを徹底した 1. なぜ重要なのか? • だれかがそれに金を払うか • 「Cool」なプロダクトはいらない 2. 説明できるか? • ビジネスの言葉で説明できるか 3. 実装できるか? • 本番化する計画は明瞭か  MLOpsの実践 o 「人」「プロセス」「技術」の3つを常に考える • 自動化を推進する • プロセスは包括的になるようにする • フィードバックループを回す • ビジネスユーザフレンドリーにする Walmart
  14. 14. 14 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 14 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MLソリューションの全体像 Walmart
  15. 15. 15 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Strata Data Conference 2019 NewYork カンファレンスの概要
  16. 16. 16 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 16 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Strata Data Conference 2019 NeyWorkの概要  O’REILLY社主催のデータ系カンファレンス  Hadoop全盛期はHadoopの事例が多く発表されたが、近年は機械学習やHadoop以外のデータ系ソリューションの 話題にシフトしてきている  参加費は約$1000
  17. 17. 17 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Survey Monkey 社 Your cloud, your ML, but more and more scale? How Survery Monkey did it
  18. 18. 18 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 18 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MLの進化 o Phase1: アドホックML • jupyter nootbookやExcelなどを用いたアドホックな機械学習 o Phase2: ML as a Service (2017) • 予測モデルごとにサービスを作っていった • Nginx → pyramid → 予測モデル という組み合わせを何個も作った • 良かった点 • いろいろなMLライブラリを使える • リソースが分離されている • 悪かった点 • 複数のSDKが存在し管理が大変 • A/Bテストが存在しない • 特徴量の共有がない • 同期的な推論しかできない Survey Monkey
  19. 19. 19 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 19 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  MLの進化 o Phase3: ML as Platform • 一つのエンドポイントを用意し、 リクエストをルーティング • A/Bテスト • 非同期の推論のサポート • 特徴量のシェア • リソースの最適配分 • スケーラビリティの確保 • モデル・学習データの標準化 • AWS / kong(API) / Clipper(推論サービス) / Tensorflowで作った o Phase3の結果 • リリースが8週間から2週間に • 50%のコスト削減 • 20倍のサービング容量 • ただし、デバッグは大変になった Survey Monkey
  20. 20. 20 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved Geotab社 / Google社 Turning petabytes of data from millions of vehicles into open data with Geotab
  21. 21. 21 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 21 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  扱うデータ o 180万のコネクティッド車両 o 1日に409億のデータポイント o 5ペタのデータをBigQueryに格納  データの用途 o 交通・安全 • 交差点の調査、危険エリア、速度、タイヤの空気圧 o 効率的なコミュニケーション • ライドシェア、メンテナンス o 環境 • 天気、大気の品質管理、ガスの排気量のモデリング、 EVの充電場所  どうやってデータを取るか o 自前のセンサを付ける GeoTAB / Google
  22. 22. 22 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 22 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  GeoTABのデータ分析の遷移 o データはアプリケーションに依存してバラバ ラだった o 部署ごとにバラバラの値をレポートしていた o 会社が小さく、誰に聞けばよいかがわかった o データも小さく、レポートを作る過程でデー タを浄化すればよかった o Google Sheetでコラボレーションしていた GeoTAB / Google o BigQueryにデータを統合した o 全ての物事をBigQueryに格納した o GSuiteを使っていたから、簡単にBigQueryを使 い始めることができた o 標準SQLが多くの開発者にとって使いやすかった o WebUIベースで多くのツールを付け足す形で進化 していった 2014年 2019年  まとめ o BigQueryとともに成長してきた。 o BigQueryは180万の車両になった今も、40万の車両だったときと同じパフォーマンスを出して いる o GISクエリ、BQ ML、スピードの改善、パーティショニングなど日々進化している o 完全にマネージドなデータウェアハウスなので、価値の提供に集中できる
  23. 23. 23 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved おまけ
  24. 24. 24 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 24 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  Expoにブース出店していた割合 ※私が話を聞いた29社中の割合 o データベース(グラフDBなど):5社 o データガバナンス:4社 o ETL:4社 o 機械学習製品:3社 o データカタログ:3社 o データレイク(オブジェクトストレージなど):3社 o データウェアハウスサービス:2社 o データテストソリューション:1社 o その他(BI、 SIer、ワークフロー):4社  所感 o 実際にデータ分析を進めていくと苦労する領域である、「データガバナンス」や「データカ タログ」の会社が増えてきた Strata Expoブースの傾向
  25. 25. 25 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved 25 Proprietary and Confidential ©2017 JapanTaxi, Inc. All Rights Reserved  データサイエンティストと同じぐらいデータエンジニアの求人が多い Strata 求人ボード

ニューヨークで開催された機械学習運用に関するカンファレンス「ML Ops NYC 19」とデータ系のカンファレンス「Strata Data Conference 2019 New York」の注目セッションをまとめました

Views

Total views

2,939

On Slideshare

0

From embeds

0

Number of embeds

528

Actions

Downloads

14

Shares

0

Comments

0

Likes

0

×