MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata

4. © 2019 NTT DATA Corporation 4 渡部徹太郎（Japan Taxi）自己紹介土橋昌（NTTデータ）  経歴 2010年頃に当時国内最大級の千台超えのHadoopクラスタ開発に携わって以来、OSSによる大規模並列分散処理基盤の研究開発・システム開発に従事。現在はストリームデータ活用基盤、機械学習基盤など。  登壇・採録・執筆など Strata Data Conference、USENIX OpML、 Kafka Summit、Spark Summit、翔泳社「Apache Spark入門」、同「Apache Kafka」、他多数 ■ 経歴 NRIにてオンライントレードシステム基盤担当とオープンソース技術部隊を経験。リクルートテクノロジーズでは全社の横断分析基盤を担当。また、日本AWSユーザ会ビッグデータ支部を設立。現在はJapanTaxiにてデータエンジニアを担当。 ■登壇・採録・執筆など Google Cloud Next Tokyo 2018, Microsoft De:code 2016 他登壇多数書籍の執筆は→

5. © 2019 NTT DATA Corporation 5 https://sites.google.com/view/sig-mlse/wg • プロセス・事例収集WG • システム基礎WG • 本番適用のためのインフラと運用WG 宣伝？）機械学習工学研究会 WG モチベーション: 試行錯誤から本番適用にもっていくにあたり、継続的に改善を続けていく上で適切な機械学習システムを作るため - 論文になりづらいLesson Learntを収集し - アーキテクチャパターンを体系化したい (鷲崎先生の取り組み [Washizaki 2019]以外、まだ十分に整備されていない)

7. © 2019 NTT DATA Corporation 7 Hudson Mercantile New York City, 9/24 https://www.mlopsnyc.com/  印象 • Meetupを大きくした感じ • 分析者、エンジニアが多め • ハイアリングを主体としたブースもある • テックジャイアント、データ分析関連企業の登壇が目立つ  スポンサー MLOps NYC  主旨 “focus on managing and automating machine learning pipelines, to bring data science into real business applications. “  会場の様子

9. © 2019 NTT DATA Corporation 9 Javits Center, 9/23 - 26 https://conferences.oreilly.com/strata/str ata-ny  会場の様子 Strata Data Conference New York  特徴的なトピック ※「data」をストップワードに含めた • プロダクト固有の話よりもアーキテクチャや手法 • 機械学習、データサイエンス、モデル • SparkとKafkaは頻出キーワード内に入っている

11. © 2019 NTT DATA Corporation 11  MLOps NYC • Using MLOps to Bring ML to Production （Microsoft） • Nuclio関連 • 1）Real-time Financial Fraud Detection （Payoneer） • 2）Serverless for ML Pipelines from A to Z （Iguazio）  Strata Data Conference • Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder （Walmart Labs） • Deep learning on Apache Spark at CERN’s Large Hadron Collider with Analytics Zoo （Intel） • Deep learning technologies for giant hogweed eradication （NTTデータ）セッション紹介

13. © 2019 NTT DATA Corporation 13 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 MS社では多数の提供サービス内でMLが用いられている。 Office 365 1.8憶 Cortana 180憶異常・不正検知 6.5兆/日

15. © 2019 NTT DATA Corporation 15 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 KubeCon でも同様の発表あり。データ入力～データ分割まで。前処理関係

16. © 2019 NTT DATA Corporation 16 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 KubeCon でも同様の発表あり。学習と評価さらに大量（や長時間）の学習

17. © 2019 NTT DATA Corporation 17 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 KubeCon でも同様の発表あり。ロールアウト（本番適用）モニタリングとロギング含む

18. © 2019 NTT DATA Corporation 18 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 KubeCon でも同様の発表あり。大まかな流れを理解しやすい抽象度合。あらゆるフローがシーケンシャル。実業務との乖離はやや大きめの印象。

19. © 2019 NTT DATA Corporation 19 補足）当チームで検討中のワークフロー基盤の議論をするときに話の軸を合わせるために、以下の参考文献をベースに実案件での経験、有識者意見を取り入れ検討開始。参考情報例 • “Using MLOps to Bring ML to Production”, David Aronchick - Head of Open Source ML Strategy; Microsoft, MLOps NYC 19, New York, US. • “TFX: A TensorFlow-Based Production-Scale Machine Learning Platform”, Denis Baylor, Eric Breck, Heng-Tze Cheng, Noah Fiedel, Chuan Yu Foo, Zakaria Haque, Salem Haykal, Mustafa Ispir, Vihan Jain, Levent Koc, Chiu Yuen Koo, Lukasz Lew, Clemens Mewald, Akshay Naresh Modi, Neoklis Polyzotis, Sukriti Ramesh, Sudip Roy, Steven Euijong Whang, Martin Wicke, Jarek Wilkiewicz, Xin Zhang, Martin Zinkevich, Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '17, 2017. • Cross-industry standard process for data mining, https://en.wikipedia.org/wiki/Cross- industry_standard_process_for_data_mining • "AI プロダクト品質保証ガイドライン 2019.05 版", AI プロダクト品質保証コンソーシアム（QA4AI コンソーシアム）編, http://www.qa4ai.jp/QA4AI.Guideline.201905.pdf 絶賛編集中につきご注意をぜひ一緒に議論させてください

20. © 2019 NTT DATA Corporation 20 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用いくつかのツールを組み合わせ、「MLOps」のシステムを構成特徴的なのはCI/CDパイプラインを中心に処理フローを構成していること。CI/CDを通じ、異なる環境・利用者がつながる。

21. © 2019 NTT DATA Corporation 21 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用コンテナで処理やモデルをパッケージングする。 CI/CDを通じ、一連の処理がバリデートされ、機械的にデプロイされる。

22. © 2019 NTT DATA Corporation 22 Using MLOps to Bring ML to Production David Aronchick, Head of Open Source ML Strategy, Microsoft MLOps NYC（https://www.mlopsnyc.com/agenda）より引用あらゆるコンポーネント、アクティビティがIDでトラックされ、トレーサビリティが担保されている。エンドツーエンドで説明可能性を担保する。

24. © 2019 NTT DATA Corporation 24 テックジャイアントは各社の文化や方法論に合わせ適した方式を利用・開発  MS社 CI/CDの仕組みによる資材管理と共有、TensorFlow Extended、Uber Michelangelo  Netflix社独自開発のMetaflow：Pythonフレームワーク。デコレーションでフローを表現できる。数十人～数百人規模の分析者にとっての使いやすさの実現を目指す。  Twitter社 Scalaフレームワーク。CascadingベースのScaldingを利用。多様な処理に共通の言語、フレームワークを利用。  Uber社 Sparkをパイプライン構成のフレームワークとして使用。コンポーネントをEstimaterとして実装。他の処理との統合のしやすさ。考察）各社独特なML Ops支援機能を利用・開発

25. © 2019 NTT DATA Corporation 25 Nuclio関連 1）Real-time Financial Fraud Detection※1 2）Serverless for ML Pipelines from A to Z※2 ※1 Arthur Garmider, Architect, Payoneer ※2 Orit Nissan-Messing, VP of R&D, Iguazio

26. © 2019 NTT DATA Corporation 26 1）Real-time Financial Fraud Detection Arthur Garmider, Architect, Payoneer MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 • 不正検知したい • 存在しないユーザカード • マネーロンダリング • ミリ秒単位で検知したい元々は３０分ほどかかって検知していた３０分ごとにコピーされたデータを対象にオフラインで不正検知データベースからDWHにコピー

27. © 2019 NTT DATA Corporation 27 1）Real-time Financial Fraud Detection Arthur Garmider, Architect, Payoneer MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 AWSベースの代替アーキテクチャ LambdaベースのFunction数珠繋ぎ方式 SageMakerを使った簡略化しかし、Payoneerの一部のシステムはオンプレミスに残り続け、オンプレとクラウドの行ったり来たりで、リアルタイムでの検知に支障が生じていた

28. © 2019 NTT DATA Corporation 28 1）Real-time Financial Fraud Detection Arthur Garmider, Architect, Payoneer MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 CDCとNuclioを使って「リアルタイム」化 Nuclioベースの代替アーキテクチャデータの変更をキャプチャしてキューに流すトランザクションのテーブルと他のテーブルをSpark Streamingで結合 Daskを使った分析 Spark等を使って作られた特徴ベクトルを入力とし、推論する

29. © 2019 NTT DATA Corporation 29 2）Serverless for ML Pipelines from A to Z Orit Nissan-Messing, VP of R&D, Iguazio MLOps NYC（https://www.mlopsnyc.com/agenda）より引用リアルタイムの製品レコメンドにおけるデータフローの例前処理して学習に用いるモデルをAPIサーバに連携させる APIを通じて推論結果を得る推論学習前処理

30. © 2019 NTT DATA Corporation 30 2）Serverless for ML Pipelines from A to Z Orit Nissan-Messing, VP of R&D, Iguazio MLOps NYC（https://www.mlopsnyc.com/agenda）より引用レコメンデーションのフロー IngestionでNuclioを用いて効率化？シングルスレッドの Python？ノン・ブロッキングの並列処理

31. © 2019 NTT DATA Corporation 31 2）Serverless for ML Pipelines from A to Z Orit Nissan-Messing, VP of R&D, Iguazio MLOps NYC（https://www.mlopsnyc.com/agenda）より引用レコメンデーションのフローモデルサービングにNuclioを利用性能差異の理由に関して言及なし

32. © 2019 NTT DATA Corporation 32 2）Serverless for ML Pipelines from A to Z Orit Nissan-Messing, VP of R&D, Iguazio MLOps NYC（https://www.mlopsnyc.com/agenda）より引用 MLパイプラインをFunctionで構成ステートレスステートフル異なるFunction間をつなぐ肝となる

33. © 2019 NTT DATA Corporation 33 定義： Automate the Data Science Pipeline with Serverless Functions ⇒パッケージ化されたFunctionをデプロイ可能なFunction実行アーキテクチャ主要開発母体： iguazio 個人的な考察： • イベント駆動処理を簡易に実装、デプロイするのにはよさそう • 並列分散処理内で集約等の処理を伴うようなものは載せづらそう。バックグラウンドで処理させることになる？（フロー管理がどの程度可能かも気になる） • イベント駆動で推論するケースでは便利そう補足）Nuclioについて引用）https://github.com/nuclio/nuclio/ アーキテクチャ概要コンテナ等の形式でデプロイ

34. © 2019 NTT DATA Corporation 34 補足）ストリームデータ推論システムの2種類の考え方メッセージングシステム中心に考えると… 処理エンジン・フロー中心に考えると… メッセージングシステム処理処理処理 e.g. 前処理処理 e.g.推論処理 e.g.推論作られた特徴ベクトルを入力とし、推論して戻す推論結果のストリームデータを外部に書き出す外部システム実際には中間結果をメッセージングシステムなどに書き出すこともある作られた特徴ベクトルを入力とし、推論を出力外部システム処理 e.g.前処理ストリームデータを加工する

36. © 2019 NTT DATA Corporation 36 Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用 Walmartでは多数MLを用いている。例えば適切なタイミングでメールをお送りたい、など。顧客情報基盤 RocksDB、 Kafka Streams 顧客情報基盤上でデータサイエンティストが機械学習モデルを取りまわす

37. © 2019 NTT DATA Corporation 37 Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用参考：CRISP-DM 引用 https://en.wikipedia.org/wiki/Cross- industry_standard_process_for_data_m ining Walmartでのデータサイエンスモデルサイクル 50%超の時間がデータ収集とクリーニングに用いられている

38. © 2019 NTT DATA Corporation 38 Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用何かしらのイベントが入力されるいったん Kafkaに格納 Kafka Stramsで推論用のモデルをラップ業務の区切り＝パーティション複数業務シナリオが Kafka Streams基盤で動作する

39. © 2019 NTT DATA Corporation 39 Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用シリアルな処理フローパラレルな処理フロー互いの影響小互いの影響大同じイベントを複数のモデルが使う Pull型のアーキテクチャを採用

40. © 2019 NTT DATA Corporation 40 Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用オフセットはモデルごとに管理 CBBプロセッサがイベントを書き込みモデルが端からpull して処理する店舗情報、顧客情報と合わせてシーケンス・ストアを用いることで、イベントの順序を考慮する

41. © 2019 NTT DATA Corporation 41 Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用 11000店舗、27か国を対象

42. © 2019 NTT DATA Corporation 42 • Q. 一貫性は？ • バッチ処理で改修。リアルタイム処理は「確率的な」考え方になっている。 • Q. CBBデータは複雑？ • エンティティを管理する別DBが存在。 • Q. 依存関係はどう管理？ • Jarに入れる Building a multitenant data processing and model inferencing platform with Kafka Streams Navinder Pal Singh Brar (Walmart Labs) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用

43. © 2019 NTT DATA Corporation 43 補足）当チームで考えている抽象アーキテクチャイメージ先に例示したワークフローを動かす基盤のアブストラクトを整理する営みを脈々と続けている。試行錯誤から始まり、最終的に本番で運用し続けていく流れを踏まえて、一般的なエンタープライズで用いるアーキテクチャはどうあるべきか？を議論しつづける。絶賛編集中につきご注意を絶賛編集中につきご注意をぜひ一緒に議論させてくださいぜひ一緒に議論させてください

45. © 2019 NTT DATA Corporation 45 Deep learning on Apache Spark at CERN’s Large Hadron Collider with Analytics Zoo Sajan Govindan (Intel) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用 • 分析向けのソフトウェアスタック • コンセプト：ラップトップからプロダクションまでつなげるユースケース例数年前と比べて着実に増えた？

46. © 2019 NTT DATA Corporation 46 • 0.2.0の時： • Analytics + AI Platform for Apache Spark and BigDL. • 2019/12現在： • A unified analytics + AI platform for distributed TensorFlow, Keras, PyTorch and BigDL on Apache Spark 補足）Analytics Zooについて BigDL等をラップし、便利に使えるように仕立てたもの。よりハイレベルのAPIを利用できるようになる。（BigDL自体ハイレベルAPIを提供しているが…）例えば簡単に画像を扱いやすいように…など。分散 / 非分散を透過的に使えるようにする工夫など引用元）https://github.com/intel-analytics/analytics-zoo

47. © 2019 NTT DATA Corporation 47 Deep learning on Apache Spark at CERN’s Large Hadron Collider with Analytics Zoo Sajan Govindan (Intel) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用著名な事例としてのCERN CERNの過去講演など • CERN’s Next Generation Data Analysis Platform with Apache Spark （Spark Summit EU 2018） • Hadoop and Spark services at CERN （Dataworks Summit EU 2018） • Taming Billions of Metrics and Logs at Scale: Two Years with Kafka as a Central Data Hub for Monitoring @ CERN （Kafka Summit London 2018）などなど大型ハドロン衝突型加速器（LHC） CERNは過去にOSS関係のカンファレンスでよく登壇していた。常連。

48. © 2019 NTT DATA Corporation 48 Deep learning on Apache Spark at CERN’s Large Hadron Collider with Analytics Zoo Sajan Govindan (Intel) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用 LHCでは大量のデータが生じる。分析対象のデータを抽出する必要がある。リアルタイムにフィルタしたい。要は「関心のあるデータ」だけを取り出したいのだが、それは簡単なことではない。

49. © 2019 NTT DATA Corporation 49 Deep learning on Apache Spark at CERN’s Large Hadron Collider with Analytics Zoo Sajan Govindan (Intel) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用フィルタの質を上げるための深層学習パイプライン False Positiveを減らす。興味深い現象だけ残す。 YARNとk8sの両方。過去の講演から考えて、おそらく古くから Hadoopを使っており、後から k8sが入っていたと思われる。

50. © 2019 NTT DATA Corporation 50 Deep learning on Apache Spark at CERN’s Large Hadron Collider with Analytics Zoo Sajan Govindan (Intel) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用 EOS Storageを用いてる。 HDFS APIからJNI経由で透過的に利用。参考）https://eos.com/eos-storage/ 独自のコネクタを開発し、 XRootDプロトコルとつなぐ。 $ spark-shell --master local[*] --conf spark.driver.extraClassPath=<PATH>/hadoop-xrootd-1.0.4-jar- with-dependencies.jar scala> val df=spark.read.parquet("root://eosuser/eos/user/..PATH../test1.parquet") scala> df.coalesce(4).write.parquet("root://eosuser/eos/user/..PATH../test1_COPIED.parquet")) 引用）https://github.com/cerndb/hadoop-xrootd

51. © 2019 NTT DATA Corporation 51 補足）hadoop-xrootdでEOSストレージを利用するためのAPI例 public FSDataOutputStream create(Path p, FsPermission permission, boolean overwrite, int bufferSize, short replication, long blockSize, Progressable progress) throws IOException { initHandle(); String filespec = uri.getScheme() + "://" + uri.getAuthority() + "/" + toFilePath(p); eosDebugLogger.printDebug("EOSfs create issued for " + filespec); int writeBufferSize = this.conf.getWriteBufferSize(); return new FSDataOutputStream( new BufferedOutputStream( new XRootDOutputStream(filespec, permission, overwrite), writeBufferSize ), statistics ); } ch/cern/eos/XRootDFileSystem.java:110 private native long writeFile(long handle, long pos, byte buffer[], int off, int len); ch.cern.eos.XRootDClFile#writeFile JNIEXPORT jlong JNICALL Java_ch_cern_eos_XRootDClFile_writeFile (JNIEnv *env, jobject This, jlong handle, jlong filepos, jbyteArray b, jint off, jint len) { src/main/cpp/ch_cern_eos_XRootDClFile.cpp:140 org.apache.hadoop.fs.FileSystem を継承したFSDataOutputStream内で FSDataOutputStreamが用いられている。 FSDataOutputStream#writeFileを経由してXRootDプロトコルでEOSストレージに接続する。引用）https://github.com/cerndb/hadoop-xrootd

53. © 2019 NTT DATA Corporation 53 Deep learning technologies for giant hogweed eradication Naoto Umemori (NTT DATA), Masaru Dobashi (NTT DATA) Strata Data Conference New York 2019（https://conferences.oreilly.com/strata/strata-ny）より引用ドローンから撮影した画像を入力として危険外来植物を見つけるプロジェクト当該プロジェクトを題材としつつ、システム基盤のアーキテクチャに関する考察をいくつか紹介。O’Reilly Safariから講演ビデオ（スライド）も見られるのでよろしければどうぞ。 https://conferences.oreilly.com/strata/strata- ny/public/schedule/detail/77836

MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata

MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata

Recommended

More Related Content

What's hot

What's hot(20)

Similar to MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata

Similar to MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata(20)

More from NTT DATA Technology & Innovation

More from NTT DATA Technology & Innovation(20)

Recently uploaded

Recently uploaded(14)

MLOps NYC 2019 and Strata Data Conference NY 2019 report nttdata