Kubeflowに関して調べた

1. Kuberflow
Kubernetes上の機械学習プラットフォーム
Kosuke Kikuchi
A High-Spec Gofer
Persol Career Inc.,

2. Who Am I?
菊地弘祐（牡34）
青森県八戸市産、東京都育ち 北の血が濃いめ（青森、北海道、秋田あたり）
成城学園高等学校
早稲田大学理工学部建築学科
早稲田大学大学院創造理工学研究科建築学専攻芸術系分野修士課程修了（M.Arch）
早稲田大学大学院創造理工学研究科建築学専攻芸術系分野博士課程単位取得退学
株式会社スポットライト, エンジニア
IPONWeb JAPAN, データマイニングエンジニア
パーソルキャリア株式会社, 高機能雑用
https://www.16personalities.com/profiles/61b26bdff1925
Big FiveだとOpen to Experienceが強めに出る。
最近は家庭内オペレーション自動化が興味範囲。家事が属人化しているので。

3. Topic

4. Objective
Kubeflowの概要とそのリリース日の共有

5. A Brief Synopsis of Kubeflow
● Kubernetesで機械学習に関係する
サービスを集めたものです。
● 0.4は2018.12にリリースです。
● 1.0は2019.08にリリースです。

6. EOF

7. A Brief Synopsis of Kubeflow
え、もうちょい話せ？ しゃあねえ、もうちょっとやりますか

8. Agenda
● 運用面において機械学習プロジェクトの問題点
● Kubernetes上で機械学習プラットフォーム
● Kubeflowのアーキテクチャとそれによる追加のメリット

9. Common Problems on Machine Learning Operations
Machine Learning: The High-Interest Credit Card of Technical Debt
Hidden Technical Debt in Machine Learning Systems
長年機械学習を行なってきた会社で機械学習を行うことで発生する問題点が報
告される。曰く、機械学習はすごいスピードで陳腐化し、技術的負債（technical
debt）になるというのが上記の趣旨。ここでは技術的負債の説明はしないので、
リンク先を参照のこと
see: https://qiita.com/erukiti/items/9cc7850250268582dde7

10. Common Problems on Machine Learning Operations
これらの論文のSummaryは
● 機械学習においては、“Change Anything Changes Everything”
● 複雑なデータパイプラインやグルーコードを減らすべき
● 入力元となるデータ自体をバージョン管理できるようにするべき
● 不要なパラメータを削除できるように常にメンテナンスできるようにする
● 不要なコードを削除し、メンテナンス可能な状態にする
● 外部世界の変化に対応できるようにするべき
● モニタリングやテストができるようにするべき

11. Common Problems on Machine Learning Operations
よくあるMLOps問題点
● バージョンやら環境が変わると計算結果が変わる
● 確率的にジョブが失敗する
● 技術的負債の蓄積（先述のGoogleなど）
● 機械学習を本気でやるにはInfraの深い知識が必要
● MLEngやDSciがWeb Appを作ったりするのめんどくさくない？
● モニタリングがなく、検証可能・再現可能な状態になっていない

12. Common Problems on Machine Learning Operations
よくあるMLOps問題点
● バージョンやら環境が変わると計算結果が変わる
● 確率的にジョブが失敗する
● 技術的負債の蓄積（先述のGoogleなど）
● 機械学習を本気でやるにはInfraの深い知識が必要
● MLEngやDSciがWeb Appを作ったりするのめんどくさくない？
● モニタリングがなく、検証可能・再現可能な状態になっていない

13. Caveat Epexegesis ~My Evaluations of Server Virtualization Technologies~

14. Caveat Epexegesis ~My Evaluations of Server Virtualization Technologies~
開 発 環 境 には 良 いもの
の、Network起 因や各OS
のバージョン 違 いの 問 題
が発見できず。また、事前
にリソースを確 保されるの
で、非常に重い。

15. Caveat Epexegesis ~My Evaluations of Server Virtualization Technologies~
開 発 環 境 には 良 いもの
の、Network起 因や各OS
のバージョン 違 いの 問 題
が発見できず。また、事前
にリソースを確 保されるの
で、非常に重い。
開発環境には非常に良い。
基本的には環境の差異が
埋められる上に、本番に近
い構成で開発が可能。しか
し、NW周りの設定やデプロ
イ周りがめんどくさい。

16. Caveat Epexegesis ~My Evaluations of Server Virtualization Technologies~
開 発 環 境 には 良 いもの
の、Network起 因や各OS
のバージョン 違 いの 問 題
が発見できず。また、事前
にリソースを確 保されるの
で、非常に重い。
開発環境には非常に良い。
基本的には環境の差異が
埋められる上に、本番に近
い構成で開発が可能。しか
し、NW周りの設定やデプロ
イ周りがめんどくさい。
Dockerさえ覚えていけば、
本番構成が作れるものの、
痒い所に手が届かないの
で、使い物にならない。
つらみしかない。

17. Why Kubernetes + Machine Learning
Kubernetes:
● Production-Grade Container Orchestration.
● Docker Swarmの進化版
● microservices、Site Reliability Engineering、Infrastructure as a Codeの文脈で語ら
れるコンテナ技術。
● yamlで望むインフラが手に入れられる
● Infraやったことのない人には結構難易度が高いが、超便利。
Kubeflowは実はKubernetes上で動くサービスを機械学習用に編集しただけ。
Kubernetesとサービス管理のksonnetがその実態。

18. Why Kubernetes + Machine Learning

19. Why Kubernetes + Machine Learning

20. Why Kubernetes + Machine Learning

21. Why Kubernetes + Machine Learning
TensorFlow Extended

22. Why Kubernetes + Machine Learning

23. Why Kubernetes + Machine Learning
よくあるMLOps問題点で解決できること
● バージョンやら環境が変わると計算結果が変わる
○ Kubernetes: Imageで環境を管理するので、環境は同じ
○ TFX: 学習済みモデルを管理するので、出力も同じ
● 確率的にジョブが失敗する
○ Kubernetes: Batchにて失敗ジョブを自動的に再起動
● 技術的負債の蓄積（先述のGoogleなど）
○ Kubernetes: microservices化により、頻繁にメンテナンスが可能。EngとSciが
頑張って技術的負債を減らしてね！
○ TFX: Pipelineをシンプルにできた。
● 機械学習を本気でやるにはInfraの深い知識が必要
○ Kubernetes: Kubernetes Clusterはコードで管理できるために、Infraの敷居が
低くなった。
● MLEngやDSciがWeb Appを作ったりするのめんどくさくない？
○ Kubernetes+TFX: Web App化を自動化。

24. Kubeflow Architecture

25. Kubeflow Architecture
基本構成
AmbassadorをAPI Gateway PatternのReverse Proxyとして
採用（Hadoop基盤のEdge Serverと同じ）。
その下に様々なサービスを自由に追加できるようにしている。
追加できるサービスはこちらを参照。
https://github.com/kubeflow

26. Kubeflow Architecture

27. Kubeflow Architecture
Hyperparameter Tuning on Kubernetes. This project is inspired by Google
vizier. Katib is a scalable and flexible hyperparameter tuning framework
and is tightly integrated with kubernetes. Also it does not depend on a
specific Deep Learning framework e.g. TensorFlow, MXNet, and PyTorch).

28. Kubeflow Architecture
crd
ksonnet
● 設定にしたがって、yamlを生成
● Kubernetesのコンポーネントの依
存関係の解決。aptitudeと同じ。
Custom Resource Definition
● ユーザー側がリソースを
定義をする際に用いる
Operator

29. Kubeflow Architecture

30. Kubeflow Architecture
ksonnet architecture

31. Kubeflow Architecture

32. Kubeflow Architecture

33. Kubeflow Architecture

34. Kubeflow Architecture
Kubernetes上で機械学習プラットフォームを構築する良い点
● 必要なサービスを後から追加できる柔軟さがある。
● JupyterHubで検証可能・再現可能な状態が常に用意されている。
● KatibでHyperparameter Tuningが用意に可能である
● 究極的にはOpslessに向かわせることができる
Kubernetes上で機械学習プラットフォームを構築する悪い点
● チーム内に一人は機械学習かつKubernetesの基礎を知っている必要がある。
● インスタンスを立ち上げることになるので、結構お高い。
● 冪等性が100%担保されているという訳ではない。
● 利用者はインフラの深い知識が必要。Kubernetesを深く知る必要がある

35. Kubeflow Architecture
https://github.com/kubeflow/kubeflow/i
ssues/33

36. Conclusion
● Kubernetesで機械学習に関係する
サービスを集めたものです。
● 0.4は2018.12にリリースです。
● 1.0は2019.08にリリースです。

37. Appendix

38. Appendix
Kubeflowのパッケージが向いていることと向いていないこと
詳しく調べた訳ではないのですが、基本的にはマシンのメモリ量によると思いますが、バッ
チ学習には向かないのかなと思います。Uber製のMichellangeloだと、バッチ学習は
Spark、オンライン学習はPythonで行なっているそう。
→バッチ学習やストリーミング系の処理のためにissueが出ている模様。
Tensorflowとかで並列とかはできたとは思うけど、詳しくしらないので、むしろ知見を持って
いる人に聞いてみたいです。

39. Appendix
KubeflowでTensorFlow以外も使えるか？
使えます。PytorchにもPytorch用のOperatorがありますし、ChainerにもChainer用の
Operatorがある。現状ではTF以外はsevingには対応していない。1.0でPyTorchと
TensorFlow用のservingが追加されるとの噂が ROADMAP.md にあった。
Kubeflowは並列に対応しているか？
対応はしている。ただし、Parameter Server Style(Tensorflow, PyTorch)とAll-Reduce
Style(Chainer)で別にPodを作る必要があるので、設定がめんどくさい。学習済みデータは
共通して使えるかどうかはまだ調べていない。

40. Appendix
使うサーバーに制限はある？
コンテナ型仮想化技術の問題点として、Windows上にUnix系OSを立てるとあらぬ動作をす
るので、使わない方が良い。コンテナ部分にないものは一般的に下のレイヤーまで参照し
に行くが、WindowsとUnixでkernelが違うので、ある部分はUnix、ある部分はWindowsといっ
た異常な挙動を示す。Windows ServerでKubernetesを使うことはないと思うが。。。

41. EOF