Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Chainerのエバに Kubeflow使ってもらった

915 views

Published on

Docker Meetup Kansai #2 LT資料

Published in: Technology
  • Login to see the comments

Chainerのエバに Kubeflow使ってもらった

  1. 1. STRICTLY CONFIDENTIAL 2018.12.26 Alpaca Japan Shinya Sasaki Docker Meetup Kansai #2 Chainerのエバに Kubeflow使ってもらった
  2. 2. STRICTLY CONFIDENTIAL Who? ➢ 名前 ○ 佐々木 真也 ➢ 所属 ○ AlpacaJapan 株式会社 ■ 2018/11月から ■ Head of Infrastructure Engineering 2
  3. 3. STRICTLY CONFIDENTIAL Alpaca Japan 3 3 3 金融 機械学習 がテーマのスタートアップ 主な提供サービス プロダクト ❖ 銀行・証券会社・信託銀行を中心に金融機関向けのトレーディングAI技術で多くの実績を保持 「相場予測モデルの構築」のプロジェクト で協業 「AlpacaSearch for kabu.com」 相互に類似している銘柄のチャートパ ターンを表示 「AI外貨予測」「AI外貨積立」 指定した外貨の為替の変動を予測し、予 測した日に一定金額を積立可能 主要マーケットの短期予 測をリアルタイムで表示 弊社の大規模データ処 理の技術やディープラー ニング技術を活用したア プリケーション
  4. 4. STRICTLY CONFIDENTIAL 4
  5. 5. STRICTLY CONFIDENTIAL 5 Development Environment for Machine Leaning Engineer
  6. 6. STRICTLY CONFIDENTIAL 6
  7. 7. STRICTLY CONFIDENTIAL 7 https://chainer.org/
  8. 8. STRICTLY CONFIDENTIAL Chainer? • ニューラルネットワークの計算および学習を行うための OSSライブラリ • 複雑なニューラルネットワークの構築を必要とする深層 学習で主に用いられる • Python2.x系および3.x系から利用可能 • GPUサポート • Preferred Networks の主導で開発 8
  9. 9. STRICTLY CONFIDENTIAL 9
  10. 10. STRICTLY CONFIDENTIAL 10
  11. 11. STRICTLY CONFIDENTIAL 11
  12. 12. STRICTLY CONFIDENTIAL これまでの検証環境 ML Engineer ML Engineer ML Engineer • エンジニアごとにGPU搭載のサーバを専有 • 空きのサーバを探す必要がある 12
  13. 13. STRICTLY CONFIDENTIAL • タスク管理のサーバを用意 • エンジニアはタスクを投げつけるだけ こうしたい Scheduler ML Engineer ML Engineer ML Engineer 13
  14. 14. STRICTLY CONFIDENTIAL 14
  15. 15. STRICTLY CONFIDENTIAL Kubeflow? • Googleが2017のKubeconで発表 • Kubernetes上にML環境を容易に構築 • Composability, Portability, Scalability 15
  16. 16. STRICTLY CONFIDENTIAL Only TensorFlow? 16
  17. 17. STRICTLY CONFIDENTIAL Only TensorFlow? 17
  18. 18. STRICTLY CONFIDENTIAL 18 https://www.kubeflow.org/docs/started/getting-started-gke/
  19. 19. STRICTLY CONFIDENTIAL 19 https://www.kubeflow.org/docs/started/getting-started-gke/
  20. 20. STRICTLY CONFIDENTIAL 20
  21. 21. STRICTLY CONFIDENTIAL 21
  22. 22. STRICTLY CONFIDENTIAL 22
  23. 23. STRICTLY CONFIDENTIAL 23
  24. 24. STRICTLY CONFIDENTIAL 24
  25. 25. STRICTLY CONFIDENTIAL Chainer Example apiVersion: kubeflow.org/v1alpha1 kind: ChainerJob metadata: name: example-job-mn spec: backend: mpi master: template: spec: containers: - name: chainer image: everpeace/chainermn:1.3.0 command: - sh 25 https://github.com/kubeflow/chainer-operator/blob/master/examples/chainerjob-mn.yaml
  26. 26. STRICTLY CONFIDENTIAL 26https://qiita.com/taishin/items/0a53838fa12ddf2602bb
  27. 27. STRICTLY CONFIDENTIAL 27
  28. 28. STRICTLY CONFIDENTIAL Future Tasks • できれば既存環境をKubeflowに・・・ • 既存の開発フローの理解 • コンテナ間パイプラインの実装 • Luigiのところ 28
  29. 29. STRICTLY CONFIDENTIAL 29 We're hiring!! https://www.wantedly.com/companies/alpacadb ● Web Engineer ● Infrastructure Engineer ● ML/AI Enginner ● Fintech Engineer

×