Docker Meetup Kansai #2 LT資料

1. STRICTLY CONFIDENTIAL
2018.12.26
Alpaca Japan
Shinya Sasaki
Docker Meetup Kansai #2
Chainerのエバに
Kubeflow使ってもらった

2. STRICTLY CONFIDENTIAL
Who?
➢ 名前
○ 佐々木 真也
➢ 所属
○ AlpacaJapan 株式会社
■ 2018/11月から
■ Head of Infrastructure Engineering
2

3. STRICTLY CONFIDENTIAL
Alpaca Japan
3
3 3
金融 機械学習 がテーマのスタートアップ
主な提供サービス プロダクト
❖ 銀行・証券会社・信託銀行を中心に金融機関向けのトレーディングAI技術で多くの実績を保持
「相場予測モデルの構築」のプロジェクト
で協業
「AlpacaSearch for kabu.com」
相互に類似している銘柄のチャートパ
ターンを表示
「AI外貨予測」「AI外貨積立」
指定した外貨の為替の変動を予測し、予
測した日に一定金額を積立可能
主要マーケットの短期予
測をリアルタイムで表示
弊社の大規模データ処
理の技術やディープラー
ニング技術を活用したア
プリケーション

4. STRICTLY CONFIDENTIAL 4

5. STRICTLY CONFIDENTIAL 5
Development Environment
for Machine Leaning Engineer

6. STRICTLY CONFIDENTIAL 6

7. STRICTLY CONFIDENTIAL 7
https://chainer.org/

8. STRICTLY CONFIDENTIAL
Chainer?
• ニューラルネットワークの計算および学習を行うための
OSSライブラリ
• 複雑なニューラルネットワークの構築を必要とする深層
学習で主に用いられる
• Python2.x系および3.x系から利用可能
• GPUサポート
• Preferred Networks の主導で開発
8

9. STRICTLY CONFIDENTIAL 9

10. STRICTLY CONFIDENTIAL 10

11. STRICTLY CONFIDENTIAL 11

12. STRICTLY CONFIDENTIAL
これまでの検証環境
ML Engineer
ML Engineer
ML Engineer
• エンジニアごとにGPU搭載のサーバを専有
• 空きのサーバを探す必要がある
12

13. STRICTLY CONFIDENTIAL
• タスク管理のサーバを用意
• エンジニアはタスクを投げつけるだけ
こうしたい
Scheduler
ML Engineer
ML Engineer
ML Engineer
13

14. STRICTLY CONFIDENTIAL 14

15. STRICTLY CONFIDENTIAL
Kubeflow?
• Googleが2017のKubeconで発表
• Kubernetes上にML環境を容易に構築
• Composability, Portability, Scalability
15

16. STRICTLY CONFIDENTIAL
Only TensorFlow?
16

17. STRICTLY CONFIDENTIAL
Only TensorFlow?
17

18. STRICTLY CONFIDENTIAL 18
https://www.kubeflow.org/docs/started/getting-started-gke/

19. STRICTLY CONFIDENTIAL 19
https://www.kubeflow.org/docs/started/getting-started-gke/

20. STRICTLY CONFIDENTIAL 20

21. STRICTLY CONFIDENTIAL 21

22. STRICTLY CONFIDENTIAL 22

23. STRICTLY CONFIDENTIAL 23

24. STRICTLY CONFIDENTIAL 24

25. STRICTLY CONFIDENTIAL
Chainer Example
apiVersion: kubeflow.org/v1alpha1
kind: ChainerJob
metadata:
name: example-job-mn
spec:
backend: mpi
master:
template:
spec:
containers:
- name: chainer
image: everpeace/chainermn:1.3.0
command:
- sh
25
https://github.com/kubeflow/chainer-operator/blob/master/examples/chainerjob-mn.yaml

26. STRICTLY CONFIDENTIAL 26https://qiita.com/taishin/items/0a53838fa12ddf2602bb

27. STRICTLY CONFIDENTIAL 27

28. STRICTLY CONFIDENTIAL
Future Tasks
• できれば既存環境をKubeflowに・・・
• 既存の開発フローの理解
• コンテナ間パイプラインの実装
• Luigiのところ
28

29. STRICTLY CONFIDENTIAL 29
We're hiring!!
https://www.wantedly.com/companies/alpacadb
● Web Engineer
● Infrastructure Engineer
● ML/AI Enginner
● Fintech Engineer