Docker Meetup Tokyo #24にてChainerMNをDocker containerで動かす例を紹介しました。

1. 2018/07/19 Docker Meetup Tokyo #24 LT
谷脇 大輔 @dtaniwaki
ChainerMNをDocker containerで
動かす
1

2. 自己紹介
2
dtaniwaki
谷脇 大輔 / Daisuke Taniwaki
業務
社内で運用している機械学習向けクラスターやツールの開発・運用
経歴
2008~2012 台湾トレンドマイクロでWebクローラの開発
2012~2014 ニューヨークで食べログのアメリカ版の立ち上げ
2014~2017 Kaizen PlatformにてWeb Page Optimization Platformの開発
2017~現在 Preferred Networks
言語
日本語、英語、中国語
Ruby, JavaScript, C++ → Python, Scala

3. • PFNが開発しているPython 製の深層学習向けフレームワーク
• 深層学習に必要な計算 (微分および誤差逆伝播) を自動で行う
• numpy互換のCUDA行列計算ライブラリ CuPy を利用可能
• Define-By-Run という概念の Pioneer
Define-and-Run Define-by-Run
3
Chainerについて

4. ChainerMNについて
- 分散深層学習に必要な機能を実装したChainerの追加パッケージ
- 特徴
- 高速 NVIDIA NCCL, CUDA-Aware MPI等の最新技術の活用により高い性能を実現
- 柔軟 Chainerの柔軟性を損なわず、動的なネットワークでも分散学習可能
- 簡単 既存のコードを少し変更すれば利用可能
4
高速通信のできるInfiniBandで最大の効果

5. ChainerMNの性能
- ノード数に比例してほぼ線形に高速化
- ChainerMN による分散深層学習の性能について
- Training ResNet-50 on ImageNet in 15 min (2017/11)
- 深層学習の学習速度において世界最速を実現
5

6. ChainerMNをDocker Containerで動かす
6
Sample: https://github.com/everpeace/docker-chainer
Master
Container
Slave
Container 1
Slave
Container 2
SSH
SSH
KubernetesならConfigMapやSecret
で配布すると便利
MPI通信に必要なもの
- 通信するコンテナの IPまたはホス
ト一覧ファイル
- SSH鍵
NCCL, MPIなどが必要です。
Docker Imageあります → https://hub.docker.com/r/everpeace/docker-chainer/
mpiexec

7. 7
ChainerMN使ってみたいけど、自社サーバには
InfiniBandもないし、AWSだと10Gbpsイーサネッ
トだし・・・

8. ChainerMNをイーサネットで使う
- Double Buffering: １ステップ古い勾配を利用してモデル計算を同時に行い通信
遅延を隠蔽
- FP16 All-Reduce: 半精度浮動小数点数を利用し通信量を半減
8

9. ChainerMNのイーサネットでの性能評価
9
ChainerMNのクラウド環境向け新機能とAWSにおける性能評価

10. まとめ
- ChainerMNはDocker containerで簡単に動かすことができ
る
PFNではDockerやKubernetesで高速で効率化された
研究基盤の研究開発を行なっています
一緒に開発してくれるエンジニア募集中です！
10