【DLL3】20170904_ChainerMN_PFN福田圭祐
•
2 likes•3,352 views
9月1日にリリースした分散深層学習パッケージChainerMNの正式版（v1.0.0）を紹介
Recommended
More Related Content
Viewers also liked
Viewers also liked (10)
More from Preferred Networks
More from Preferred Networks (20)
【DLL3】20170904_ChainerMN_PFN福田圭祐
- 1. 正式版 リリース 福田 圭祐 Preferred Networks, Inc.
- 2. 今日のお話 分散深層学習とは？ ChainerMNとは？ ChainerMNの仕組み 1.0.0リリースの中身 誰が・いつChainerMNを使うべき？ 2
- 3. 分散深層学習とは？
- 4. 分散深層学習とは 長時間を要する深層学習計算を、 多数のGPUを並列に用いることによって短時間で終わらせる 深層学習業界は、計算パワーの戦いになりつつある – メリット： 研究開発のターンアラウンドタイムの短縮 ＝ より多くの試行錯誤 お金で時間を買う – デメリット： 多数のGPU・高速なネットワーク・（＋電力⚡）が必要 – 特にネットワークが重要 並列化の限界：並列化しすぎるとモデルの精度が劣化（Sharp minima） 4
- 5. モデルの精度劣化? GPUを増やす＝バッチサイズ増加 – 普通のバッチサイズ × GPU数 バッチサイズを増やしすぎると、得られるモデルが劣化する（場合がある） – 1エポック内のイテレーション数の減少 ＝ 探索の不足 – 勾配の分散の減少 ＝ 悪い局所解にハマりやすくなる – 精度に言及していない高速化の報告は意味なし！ バッチサイズ、どれくらいまで大丈夫なの？ – PFN社内の実験：ResNet-50 = 32*128GPU = 4096 までは大丈夫（ほぼ精度劣化なく時間短縮） – ”Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour” = 8192 – “Scaling SGD Batch Size to 32K for ImageNet Training” = 32768 5 ※学習率の調整等のノウハウは必要
- 6. ChainerMNとは？
- 7. ChainerMNとは？ Chainerによる学習を、分散処理によって高速化するための追加パッケージ 特徴 – Scalable NVIDIA NCCLやCUDA-Aware MPIなどの最新技術により高い並列性能 を実現 – Flexible Chainerの特徴の一つである、動的なネットワークも分散学習可能 – Easy 既存のChainerのコードに少し変更を加えれば利用可能 GitHubリポジトリ – https://github.com/chainer/chainermn 7
- 9. 分散学習の手法 データ並列 – データを分割して、複数のワーカーが並列に学習 モデル並列 – モデルを分割して、複数のワーカーが並列に学習 9 データ並列 モデル並列 ChainerMNはこちら
- 11. All-Reduce 各ワーカーが持つ値を集計し、集計した結果を全ワーカーに配る処理 ChainerMNでは各ワーカーが持つ勾配𝑔𝑖から平均 𝑔を計算して配る – 厳密に言うと、AllreduceでSuｍを計算 11 All-Reduce 𝑔0 = 1 𝑔1 = 2 𝑔2 = 3 𝑔 = 2 𝑔 = 2 𝑔 = 2
- 15. 1.0.0リリース（9/1）の中身 簡単に言うと…（1.0.0b2からの変更） – 安定性向上 いろいろ細かいBugfix – 速度向上（NCCL2.0サポート） NVIDIAの社の通信ライブラリのサポートにより通信がさらに高速になった – サンプルの充実 seq2seq（自然言語処理・翻訳） DCGAN（生成系） – 将来への布石 モデル並列の実験的サポート 15
- 17. 誰が・いつChainerMNを使うべき？ 身も蓋もないことを言うと… お金と知識がある人 – お金： GPUをたくさん 高速なネットワーク（Infinibandがおすすめ） – 知識： 並列・分散環境の構築・設定は罠が多し💀 トラブルシューティングが自分でできる方 結果の妥当性評価 17
- 19. 19
- 21. ChainerMNのこれから
- 22. ChainerMNのこれから – データ並列だけではこの先生きのこれない – 高速化とチューニング 22 – 強化学習を含むより多くの応用 – 非MPI環境への対応 – スパコンへの対応強化 – クラウド環境への対応を強化 with Microsoft & XD Faster, larger deep learning ChainerMN everywhere
- 23. まとめ ChainerMNとは – Chainerによる学習を、分散処理によって高速化するための追加パッケージ – 1.0.0正式版リリース！ – GitHubリポジトリ https://github.com/chainer/chainermn 大規模・分散深層学習は日進月歩で研究が進んでいます！ Microsoft Azureで手軽にChainerMN！ ChainerMN everywhere & faster, larger deep learning 23
- 24. ありがとうございました 24