Recommended
More Related Content
Similar to Distribution Strategy pattern
Similar to Distribution Strategy pattern (20)
More from yohei okawa
Recently uploaded
Recently uploaded (15)
Distribution Strategy pattern
- 1. Machine Learning Design Patterns Design Pattern 14: Distribution Strategy hei4 図は以下から引用： Lakshmanan, Valliappa, Sara Robinson, and Michael Munn. Machine learning design patterns. " O'Reilly Media, Inc.", 2020.
- 2. Problem • 大量のデータを大規模なニューラルネットで学習することが一般的になったが、モデ ルの訓練に時間がかかることは深層学習の最大の問題の一つ 事例）ImageNetの学習 NVIDIA M40 GPUで単精度浮動小数点で90エポック学習 ⇒ 14日必要 • 長い訓練が終わってから次のアイデアを試したり、設定を調整することになる • 自前で高価なGPUを用意するにしろ、クラウドサービスを利用するにしろ、訓練 時間の長さは金額的コストに直結する
- 3. Solution • 訓練にかかる労力を複数のマシンに分散させることで、訓練時間を短縮する • 分散する方法は、データ並列とモデル並列の2つが存在する • データ並列：学習データを分割し、各ワーカーが異なるサブセットデータについ て計算を実行する。各ワーカーの計算結果を共有する方法は、同期処理と 非同期処理が存在する • モデル並列：モデルを分割し、各ワーカーがモデルの異なる部分の計算を実 行する
- 4. Solution Synchronous training ワーカー 中央サーバー • 同期処理はall-reduce アルゴリズムで実行される 1. モデルのコピーを各ワーカーに配置 2. 異なるミニバッチを各ワーカーに分配 3. 各ワーカーはモデルパラメータの勾配を計算 4. 各ワーカーの勾配を集約して単一の勾配を生成 5. 中央サーバーは勾配からモデルパラメータを更新 （1.に戻り処理を繰り返す） • 勾配を集約する方法は平均化など
- 5. Solution Synchronous training 単一マシン上の 複数GPU 複数マシン上の 複数GPU • TensorFlowではハードウェアの特性に合わせた同期処理の方式を選択する パラメータをワーカーにミラーリング 一箇所でパラメータ更新 複数マシンで分散処理が可能 • PyTorchではDistributedDataParallelでノード数とプロセス数を指定する
- 6. Solution Asynchronous training • 非同期処理はall-reduce アルゴリズムを実行せず、各 ワーカーの勾配で逐次的にパラメーターを更新する • 他のワーカーの処理待ちが発生しないため、スループットが 高い • ワーカーの処理が失敗すると、そのワーカーに割り当てられた データの結果が失われ、エポック数の把握が難しくなる • 遅いワーカーは古いパラメータで計算する可能性があるが、 実際には大きな問題にはならない
- 7. Solution • 同期処理： • 全デバイスが単一ホスト上で高速なリンクで繋がっている場合に適している • すべてのワーカーからの更新を待って訓練が停止するため、デバイスの速度が 遅い場合やネットワーク接続が不十分な場合に特に脆弱 • 非同期処理： • 低電力または信頼性の低いワーカーが多い場合に適している • 1つのワーカーが計算に失敗しても訓練ループは停止しない
- 9. Trade-Offs and Alternatives (1) Model parallelism • モデル並列は、モデルを分割して各デバイスが担当するコン ポーネント部分のみの計算を行う • モデル並列はコンポーネント間でニューロンの値を共有する ため、全結合層*の多いニューラルネットに適している • データ並列は異なるワーカーでパラメータを受け渡しするた め、畳み込み層**の多いネットワークに適している * ニューロンあたりの計算量が多い ** パラメータあたりの計算量が多い
- 10. Trade-Offs and Alternatives (2) ASICs for better performance at lower cost Choosing a batch size • ASIC（特定用途向け集積回路）を使用する ことでも訓練時間を短縮できる 事例）TPU GPUで訓練に2週間 ⇒ TPUで訓練に数時間 • データをアクセラレータ（GPU）に移動するI/O が大きなボトルネックになりつつある。TPUのような 高メモリ・高インターコネクトのチップを活用すれば ボトルネックを解消できる • データ並列ではモデルの規模が大きくなると、モデ ルをワーカーに共有する時間が増大する。バッチ サイズを大きくして、少ない反復回数にしたい バッチサイズを大きくすると誤差が増大。 バッチサイズについて学習率を 線形にスケールするとよい* * Goyal, Priya, et al. "Accurate, large minibatch sgd: Training imagenet in 1 hour." arXiv preprint arXiv:1706.02677 (2017).
- 11. Trade-Offs and Alternatives (3) Minimizing I/ O waits 入力パイプラインの実行： ストレージからデータ読み込み、前処理、 アクセラレータへの転送 アクセラレータ 訓練ステップが完了するまでに 次のデータが用意されていたいため、 アクセラレータに待ち時間が発生 訓練ステップの実行中に、次ステップの データの入力パイプラインを処理することで アクセラレータの待ち時間を短縮
- 12. Distribution Strategy パターン どんなメリットがある？ • ニューラルネットワークの訓練を加速する どうやって解決する？ • ミニバッチをワーカーに分散してパラメータ勾配を求め、 中央サーバーで勾配を集約してモデルを更新する （同期処理） or 他のワーカーを待たずにモデルを 更新する（非同期処理） どんなときに使う？ • 大規模なニューラルネットワークを訓練するとき トレードオフや関連手法はある？ • トレードオフ：単一ホスト上に高速デバイスが高速な リンクで繋がっている場合は同期処理。信頼性の低 いデバイスが多い場合は非同期処理 • 関連手法：モデル並列