ReNom User Group #12 Part2

1. Copyright © 2019 GRID All Rights Reserved.
INFRASTRUCTURE + LIFE + INNOVATION
12019/8/15
RNUG 20190709
DL
Technology
Solution
Group
諏訪佑介

2. Agenda
22019/8/15
ReNom DLについて
DL version 3における速度向上工夫の紹介

3. ReNom DLについて
32019/8/15
ReNomDLは、GRID社が開発しているDeep Learningフレームワーク

4. ReNom DLについて
42019/8/15
コンセプト:
ユーザのプログラミングスキルによらず、
高速なNN構築が可能なこと

5. ReNom DLについて
52019/8/15
ReNomDL v3の特徴
1. 「計算グラフ(NN)を構築してから、データを実際に流して計算を実行す
る」Define and Run方式を採用した。
… 計算グラフの最適化を行ってから計算できるので、高速な処理が可能
2. 「計算グラフ(NN)を構築は、Define by Run方式」
… 計算を実行しながら、計算グラフを構築できるので、デバッグがしやすい。

6. DL version 3における速度向上工夫
62019/8/15
 計算グラフの枝刈り
 同じ深さのグラフノードを並列実行
 パラメータに最適なアルゴリズム選択(Gemm, Convlution)
+ JITコンパイリング new
 CPU, GPU間のデータ転送の並列化
 GPUメモリ領域が少なくなった場合, CPUへのデータ退避
 計算の再利用

7. DL version 3における速度向上工夫
72019/8/15
CUDAカーネルのJITコンパイリング
C = A + B
D = A * C
Naive
__device__ void add(float *A, float *B, float *C)
__device__ void add(float *A, float *C, float *D)
__device__ void add(float *A, float *B, float *D)
=> サイズの小さいカーネルを一つのカーネルとして再構築する

8. DL version 3における速度向上工夫
82019/8/15
JITなしバージョン
a b
c
d
Add
x
x
Mul
Sub
3個のCUDAカーネルが
逐次実行される

9. DL version 3における速度向上工夫
92019/8/15
a b c d
x
JIT コンパイルバージョン
Add SubMul
一つのCUDAカーネルとして
再定義し、実行する。

10. DL version 3における速度向上工夫
102019/8/15
JITなし JIT

11. DL version 3における速度向上工夫
112019/8/15
ReNomDL で定義された式が
CUDAカーネルとして定義される

12. DL version 3における速度向上工夫
122019/8/15
さらに、対応する逆伝播計算用の
CUDAカーネルも定義される

13. まとめ
132019/8/15
DL version 3における速度向上工夫の紹介
=> JITコンパイルに基づく速度機能を追加