Recommended
More Related Content
Similar to ディープラーニングのフレームワークの自作
Similar to ディープラーニングのフレームワークの自作 (20)
ディープラーニングのフレームワークの自作
- 2. 自己紹介 ● CUDAを使った画像処理の仕事をしてました。 ● 個人的にソースコードの解析などの開発ツールを 作ってました。 ● AIの勉強を始めたのは半年前。 AIの実務の経験はありません。 2/21
- 4. 基本的な動作 ● 順伝播の式をC#で書く。 ● C#のソースコードを解析して、逆伝播の数式を生成 ● CUDAゃC++のプログラムのソースコードを生成 ● MathJaxの形で順伝播や逆伝播の式を出力 4/21
- 5. フレームワークの予備知識 ● 順伝播と誤差逆伝播 ● 多変数関数の微分と高校の微分 ● 行列の知識は不要 ● C#、C++、CUDA 5/21
- 10. 逆伝播の式を生成 10/21
- 11. C++やCUDAのソースコードを生成 for (int j = 0; j < X; j++) { for (int _batch_idx = 0; _batch_idx < BatchSize; _batch_idx++) { double _wk = 0; for(int i = 0; i < Y; i++){ _wk += delta_u[i * BatchSize + _batch_idx] * w[X * i + j]; } delta_x[j * BatchSize + _batch_idx] = _wk; } } ミニバッチのforループも追加 11/21
- 12. プログラムの処理の流れ ● C#のソースコードを解析 ● 字句解析、構文解析、名前解決、型推論 ● 逆伝播の式を作成 ● 変数の順伝播先を調べる ● 逆伝播の方程式を作る ● 微分 ● 数式の簡約化 ● CUDAやC++のソースコードを作成 ● 実行順序の決定 12/21
- 13. 字句解析 ソースコードの文字列を字句の列に分解 from j in Range(X) select x[j] from j in Range ( X ) select x [ j ] 13/21
- 14. 構文解析 字句の列を 木構造に変換 ＋ ＊ a b 3 a b 3+ * 加算の解析 乗算の解析 a b 3 乗算の解析 基本要素 解析 関数の再帰呼び出しで 木構造を作成 + * 基本要素 解析 基本要素 解析 14/21
- 15. 名前解決と型推論 class FullyConnectedLayer { double[] y; double[] x; void Forward() { foreach (int i in Range(Y)) { y[i] = x[i]; } } } 名前解決 : 木構造を上方向にたどって、 変数の宣言場所を探す 型推論 : 変数の型から式の型を計算 例 : xはdoubleの配列なのでx[i]はdouble 15/21
- 17. 逆伝播の方程式を作る 17/21