2015年9月18日開催　GTC Japan 2015 講演資料 エヌビディア合同会社 CUDAエンジニア　村上 真奈 ディープラーニングの研究開発を加速させる為、エヌビディアは様々なライブラリやソリューションを提供しています。本セッションでは、ディープラーニング用ライブラリcuDNN 3、GPUを用いたディープラーニングトレーニングシステム DIGITS 2 および、CUDA7.5の特徴を説明します。DIGITS 2を使った画像認識のデモも行います。

1. エヌビディア合同会社 CUDAエンジニア 村上真奈
ディープラーニング最新技術情報
~cuDNN 3、DIGITS 2、CUDA 7.5のご紹介~

2. NVIDIA ディープラーニング プラットフォーム
音声認識 画像分析 自然言語処理
エンドユーザ アプリケーション
DIGITS
ディープラーニング フレームワーク (Caffe, Chainer, Torch, Theano)
高度に最適化された CUDA ライブラリ
CUDA プログラミング ツールキット
GPU ハードウェア

3. ディープラーニングの性能を倍増
DIGITS 2 cuDNN 3 CUDA 7.5
自動Multi-GPU スケーリングで
2倍の学習スピードを実現
単一GPUで2倍の学習スピードを実現
より大きなモデルのサポート
2倍のデータセット
インストラクションレベルの
プロファイリング

4. CUDA 7.5: ディープラーニング研究者を強力に支援
FP16(半精度浮動小数点)ストレージ
GPUメモリ上に最大2倍のデータセットを保持可能
ディープラーニングに最適
cuSPARSE 密行列×疎ベクタールーチン
自然言語処理を加速
命令レベル・プロファイリング
ピンポイントでボトルネックを特定

5. CUDA7.5: FP16(半精度浮動小数点)ストレージ
FP32と比べて, 2倍のデータをGPUメモリに搭載可能, メモリバンド幅要求
が半分
cuda_fp16.h
FP16データ型: half, half2
IEEE 754
範囲: 6*10-8 ～ 6*104
FP16/FP32変換: half2float(), float2half()
cublasSgemmEx()
FP16データ入出力対応の行列積 (演算はFP32)
符号部
(1 bit)
指数部
(5 bit)
仮数部
(10 bit)

6. CUDA7.5: cuSPARSE 密行列×疎ベクタールーチン
自然言語処理を高速化
Bag of Words(BoW)をより高速に処理
cusparse{S,D,C,Z}gemvi()
y = α ∗ op(A)∗x + β∗y
𝑦1
𝑦2
𝑦3
= 𝛼
𝐴11 𝐴12 𝐴13 𝐴14 𝐴15
𝐴21 𝐴22 𝐴23 𝐴24 𝐴25
𝐴31 𝐴32 𝐴33 𝐴34 𝐴35
−
2
−
−
1
+ 𝛽
𝑦1
𝑦2
𝑦3

7. CUDA7.5: 命令レベル・プロファイリング(GM200以降)
命令レベルで遅延発生箇所を特定可能
性能改善作業の効率UP
対応CUDAコード
SASSコード
ホットスポットと
遅延要因分析

8. cuDNN: ディープラーニング用ライブラリ
最新はバージョン3 (2015/09~)
ディープニューラルネットワークの為のGPUプリミティブ群
Caffe, Torch, Theano, Chainer等の主要ディープラーニングフレームワ
ークが採用
以下のOSをサポート (※2015.9.18現在)
Windows
Linux(x64/ARMv7/ARM64/Power8)
Mac OSX
Android(ARMv7/ARM64)

9. cuDNN: APIs
convolution
cudnnConvolutionForward()
cudnnConvolutionBackward[Bias|Filter|Data]()
activation
cudnnActivationForward()
cudnnActivationBackward()
pooling
cudnnPoolingForward()
cudnnPoolingBackward()
softmax
cudnnSoftmaxForward()
cudnnSoftmaxBackward()
…

10. cuDNN: 性能比較
AlexNet [A. Krizhevsky et al.,2012]
2.5M
18M
23M
43M
0
10
20
30
40
50
16 Core
CPU
GTX Titan Titan Black
cuDNN v1
Titan X
cuDNN v2
画像数(M)
1日あたりの学習画像数 (Caffe)
0
20
40
60
80
cuDNN 1
(TITAN Black)
cuDNN 2
(TITAN X)
cuDNN 3
(TITAN X)
性能向上
E5-2698 v3 @ 2.3GHz / 3.6GHz Turbo 1日で学習できる画像の数(100万枚単位)

11. new cuDNN3 (2015/9~)
学習の高速化
2D畳み込み演算の高速化(Maxwell向け最適化)
FFTコンボリューション対応
より大きなモデル
16ビット浮動小数点ストレージ
レイヤー機能の強化
3次元レイヤー
Logarithmic softmax layer
etc…
https://developer.nvidia.com/cuDNN

12. cuDNN3: 学習の高速化
Maxwellアーキテクチャ向けの最適化
CUDNN_CONVOLUTION_FWD_ALGO1
CUDNN_CONVOLUTION_BWD_DATA_ALGO1
0.0x
0.5x
1.0x
1.5x
2.0x
2.5x
Alexnet OverFeat VGG
cuDNN v2  cuDNN v3
学習性能: 最大2倍
cuDNN 3 performance vs. previous version on Ubuntu 14.04 LTS with
NVIDIA® GeForce® TITAN X and Intel® Core™ i7-4930K @ 3.40GHz

13. cuDNN3: 学習の高速化
FFTによる高速な畳み込み処理の追加
CUDNN_CONVOLUTION_FWD_ALGO_FFT
CUDNN_CONVOLUTION_BWD_FILTER_ALGO_FFT
CUDNN_CONVOLUTION_BWD_DATA_ALGO_FFT
0x
2x
4x
6x
8x
10x
3x3 5x5 7x7 9x9
FFT CONVOLUTIONS UP TO 10x FASTER
Speedupvs.PreviousVersion
cuDNN 3 performance vs. previous version on Ubuntu 14.04 LTS with
NVIDIA® GeForce® TITAN X and Intel® Core™ i7-4930K @ 3.40GHz

14. cuDNN: FP16ストレージ/レイヤー機能の強化
FP16(半精度浮動小数点)ストレージ
最大2倍の学習データでトレーニングを行う事が出来る
cudnnDataType_tにCUDNN_DATA_HALFが追加
レイヤー機能の強化
新しいレイヤータイプの追加
Logarithmic softmax layer
Divisive Normalization layer(within channel 2D/3D LRN & LCN)
Cross-channel Local Response Normalization layer
その他
すべてのレイヤーで3次元を使用可能に
計算ハードウェアに最適アルゴリズムの選択機能

15. Chainer
DIGITS
WebベースのディープラーニングGPUトレーニングシステム
ユーザー
インターフェース
レイヤーの
可視化
学習モデルの
作成
データセット
の作成
GPUGPU HW クラウドGPUクラスタマルチGPU
Theano
Torch
学習過程の
可視化
Caffe
cuDNN, cuBLAS
CUDA
最新はバージョン2(2015/09~)
データサイエンティスト向け
DNNsモデルの設計
学習状況・結果の可視化
多数の学習の管理
学習

16. Chainer
DIGITS
WebベースのディープラーニングGPUトレーニングシステム
ユーザー
インターフェース
レイヤーの
可視化
学習モデルの
作成
データセット
の作成
GPUGPU HW クラウドGPUクラスタマルチGPU
Theano
Torch
学習過程の
可視化
Caffe
cuDNN, cuBLAS
CUDA
学習
NVCaffe
cuDNN, cuBLAS
CUDA
DIGITS(UI/Server)
ディープラーニングの学習・テストを
簡単に行う為のUI
別マシンからDIGITSを操作する為の
サーバ機能
NVCaffe
BVLC/caffe(本家)からフォーク
最新のCUDAライブラリを使用
エヌビディアGPUに最適化

17. DIGITS: ヒストリー
2015/03/18 2015/07/07 2015/07/24 2015/08/27
v1.0
• 画像分類
• レイヤーの可視化
• cuDNN2対応
• Nvcaffe 0.10
(1ジョブ、1GPU)
v2.0 Preview
• Nvcaffe 0.12
(マルチGPU)
• JSON REST API
• GPU使用率/メモリ
使用量表示
• 対応画像フォーマッ
ト追加(PPM)
• 標準データセットツー
ルの追加
v2.0 RC
• Nvcaffe 0.13
• cuDNN3対応
v2.0
• V2.0正式版
回帰/RNN
マルチノード
その他のフレームワーク等
随時対応予定

18. DL のアプリケーション開発を支援
学習データセットの作成 学習モデルの作成 学習過程の可視化 学習済みモデルのテスト

19. new DIGITS 2
マルチGPUによる学習の高速化
GPUの数に処理データ分割し並列処理
計算性能の高いGPUに優先的に割り当て
Rest APIによるDIGITSサーバの操作機能
GPU利用情報の表示機能
メモリ使用率/GPU利用率/温度/etc…
推論処理にGPUを使用
標準データセット作成ツールの追加
対応画像フォーマットの追加
マルチGPUトレーニングに対応

20. DIGITS2: マルチGPUによる学習の高速化
自動的にマルチGPUにスケールして学習
マルチGPUにスケールする事で従来より高速に学習する事が可能
DIGITS 2 performance vs. previous version on an NVIDIA
DIGITS DevBox system
0.0x
0.5x
1.0x
1.5x
2.0x
2.5x
1-GPU 2-GPUs 4-GPUs

21. DIGITS2: REST API/推論処理/学習データセット
JSON REST API
スクリプトからDIGITSを操作可能
学習済みモデルをダウンロード
推論処理のGPU化
学習処理だけでなく推論処理もGPUで計算可能
学習データセット
DIGITSで学習する為の標準データセット(MNIST/CIFAR)作成ツール
対応画像フォーマットにPPM形式を追加
BMP/JPEG/PNG/PPM
TX1 TX1

22. DIGITS:ダウンロード
developer.nvidia.com/digits github.com/NVIDIA/DIGITS

23. Thank You

24. 新しい CUDA 本
2015年9月24日発売
インプレス社 5,400円（税込み）
Professional CUDA C Programmingの翻訳
書
CUDA プログラミングモデルから各種メモリの特徴
、ストリームの機能紹介
CUDA エンジニア 森野 慎也監訳
本日4階ホワイエにて10%割引で先行販売!
CUDA C プロフェッショナルプログラミング