Chainer MN,◯◯台で使ってみました
中部⼤学
機械知覚&ロボティクスグループ
⼭下隆義
⾃⼰紹介
中部⼤学 ⼯学部 情報⼯学科 准教授
@takayosiy
え
 前職では
機械知覚&ロボティクスグループ
Machine Perception & Robotics Group (MPRG)
藤吉教授
⼭内助⼿
平川研究員
⼭下准教授
秘書1名
博⼠後期課程  4名  博⼠前期課程 13名
学部4年⽣  18名  学部3年⽣  20名
研究分野
⼈や周辺を理解する画像認識・ロボットシステム
中部⼤学の施設
中部⼤学の施設
95台の端末がInfinibandで接続 各端末のスペック
Quadoro P5000
Xeon E5-2620
Mem. 16GB
Ubuntu & Windowsデュアルブート
infiniband
NFS
Giga Ethernet
Chainer MNの活⽤
起動時にイメージをNFSより配信 各端末のスペック
Quadoro P5000
Xeon E5-2620
Mem. 16GB
Ubuntu 16.04
chainer 2.0.1
chainer MN 1.0
opencv 3.2.0
nvidia-docker
singularity
Chainer MNでつまずいたこと・・・
データの置き場所
学習データをNFSに置いて共有化
30台で学習=> 1.2倍ぐらいしか速くならない・・・
NFS
学習データ
Chainer MNでつまずいたこと・・・
データの置き場所
各端末のHDDにデータをコピー
30台で学習=> 4倍⾼速化
NFS
学習データ
セマンティックセグメンテーション
human
car
motorcycle
bicycle
road
sidewalk
pole
traffic sign
traffic signal
sky
vegetation
terrain
Multiple Dilated Convolutional Blocks によるセマンティクセグメンテーション, SSII2017
セマンティックセグメンテーション
ネットワーク構造
Multiple Dilated Convolutional Blocks によるセマンティクセグメンテーション, SSII2017
convolution
pooling
upsampling
residual connection
Multi dilated convolution
convolution 1x1
Dilated convolution 3x3, D=3
Dilated convolution 3x3, D=2
Dilated convolution 3x3, D=1
Dilated convolution 3x3, D=4
concat
Multi dilated convolution block
セマンティックセグメンテーション
Cityscapes Dataset (https://www.cityscapes-dataset.com)
Multiple Dilated Convolutional Blocks によるセマンティクセグメンテーション, SSII2017
(50都市25,000フレームからデータセットを構築)
第3位(2016年11⽉時点)
研究グループのリソース
DGX-1
TITAN Xp : 2枚 (NVIDIA GPU Grant Program)
そのほか, > 60GPUs
Amazon Robotics Challengeでの活⽤
Amazon Robotics Challengeでの活⽤
Chubu
University
Chukyo
University
Collaboration
Internship
Join as academic staff
Internship
Official Employee
Mitsubishi
Electric
Appearance-based
Recognition
Point Cloud-based
Recognition
System, Gripper,
and Sensor
中部大学
工学部 ロボット理工学科
宮腰 あゆみ
機械知覚&ロボティクスグループ
487-8501
愛知県春日井市松本町1200
Tel 0568-51-9096
Fax 0568-51-9409
miya@vision.cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu University
Department of Robotics Science and Technology
College of Engineering
Ayumi Miyakoshi
Machine Perception and Robotics Group
1200 Matsumoto-cho, Kasugai, Aichi
487-8501 Japan
Tel +81-568-51-9096
Fax +81-568-51-9409
hf@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学
工学部 ロボット理工学科
助手
山内 悠嗣
機械知覚&ロボティクスグループ
487-8501
愛知県春日井市松本町1200
Tel 0568-51-8249
Fax 0568-51-9409
yuu@vision.cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu University
Department of Robotics Science and Technology
College of Engineering
Research Assistant
Dr.Eng.
Yuji Yamauchi
Machine Perception and Robotics Group
1200 Matsumoto-cho, Kasugai, Aichi
487-8501 Japan
Tel +81-568-51-8249
Fax +81-568-51-9409
yuu@vision.cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学
工学部 情報工学科
講師
山下 隆義
機械知覚&ロボティクスグループ
487-8501
愛知県春日井市松本町1200
Tel 0568-51-9670
Fax 0568-51-1540
yamashita@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu University
Department of Computer Science
College of Engineering
Lecturer
Dr.Eng.
Takayoshi Yamashita
Machine Perception and Robotics Group
1200 Matsumoto-cho, Kasugai, Aichi
487-8501 Japan
Tel +81-568-51-9670
Fax +81-568-51-1540
yamashita@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
中部大学
工学部 ロボット理工学科
教授
藤吉 弘亘
機械知覚&ロボティクスグループ
487-8501
愛知県春日井市松本町1200
Tel 0568-51-9096
Fax 0568-51-9409
hf@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
博士(工学)
MACHINE PERCEPTION AND ROBOTICS GROUP
Chubu University
Department of Robotics Science and Technology
College of Engineering
Professor
Dr.Eng.
Hironobu Fujiyoshi
Machine Perception and Robotics Group
1200 Matsumoto-cho, Kasugai, Aichi
487-8501 Japan
Tel +81-568-51-9096
Fax +81-568-51-9409
hf@cs.chubu.ac.jp
http://vision.cs.chubu.ac.jp
MACHINE PERCEPTION AND ROBOTICS GROUP
物体らしさを導⼊したSSD
Default boxes generator
(6 boxes)
5 x 5 x 6 = 150 default boxes Convolutional
item classifier
・・・
#1 default box #2 default box #6 default box
・・・
Softmax
・・・
Tissue Box = 0.02
Robots Book = 0.02
Balloons = 0.91
Crayons = 0.03
Others = 0.02
Balloons
Object classification
Convolutional
offset estimator
・・・
#1 default box #2 default box #6 default box
Offset of box center (x axis)
Offset of box center (y axis)
Offset of box width
Offset of box height
Box localization
Convolutional
objectness classifier
・・・
#1 default box #2 default box #6 default box
Softmax
Box detection
Object = 0.89
Non-object = 0.11
VGG Net conv
From :conv5_1
To :fc7
Add conv
From :conv6_1
To :conv6_2
Add conv
From :conv7_1
To :conv7_2
Add conv
From :conv8_1
To :conv8_2
Add conv
From :conv9_1
To :conv9_2
VGG Net conv
From :conv1_1
To :conv4_3
VGG Net conv
From :conv1_1
To :conv4_3
VGG Net conv
From :conv5_1
To :fc7
Add conv
From :conv6_1
To :conv6_2
Add conv
From :conv7_1
To :conv7_2
Add conv
From :conv8_1
To :conv8_2
Add conv
From :conv9_1
To :conv9_2
#4 branched layers
物体検出結果例
Chainer MNの活⽤
0
1
2
3
4
GeForce GTX 1080 DGX-1 30 GPUs + ChainerMN
0.75
1
3.5
Hours/epoch
350 hours 100 hours 75 hours100 epoch →
Quadro P5000
Stow タスクの最終結果
Stow タスク 3位!
Pick タスクの最終結果
Chainer MNの活⽤
セグメンテーション 物体検出(SSDベース)
1GPU 17⽇ 14⽇
DGX-1
(8GPUs)
8⽇ 4⽇
30GPUs 5.5⽇ 3⽇
60GPUs 4⽇ 2.5⽇
Chainer MNの活⽤
分散学習素⼈でも使えました
ホスト側ストレージをSSDにすれば速くなるかも
GPUの稼働率が低いと分散化の恩恵が低い
CPU側処理をあらかじめ⾏っておくのが良い

UsingChainerMN