Tatsuya Sueki Bachelor Thesis

1. 3次元物体検出のための
軽量マルチビューニューラルネットワーク
理学部情報科学科4年 加藤研究室
末木達也

2. 背景
画像認識などの人工知能技術の発達 自動運転やロボティクスでの需要
2次元物体検出 3次元物体検出

3. 3次元物体検出の既存手法
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)
[1] Xiaozhi Chen, Huimin Ma, Ji Wan, Bo Li, and Tian Xia. Multi-view 3d object detection network for autonomous driving. In 2017 IEEE Conference on Computer Vision and
Pattern Recognition, CVPR 2017, Honolulu, HI, USA, July 21-26, 2017, pages 6526–6534. IEEE Computer Society, 2017.
[2] Ross B. Girshick. Fast R-CNN. In 2015 IEEE International Conference on Computer Vision, ICCV 2015, Santiago, Chile, December 7-13, 2015, pages 1440–1448.
Multi-View 3D (MV3D) Object Detection Network [1]

4. 3次元物体検出の既存手法
LIDAR
画像
(light detection and ranging)
Multi-View 3D (MV3D) Object Detection Network [1]

5. 3次元物体検出の既存手法
Multi-View 3D (MV3D) Object Detection Network [1]
既存のCNN
ResNet
VGG16
MobileNet

6. 提案1 ネットワークの改良
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)
• ResNet
• VGG16
• MobileNet

7. 提案1 ネットワークの改良
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)
• ResNet
• VGG16
• MobileNet
ResMobileNet

8. 提案1 ネットワークの改良
ResNet MobileNet
ResMobileNet

9. 提案2 入力画像データの強化
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)

10. 提案2 入力画像データの強化
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)
RGB

11. 提案2 入力画像データの強化
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)
RGB Depth Segmentation
+ +

12. 提案2 入力画像データの強化
CNN
CNN
LIDAR
画像
RPN 全結合
物体かどうか
位置と大きさ
RoI pooling [2]
(Region Proposal Network)
(Convolutional Neural Network)
(Convolutional Neural Network)
(light detection and ranging)
RGB Depth Segmentation
+ +
• RGB
• RGB-D
• RGB-S
• RGB-DS

13. 評価
• KITTI object detection benchmark を使用
• 検出対象は自動車
• Trainingは30万イテレーション行い、2万イテレーションおき
に下記の2項目を評価
1. 物体検出の精度
• 指標： AP (average precision)
• 評価基準 ： 2D, bird’s eye view, 3D
• 物体の検出難易度： easy, moderate, hard
2. 物体検出の速度
bird’s eye view:
真上から見た際の位置と大きさによる評価

14. 結果1 ネットワークの改良
精度

15. 結果2 入力画像データの強化
精度

16. https://github.com/sueki743/MV3D

17. 結論
• ResNetとMobileNetを組み合わせたResMobileNetを提案
• 高精度かつ高速な3次元物体検出を実現
➢ResNetに対しては、同程度の精度で60%以上の高速化
➢MobileNetに対しては、同程度の速度で10〜25%の高精度化
• DepthとSegmentationによる入力画像データの強化は、精度・
速度の向上要素としては不十分

18. 今後の課題
ネットワークのさらなる改良
• Pruning [1] による精度を保ちながらの計算量の削減
• 1パス構成のネットワークによる軽量化
入力画像データの強化
• Depthの補間
• Segmentationの高精度化
[1] Pavlo Molchanov, Stephen Tyree, Tero Karras, Timo Aila, and Jan Kautz. Pruning convolutional neural networks for resource efficient transfer learning. arXiv preprint
arXiv:1611.06440, 2016.

20. 結果1 ネットワークの改良

21. 結果2 入力画像データの強化