RealSenseの利用例の紹介

1. RealSenseとYOLOを
用いた物体把持
2019年8月25日
第3回瀬戸内ROS勉強会
河田尚孝

2. 発表の流れ
1. 今回の目標
2. 背景
3. RealSense
4. YOLO
5. 実験設定
6. 実験
7. まとめ
2

3. 今回の目標
1. RealSense(深度センサ)の利用例を
知ってもらう
2. 物体認識の仕組みと、認識したい物体の学習
用データセットの作成方法の紹介
3

4. 背景
いざ物体との距離を測ろうとしたら、画像内
のどの距離情報を使えばいいのかわからない
理由：広範囲の距離情報を取得可能になった
画像上での物体の位置を取得することで、
物体の距離を測定することが可能になる
4
どれが物体
だろう？
左下に犬、
右上に車

5. RealSense(R200)
深度（距離）情報は光の反射を測定して
計測することが出来る
1~4mまでの深度を取得できる
5

6. YOLO(You Look Only Onse)
リアルタイムオブジェクト検出アルゴリズム
事後確率P(物体名｜Object)が最大になる
ようなBounding box（物体を囲む枠線）の
位置・大きさを学習
6
入力 学習 出力

7. YOLOのデータセットの生成
1クラスにつき約10000枚以上(個人の主観)
手作業でアノテーションをするのは困難。。。
そこで
物体画像と背景画像を合成することにより
物体の位置情報を持つ学習データを生成
7
Label : apple
X : 0.5
Y : 0.5

8. 実験設定
Windows
Unity
SIGVerse
Ubuntu16.04(ROS:Kinetic)
今回の実験で起動したノードの一部
 darknet-ros(yoloのこと)
 r200(RealSense)関連
 amcl
 move_base
 map_server
8

9. SIGVerse
Unity上で動作するロボットシュミレーター
利点
Turtlebot3, HSRなどのロボットを持っていなく
てもROSを用いての動作確認が可能
自作のロボットでも動かせるはず
WindowsとUbuntuの2台が用意できれば、1台で
動くgazeboより動作が軽い
チュートリアル
http://www.sigverse.org/wiki/jp/
9

10. 実験結果 10

11. まとめ
物体認識で得られた情報を用いて、
任意の物体の距離情報を取得できた
長所
高速（GPUあり）で正確な認識ができる
学習データさえあれば、特徴量の設定など行わずに
任意の物体認識ができる
短所
CPUだと0.1fps以下で遅い
ディープラーニングなので学習の設定が難しい
検知したい物体が決まっているor簡単に認識できるような
特徴を持っている場合、OpenCVなどの方が高速に実行す
ることが出来るため、どちらを使うかは状況次第
11

12. 付録
YOLOの学習データの自動生成
https://github.com/NaotakaKawata/Image
GeneratorForYolo
12