Project C.G.S.でつくばチャレンジ2017の課題達成に向けて、TensorFlow Object Detection API を使用してROSノードを作成した際の取り組みについてのスライドです。

1. TensorFlow Object Detection API
を使った取り組み
@つくばチャレンジ2017
ROS Japan UG #19 機械学習・AI勉強会
Project C.G.S. Kazuyuki Arimatsu

2. はじめに
• Project C.G.S. とは？
• 自律ロボット大会に出場している社会人サークルです
• 数年前からROSを使用した開発を行ってきました
• つくばチャレンジとは？
• 2km程度のつくば市街地を自律移動します
• 移動中に探索対象を探します
• 2007年から毎年開催、2017年は53台が出走
2

3. 動画

4. ROSノード構成
4
signboard_mappersignboard_locator
libtensorflow_cc
学習済みgraph
LIDAR
Camera
640x360
Image
PointCloud
PointCloud Pose
画像から看板領域を検出し、
内部にある点群を出力
点群座標を元に判定し、
ユニークな看板位置を出力
Image(for Debug)
すべての処理はCore i7 3770SのCPUで実行
他のシステムも同一PC上で動作するため認識は1Hzで実行

5. • ノートPCに取り付けたカメラで角度を変えながら1FPSで画像を保存
• 撮影した1192枚の画像をLabelImgで人力ラベリングした(8時間程度)
• ラベル付けした画像の7割(834枚)を元に、20850枚に水増しした
• 明るさとホワイトバランス(Lab色空間のLとb)を変化させた
学習データセットについて
5

6. 学習と結果
6
• Googleのレポジトリに含まれている、COCOで学習したMobileNetの
SSD(ssd_mobilenet_v1_coco_11_06_2017)を転移学習した
• 200kステップ学習(GTX1060で16時間)
• 明るさや大きさに頑健になった
• データセットは小規模だが、転移学習なのでうまく行った

7. 認識に失敗したケース
7
• データセットに存在しない、コース他領域での誤検知が多かった
• データセットに看板が写っているものだけ選んだため？
• データセットにコース全域のNegative画像を含める必要があるかも
しれない

8. まとめ
• TensorFlow Object Detection APIを使用すると、カメラ画像からの物
体検出を行うROSノード(C++)を簡単に作成することができた
• 転移学習を行うことで、1000枚程度のデータセットから任意の物体
検出を学習させることができる
• ロボット実機で動かす場合、今回使用したネットワークではGPUが
無いと数Hzで実行するのが限界
• Movidus NCSなどの専用ハードウェアで解決できるかもしれない
8

9. Thank you!
http://www.capygs.org/ http://mohammedari.blogspot.jp/
@mohammedari

10. Appendix
• カメラはSee3CAM_CU135を2軸ジンバルに固定
• レンズはGoPro Hero2用の対角170度レンズ