PFI PFNセミナー 2016/07/14 結果報告とシステム構成の説明

1. Amazon Picking Challenge
結果報告
PFI&PFNセミナー
神谷 保徳
Preferred Networks, Inc.

2. 自己紹介
 神谷 保徳
 所属：PreferredNetworks
 エンジニア
 博士（情報科学） 画像識別、機械学習
 気質：リサーチャー or エンジニア
 立ち位置（スタンス）：R＆Dの、RとDの中間。死の谷を渡るのが好き、得意
 ロボットコンペ経験10年
 ロボカップサッカー JapanOpen 優勝
 ロボコン 全国入賞

3. 目次
 APCとは
 結果
 動画
 全体システム
 各部の説明
– 画像系センサー、バキュームハンド、バキュームシステム、グリッパハンド、
サーボコントローラ、Arudino、棚キャリブレーション/棚座標系、識別処理、モー
ション、アイテム操作プランニング、ソフト全体像
 他のチーム
 RoboCup
 振り返り

4. APCとは
 Amazonが主催するロボットコンテスト
 今回、6/29-7/3, ドイツ, ライプツィヒ
 RoboCup2016 と併設
 2015年からスタート
 Amazon kiva systemのような倉庫のさらなる自動化を目指す
 15分以内に指示された12個のitemを棚から取ってくる / 棚に入れればOK

5. アイテムと棚
・39種類のアイテム
・センサが苦手な、光沢や透明なもの、
・取り扱いの難しい、重いもの、大きなもの、
小さいもの、も含まれる
棚内の配置例

6. 結果
Pickタスクで2位(1位と同スコア)！ Stowタスクで4位(3位と僅差)！
http://amazonpickingchallenge.org/results.shtml
タスク後の記念撮影

7. ロボット外観
・2本のFANUC製ロボットアームで2種類のハンド（バキューム、グリッパ）を使用
・アームの先端に2種類の画像センサを搭載

8. 全体システム
画像センサ
-RealSense
-Fx8
バキュームハンド
グリッパハンド
サーボコントローラ
電磁弁 ON/OFF
制御ボード
圧力センサ
変換
MODBUS
距離センサ
距離センサ
LAN
USB3.0
RealSense
画像センサ
-RealSense
-Fx8
Fx8
距離センサ
バキュームハンド先端
グリッパハンド
Arudino（マイコン基板,USB2.0）
-電磁弁
-ON/OFF制御
-圧力センサ
-距離センサ
業務用
掃除機
USB2.0
FANUC robot arm
FANUC robot arm
Linux/Windows
ロボットアーム、ハンド、画像センサ、バキュームシステム、
サーボシステム、他センサ類からなる

9. 画像センサー
RealSense SR300
Fx8
・Intel製
・カラー画像とDepth画像が得られる
・カラーカメラ、Depthカメラ、世界座標の座標横断用のAPIが用意
・精度、体感 ±5mm
・レンジ 0.2-1.5m程度
・解像度 640x480
・黒い物体や反射物、透明物はｘ
・日本信号製
・Depth画像が得られる
・RealSenseが苦手な物体でもある程度Depth値が得られる
・精度、物体によるが体感 ±5mm～1.0mm
・レンジ 0.3-5m
・解像度 100x60

10. バキュームハンド
リニアサーボ 角度可変
先端部
RealSense Fx8
バキュームホース
水平から垂直まで、無段階変更可能
（0,45,90度をプリセット）
ロボットアーム側のモータで、パイプ長手軸周りの回転も可能
ロッド

11. グリッパハンド
RealSense Fx8
多回転サーボ
ネジ
ロボットアーム側のモータで、
長手軸周りの回転も可能
ワイヤー

12. バキュームシステム
気圧センサ
遮断用弁
高速排気用弁
業務用掃除機
・強力な業務用掃除機で吸い付ける。
・コンプレッサも候補にあったが、隙間のある物体を吸い付けるためには、風量が必要であり、掃
除機が適当。
・掃除機OFF後、アイテムを高速に離すため、負圧の解消のため遮断弁を閉じ排気弁を開く。
掃除機ON/OFF
制御ボード

13. サーボコントローラ
IAI製サーボ
・納期が早く、比較的安い、安定している
バキューム先端用
リニアサーボ
グリッパ用
多回転サーボ
RS232c
RS485変換
24V電源
コントローラ
サーボモータ コントローラ
24V電源
変換 変換 PC
USBRS232cRS485
プロトコル：MODBUS 産業用規格

14. Arudino
AVRマイコンボードと開発環境からなるシステム
プログラミング、書き込み、実行が素早く行える環境を提供
以下のセンサ値読み込みや制御に使用
バキュームシステム：気圧センサ、排気用弁、遮断用弁、掃除機のON/OFF
棚キャリブレーション：距離センサ

15. ビン座標系/棚キャリブレーション
モチベーション①
ルール上、棚は試合直前位置をずらされ（±3cm以内）、人間が計測できない。
これの対応。
モチベーション②
ビンによらず、また、棚のずれにもよらず、取り出しなどモーションを記述したい
ビン名＋左下原点の座標系で記述
ビンとモーション記述を分離
（別のビンで同じモーションの数値を
使用できる）
棚のずれとモーションの記述も分離

16. ビン座標系/棚キャリブレーション
棚キャリブレーション 座標変換
モーション制御
ロボット
棚名＋ビン座標系数値
世界座標系数値
棚キャリブレーション
棚を両端から挟み、距離センサで棚の
角の位置を検出
前後にスキャンし、距離センサの値が
大きく外れる位置を角と定義
距離センサ

17. 識別処理
Realsense
Lidar
Segmentation
(CNN)
アイテム解析
・吸着可能位置推定(CNN)
・面の法線推定（点群処理）
・向き姿勢推定（点群処理）
カラー画像をSegmentation後、各画素の
世界座標値を求め、物体の状況を判断し、
モーション実行につなげる。
吸着可能位置推定
法線方向推定
向き姿勢推定
カメラ画像座標系
深度画像座標系
世界座標系
これらの間の座標系変換が重要になる
棚座標系

18. モーション
バキュームハンド
ビン座標系で、ビン内のモーションを作成する。
ハンドの形状を考慮しモーションを作成する。
バキューム
制御対象：アーム、ハンド先端角度、バキュームシステム
モーション概要：求めたアイテム取得位置と法線に基づき制御。法線と吸着面を合わ
せて吸着する。
グリッパ
制御対象：アーム、グリッパ開閉
モーション概要：求めたアイテムの向き/姿勢に基づき制御。アイテムの長手方向に合
わせて挟むように制御。
アイテムごとにモーションの微調整を行っている
グリッパハンド
ビン座標系

19. アイテム操作プランニング
 Pick
– 直接取り出し：
 取り出す順は、過去にトライしている回数が少なく、ビン内の他のアイテムが少ない順
ビン内のアイテムが一定個数以上の時は、パス
 ビン内を画像センサでセンシングし対象アイテムがとれるか判断し、取れるなら取出し動作。
 取れないならビン間移動を予約
– ビン間移動：
 直接取り出し可能なアイテムが現れるまで、ビン間移動を行う。
 アイテムの体積と取り出すアイテムの有無から選択
（ビンの体積-（対象アイテム＋現在入っているアイテム）のマージン付き体積）＋（対象ア
イテムが入っていたら-10、そうでないなら０） 、が大きいビンに移動する
 Stow
– 移動先のビンは、アイテムの体積と得点を考慮して選択
（ビンの体積-（対象アイテム＋現在入っているアイテム）のマージン付き体積）× 得点(入って
いるアイテムが多いほど高い)、が大きいビンを選択

20. ソフト全体像
ROSで構成
Topic, service, action で、node分割された処理ブロックが連係動作する

21. 他のチーム
Delft
Nimbro
Stow : 1位(214) , PFN 4位(161)
Pick ：1位(105) , PFN 2位(105)
きっちり作っている
バキュームとグリッパの融合ハンド
https://www.youtube.com/watch?v=MW-zZ8mQGhU
Stow : 2位(186) , PFN 4位(161)
Pick ：3位(97) , PFN 2位(105)
アーム：Universal Robotを使用
アーム：Yasukawaを使用
台座に前後軸
アームに前後軸
https://www.youtube.com/watc
h?v=AHUuDVdiMfg
https://www.youtube.com/watch?v=q9YiD80vwDc

22. RoboCup
APCは、RoboCup2016に併設
様々なリーグが存在
RoboCup Soccer
- Humanoid
- Middle Size
- Small Size
- Standard Platform (Nano)
- Simulation (2D,3D)
RoboCup Rescure
- Robot (Remote, Auto)
- Simulation
RoboCup @Home
RoboCup Junior
http://www.robocup.org/
リーグとして、サッカー、レスキュー、より生活内のタスクを行うHome、
次世代の人材を育てるジュニアがある

23. 振り返り/アンケート
 課題
– センサやロボットなどハードのトラブル、不安定さ
– カメラの証明条件
– 情報不足（ハードもソフトも）
 つらさ （＝スケジュールのタイトさ）
– Amazonのスケジュール感がとても厳しい
ファイナリスト選出通知から3か月後に大会
– 1か月目：課題の解析、手法の詰め、詳細な課題ノウハウの蓄積
2か月目：開発1回目動作、改修
3か月目：開発2回目動作、改修
– それでも、ハードやソフトざっくり2回(2段階)は作り変えれたので良かったと思う。
見た目をよりスマートにしたり、安定性を上げたりと、やることはまだまだあるが。
 特に、短期間でのプロジェクト遂行に関して、PFNとして経験が積めたので、今後の業務に生かしてい
けたらと考えています。
ロボットコンペに
共通の困難さ

24. 結論
まずまず良い成果を残した！