Amazon Picking Challenge 結果報告

4,442 views

Published on

PFI PFNセミナー 2016/07/14
結果報告とシステム構成の説明

Published in: Technology

Amazon Picking Challenge 結果報告

  1. 1. Amazon Picking Challenge 結果報告 PFI&PFNセミナー 神谷 保徳 Preferred Networks, Inc.
  2. 2. 自己紹介  神谷 保徳  所属:PreferredNetworks  エンジニア  博士(情報科学) 画像識別、機械学習  気質:リサーチャー or エンジニア  立ち位置(スタンス):R&Dの、RとDの中間。死の谷を渡るのが好き、得意  ロボットコンペ経験10年  ロボカップサッカー JapanOpen 優勝  ロボコン 全国入賞
  3. 3. 目次  APCとは  結果  動画  全体システム  各部の説明 – 画像系センサー、バキュームハンド、バキュームシステム、グリッパハンド、 サーボコントローラ、Arudino、棚キャリブレーション/棚座標系、識別処理、モー ション、アイテム操作プランニング、ソフト全体像  他のチーム  RoboCup  振り返り
  4. 4. APCとは  Amazonが主催するロボットコンテスト  今回、6/29-7/3, ドイツ, ライプツィヒ  RoboCup2016 と併設  2015年からスタート  Amazon kiva systemのような倉庫のさらなる自動化を目指す  15分以内に指示された12個のitemを棚から取ってくる / 棚に入れればOK
  5. 5. アイテムと棚 ・39種類のアイテム ・センサが苦手な、光沢や透明なもの、 ・取り扱いの難しい、重いもの、大きなもの、 小さいもの、も含まれる 棚内の配置例
  6. 6. 結果 Pickタスクで2位(1位と同スコア)! Stowタスクで4位(3位と僅差)! http://amazonpickingchallenge.org/results.shtml タスク後の記念撮影
  7. 7. ロボット外観 ・2本のFANUC製ロボットアームで2種類のハンド(バキューム、グリッパ)を使用 ・アームの先端に2種類の画像センサを搭載
  8. 8. 全体システム 画像センサ -RealSense -Fx8 バキュームハンド グリッパハンド サーボコントローラ 電磁弁 ON/OFF 制御ボード 圧力センサ 変換 MODBUS 距離センサ 距離センサ LAN USB3.0 RealSense 画像センサ -RealSense -Fx8 Fx8 距離センサ バキュームハンド先端 グリッパハンド Arudino(マイコン基板,USB2.0) -電磁弁 -ON/OFF制御 -圧力センサ -距離センサ 業務用 掃除機 USB2.0 FANUC robot arm FANUC robot arm Linux/Windows ロボットアーム、ハンド、画像センサ、バキュームシステム、 サーボシステム、他センサ類からなる
  9. 9. 画像センサー RealSense SR300 Fx8 ・Intel製 ・カラー画像とDepth画像が得られる ・カラーカメラ、Depthカメラ、世界座標の座標横断用のAPIが用意 ・精度、体感 ±5mm ・レンジ 0.2-1.5m程度 ・解像度 640x480 ・黒い物体や反射物、透明物はx ・日本信号製 ・Depth画像が得られる ・RealSenseが苦手な物体でもある程度Depth値が得られる ・精度、物体によるが体感 ±5mm~1.0mm ・レンジ 0.3-5m ・解像度 100x60
  10. 10. バキュームハンド リニアサーボ 角度可変 先端部 RealSense Fx8 バキュームホース 水平から垂直まで、無段階変更可能 (0,45,90度をプリセット) ロボットアーム側のモータで、パイプ長手軸周りの回転も可能 ロッド
  11. 11. グリッパハンド RealSense Fx8 多回転サーボ ネジ ロボットアーム側のモータで、 長手軸周りの回転も可能 ワイヤー
  12. 12. バキュームシステム 気圧センサ 遮断用弁 高速排気用弁 業務用掃除機 ・強力な業務用掃除機で吸い付ける。 ・コンプレッサも候補にあったが、隙間のある物体を吸い付けるためには、風量が必要であり、掃 除機が適当。 ・掃除機OFF後、アイテムを高速に離すため、負圧の解消のため遮断弁を閉じ排気弁を開く。 掃除機ON/OFF 制御ボード
  13. 13. サーボコントローラ IAI製サーボ ・納期が早く、比較的安い、安定している バキューム先端用 リニアサーボ グリッパ用 多回転サーボ RS232c RS485変換 24V電源 コントローラ サーボモータ コントローラ 24V電源 変換 変換 PC USBRS232cRS485 プロトコル:MODBUS 産業用規格
  14. 14. Arudino AVRマイコンボードと開発環境からなるシステム プログラミング、書き込み、実行が素早く行える環境を提供 以下のセンサ値読み込みや制御に使用 バキュームシステム:気圧センサ、排気用弁、遮断用弁、掃除機のON/OFF 棚キャリブレーション:距離センサ
  15. 15. ビン座標系/棚キャリブレーション モチベーション① ルール上、棚は試合直前位置をずらされ(±3cm以内)、人間が計測できない。 これの対応。 モチベーション② ビンによらず、また、棚のずれにもよらず、取り出しなどモーションを記述したい ビン名+左下原点の座標系で記述 ビンとモーション記述を分離 (別のビンで同じモーションの数値を 使用できる) 棚のずれとモーションの記述も分離
  16. 16. ビン座標系/棚キャリブレーション 棚キャリブレーション 座標変換 モーション制御 ロボット 棚名+ビン座標系数値 世界座標系数値 棚キャリブレーション 棚を両端から挟み、距離センサで棚の 角の位置を検出 前後にスキャンし、距離センサの値が 大きく外れる位置を角と定義 距離センサ
  17. 17. 識別処理 Realsense Lidar Segmentation (CNN) アイテム解析 ・吸着可能位置推定(CNN) ・面の法線推定(点群処理) ・向き姿勢推定(点群処理) カラー画像をSegmentation後、各画素の 世界座標値を求め、物体の状況を判断し、 モーション実行につなげる。 吸着可能位置推定 法線方向推定 向き姿勢推定 カメラ画像座標系 深度画像座標系 世界座標系 これらの間の座標系変換が重要になる 棚座標系
  18. 18. モーション バキュームハンド ビン座標系で、ビン内のモーションを作成する。 ハンドの形状を考慮しモーションを作成する。 バキューム 制御対象:アーム、ハンド先端角度、バキュームシステム モーション概要:求めたアイテム取得位置と法線に基づき制御。法線と吸着面を合わ せて吸着する。 グリッパ 制御対象:アーム、グリッパ開閉 モーション概要:求めたアイテムの向き/姿勢に基づき制御。アイテムの長手方向に合 わせて挟むように制御。 アイテムごとにモーションの微調整を行っている グリッパハンド ビン座標系
  19. 19. アイテム操作プランニング  Pick – 直接取り出し:  取り出す順は、過去にトライしている回数が少なく、ビン内の他のアイテムが少ない順 ビン内のアイテムが一定個数以上の時は、パス  ビン内を画像センサでセンシングし対象アイテムがとれるか判断し、取れるなら取出し動作。  取れないならビン間移動を予約 – ビン間移動:  直接取り出し可能なアイテムが現れるまで、ビン間移動を行う。  アイテムの体積と取り出すアイテムの有無から選択 (ビンの体積-(対象アイテム+現在入っているアイテム)のマージン付き体積)+(対象ア イテムが入っていたら-10、そうでないなら0) 、が大きいビンに移動する  Stow – 移動先のビンは、アイテムの体積と得点を考慮して選択 (ビンの体積-(対象アイテム+現在入っているアイテム)のマージン付き体積)× 得点(入って いるアイテムが多いほど高い)、が大きいビンを選択
  20. 20. ソフト全体像 ROSで構成 Topic, service, action で、node分割された処理ブロックが連係動作する
  21. 21. 他のチーム Delft Nimbro Stow : 1位(214) , PFN 4位(161) Pick :1位(105) , PFN 2位(105) きっちり作っている バキュームとグリッパの融合ハンド https://www.youtube.com/watch?v=MW-zZ8mQGhU Stow : 2位(186) , PFN 4位(161) Pick :3位(97) , PFN 2位(105) アーム:Universal Robotを使用 アーム:Yasukawaを使用 台座に前後軸 アームに前後軸 https://www.youtube.com/watc h?v=AHUuDVdiMfg https://www.youtube.com/watch?v=q9YiD80vwDc
  22. 22. RoboCup APCは、RoboCup2016に併設 様々なリーグが存在 RoboCup Soccer - Humanoid - Middle Size - Small Size - Standard Platform (Nano) - Simulation (2D,3D) RoboCup Rescure - Robot (Remote, Auto) - Simulation RoboCup @Home RoboCup Junior http://www.robocup.org/ リーグとして、サッカー、レスキュー、より生活内のタスクを行うHome、 次世代の人材を育てるジュニアがある
  23. 23. 振り返り/アンケート  課題 – センサやロボットなどハードのトラブル、不安定さ – カメラの証明条件 – 情報不足(ハードもソフトも)  つらさ (=スケジュールのタイトさ) – Amazonのスケジュール感がとても厳しい ファイナリスト選出通知から3か月後に大会 – 1か月目:課題の解析、手法の詰め、詳細な課題ノウハウの蓄積 2か月目:開発1回目動作、改修 3か月目:開発2回目動作、改修 – それでも、ハードやソフトざっくり2回(2段階)は作り変えれたので良かったと思う。 見た目をよりスマートにしたり、安定性を上げたりと、やることはまだまだあるが。  特に、短期間でのプロジェクト遂行に関して、PFNとして経験が積めたので、今後の業務に生かしてい けたらと考えています。 ロボットコンペに 共通の困難さ
  24. 24. 結論 まずまず良い成果を残した!

×