Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

測位・ARコンペティションの今 ~PDR Challengeなどの紹介~

1,199 views

Published on

OS-026月7日(水)11:45-12:15
測位・ARコンペティションの今
~PDR Challengeなどの紹介~

蔵田 武志
(国研) 産業技術総合研究所
人間情報研究部門 研究グループ長

一刈 良介
(国研) 産業技術総合研究所
人間情報研究部門 産総研特別研究員

位置情報サービスを実現するための測位技術や、AR、MRサービスを実現するため
の位置合わせ技術の開発が盛んになればなるほど、それらをどんなデータ、どん
な物差しで評価すべきかが重要となってきます。
本セッションでは、測位・MARコンペティションの国際動向について概説し、9月
に日本で開催される国際会議IPIN 2017で結果発表が行われるPDR Challenge in
Warehouse Pickingについても紹介します。

Published in: Engineering
  • Be the first to comment

測位・ARコンペティションの今 ~PDR Challengeなどの紹介~

  1. 1. 国立研究開発法人 OS-026月7日(水)11:45-12:15 測位・ARコンペティションの今 ~PDR Challengeなどの紹介~ 蔵田武志 (産総研、 PDRベンチマーク標準化委員会 委員長、 LBJ実行委員) 一刈良介 (産総研) 赤:スマホPDR (胸ポケット), 緑:モーキャプ(全身, Perception Neuron), 青:HoloLens (頭部), 黄:Tango (腹ポケット)
  2. 2. 国立研究開発法人 OS-026月7日(水)11:45-12:15 3
  3. 3. 国立研究開発法人 OS-026月7日(水)11:45-12:15 TrakMarkデータセットの例 Film Studio Package NAIST Campus Package Nursing Home Package 物理センサ(ジャイロ・超音波複合センサ/ロータリーエンコーダ)を用いて、カメラ位置姿勢を計測 対応点データを手動で作成し、PnP問題を解くことでカメラ位置姿勢を計算 カメラ位置姿勢を作成し、仮想化現実モデルを用いて画像を生成
  4. 4. 国立研究開発法人 OS-026月7日(水)11:45-12:15 Computer vision分野における ベンチマークデータセット • Tsukuba stereo dataset • Middlebury multi-view stereo data 5
  5. 5. 国立研究開発法人 OS-026月7日(水)11:45-12:15 トラッキングコンペティション2016@VR学会大会 (MARカメラトラッキングのコンペ) チーム名 1st 2nd 2nd: CEST 4 3 1st: 慶應A 4 4 慶應B 2 2 熊本 0 0 筑波A 0 0 3rd: 筑波B 3 3 (+1) 筑波C 3 2 筑波D 0 0 立命館 1 1 3rd: 府大高専 3 3 チャレンジ成功数
  6. 6. 国立研究開発法人 OS-026月7日(水)11:45-12:15 産業向けシナリオのMARトラッキングコンペを企画中
  7. 7. 国立研究開発法人 OS-026月7日(水)11:45-12:15 ISO/IEC CD (Committee Draft) 18520 • Main Body – Terms and Definitions – Benchmarking framework – Benchmark Indicators – Trial set for benchmarking 8 Benchmark Indicators + Benchmarking Framework Trial Set (Dataset)+ • Annex A: Benchmarking organizations and activities • Annex B: Tracking competitions in ISMAR
  8. 8. 国立研究開発法人 OS-026月7日(水)11:45-12:15 Off-site On-site Reliability • PEVO • Reprojection error of image features • Position and posture errors of a camera • PEVO • Reprojection error of image features • Position and posture errors of a camera • Completeness of a trial Temporality • Latency • Frequency • Time for trial completion Variety • Number of datasets used for benchmarking • Variety on properties of datasets used for benchmarking • Number of trials conducted for benchmarking • Variety on properties of datasets used for benchmarking Benchmark Indicators PEVO: Projection error of virtual objects, which is the most direct and intuitive indicator for vSRT methods for MAR vSRT: Vision-based spatial registration and tracking 9 ISMAR 2015 Tracking competition
  9. 9. 国立研究開発法人 OS-026月7日(水)11:45-12:15 Off-site On-site Dataset Contents • Image sequences • Ground truth of intrinsic/extrinsic parameters of one or more cameras • Optional contents • 3D model data for the target objects in image sequences • 3D model data for virtual objects in image sequences • Depth image • Self-contained sensor data, etc. • Ground truth of challenge points • 3D models for the target objects • 3D models for virtual objects overlaid in benchmarking Metadata • Scenario • Camera motion type • Camera configuration • Image quality • Scenario Physical object instances • Easily available or deliverable physical objects • Information on how to find the physical objects • Physical objects Trial set for benchmarking The City of Sights: An Augmented Reality Stage Set 10
  10. 10. 国立研究開発法人 OS-026月7日(水)11:45-12:15 Off-site On-site Dataset Contents • Image sequences • Ground truth of intrinsic/extrinsic parameters of one or more cameras • Optional contents • 3D model data for the target objects in image sequences • 3D model data for virtual objects in image sequences • Depth image • Self-contained sensor data, etc. • Ground truth of challenge points • 3D models for the target objects • 3D models for virtual objects overlaid in benchmarking Metadata • Scenario • Camera motion type • Camera configuration • Image quality • Scenario Physical object instances • Easily available or deliverable physical objects • Information on how to find the physical objects • Physical objects Trial set for benchmarkingISMAR 2014 Tracking competition 11 ISMAR 2015 Tracking competition
  11. 11. 国立研究開発法人 OS-026月7日(水)11:45-12:15 PDR: Pedestrian Dead-Reckoning 歩行者用相対測位(推測航法) • 測位インフラがなくても相対測位を続けることが可能。 – 屋内測位パラドックス/ジレンマの緩和! • 点の集合ではなく、線(形、曲率)としての意味を持つ軌 跡を取得可能。運動の種類や大きさも計測可能。 • 加速度、ジャイロ、磁気の9軸、もしくは気圧を含めて10 軸センサを利用。 • H/W化で省電力化も加速。 • UWBなどの高精度測位との 相性がよい(ハイブリッド測位) • マップ・ルート情報による 高精度化も可能 自蔵センサモジュール ・加速度センサ ・ジャイロセンサ ・磁気センサ ・気圧センサ 12
  12. 12. 国立研究開発法人 OS-026月7日(水)11:45-12:15 PDRの世界動向 2010年以降、世界各国でPDRのR&Dプレイヤー が露出しはじめた。 Movea (France) Sensor Platforms (USA) CSR (UK) TRX Systems (USA) Trusted Positioning (Canada) 13 Qualcommが買収InvenSenseが買収InvenSenseが買収 日本国内: 旭化成、インテック、NTTドコモ/ZDC、 KDDI研究所、国際航業、サイトセンシ ング、杉原SEI、パナソニック、日立、 富士通、マルティスープ、メガチップス、 リコー、産総研、東工大、神奈川工大、 慶大、名大、新潟大、立命館大など 村田製作所と提携 Audience社が買収
  13. 13. 国立研究開発法人 OS-026月7日(水)11:45-12:15 14 屋内測位パラドックス/ジレンマから の解放! NTTドコモ、ゼンリンデータコム、旭化 成、産総研によるコラボレーション事例 ドコモ地図ナビ • PDRを用いたコンシューマサービス開始 (2015.4から) • 全国の地下鉄構内や地下街など • インフラフリー技術採用 によりサービスエリアを 一気に拡大 • 320箇所(2015.4)-> 440箇所(2016.3)-> 510箇所(2017.5)
  14. 14. 国立研究開発法人 OS-026月7日(水)11:45-12:15 Frizz&カード型PDRモジュール 15 • メガチップス社製省電力PDR指向モー ションコプロセッサーFrizz:従来比 1/20に電力消費を削減 • CR2016 (公称容量:90mAh) x2個で 11時間強 • 10軸PDR+BLE測位 • 出退勤、入出管理(セキュリティ)、 作業支援、行動分析、人材育成、評価 をトータルにサポート 産総研・メガチップスの共同研究事例 サイトセンシング社(産総研技術移転ベンチャー)の開発事例 職員証 (カード) 型 消しゴム型
  15. 15. 国立研究開発法人 OS-026月7日(水)11:45-12:15 PDR/VDR組み込みモジュール • PDR製品の老舗 • 単3電池駆動の実用型PDR モジュール、デュアルセン サ、BLE対応、カード化 等などバラエティに富むラ インアップ • 車両自律航法 VDR (Vehicle/Vibration- based Dead Reckoning) 製品も出荷開始 16 産総研・杉原SEI・澁谷工業 の共同研究事例
  16. 16. 国立研究開発法人 OS-026月7日(水)11:45-12:15 行動計測:PDRplus • PDRplus – 歩行動作以外の動作も認識 (機械学習) – 測位精度と動作認識精度を 共に向上 17 PDRからPDRplusへ2動作での予備評価: 動作認識率89% → 96%に向上 測位誤差4.3% → 2%に減少 PLANS2010など
  17. 17. 国立研究開発法人 OS-026月7日(水)11:45-12:15 振動解析ベースの車両自律航法 VDR (Vibration-based/Vehicle Dead Reckoning) 18
  18. 18. 国立研究開発法人 OS-026月7日(水)11:45-12:15 なぜPDRベンチマーク? • PDRの研究開発や実用化を進めている企業や 大学が国内外で急増 – IPIN 2015/2016では,国内学会では考えられな い頻度でPDRというキーワードが飛び交っていた. • PDRは相対測位。GPSやWi-Fi測位のような 絶対測位とは異なる評価方法が必要 • 仕様書や論文に、どのように性能を表記すれ ばよいかを統一していく必要性 19 Benchmark Indicators + Benchmarking Framework Trial Set (Dataset)+
  19. 19. 国立研究開発法人 OS-026月7日(水)11:45-12:15 PDRベンチマーク標準化委員会 • 賛同組織(36組織, 2017.3.8現在) 旭化成、アジア航測(南)、インテック、MTI、KDDI研究所、 国際航業、澁谷工業、クウジット、GOV、サイトセンシング、 シャープ、杉原SEI、ゼンリンデータコム、電通国際情報サービス、 日本IBM、日立、フレームワークス(渡辺)、マルティスープ、 ミルディア、村田製作所、メガチップス、リクルート(牛田)、 リコー、レイ・フロンティア、 愛知工業大学(梶)、神奈川工大(田中)、慶大(春山、神武、 中島)、筑波大(善甫、蔵田)、東工大(岡田)、名大(河口)、 奈良先端科学技術大(新井)、新潟大(牧野)、 立命館大(西尾、村尾)、産総研(蔵田、興梠、大隈、大西)、 HASC、Lisra (敬称略、順不同) 20
  20. 20. 国立研究開発法人 OS-026月7日(水)11:45-12:15 HULOP 21
  21. 21. 国立研究開発法人 OS-026月7日(水)11:45-12:15
  22. 22. 国立研究開発法人 OS-026月7日(水)11:45-12:15 Competitions: IPIN and the others (cf. EvAAL presentation in IPIN 2105 etc.) 23 year IPIN EvAAL, IPSN, UbiComp/ISWC 2011 Guimaraes, Portugal EvAAL: indoor localization 2012 Sidney, Australia EvAAL: + activity recognition 2013 Montbeliard, France EvAAL: same as 2012 2014 Busan, Korea EvAAL: 3 floors, smartphone IPSN: infrastruc. based + free 2015 Banff, Canada EvAAL-ETRI comp.: 6 floors, on/off- site IPSN: infrastruc. based + free UbiComp/ISWC: 2 floors, smartphone PDR, 90 subjects 2016 Madrid, Spain Indoor Localization Competition: smartphone (on/off-site), PDR, Robot IPSN: infrastruc. based + free, 2D/3D 2017 Sapporo, Japan Indoor Localization Competition: smartphone (on/off-site), PDR, Warehouse
  23. 23. 国立研究開発法人 OS-026月7日(水)11:45-12:15 IPIN2017 24
  24. 24. 国立研究開発法人 OS-026月7日(水)11:45-12:15 PDR Challenge in Warehouse Picking @IPIN2017 • IPIN:IEEE sponsoredの屋内測位関係の国際会議 • 次の開催地は札幌! • 物流倉庫内のピッキング作業者測位精度を競うコンテス ト“PDR Challenge in Warehouse Picking”を企画中 (Track 4) – その他,On-site, Off-siteのコンペティション実施予定 25
  25. 25. 国立研究開発法人 OS-026月7日(水)11:45-12:15 26 PDR Challengeの特徴比較 Ubicomp/ISWC 2015 PDR Challenge IPIN 2017 PDR Challenge in Warehouse Picking シナリオ 屋内歩行者ナビ 物流倉庫内のピッキング作業 歩行・動作 スマートフォンを手に持ち, ナビ画面を見ながら連続歩行 歩行だけではなく,ピッキング作 業中のさまざまな動作 On-site or Off-site On-site(データ収集) Off-site 時間/試行 数分 3時間前後 備考 一般の参加者が歩行したデー タを収集.収集されたデータ はコーパスデータとして、 HASC(http://hub.hasc.jp/) において公開中 PDRだけでなくBLEビーコンや ピッキングログ情報など補正情報 を活用した統合測位の精度を競う
  26. 26. 国立研究開発法人 OS-026月7日(水)11:45-12:15 コンペ参加へのインセンティブ • 賞品,賞金 ①賞金15万円 or ②杉原SEI社提供 PDRモジュール(20万円相当)と賞金10万円 • IPIN会議内で参加者への口頭発表機会あり(論 文投稿も推奨) • 物流倉庫の本物の生きた計測データによる測位 技術の実用性を評価可能 • PDRをはじめとする屋内測位技術評価の標準化 への貢献 27
  27. 27. 国立研究開発法人 OS-026月7日(水)11:45-12:15 詳細情報ページ • https://unit.aist.go.jp/hiri/pdr- warehouse2017/index.html • 掲載情報 – 目的 – 賞品・賞金 – コンペの特徴 – 対象の倉庫の紹介 – 公開データの紹介 – 評価基準 – スケジュール 28
  28. 28. 国立研究開発法人 OS-026月7日(水)11:45-12:15 物流倉庫内でのデータ収集・提供 29 P1 P2 P 3 倉庫管理システム (WMS)の ピッキングログ センサデータ 加速度、角速度、磁気、気圧 倉庫内図面・ 棚配置情報 (上図はサンプル用)
  29. 29. 国立研究開発法人 OS-026月7日(水)11:45-12:15 サンプルデータと実コンペ用データの公開 • 参加の判断やアルゴリズムのテストのために, サンプルデータと実コンペデータの2つを準備 – サンプルデータ: • 予備登録者に公開(応募検討,テスト用) • 倉庫Aのデータ(物流ICTコンテストで公開済み) – 倉庫Aの計測においては,BLE情報はないがそれ以外は同様 • 倉庫Bの前半30分のデータ – 実コンペデータ • IPINレジストレーション者に公開倉庫Bの30分後以降の データ • 一部のWMSのログデータを隠し,正解値評価に利用 30
  30. 30. 国立研究開発法人 OS-026月7日(水)11:45-12:15 スマホ端末でのPDR用データ収録  端末:Android Nexus 5  PDR用センサログを計測 (加速度,角速度,磁気,気圧,BLEビーコ ン検知ログ) ~100Hz  角速度オフセットキャリブレーション用静 止データ  磁器キャリブレーション用回転データ(8 の字動作)
  31. 31. 国立研究開発法人 OS-026月7日(水)11:45-12:15 倉庫内Map 58.36 [m] 60.4[m] 110[m] 76.5[m] 実コンペ用倉庫B 評価サンプル用倉庫A
  32. 32. 国立研究開発法人 OS-026月7日(水)11:45-12:15 倉庫内の棚と障害物情報の位置情報 棚情報: ・Shelf_ID ・座標X ・座標Y ・Width ・Depth ・Direction ・Picking_form 障害物情報: ・座標X ・座標Y ・length_x ・length_y ・name(障害物名) x,y,length_x,length_y,name 44.066,63.0505,0.95,0.95,Pillar 44.066,52.5505,0.95,0.95,Pillar 44.066,42.2005,0.95,0.95,Pillar 44.066,31.4005,0.95,0.95,Pillar 44.066,20.9505,0.95,0.95,Pillar 44.066,10.5505,0.95,0.95,Pillar
  33. 33. 国立研究開発法人 OS-026月7日(水)11:45-12:15 P1 P2 P3 ハンディ ターミナル 倉庫管理システム (WMS) WMS:倉庫内のものを管理,作業員にピッキング指示を行う. 従業員:ピッキングしたことシステムにつたえるために,棚前では ハンディターミナルを用いてバーコードのスキャンを行う. ⇒ピッキング履歴は作業員の位置履歴にもなる 34 WMS: Warehouse Management System
  34. 34. 国立研究開発法人 OS-026月7日(水)11:45-12:15 WMSのピッキングログデータ ・Terminal_ID ・Shelf_ID ・timestamp ・WMSのログデータから右記のピッキング関連情報だけ抜き出し ・棚情報と照らし合わせて,ピッキング時の位置情報算出可能
  35. 35. 国立研究開発法人 OS-026月7日(水)11:45-12:15 評価指標 • 距離誤差総和 (Ed) • 区間毎の最大誤差総和 (Es) • 速度の人間らしさ評価 (Ev) • 物体衝突判定 (Eo) • 周波数評価(Ef) • 速度のピッキング作業員らしさ評価 (Ep) • 統合評価:comprehensive evaluation (C.E.) C.E=(Ed *0.2)+(Es *0.2)+(Ev *0.15)+(Ef *0.1)+(Ep *0.05)+(Eo *0.3) 36 青字:測位精度関連指標 緑字:自然さ指標 赤字:倉庫計測独自指標
  36. 36. 国立研究開発法人 OS-026月7日(水)11:45-12:15 距離誤差総和(Ed) • 統合測位の性能を全誤差の総量で評価 • 正解値と同時刻の推定軌跡データとの ユークリッド距離を誤差 • 角度の正解値は分からないが角度のズレも位置 ズレに現れるはず 37
  37. 37. 国立研究開発法人 OS-026月7日(水)11:45-12:15 距離誤差総和(Ed) 38 0 誤差𝑒𝑒𝑖𝑖[m] 時間𝑡𝑡 [s]:推定軌跡点 :補正点 :正解点 :正解とのユークリッド距離誤差
  38. 38. 国立研究開発法人 OS-026月7日(水)11:45-12:15 区間毎の最大誤差総和(Es) • 公開されるピッキング情報による補正点からの誤差の溜 まり具合を評価 • 区間毎の最大誤差の総和を評価に用いる • 区間は参加者が既知のWMS(補正点)間 • PDRの位置推定性能を誤差が最大でどの程度 たまるかを測る指標
  39. 39. 国立研究開発法人 OS-026月7日(水)11:45-12:15 区間毎の最大誤差総和(Es) 40 0 誤差𝑒𝑒𝑖𝑖[m] 時間𝑡𝑡 [s]:推定軌跡点 :補正点 :正解点 :区間ごとの最大ユークリッド距離 :正解とのユークリッド距離誤差
  40. 40. 国立研究開発法人 OS-026月7日(水)11:45-12:15 速度の人間らしさ評価(Ev) • 提出された軌跡情報をもとに歩行速度の妥当性評価 • 人間ではありえない歩行速度は減点対象 • 軌跡上の点の位置と時間から速度を計算 • 歩行速度 S[m/s]を越えた時刻(提出結果のフレーム数) の全体からの割合を評価値 • 人間らしさを測る指標 41
  41. 41. 国立研究開発法人 OS-026月7日(水)11:45-12:15 物体衝突判定(Eo) 42 • 軌跡が障害物に衝突していないかどうかを判定 • 推定軌跡の総移動距離中の衝突した距離 • 障害物マップ画像の物体(色づけされた部分)上に通過し た軌跡点(ピクセル)に ペナルティ ⇒物流倉庫業務における現実的 な軌跡になっているかの指標
  42. 42. 国立研究開発法人 OS-026月7日(水)11:45-12:15 周波数評価(Ef) • 提出された軌跡の周波数を評価 • N秒に1回程度は位置推定を行っているべき • 基準周期に推定が行えなかった秒数の割合 • 軌跡の推定粒度を測る指標 43
  43. 43. 国立研究開発法人 OS-026月7日(水)11:45-12:15 周波数評価(Ef) 44 start end :推定軌跡が含まれる時間[s] :推定軌跡が含まれない時間[s] 軌跡1 軌跡2 :推定軌跡 t
  44. 44. 国立研究開発法人 OS-026月7日(水)11:45-12:15 速度のピッキング作業員らしさ評価(Ep) • ピッキングを行う際には作業員は停止 • 最低でもW秒前には停止していると予想 • ピッキング時間の前W秒間の速度を確認し、 W秒間の速度がV[m/s]以下の場合をカウント • 総ピッキング回数中のピッキングを考慮できた回数の割合を評価 値 • 軌跡の作業員らしさを測る指標 45
  45. 45. 国立研究開発法人 OS-026月7日(水)11:45-12:15 参加手順とスケジュール • 参加手順 1.メールにて参加仮登録 2.サンプルデータ取得 3.技術説明文を提出して,本参加登録 4.IPIN参加登録者に限り,本コンペデータ公開 5.結果提出 6.本会議にて結果公表・表彰 • スケジュール – サンプルデータ提供:随時 – 本参加登録(技術説明文提出)期限:募集中-7月15日迄 – 結果提出:9月8日まで 46 LBJ 産総研/PDRベンチマーク標準化 委員会ブースで相談受付中

×