位置合わせや(屋内)測位に関する国際コンペと標準化について報告する。

1. 位置合わせや(屋内)測位に関する
国際コンペと標準化
蔵⽥武志123
1産業技術総合研究所
2筑波⼤学
3住友電気⼯業(株)
第24 回⽇本バーチャルリアリティ学会⼤会
ARToolKit 20 周年記念講演
（複合現実感研究委員会／3 次元ユーザインタフェース研究委員会）

2. (14.12.23)
ウェアラブルAR (2000〜)
[産総研初期/UW留学/⽇仏連携]
サービス⼯学(2008~)/スマートワーク (2015〜)
スマートフォンPDRデモ
(2010) (世界初)
PDR進⾏⽅向推定 [PLANS14]
(仏IFSTTARの⽐較評価で最⾼性能)
SfM, VSLAM (~2000)[筑波⼤・電総研]
本講演に関係する
これまでの活動経緯
2
逐次型因⼦分解法
[CVPR00]
vSRT+PDR (世界初)
[ISMAR03] (引⽤数上位)
WACL (Wearable Active
Camera with Laser Pointer)
[ISWC04] (査読最⾼スコア)
屋内測位 (2001〜)
[産総研/企業共同研究/スタートアップ]
製造業クロスアポ出向[住友電⼯] (2018〜19)
ハンドヘルドARでのポインティング
[Interact13] (Honorary Mention)
屋内測位の現場適⽤
[⽇本VR学会論⽂誌11] 論⽂賞
屋内測位に基づく改善⽀援
[ICServ13] ベストペーパー
国際コンペ・標準化 (2010〜)
*xDRベンチマーキング
PDRベンチマーク標準化委員会
(2014-)
xDR Challenge (2015-)
*vSRTベンチマーキング
TrakMark (2010-)
ISO/IEC SC 24委員 (2012-)
[ISO/IEC 18520:2019]
(国際規格開発賞)
理事⻑賞
(2016)

3. XR・⼈間拡張とスマートワーク: Operator 4.0
3
Romero D., Stahre J., Wuest T., Noran O., Bernus P., Fast-Berglund Å., Gorecky D., Towards an Operator 4.0 Typology: A Human-
Centric Perspective on the Fourth Industrial Revolution Technologies. CIE46, pp. 1-11, (2016)
Romero, D., Bernus, P., Noran, O., Stahre, J., Fast-Berglund, Å., The Operator 4.0: Human cyber-physical systems & adaptive
automation towards human-automation symbiosis work systems. In: APMS, (2016)

4. TrakMark (2010~)
4
MARで⽤いるビジョンベースの位置合わせ・トラッキング
(vSRT: vision-based Spatial Registration and Tracking)⼿法
のベンチマーキングのための草の根活動(SIM-MR)

5. TrakMarkデータセットの例
5
Film
Studio
Package
NAIST
Campus
Package
Nursing
Home
Package
物理センサ（ジャイロ・超⾳波複合センサ／ロータリーエンコーダ）を⽤いて、カメラ位置姿勢を計測
対応点データを⼿動で作成し、PnP問題を解くことでカメラ位置姿勢を計算
カメラ位置姿勢を作成し、仮想化現実モデルを⽤いて画像を⽣成

6. Computer vision分野における
ベンチマークデータセット
• Tsukuba stereo dataset (筑波⼤画像⼤⽥/中村)研)
• Middlebury multi-view stereo data
6

7. 平面を対象とした
ベンチマークデータセット (metaio)
Leberknecht, S. and Benhimane, S. and Meier, P. and Navab, N., “A
Dataset and Evaluation Methodology for Template-based Tracking
Algorithms”, ISMAR 2009
http://www.metaio.com/research/a-dataset-and-evaluation-methodology-for-
template-based-tracking-algorithms/
7

8. 屋外環境での
トラッキング評価用データセット
http://www.metaio.com/research/an-outdoor-ground-truth-evaluation-dataset-for-
sensor-aided-visual-handheld-camera-localization/
8

9. トラッキングコンペティション2016＠VR学会⼤会
（MARのためのvSRTコンペ）
チーム名 1st 2nd
2nd: CEST 4 3
1st: 慶應A 4 4
慶應B 2 2
熊本 0 0
筑波A 0 0
3rd: 筑波B 3 3 (+1)
筑波C 3 2
筑波D 0 0
⽴命館 1 1
3rd: 府⼤⾼専 3 3 チャレンジ成功数

10. 物差しは⼤切 [制度設計/規制ビジネス]︓
誤差評価
• ⾃然特徴点の再投影誤差（Re-projection error）
– CVでよく⽤いられる評価指標
– 特徴点の近くにない（外挿的な位置の）仮想物体の投影誤差がわか
らない
• 仮想点（物体）の投影誤差（PEVO: Projection Error of a
Virtual Object）
– 機械学習で⾔えば、再投影誤差は訓練データでの検証、PEVO (も
しくは3D PEVO)はテストデータでの検証のようなもの︖︕
推定したカメラパラメータ
における投影⾯
真値のカメラパラメータ
における投影⾯
仮想点
10
PEVO

11. 草の根から標準へ
11
• TrakMark(SIM-MR)でのデータセット整備、コンペ開催
– ３種の神器からなる参照フレームワーク（⼯程、指標、試⾏セット）
の精緻化
– デジュール標準（ISO/IEC）に（規格適合チェックの追加）
– 産業界との連携が⼗分にできたとは⾔えない
草の根
デジュール標準
＋
規格適合
Conformance

12. ISO/IEC 18520
12
評価指標
＋
ベンチマーキング
工程
試行セット
(データセット)
＋
規格適合
＋
Ichikari, Ryosuke and Kurata, Takeshi and Makita, Koji and Taketomi, Takafumi and Uchiyama, Hideaki and Kondo, Tomotsugu
and Mori, Shohei and Shibata, Fumihisa, Reference Framework on vSRT-method Benchmarking for MAR, ICAT-EGVE (2017).

13. ベンチマーキング⼯程と登場⼈物
13

14. 評価指標
14
PEVO: Projection error of virtual objects, which is the most direct and intuitive
indicator for vSRT methods for MAR
vSRT: Vision-based spatial registration and tracking
ISMAR 2015 Tracking competition

15. 試⾏セット（データセット＋実物）
15
The City of Sights:
An Augmented Reality Stage Set

16. 試⾏セット（データセット＋実物）
16
ISMAR 2014
Tracking competition
ISMAR 2015 Tracking
competition

17. 規格適合
チェックシート
17
ISMAR2015トラッキング
コンペの例
ISMAR 2015 Tracking
competition

18. Default Schedule (Three years)
18
Stage
code Stage Work Item
0 month
12 month
+6 month
+12 month
+6 month

19. ⼀⻑⼀短な屋内測位技術
19
低コストで様々な
測位技術を紡ぐ
・現場ごとに適した
測位技術を組み合わせ
・精度とコストを両⽴屋内測位
技術マップ
誰︖/隠れに弱い
隠れに弱い
隠れに弱い
消費電⼒
が⼤きい
⾼コスト低精度

20. xDR
VDR:
(Vibration-based) Vehicle
Dead Reckoning
[Worldʼs first, 2015]
[Relative positioning]
xDR: PDR+VDR
PDR:
Pedestrian Dead
Reckoning,
[Worldʼs first
Smartphone demo,
2010]
20

21. 速度
向き
モデルベースの速度推定
センサ姿勢の推定
センサ校正
⾼度
(階)
推定
進⾏⽅向の推定
様々な測位技術を紡ぐxDR (PDR&VDR)
21
歩⾏者⽤速度推定モデル ⾞両⽤速度推定モデル
• 安価: 加速度、ジャイロ、磁気、気圧の10軸センサを利⽤
• 低消費電⼒: 画像を⽤いた⼿法と⽐較し1/20以下
• 「柔軟な」屋内測位を実現:
• 測位インフラなしでも測位を継続
• 様々な測位技術からの結果を線（形、速度、向き）で紡ぐ
VDR:VDR:
Vibration-based
Vehicle Dead
Reckoning, ⾞輪
型移動体[フォーク
リフト, 台⾞等]⽤
相対測位 [世界初]
PDR:
Pedestrian
Dead
Reckoning,
歩⾏者⽤相対
測位
[スマホデモ︓
世界初]

22. 産総研でのxDR研究の歴史
22

23. PDRの世界動向
2010年以降、世界各国でPDRのR&Dプレイヤーが
露出しはじめた。
Movea (France)
Sensor Platforms (USA)
CSR (UK)
TRX (USA)
Trusted Positioning (Canada)
23
Qualcommが買収InvenSenseが買収InvenSenseが買収
村田製作所と提携
Audience社が買収

24. なぜPDRベンチマーク︖
• PDRの研究開発や実⽤化を進めている企業や⼤学
が国内外で急増
– IPIN 2015では，国内学会では考えられない頻度で
PDRというキーワードが⾶び交っていた．
• PDRは相対測位。GPSやWi-Fi測位のような絶対
測位とは異なる評価⽅法が必要
• 仕様書や論⽂に、どのように性能を表記すればよ
いかを統⼀していく必要性
24
Benchmark
Indicators ＋
Benchmarking
Processes
Trial Set
(Dataset)＋

25. PDRベンチマーク
標準化委員会
25
• 加⼊組織 (43組織)(2019.9.13現在)
– 旭化成(株)、アジア航測(株)[南]、(株)インテック、NECネッツエス
アイ(株)、(株)MTI、(株)KDDI総合研究所、国際航業(株)、澁⾕⼯業
(株)、クウジット(株)、(株)GOV、サイトセンシング(株)、シャープ
(株)、杉原SEI(株)、住友電気⼯業(株)、(株)ゼンリンデータコム、
(株)電通国際情報サービス、トーヨーカネツ(株)、 ⽇本IBM(株)、
(株)⽇⽴製作所、ビッグローブ(株)、富⼠通(株)、(株)フレームワー
クス[渡辺]、マルティスープ(株)、(同)ミルディア、(株)村⽥製作所、
(株)メガチップス、(株)リクルート[⽜⽥]、(株)リコー、レイ・フロ
ンティア(株)
– 愛知⼯業⼤学[梶]、学習院⼤[中澤]、神奈川⼯⼤[⽥中]、慶⼤[春⼭、
神武、中島]、九⼤[島⽥、内⼭]、筑波⼤[善甫、蔵⽥]、名⼤[河⼝]、
奈良先端科学技術⼤[新井]、 北陸先端科学技術⼤[岡⽥]、新潟⼤[牧
野]、⽴命館⼤[⻄尾、村尾]、 産総研、HASC、Lisra
(敬称略、順不同)
• 歴代委員⻑︓
– 2014/5-2018/4 蔵⽥武志（産業技術総合研究所）
– 2018/5- 河⼝信夫（名古屋⼤学）
最初から産業界と連携

26. 評価指標に関する検討項⽬例
26
センサー内部要因 • センサのオフセット・感度
センサー外部要因
• ⼈的要因︓保持・装着状態，歩⾏者特性，歩⾏以
外の動作の種類や量，位置情報を⾒ながら歩くか
（フィードバックループができているか）
• 環境要因︓ルート形状、⻑さ、歩⾏可能エリアの
形状、磁場、気圧、温度等の環境
初期条件，計測条件
• 初期⽅位設定
• センサー校正
• 個⼈ごとのパラメーター設置
• 連続計測時間
評価の視座
• PDR単体でどこまでできるのかの評価
• ハイブリッド測位に組み込む際のPDRの扱いやす
さの評価

28. 評価⽅式
①歩行データを
順次アップロード
精度 PDR１ PDR2
データ１ xxx xxx
データ２ yyy yyy
データ３ …
データ４
②サーバ側でPDRアプリ
をシミュレーション
③位置推定精度を評価
サーバ
歩行者１
歩行者２
歩行者３
歩行者４
データ１
データ２
データ３
データ４
• 全チームが同じデータで評価されるので公平

29. 評価例
正解軌跡
推定軌跡

30. 最終結果
Error Avg.
[m]
Error SD.
Team Freshers
12.96 9.21
TUT USL
13.06 7.78
No PDR, No future.
3.49 1.69
Kohei Kanagu
10.67 6.53
Team UCLAB
(unofficial)
46.93 9.37
(evaluation by 231 traces)

31. データ収集結果
• 経路種類 ︓ 5
• 端末種類 ︓ 4
• 被験者数 ︓ 105 90
• 歩⾏データ ︓ 343 229
• データサイズ︓ 660MByte
• LIDAR データ︓ 2.5Gbyte
• PDR Challenge CorpusとしてUbicomp2016で
公開
特徴︓オンサイトコンペでデータ収集︕

32. 32
これまでの屋内測位コンペ
PerfLoc by NIST EvAAL/IPIN Competitions
Microsoft
Competition@IPSN
コンペのシナリオ
約30 シナリオ
(主に緊急時対応シナリオ)
スマートハウス/
アシストリビングシナリオ
最⼤精度を競う
（現実的シナリオなし)
含まれる歩⾏動作
歩⾏/⾛⾏/後退/横歩き/ ほ
ふく前進/カート/エレベータ
(決まれらえたルート・CP
上を主催側の⼈間が計測)
歩⾏/階段/電話動作/横歩き
等(決まれらえたルート・CP
上を主催側の⼈間が計測)
操作者次第 (競技者⾃⾝が
操作できる）
コンペの種類(オンサ
イトorオフサイト)
オフサイトコンペと上位者
のオンサイト評価
個別のオンサイトとオフサ
イトコンペ部⾨
オンサイト
コンペ対象の⼿法
腕にスマホを装着して計測
(IMU, WiFi, GPS, Cellular)
オフサイト: スマホベース
オンサイト : スマホベース
/ その他のデバイス許可(別部
⾨)
2D:インフラに頼らない⼿
法 3D:インフラ設置も許可
テストデータの量
1 ⼈× 4 デバイス
× 30 シナリオ
開催年度と部⾨による
(例 9データ, 2016T3)
N/A
テストデータ
時間⻑
合計16 時間
開催年度と部⾨による
(例 15分 (2016T1,T2), 2
時間(2016T3))
N/A
評価⼿法
SE95 (3次元95パーセン
タイル誤差)
CE75 (2次元75パーセンタ
イル誤差）
平均誤差
歴史/備考(PDR
Challenge関係)
1回 (2017-2018)
8 回(2011,2012,2013,
(EvAAL),2014,2015(+ETRI
), 2016, 2017, 2018
(EvAAL/IPIN))
5回
(2014,2015,2016,2017,
2018)
これまでのコンペでは産業界シナリオでの実⽤性能を測るのは困難
CE: Circular Error, SE: Spherical Error

33. 33
これまでの xDR Challengesシリーズのコンペ
Ubicomp/ISWC 2015 PDR
Challenge
PDR Challenge in Warehouse
Picking in IPIN 2017
xDR Challenge for
Warehouse Operations
2018
Scenario 歩⾏者ナビゲーション
物流倉庫内のピッキング作業
(特定の産業シナリオ)
ピッキングやフォークリフト
運転などの物流倉庫作業
Walking
/motion
スマートフォンを持ち，画⾯
を⾒ながらの連続歩⾏
歩⾏だけでなくピッキング業務
に纏わる様々な動作を含む
歩⾏だけでなく物流倉庫にお
けるピッキング，フォークリ
フト運転業務中の様々な動作
を含む
On-site or
off-site
データ計測: オンサイト
評価: オフサイト
オフサイト オフサイト
コンペ対
象の⼿法
PDR＋MAP PDR+BLE+MAP+WMS PDR/VDR+BLE+MAP+WMS
Number
of people
and trial
90⼈, 229 試⾏ 8 ⼈, 8 試⾏
34 ⼈+ フォークリフト6台,
170 試⾏(PDR) +
30 試⾏ (VDR)
Time
per trial
数分 約3時間 約8 時間
Evaluation
metric
平均誤差, 誤差標準偏差
統合誤差評価
(測位精度, 軌跡の⾃然さ, 物流
倉庫特有の評価の項⽬)
統合誤差評価
(測位精度, 軌跡の⾃然さ, 物
流倉庫特有の評価の項⽬)
Remark
学会参加者がデータ計測の
被験者として貢献. 得られた
データは HASCコーパスとし
て公開 (http://hub.hasc.jp/)
PDRだけでなく，BLEやWMS，
MAPを⽤いた統合測位を⽤いて，
物流倉庫での実⽤性能を競う
PDR部⾨とVDR部⾨の2部⾨
構成，物流倉庫の典型的動作
を紹介する動作をMoCapで計
測してCG動画で紹介

34. 相対測位(xDR)の誤差蓄積指標
34
• 初期位置（補正位置）からの
誤差蓄積スピード
• コンペ開催を重ねていくう
ちに⾃然と提案された指標
参考︓
• 誤差蓄積勾配
• EAG: Error
Accumulation Gradient
• PDRベンチマーク標準化
委員会で命名

35. BUP (BLE Unreachable Period)による誤差蓄積の評価
• PDRによる誤差累積を評価するために，BLE信号を部分的に
意図的に削除
• 正解値情報をBUPの前後に提供
• BUP内外でCE(絶対誤差)を評価（CE i/o BUP）
BUP (CE in/outside BUP)の導⼊により
BLE（絶対測位⼿段）への依存傾向等がわかる
表︓BUP内外の誤差と誤差累積スピードの⽐較
CE: Circular Error
EAG: Error Accumulation Gradient
35

36. xDR Challenge in Industrial Scenarios 2019
• PDR Challengeシリーズの後継コンペをIPIN2019
＠ピサ(イタリア)の正式コンペ部⾨として開催（Track5）
• 公開されたセンサデータをもとに推定した軌跡を提出
⇒オフサイト形式のコンペ
• 物流倉庫を卒業して，外⾷，製造現場を対象に
• 屋内測位と親和性の⾼い⾏動認識の部⾨も開催
• 結果発表︓9/30-10/3

37. 製造業の従業員計測部⾨
• 製造業の⼯場の従業員の測位性能を競う部⾨
• コンペの詳細︓
– 計測端末︓BIGLOBE BL-02
– 補正⽤BLEビーコン︓富⼠通 PulsarGum(光発電)
– ビデオ撮影により正解位置を取得，補正⽤に部分的に
正解位置を公開予定（前年までのと同様）
工場のレイアウト
（障害物配置）センサ装着位置工場のイメージ

38. 外⾷業の従業員計測部⾨
• 料理搬送⽤ロボットと和装の従業員が共存する
サービス現場の従業測位の性能を競う部⾨（+
動作認識）
• コンペの詳細︓
– 計測端末︓Nexus5（PDR⽤），
TSND151(⼿⾜計測⽤)
– 補正⽤BLEビーコン︓Aplix
Smartphone
フロアプラン
端末の装着例
https://www.youtube.com/watch?v=mo_pWVBQKU0

39. 賞品・賞⾦
• スポンサーのご協⼒により，賞⾦・賞品を授与
• 製造業トラック
– １位︓15万+BL-02P or 10万+BL-02P+TECCO+PulsarGum
– ２位︓10万+BL-02P
• 外⾷トラック
– １位︓15万+BL-02P or 10万+BL-02P+PDRmini+PulsarGum
– ２位︓10万+BL-02P
• 賞品
TECCO (GOV)
BL02P(BIGLOBE) PDR mini (杉原SEI)
PulsarGum(富⼠通)

40. 草の根から標準へrev
40
• 実践的な評価指標が草の根活動から提案（PEVO, 3D PEVO,
EAG, CE i/o BUP）
• 産学連携は標準化を活きた活動にする上で必須
• 技術ノウハウがわかってしまうような評価指標は注意
• できれば、認証ビジネス等に繋がれば
草の根
(産官学)
標準化
競争・共創促進
認証ビジネス
等

41. おわりに︓オープンXとR&Dエコシステム
41
戦略的にオープンX （腹⿊く）