OptWedge: 認知コストを用いたディスプレイ領域外への位置誘導 (VC2020)

© Mitsubishi Electric Corporation
OptWedge: 認知コストを用いた
ディスプレイ領域外への位置誘導
Visual Computing 2020
(12/3 9:45-10:00)
宮川翔貴, 木村勝 (三菱電機情報技術総合研究所)

2/29
位置誘導とは
ディスプレイの領域外の特定の位置へ視線あるいは注意を誘導すること
誘導したい
目標位置
ディスプレイ

3/29
ディスプレイの領域外の特定の位置へ視線あるいは注意を誘導すること
手がかり
(Cue)
位置誘導とは
誘導したい
目標位置

4/29
視野外へ注意を惹きたいとき
例）車載ディスプレイを用いた
危険物の情報提示
ディスプレイサイズが小さいとき
例）スマートウォッチを用いた
地図ナビゲーション
https://tabkul.com/?p=67128
位置誘導の応用例

5/29
推定誤差が小さくなるように位置誘導したいが，どのようなCueを選び，
そのCueの色や形などをどのようにデザインすればよいかは明らかでない
誘導したい
目標位置
ヒトが推測
した位置
推定誤差
位置誘導における課題

6/29
“A Comparison of Guiding Techniques for Out-of-View Objects in Full-Coverage Displays” (CHI’19)
ルームスケール環境
におけるCueの比較 vs.
Wedge Flashing Point animation
vs.
ヘッドマウントディスプレイ環境
におけるCueの比較
“Beyond Halo and Wedge: Visualizing Out-of-View
Objects on Head-mounted Virtual and Augmented
Reality Devices” (MobileHCI’18)
Halo Wedge
vs.
どのようなCueが位置誘導に適切かを追求する研究が多い
先行研究

7/29
特定のCue (Wedge) に焦点を当て，より良いデザイン (形状) を追求する
推定誤差が小さくなるように位置誘導したいが，どのようなCueを選び，
そのCueの色や形などをどのようにデザインすればよいかは明らかでない
先行研究のスコープ
本研究のスコープ
位置誘導における課題：
本研究の目的：
本研究の位置づけ

8/29
Wedge(二等辺三角形の一部)を表示し，アモーダル補完を利用することで
非可視な頂点を位置誘導する
誘導したい
目標位置
アモーダル補完:
一部から全体を想像できる
ヒトの認知処理を利用
アモーダル補完の例
ディスプレイ領域
従来手法：Wedgeによる位置誘導

9/29
※従来手法におけるパラメータの決定方法
従来手法ではヒューリスティックにWedgeの形状を決定している
距離 𝑑
等辺長 𝑙
頂角 𝜃
従来手法：Wedgeによる位置誘導
問題点
• 従来手法の妥当性が不透明
• 認知処理の影響を考慮していない
• 描画範囲に関する制約を扱いづらい
描画範囲に関する制約の導入

10/29
解決法
• 認知処理を考慮した評価指標として認知コストを提案
• 認知コストにもとづいて形状を最適化したOptWedgeを提案
提案手法
問題点
• 従来手法の妥当性が不透明
• 認知処理の影響を考慮していない
• 描画範囲に関する制約を扱いづらい

11/29
正規分布𝑃 (Wedgeに依存して変動)
仮定：複数人が推定した分布が正規分布𝑃(𝑏, 𝜎𝑥, 𝜎 𝑦)をなす
個人差 𝜎𝑥
バイアス 𝑏
個人差
𝜎 𝑦
提案手法：認知コストの導入

12/29
理想的な正規分布𝑄を導入し，正規分布𝑃を正規分布𝑄に近づけることで
正確な位置誘導を実現できる
目標位置を平均とする分散の
小さな正規分布𝑄 (固定)

13/29
目標位置を平均とする分散の
小さな正規分布𝑄 (固定)
正規分布𝑃を正規分布𝑄に近づけるための指標として，
カルバック・ライブラー情報量を認知コストとして導入した
※カルバック・ライブラー情報量
𝐷 𝐾𝐿 = 𝑄𝑙𝑜𝑔
𝑄
𝑃

14/29
BOW
頂点を目標位置に一致させない
→ 最適化してもバイアスはゼロに近づかない
UOW
頂点を目標位置に一致させる
→ 最適化によってバイアスはゼロに近づく
(Unbiased OptWedge)
(Biased OptWedge)
提案手法：OptWedge
バイアスの扱いが異なる2種類のOptWedgeを提案

15/29
バイアス 𝑏
BOW
UOW
(Unbiased OptWedge)
(Biased OptWedge)

16/29
バイアス 𝑏
BOW
バイアス 𝑏
UOW
(Unbiased OptWedge)
(Biased OptWedge)

17/29
実験１：認知コスト(バイアス, 個人差)のモデル化 (準備)
実験２：OptWedgeと従来手法の比較 (本番)
実験概要

18/29
• 特定の形状のWedgeを提示し
頂点を推定してもらうタスクを課した
• 20人の参加者に対して375通り
の形状のWedgeを提示した
（パラメータは等間隔に指定）
• ユーザのポインティング操作の負荷
を減らすためにVR環境(HTC VIVE)
で実験した
10m
VRコントローラ
レイ
実験１：概要

19/29
以下の回帰分析の結果にもとづき，実験２ではガウス過程回帰モデルを採用
テストデータにおける平均二乗誤差 [m2]
実験１：回帰分析の結果
等辺長
頂角
バイアス
ガウス過程回帰の結果の一部

20/29
実験１：認知コスト(バイアス, 個人差)のモデル化 (準備)
実験２：OptWedgeと従来手法の比較 (本番)
実験概要

21/29
• 実験１と同様の手続きのもと, 3種類の
Wedge(従来手法, UOW, BOW)を提示
• 従来手法のパラメータを初期値として
最急降下法を実行
• パラメータの定義域および描画領域
に関する制約条件を考慮
認知コストの可視化
(ガウス過程回帰モデルを利用)
従来手法
(初期値)
UOW
制約条件
頂角𝜃[rad]
等辺長 𝑙 [m]
実験２：概要

22/29
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
1 2 3 4 5 6
W1 W2 W3
**
*
*
†
従来
UOW
BOW
**： p < 0.01
*： p < 0.05
†： p < 0.10
実測値
予測値
従来
UOW
BOW
認知コストによる評価結果平均二乗誤差による評価結果
目標位置までの距離[m]
目標位置までの距離を
3段階に分けて挙動を整理する
実験２：結果

23/29
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
1 2 3 4 5 6
W1 W2 W3
**
*
*
†
従来
UOW
BOW
**： p < 0.01
*： p < 0.05
†： p < 0.10
実測値
予測値UOW
BOW
従来
近距離ではUOW, BOWが有効
実験２：結果

24/29
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
1 2 3 4 5 6
W1 W2 W3
**
*
*
†
従来
UOW
BOW
**： p < 0.01
*： p < 0.05
†： p < 0.10
実測値
予測値UOW
BOW
従来
中距離では有意な差はない
実験２：結果

25/29
遠距離ではモデルが不正確
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
1 2 3 4 5 6
W1 W2 W3
**
*
*
†
従来
UOW
BOW
**： p < 0.01
*： p < 0.05
†： p < 0.10
実測値
予測値
従来
UOW
BOW
実験２：結果

26/29
従来手法 UOW BOW
近距離
中距離
遠距離 △
○ ○
△
△ ×
×
△ △
疑問１：なぜ有意な差が得られなかったか
疑問２：なぜOptWedge(特にBOW)
の性能が落ちたのか
実験２：結果のまとめ

27/29
従来手法(初期値)の認知コストが十分に低いことから
ヒューリスティックな方法に一定の妥当性があったといえる
頂角𝜃[rad]
等辺長 𝑙 [m]
近距離遠距離
距離が遠いほど初期値に近い最適解が得られている
初期値
最適解
疑問１：なぜ有意な差が得られなかったか

28/29
遠距離では定義域に関する制約を満たす
データ数が十分でなくモデルの汎化性能が
低くなったため
距離 𝑑
等辺長 𝑙
頂角 𝜃
距離 𝑑
等辺長 𝑙
頂角 𝜃
距離 𝑑
等辺長 𝑙
頂角 𝜃
バイアスの生データ個人差(x方向)の生データ個人差(y方向)の生データ
疑問２：なぜOptWedgeの性能が落ちたのか
距離 𝑑
等辺長 𝑙
頂角 𝜃

29/29
• ヒトの認知処理を反映した評価指標として認知コストを提案
• Wedgeの形状を最適化したOptWedgeを提案し，
バイアスの扱いが異なるUOW, BOWを比較検討
• 従来手法との比較実験を通して以下を確認した
• 近距離におけるOptWedge (UOW, BOW)の有効性
• 遠距離におけるモデルの汎化性能の低下
• 従来のヒューリスティックな方法における一定の妥当性
まとめ

31/29
査読コメントのまとめ
（１）現実空間とVR空間の相違
• 本論文が仮定している環境はどのようなものか。
• 本研究の有効性の発揮されるアプリケーションはどのようなものか。VR環境のように実時間性と
対話性が確保された環境では、Wedgeの有効性はあまり高くないと考えられる。
• VR環境では輻輳調節矛盾やレイテンシといった技術的課題があるため、現実空間での大画面
ディスプレイを模した実験環境として適切でしょうか。
（２）認知コストの説明
• 認知コストとしてカルバックライブラー情報量を導入した根拠はなにか？
（３）その他
• 評価実験の各条件の繰り返しがオフライン実験で1回、オンライン実験で2回と少ないことに懸念
が残る。通常、こうした被験者課題の反応は被験者間個人差の変動があるだけでなく、個人内
の変動も無視できない程大きい。

32/29
11度：5.83cm
35度：21cm
7.15[cm]
14.67
[cm]
遠距離
中距離
近距離
※ 本実験の環境とは異なるため，
一般化のための追加実験が必要
iPhone12
視野角に置き換えると
• 近距離：約11度まで
• 中距離：約35度まで
• 遠距離：それ以上
本実験環境の一般化

33/29
Wedge以外への本技術の応用例
目標位置
聴収者
仮想音源
目標位置
目標位置
時
間
円の形状
目標位置
透明度
目標位置
3D図形
音源定位
アニメーション

34/29
バイアス 𝑏 > 0
バイアス 𝑏 < 0
• 目標位置が遠くなるにつれてヒトは距離
を過少に見積もる(バイアスが負になる)
• 個人差は頂角に関してトレードオフ
の関係がある
実験１：生データの傾向

35/29
実験２：最適化の結果
従来
UOW
BOW
• UOW, BOWでは頂角が大きく
なる傾向があり，これは先行研
究における仮説*に一致している
• 下図のBOWでは生データにおけ
る傾向(ヒトは距離を過少に見積
もる)を考慮した結果となっており
妥当な最適化である
* “larger apertures would have led to
smaller orbitals”

36/29
従来手法におけるorbital(左)とclutter解消方法(右)

37/29
位置誘導のアプローチ
全体図を表示するため直接的
情報量が少ないディスプレイに表示すべき情報量が多い
間接的な表現
Overview+Detail Focus+Context Cue
[Tonnis+06]
[Gruenefeld+18]
[Müller+14]
[Petford+19][Luyten+16]Google Map

38/29
Overview+Detail
Mini-map World In Miniature (WIM)[27]
• 全体像(overview)を表示するシンプルな手法
• OverviewとDetailを比較することで相対的に位置を把握できる
• Overviewが複雑であるほど、比較する際の認知負荷が大きくなる
Personalized Compass[28]

39/29
Focus+Context
Aroundplot[6]
Bird’s eye[2]
InfoRadar[1]
EyeSeeX[5]
3D
Radar[4]
EdgeRadar[3]
• 座標変換された(歪みのある)Overviewを表示する手法
• 座標系が異なるため、位置の把握には慣れを必要とする
2D対応 3D対応

40/29
Cue
• 方向や距離などを Cue (図形など) を用いて表現する手法
• Overview+DetailやFocus+Contexに比べて提示する情報量が
少ないため、メインコンテンツを阻害しない
• Cueごとに強調している情報が異なるため、以下のように
さらに細かく分類した
– 2D方向
– 2D方向 + 距離
– 3D方向
– 3D方向 + 距離
3.5 その他 (映像など)

41/29
• ウィンドウの外周を強調することでその方向にウィンドウがあることを示唆
Cue (2D方向のみ)
City Lights[7]

42/29
Halo[8] Wedge[9] ScaledArrow,
Stretched Arrow[10]
HaloDot[12]Sparkle(LED)[11]
• HaloやWedgeではアモーダル補完というヒトの視覚認知を利用
– Wedgeは誘導対象が複数個の場合に対応した、Haloを拡張した手法
– 3Dへの拡張も容易であり、様々な派生形が提案されている(後述)
円の中心が
誘導対象
三角形の頂点が
誘導対象
光の強さで
距離を表現
Haloの欠点を
改善
Cue (2D方向+距離)

43/29
3D Arrow[2]
SidebARs[17]
周辺視野に矢印などの
アイコン[14]
Circle[15]
Sphere Halo, Sphere Wedge[19]
周辺視野にLED[16,18]
• 中心視野ではなく周辺視野にCueを表示する手法が多い
• [19]は球面に射影した点を注意誘導しているため、距離を考慮していないことに注意
Bubble Bee[13]
FlyingARrow[23]
Cue (3D方向のみ)

44/29
3D Halo, Circle Halo,
Billboard Halo[22]
Composite Wedge, Vector Boxes, Eyelight[20]
Plane Halo, Plane Wedge, PlaneArrow[21]
Wall Wedge, Flashing, Dynamic Point[4]
• HaloやWedgeの拡張が主に用いられている
• [21]では前方平面に射影した点を注意誘導しているため、前後方向の区別ができない点に注意
Cue (3D方向+距離)

45/29
その他
SpyderVision[24]
Outside-in(映像)[25]
アイコン[26]
ARHMDなどを用いて鏡のように
視野外物体を投影する
視野外領域の映像をサブウィンドウとして表示する
状況が分かるようなアイコンを表示する

46/29
Cueの比較
• これまで紹介した各手法の比較に焦点を当てた論文がいくつかある
– Halo vs Streched Arrow vs Scaled Arrow[29], Scaled Arrow vs Wedge vs. Mini-map[30],
Mini-map vs Wedge[31], HaloDot vs Scaled Arrow vs Mini-map[32], 3DArrow vs Mini-
map[33]
– 例えば[30]では、5個/8個の誘導位置に対してClosest(最も近い点のみ探す),
Order(近い順に並び替える), Cluster(近いペアを作る), Locate(位置を特定する)タスクを比較し、
以下のことが分かった
• CloseタスクではMini-mapが優位だが、OrderタスクはWedgeが優位
• Wedge, Mini-map, Scaled Arrow の順にユーザが好む傾向がある
• ただし、誘導対象の数やタスクの種類、ディスプレイの大きさなどに依存して
結果は変わりうるため、網羅的に比較したときの手法の優位性について統一的見解がない
目的に沿った適切な手法の選択
主張の根拠となる論文の適宜調査
が重要

47/29
参考文献①
[1] InfoRadar: Group and Public Messaging in the Mobile Context (Rantanen+04)
[2] Effective Control of a Car Driver’s Attention for Visual and Acoustic Guidance towards the Direction of Imminent Dangers(Tonnis+06)
[3] Comparing visualizations for tracking off-screen moving targets (Gustafson+07)
[4] A Comparison of Notification Techniques for Out-of-View Objects in Full-Coverage Displays (Petford+19)
[5] EyeSeeX: Visualization of Out-of-View Objects on Small Field-of-View Augmented and Virtual Reality Devices (Gruenefeld+18)
[6] Aroundplot: Focus+context interface for off-screen objects in 3D environments (Jo+11)
[7] City Lights: Contextual Views in Minimal Space (Zellweger+03)
[8] Halo: a technique for visualizing off-screen objects (Gruenefeld+03)
[9] Wedge: Clutter-Free Visualization of Off-Screen Locations (Gustafson+08)
[10] Visualizing Locations of Off-Screen Objects on Mobile Devices: A Comparative Evaluation of Three Approaches (Burigat+06)
[11] Sparkle: an ambient light display for dynamic off-screen points of interest (Müller+14)
[12] Evaluation of HaloDot: Visualization of Relevance of Off-Screen Objects with over Cluttering Prevention on Mobile Devices (Gonçalves+11)
[13] Bubble bee, an alternative to arrow for pointing out directions (Wonner+13)
[14] Hidden in Plain Sight: an Exploration of a Visual Language for Near-Eye Out-of-Focus Displays in the Peripheral View (Luyten+16)
[15] Where to Look: Exploring Peripheral Cues for Shifting Attention to Spatially Distributed Out-of-View Objects (Gruenefeld+18)
[16] Augmenting the Field-of-View of Head-Mounted Displays with Sparse Peripheral Displays (Xiao+16)
[17] SidebARs: improving awareness of off-screen elements in mobile augmented reality (Siu+13)
[18] Exploring Vibrotactile and Peripheral Cues for Spatial Attention Guidance (Gruenefeld+18)
[19] Beyond Halo and Wedge: visualizing out-of-view objects on head-mounted virtual and augmented reality devices (Gruenefeld+18)
[20] Visualization of off-surface 3D viewpoint locations in spatial augmented reality (Adcock+13)
[21] Visualizing Out-of-view Objects in Head-mounted Augmented Reality (Gruenfeld+17)
[22] Strategies for Visualizing Points-of-Interest of 3D Virtual Environments on Mobile Devices (Trapp+11)

48/29
参考文献②
[23] FlyingARrow: Pointing Towards Out-of-View Objects on Augmented Reality Devices (Gruenefeld+18)
[24] SpiderVision: extending the human field of view for augmented awareness (Fan+14)
[25] Outside-In: Visualizing Out-of-Sight Regions-of-Interest in a 360° Video Using Spatial Picture-in-Picture Previews (Lin+17)
[26] In-Your-Face, Yet Unseen? Improving Head-Stabilized Warnings to Reduce Reaction Time (Lauber+14)
[27] Virtual Reality on a WIM: Interactive Worlds in Miniature (Stoakley+95)
[28] Personalized Compass: A Compact Visualization for Direction and Location (Miau+16)
[29] Experiments in the Wild: Public Evaluation of Off-Screen Visualizations in the Android Market
[30] Visualizing References to Off-Screen Content on Mobile Devices: a Comparison of Arrows, Wedge, and Overview+Detail (Burigat+11)
[31] Dynamic visualization of large numbers of off-screen objects on mobile devices:
an experimental comparison of wedge and overview+detail (Burigat+12)
[32] Comparison of off-screen visualization techniques with representation of relevance on mobile devices (Gonçalves+13)
[33] Visualization of Off-Screen Objects in Mobile Augmented Reality (Schinke+10)

OptWedge: 認知コストを用いたディスプレイ領域外への位置誘導 (VC2020)

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (9)

Featured

Featured (20)