1.
クロスモーダル設計調査分科会
設立の狙い
鳴海拓志 @narumin
小泉直也 @kizm_naoya
（東京大学）
ハッシュタグ: #CMDWS

2.
MetaCookie：視覚・嗅覚・味覚の相互作用で食味が変化
2

3.
Chewing Jockey:
咀嚼音の変調で聴覚触覚間の
クロスモーダル効果を起こし食感を強化

4.
• 今までにない臨場感を
伝えたい/作り出したい
•五感を活用した
体験を作り出したい！
→ どうやって設計するの？

5.
感覚の設計：古典的な感覚のモデル
6

6.
感覚の設計：古典的な感覚のモデル
• 感覚を分けて考える（モジュール化）
– 聴覚は耳に入った音を処理するもので，
目から入ってくる光には影響を受けない
• マルチモーダル：足し算の発想
– 使う感覚を増やしていけばよりリアルに
7

7.
五感提示技術の現状
視覚：○
触覚：△
嗅覚：×
聴覚：○
味覚：×

8.
足し算の果て
視覚提示装置
聴覚提示装置
＋
触覚提示装置
＝
嗅覚提示装置
味覚提示装置
• システムが複雑に．．．
→ コスト増加，メンテナンスが大変．．．

9.
足し算で表せない要素は
気のせいなのか？

10.
11

11.
物理世界と知覚世界は異なる
• 人間は感覚情報を元に脳内に世界を再構成している
• 外界の物理特性と，知覚された脳内世界の特性は
必ずしも一致しない
真ん中の円はどちらが大きいか？
AとBはどちらが明るい色か？
12

12.
リアリティの2つの要因
心理的リアリティ要因
（人間が現象を認知するメカニズム）
この20年あまり発展せず
向上には人間の認知特性の理解が必要
物理的リアリティ要因
（精度・解像度・応答速度．．．）
十分なレベルに到達
向上には機構の複雑化が必要
13

13.
複数感覚の組み合わせで起こる錯覚：
クロスモダリティ（感覚間相互作用）
感覚器
知覚
視覚
光
聴覚
耳
音
触覚
触覚
受容器
振動・圧力
嗅覚
鼻
匂い
味覚
認知
目
舌
味
顕在過程
潜在過程
14

14.
クロスモダリティ（感覚間相互作用）
• 人間の感覚がもつ，ある感覚の情報から
他の感覚の情報を補完して認知，解釈する特性
• 経験的に結びついた感覚の入力の組み合わせ
→ その一部が来るだけで来なかった感覚を補完
• 脳機能計測等で実証
perception
sensation
vision
eye
hearing
ear
haptics
Haptic
receptor
olfactory
nose
gustatory
tongue

15.
感覚間相互作用の例：腹話術効果
• 腹話術師の声にあわせて人形の口が動いていると，
人形の口から声が出ているように感じる（音源定位が変化）
16

16.
感覚間相互作用の例：マガーク効果
• 「ガ」という発音の映像＋「バ」という音＝「ダ」？
17

17.
感覚間相互作用の例：Pseudo‐Haptics
 視覚中での体の動きと，自分で感じている体の動きとの間
に不整合が生じた際に，視覚による情報が優勢になって，
擬似的な触力覚が生じる錯覚
 例：マウスに追従して動くマウスポインタ
加速度
摩擦力を錯覚
18

18.
感覚の設計から知覚・体験の設計へ
感覚器
知覚
視覚
光
聴覚
耳
音
触覚
触覚
受容器
振動・圧力
嗅覚
認知
目
鼻
匂い
• 感覚ではなく知覚や体験を中心に考える
– 感覚と知覚の間のフィルタの設計を考える 舌
味覚
– 過去の経験や文脈が果たす役割を考える
味
• クロスモーダル：掛け算の発想
– 限られた感覚を効果的に組み合わせてリアリティを引き出す
19

19.
クロスモーダル設計調査分科会の目標
1. クロスモーダル設計手法の確立
– クロスモダリティを工学的に応用して
知覚・体験を設計する方法論を確立する
2. クロスモーダル設計の利用方法の確立
– 基本的な効果だけでなく適用限界や
文脈を考慮した適切な演出方法まで考える
3. クロスモーダル設計の評価手法の確立
– 「感覚」ベースではなく「体験」を評価する方法を
体系化し，適切な評価ができるようにする

20.
クロスモーダル設計の
実例紹介

21.
クロスモーダル設計調査分科会ウェブサイト
• http://crossmodal‐design.tumblr.com/
• ウェブサイトでは
下記を閲覧可能
– 本会の趣旨
– ワークショップの
開催案内と開催報告
– クロスモーダルデザイン
の具体的事例の紹介
– 関連ウェブサイトの
リンク集

22.
クロスモーダル設計調査分科会ウェブサイト
• http://crossmodal‐design.tumblr.com/
• ウェブサイトでは
下記を閲覧可能
– 本会の趣旨
– ワークショップの
開催案内と開催報告
– クロスモーダルデザイン
の具体的事例の紹介
ワークショップ開催案内/報告
– 関連ウェブサイトの
リンク集
クロスモーダル設計の実例集
感覚ごとに探すための索引

23.
拡張満腹感
食品の見た目をARで変化させ，得られる満腹感(内臓感覚)を操作
24

24.
ユーザテスト
縮小: 13Cookies
通常:11Cookies
拡大:7Cookies
25

25.
実験結果（食べた量の変化）
（
通
常
条
件
下
消 の
費 消
量 費
量
で
正
規
化
）
•
•
•
縮小条件
通常条件
拡大条件
拡大率
被験者12名
見た目を小さくすることで，食べる量を増やすことができる傾向
拡大条件と縮小条件の間で，食べた量に優位差あり
26

26.
Perception‐based Shape Display
視覚と触覚の相互作用
によって形状知覚を操作
映像中の手の位置を
適切に変化させることで
バーチャルオブジェクトに
触っている感覚を提示
27

27.
三次元のなぞりに対する効果の検証
実際の様子(形状A)
提示映像(形状B)
提示映像の形状に合わせて
手の映像の出現位置を調整
28

28.
空間配置（位置）に対する効果の検証
実際の様子(形状A)
提示映像(形状B)
実際に触っている物体と提示映像内の
物体で角を指が通過するタイミングをそろえる
29

29.
空間配置（角度）に対する効果の検証
実際の様子(形状A)
提示映像(形状B)
実際に触っている物体と提示映像内の
物体で角を指が通過するタイミングをそろえる
30

30.
握った時の物体の大きさ知覚に対する影響
実際の様⼦
合成映像
制御点(接触位置，重⼼)
の移動を元に
Rigid MLS method
を⽤いて⼿画像を変形
31

31.
バーチャルな文化財に
手を触れて操作する感覚の提示
＠東京国立博物館

32.
拡張持久力：視覚の影響で重量知覚（力覚）を操作し，
疲れにくくする

33.
34
Perception‐based Interface

34.
実験結果：上げ下ろし回数の変化率
N=17
• 白くすると，黒くしたときに比べて17.9±4.1%達
成回数が増加（p<.05）
• 筋電計測により筋出力にも差があることを確認
35

35.
クロスモーダル設計の可能性
メリット
デメリット
• 今までにない体験を
作り出すシステムの実現
• 五感を扱うシステムの
簡易化が可能
• 製造コスト減，メンテ減に
より応用分野が拡大
• 扱いにくい感覚に
アプローチできる
• 感覚を個別に捉える古典
的な考え方に比べて
（現状では）設計が難しい
– 嗅覚，味覚，満腹感等
• 情報量の圧縮
– 通信コスト減など
• 効果がどの程度現れるか
は人によってまちまち
– これまでの経験や文脈の
影響をうけやすい

36.
クロスモーダル設計の現状と課題 – 設計手法
現状
• 主なクロスモーダル設計の手法は2通り
– 心理学・認知科学等で知られている知見を利用して
知覚・体験を設計する
（ex. Chewing Jockey, 拡張持久力）
– 日常的な経験から類推して試行錯誤する
（ex. Meta Cookie, Perception‐based Shape Display）
課題
• クロスモダリティの解明自身も研究途上であり
まずは事例を蓄積して俯瞰することが必要
• システムが出来ることで解明も進むという相互作用に
期待

37.
クロスモーダル設計の現状と課題 – 利用手法
現状
• 研究レベルの開発が多く，具体的な利用シーンへの適用法や
効果を引き立てる演出手法まで議論されている例は少ない
課題
• 社会展開や長期使用のユースケースの蓄積
• 性能限界を踏まえて活用するための演出手法の確立
• 効果に個人差があるので，個人差を吸収する手法か，
効果がない場合も許容されうる利用法が必要？

38.
クロスモーダル設計の現状と課題 – 評価手法
現状
• 主なクロスモーダル設計の評価手法は大別して4種類
–
–
–
–
主観評価
心理物理評価
生理評価
タスク評価
（アンケートなど
ex. MetaCookie, Chewing Jockey）
（JND, PSEなど
ex. Perception‐based Shape Display）
（筋電，皮膚電気抵抗など ex. 拡張持久力）
（パフォーマンス計測 ex. 拡張満腹感, 拡張持久力）
課題
• 「感覚」ではなく「知覚・体験・潜在的効果」を捉えるために
そしてクロスモーダルが「役に立つ」かを見極めるために，
上記手法をどのように組み合わせれば良いか体系化する

39.
まとめ？ と これから
マルチモーダル：足し算の発想
• 感覚を分けて考える（モジュール化）
• 使う感覚を増やしていけばよりリアルに
クロスモーダル：掛け算（引き算？）の発想
• 知覚や体験を中心に設計を捉え直す
– 感覚の間の相互作用の設計を考える
– 過去の経験や文脈が果たす役割を考える
• 限られた感覚を効果的に組み合わせてリアリティを作る
•
•
•
•
関連分野の方を招いた講演と議論
関連する研究施設・企業等の見学
先行事例のサーベイと輪講発表
得られた知見をまとめて共有するグループワーク
これらを通じて
クロスモーダル設計の
体系化を目指す