More Related Content
What's hot
What's hot (20)
More from Matsushita Laboratory
More from Matsushita Laboratory (20)
Recently uploaded
Recently uploaded (8)
共感覚的表現を用いた触感と基本6感情の対応づけに関する一検討
- 6. 問題へのアプローチ 触覚情報（触感）を⽤いて表情を表現する どのように表情と触覚情報を対応づけるかが重要 表情を理解 ！ 表情の理解が 困難 ❔ 触感：物体に触れた時の物体の質感※1 【硬軟，粗滑，凹凸，温冷，摩擦（乾湿）】 ※1 : 岡本正吾ほか，“素材の触知覚を構成する5 種の材質感次元，” ⽇本バーチャルリアリティ学会⼤会論⽂集， 触感提⽰システム に触れる 4
- 7. 関連研究 表情（感情）と触覚の対応性に関する研究 • 表情と握⼿ • ⼿の触れ⽅，握り⽅で相⼿に感情を伝える※1 • ⼿を握る⼒を利⽤して表情を識別※2 (+) 直感的，(−)表情との対応に限界がある (+) 直接的，(−)直感的でない，(−)学習時間を要する • 表情と位置関係 • 触覚フィードバックを与える部位で表情を識別※3 ※1 : M.J. Hertenstein et al., “Touch communicates distinct emotions,” Emotion., vol.6, no.3, pp.528‒33, 2006. ※2 : J.N. Bailenson et al., “Virtual interpersonal touch: Expressing and recognizing emotions through haptic devices,” Human‒Computer Interaction, vol.22, no.3, pp.325‒ 353, 2007. ※3 : H.P. Buimer et al., “Conveying facial expressions to blindand visually impaired persons through awearable vibrotactile device,” PLOS ONE, vol.13, no.3, pp.1‒16, 2018. 5
- 8. 本研究における表情との対応 (+) 表現の幅が広い (+) 直感的 表情との対応に触感を利⽤する 物体に触れた時の物体の質感※1 【硬軟，粗滑，凹凸，温冷，摩擦（乾湿）】 x 表情と触感を間接的に対応づける要因を探る ※1 : 岡本正吾ほか，“素材の触知覚を構成する5 種の材質感次元，” ⽇本バーチャルリアリティ学会⼤会論⽂集， 表情 触感 要因 6
- 9. (+) 表現の幅が広い (+) 直感的 表情との対応に触感を利⽤する 物体に触れた時の物体の質感※1 【硬軟，粗滑，凹凸，温冷，摩擦（乾湿）】 ※1 : 岡本正吾ほか，“素材の触知覚を構成する5 種の材質感次元，” ⽇本バーチャルリアリティ学会⼤会論⽂集， x 表情と触感を間接的に対応づける要因を探る 要因が判明すれば 他の表情に応⽤可能 表情 触感 要因 6 本研究における表情との対応
- 11. 触感 触感は3つの要素から構成される※1 ⾝体 (⼼的）イメージ モノ 触覚情報 視聴覚情報 ⾝体動作 物体の材質的特徴※2 硬軟，粗滑，凹凸， 温冷，摩擦（乾湿） ⾔語，記憶， 体験，⽂化 共感覚的表現と同じ特徴を持つ ※1 : 仲⾕正史ほか，触感をつくる<<テクタイル>>という考え⽅，岩波書店，2011． 仲⾕正史ほか，“触感表現の⼀般普及に向けた⽅法論とテクタイルワークショップを通したその実践，” ⽇本バーチャルリアリティ学会論⽂誌，vol.19， no.4，pp.593‒603，2014． ※2 : 岡本正吾ほか，“素材の触知覚を構成する5 種の材質感次元，” ⽇本バーチャルリアリティ学会⼤会論⽂集，vol.16，no.3，pp.343‒353，2011． 8
- 14. 先⾏研究 • 36の共感覚的表現と喜び・怒り・悲しみの表情の 対応を調査※1 ※1：樋⼝友梨穂，松下光範： 共感覚的⽐喩を⽤いた触感と表情の対応性に関する⼀検討，電⼦情報通信学会技術研 究報告，Vol. 121, No. 143, pp. 7‒12 (2021). ※2 : Ekman, P.: An argument for basic emotions, Cognition and Emotion, Vol. 6, No. 3-4, pp. 169‒200 (1992). 基本的な感情の種類は怒り，嫌悪，恐怖，喜び，悲しみ， 驚きの6種類※2 基本的な感情と共感覚的表現に含まれる 触感の対応を探るため，追加調査 11
- 15. アンケート調査 調査⽅法 • Yahoo!クラウドソーシングを利⽤ • 対象⼈数：200⼈（PCからの回答者のみ） • 表情画像を⾒ながら共感覚的表現がその表情に 適しているか5段階で評価 表情の種類：3種類，共感覚的表現：36種類 □□の表情？ 〇〇の表情？ 12
- 17. ※1 T. Fujimura and H. Umemura, “Development and validation of a fa-cial expression database based on the dimensional and categorical model of emotions.,” Cognition and Emotion, vol.32, pp.1663‒1670, 2018. 表情：恐怖，驚き，嫌悪（閉⼝） <AIST顔表情データベース2017※1> 調査に⽤いるデータ 1つの表情種につき2名の⽇本⼈⼥性の画像を⽤いる 共感覚的表現：分類語彙表（国⽴国語研究所）や共感覚的表現に関 する論⽂・書籍から触覚に関連する共感覚的表現 （形容詞・オノマトペなど）36語を選定・抽出 14
- 18. 12 45 80 45 7 2 3 20代 30代 40代 50代 60代 70代以上 132 40 1 男 ⼥ 不明・無回答 調査参加者 性別 無効としたデータ • ある設問に対して特定の⽂字列の回答を求め，その回答に誤りがある • 「どちらともいえない」を選んだ数を標準得点化し， 標準得点が2以上 有効データ：173件 年代 15
- 20. 熱 湿 しなしな へなへな こそばゆい 涼しい 熱い 共感覚的表現のグループ化 6種の表情で類似した評価を受けた語彙がグループ化された 軟・温 硬 凸 乾・冷 ふわふわ ふんわり ふわっ やんわり ふわり ほくほく やわらいだ やわらかい 温かい 軽い ぬるい ふにゃふにゃ じめじめ しめった じっとり ねっとり びしょびしょ びちゃびちゃ ぐしょぐしょ かたい がちがち こちこち かちかち こわばった 重い かわいた 冷たい つんつん とげとげ ちくちく ぷりぷり 17
- 22. やわらかさや温かさに関する語彙 喜び：平均値が⾼い その他の表情：平均値が低い 0 1 2 3 4 5 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 怒り 嫌悪 恐怖 平均値 1.23 1.39 1.35 標準偏差 0.37 0.45 0.43 喜び 悲しみ 驚き 平均値 4.03 1.42 1.85 標準偏差 0.55 0.52 0.83 共感覚的表現のグループと表情 19
- 23. 乾・冷に関する語彙 0 1 2 3 4 5 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 怒り 嫌悪 恐怖 平均値 2.38 2.42 2.54 標準偏差 0.91 0.96 0.98 喜び 悲しみ 驚き 平均値 1.49 2.71 1.90 標準偏差 0.55 0.91 0.83 共感覚的表現のグループと表情 いずれも平均値が低い 20
- 24. 湿りけに関する語彙 0 1 2 3 4 5 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 怒り 嫌悪 恐怖 平均値 1.75 2.45 2.26 標準偏差 0.73 0.87 0.85 喜び 悲しみ 驚き 平均値 1.36 2.65 1.78 標準偏差 0.45 0.87 0.74 共感覚的表現のグループと表情 いずれも平均値が低い 21
- 25. 熱に関する語彙 0 1 2 3 4 5 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 怒り 嫌悪 恐怖 平均値 2.94 2.21 2.38 標準偏差 1.13 1.18 1.26 喜び 悲しみ 驚き 平均値 2.18 1.95 2.50 標準偏差 0.98 0.94 1.24 共感覚的表現のグループと表情 いずれも平均値が低い 22
- 26. かたさに関する語彙 喜び・驚き：平均値が低い 怒り・嫌悪・恐怖・悲しみ： 平均値が⾼い 0 1 2 3 4 5 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 怒り 嫌悪 恐怖 平均値 4.29 3.56 3.81 標準偏差 0.54 0.92 0.81 喜び 悲しみ 驚き 平均値 1.25 3.90 2.44 標準偏差 0.43 0.81 1.04 共感覚的表現のグループと表情 23
- 27. 喜び・驚き：平均値が低い 怒り・嫌悪：平均値が⾼い マクロな粗さ感（凸）に関する語彙 0 1 2 3 4 5 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 怒り 嫌悪 恐怖 平均値 3.87 3.59 3.47 標準偏差 0.72 0.91 0.91 喜び 悲しみ 驚き 平均値 1.27 3.18 2.20 標準偏差 0.42 0.97 1.00 共感覚的表現のグループと表情 24
- 28. グループに基づいた各表情の傾向 0 1 2 3 4 5 温軟 乾冷 湿 熱 硬 凸 共感覚的表現のグループと グループに含まれる語彙の 評価平均値を⽤いて レーダーチャートを作成 例：怒り 25
- 34. 問題点 • 「軟・温」，「湿」，「乾・冷」，「凸」，「硬」， 「熱」のうち全ての表情で評価値が低い触感は，表情 を表現するうえで必要なのか • 恐怖・驚き・嫌悪の表情識別を触感で⾏うことが困難 である • 驚きの表情はいずれの触感でも平均値が低い →振動などの動的で断続的な触覚刺激 31
- 35. • 共感覚的表現から想定される表情が，表情から 想定される表現の結果と⼀致するか確認する調査の実施 • 問題点の再検討 共感覚的表現 やわらかい表情 あたたかい表情 表情 ❔ 表情 展望 32
- 36. まとめ 仮説：共感覚的表現が触感と⾮⾔語情報を対応づける間接的な要因 である 調査： 36の共感覚的表現が基本6感情（怒り，恐怖，嫌悪，喜び，悲 しみ，驚き）の表情に適しているか5段階で評価 ⽬的：表情と触感の基礎的な対応関係を明らかにすること 結果： • 共感覚的表現の評価値に基づいて触感である「軟・温」「湿」 「乾・冷」「凸」「硬」「熱」の6グループに分類された • 喜びー「温・軟」，怒りー「硬」「凸」，嫌悪ー「硬」「凸」，恐 怖ー「硬」，悲しみー「硬」の対応がみられた