IEICE HPB第18回研究会@東京電機大で発表したスライドです． http://ieicehpb.info/index.php?Kenkyukai18 セッション3 : 行動解析

1. 観光中の内的状態推定に向けた観光客の
無意識的しぐさの分析
○高橋雄太1，松田 裕貴1,2，Dmitrii Fedotov3，荒川 豊1,4，
Wolfgang Minker3，安本 慶一1
1. 奈良先端科学技術大学院大学 2. 学振DC1
3. Ulm University, Germany 4. JSTさきがけ
電子情報通信学会
第１８回ヒューマンプローブ（HPB）研究会
セッション３：行動分析，2018/2/21

2. 研究背景
スマートツーリズム[1]
 位置情報，IoT，Big Dataなどを駆使したツーリズム
 観光の補助・体験の質の向上
2
[1] Gretzel, Ulrike, et al. "Smart tourism: foundations and developments." Electronic
Markets 25.3 (2015): 179-188.
感情満足度
コンテキストアウェアな観光にむけて
 よりリッチな情報が必要
 内的状態は体験の質に大きく影響
 対象とするコンテキスト
→ 満足度・感情
内的状態
アウェアネス ルートのリアルタイム推薦

3. 「満足度」と「感情」の収集方法と問題
満足度
3
感情
満足度調査 観光サービス 音声・顔画像 SNS
持続可能性や網羅性の問題
評価の偏り
環境の制約が大きい
位置情報や内容の精確性
リアルタイムに観光中の内的状態を推定する手法が必要
観光地の状態や観光客の行動が内的状態に大きく影響

4. アプローチ
アイデア
観光中の無意識的しぐさから推定
4
頭部をセンシング → 無意識的なしぐさを検知 → 内的状態を推定
じっと見つめる キョロキョロする
内的状態が無意識的しぐさに表れているのでは？
下を向いて歩く

5. ワークフロー：全体
5

6. ワークフロー：ステップ１
6

7. ワークフロー：ステップ２
7

8. ワークフロー：ステップ３
8

9. 本研究の目的
研究の第一歩として．．
9
本研究の目的
「無意識的しぐさ」と「内的状態」の関係を明らかにする
そもそも，内的状態が無意識的なしぐさ
として表れるのか？

10. しぐさセンシング
10
SenStick
メガネの縁にセンサデバイスを固定
SenStick[2]を使用
加速度，角速度を50Hzでサンプリング
 頭部運動，身体運動（歩行）を検知
[2] Nakamura, Yugo, et al. "SenStick: Comprehensive Sensing Platform with an Ultra
Tiny All-In-One Sensor Board for IoT Research." Journal of Sensors 2017 (2017).

11. しぐさの特徴抽出
頭部運動
角速度（2軸）から検出
時間あたりの上下左右の動きの回数，
間隔，強度など（23種類）
11
身体運動（歩行）
加速度（1軸）から検出
Yingらの手法[3]を参考
時間あたりの歩数，間隔など（5種類）
[3] Ying, Hong, et al. "Automatic step detection in the accelerometer signal." 4th International Workshop
on Wearable and Implantable Body Sensor Networks (BSN 2007). Springer, Berlin, Heidelberg, 2007.
角速度(生) 加速度(生)
歩行のピーク
上下の動き
左右の動き

12. 内的状態ラベル
12
満足度（0-100点：5点刻み）
感情 （0.excited, 1.happy/please, 2.calm/relaxed, 3.sleepy/tired,
4.bored/depressed, 5.disappointed, 6.distressed/frustrated,
7.afraid/alarmed, 8.neutral）
スマートフォンアプリで回答
Russel’s circumplex model ラベル収集アプリ

13. 実験
13
しぐさデータと内的状態ラベルの収集
ドイツ・ウルム 日本・奈良
セッション数 8 7
全長 1.5km 2.0km
被験者 5名（男：4名，女：1名） 5名（男：5名）

14. 満足度の相関分析
14
28種類中14種類のしぐさに相関を確認（p<0.05）
 頭部運動：11種類 左を見た回数：R=-0.504
 身体運動：3種類 歩行の時間間隔：R=0.578
しかしながら，観光地によってデータが乖離してるしぐさが見られた
R = - 0.316 R = 0.578

15. 観光地によってデータが乖離した例
15
• 14種類中8種類について，データの乖離を確認
→ 観光地によって しぐさ が依存？
• 「下を向くしぐさ」や「歩行に関するしぐさ」は乖離していない
→ 観光地に依存しないしぐさ として使える？
R = - 0.395

16. 感情(Positive/Negative)ごとのしぐさのt検定
16
28種類中9種類のしぐさに有意差を確認（p<0.10）
 頭部運動：7種類
 身体運動：2種類
こちらでも「下を向くしぐさ」，「歩行に関するしぐさ」が関係
現段階では，詳細な感情状態の推定は厳しい

17. まとめ
頭部のしぐさセンシングによる観光中の内的状態推定
手法を検討
28種類中14種類のしぐさで満足度との相関がみられた
28種類中9種類のしぐさで感情(Positive/Negative)で
の有意差がみられた
17
今後の展開
 リストバンド型ウェアラブル機器でも検討
 内的状態推定モデルの構築