松本渚紗，鈴木千尋，藤田浩二，杉浦裕太 人工現実感および一般(SIG-DeMO-06)，第158回ヒューマンインタフェース学会研究会，北海道，札幌，2018年10月25-26日．

1. 喉頭位置の可視化による飲み込み力
強化のためのトレーニング支援システム
2018/10/26
松本渚紗1)
，鈴木千尋2)
，藤田浩二2)
，杉浦裕太 1)3)
1）慶應義塾大学
2）東京医科歯科大学
3）科学技術振興機構 さきがけ
第158回ヒューマンインタフェース学会 SIG-DeMO研究会

2. • 食べ物をうまく飲み込めなくなる状態を嚥下障害と
いい，これは栄養低下や誤嚥を引き起こす．
• 高齢者がかかる肺炎の7割が誤嚥性肺炎
[1]平成28年 人口動態統計月報年計(概数)の概況, http://www.mhlw.go.jp/toukei/saikin/hw/jinkou/geppo/nengai16/dl/gaikyou28.pdf, p10(2018/5/28)
嚥下障害
平成28年度の死因別死亡数[1] むせやすくなるなどの症状が起こる
2

3. • 嚥下障害は主に3つの要因から引き起こされる．
嚥下障害を引き起こす要因
うつ病による
食欲不振
口内炎や
喉頭がんによる
腫瘍，炎症
運動麻痺
認知機能障害
筋力の衰え
機能的要因
器質的要因
心理的要因
食事に意欲を持つことも大事
3

4. • 嚥下障害は主に3つの要因から引き起こされる．
嚥下障害を引き起こす要因
うつ病による
食欲不振
口内炎や
喉頭がんによる
腫瘍，炎症
運動麻痺
認知機能障害
筋力の衰え
機能的要因
器質的要因
心理的要因
食事に意欲を持つことも大事
4

5. • 誤嚥したものを吐き出す力をつける呼吸訓練や，意
識的に喉を動かす喉上げ体操が着目されている．
• 一方で意識的に喉上げをすることは難しい．
[2]看護roo! 術前指導のポイント｜合併症を予防するには？, https://www.kango-roo.com/sn/k/view/1931, (2018/10/4)
[3]NIKKEI STYLE,ごっくん運動でのどを筋トレ 飲み込み力、低下防ぐ, https://style.nikkei.com/article/DGXKZO27856800Y8A300C1W10600?page=2, (2018/7/2)
嚥下トレーニング
呼吸訓練器[2] 意識的に喉を動かす喉上げ体操[3]
5

6. • 目的
• 喉上げトレーニングができるようになるための支援
• 手法
• 目視ではわかりにくい喉の動きの可視化
• 動作をゲーム操作として取り入れることでトレーニングに活用
本研究の目的と実現方法
6

7. • 嚥下動作の解析を行う研究
• 嚥下動作の良し悪しを判定するに留まり，動作の改
善には至らない．
[4]N. Alshurafa et al.: Recognition of Nutrition Intake Using Time-Frequency Decomposition in a Wearable Necklace Using a Piezoelectric Sensor; In Proceedings of
the IEEE Sensors Journal, Vol.15, No.7, pp3909-3916 (2015).
[5] GOKURI, http://www.ai.iit.tsukuba.ac.jp/gokuri/ (2018/7/20).
関連研究：嚥下動作の解析
マイクロフォンを利用した
嚥下音の解析[5]
信号スペクトログラム分析による
食べたものの分析[4]
7

8. • 喉頭挙上運動の検出による嚥下動作の評価
• 高価な機器が必要であり，セッティングに時間がかかる．
関連研究：喉の詳細な動作解析
[6]清水他: 超音波を用いたオトガイ舌骨筋測定法の再テス ト信頼性; Japanese Journal of Comprehensive Rehabilitation Science, Vol 7, pp55-60 (2016).
[7]竹谷他: Kinect を用いた健常者における非侵襲・非接触型 嚥下機能評価法の研究; 保健科学研究誌, No.14, p103-113 (2017).
Kinectの赤外線照射による喉頭隆起
位置の計測[7]
超音波により頤部の筋肉及び
骨を抽出し，嚥下動作を評価[6]
8

9. • 口腔機能のトレーニングの動きを取り入れたゲーム
の提案
関連研究：トレーニングへのゲーム性の導入
[8]正木他: スカッチュ:口腔筋トレーニング支援を目的とす るシリアスゲームの開発; TVRSJ, Vol.21, No.2, pp243-250 (2016).
YURU SPORTS スカッチュ，https://yurusports.com/sports/skachu, (2018/10/8)
舌と口の動きで画面上のラケットを
動かし，球を打つゲーム[8]
9

10. • 反射型光センサを用いて身体の動きを計測し，推定
を行う研究
[9]安他: サイレントハミング:呼気音と咽頭運動を利用した 鼻歌再現システム; エンタテイメントコンピューティン グ 2011 (2011).
[10]M. Sakashita et al. :You as a Puppet: Evaluation of Telepresence User Interface for Puppetry; In Proceedings of the 30th Annual ACM Symposium on UIST’ 17,
pp217-228(2017).
関連研究：光センサによる喉頭周辺の変形計測
計測値より最も突出している部位を
咽頭位置として検出[9]
口の開閉状態を計測[10]
10

11. リアルタイム喉頭位置推定の流れ
11

12. • 反射型光センサを用いて，センサから喉表面までの
距離を計測する．
喉表面における形状変化の計測原理
反射型光センサによる喉の形状変化の計測反射型光センサの計測原理
赤外光
発光部
赤外光
受光部
計測対象
12

13. • 反射型光センサを縦6列×
横3行=18個となるように
並べて配置
• 首に巻く部分にはリフレ
クターバンドを利用
• センサから喉表面までの
距離は調整可能
13
装着型デバイス
デバイスの外観
喉に接触するパーツの取り換えが可能 装着の様子

14. • センサ値をArduinoで読み取り，PCへと送信
• それぞれのセンサ値を円の濃淡の程度で表示
センサ値の取得
センサ値が変化する様子
何もしていない時
喉を高く上げた時
14

15. • 喉が自然な状態と最大まで挙上した状態の2パターンの
センサ値を取得し，算出された確率推定付きSupport
Vector Machine (SVM)の値より喉頭位置を推定
• 高い周波数を出すほど喉の位置が高くなることを利用し，
その状態を最大挙上状態として学習
喉頭位置推定の手法
喉頭位置推定の手法
15

16. • 推定された喉頭位置に応
じてアバターが縦に動く．
• 最大挙上状態の推定確率
が25%以下の時，喉上げ
が行われていないと判定
される．
• 画面内のレベルが上がる
ごとに風船の数が増える．
可視化の様子
喉頭推定の可視化の様子
16
推定確率

17. トレーニングゲームの実際の動作
17
推定喉頭位置のレベルと
留まった時間の積和

18. • 喉が挙上する動作をシステムが推定できているか検
証した．
実験参加者 5名(男性3名，女性
2名)
実験参加者ごと
のデータセット
計4回
(1回行うごとに1時
間の休憩)
検証方法 推定時に喉頭挙上
状態として記録し
た音と同じ音を発
声した時の，喉頭
挙上状態の推定確
率で評価
最大挙上状態の推定検証実験
1時間の休憩
自然状態と喉頭挙上状態の
学習
学習時の発生音を記録
学習時と同じ音を発声
推定率の記録
学習
フェーズ
推定
フェーズ
実験条件
実験の流れ
18

19. • 学習時と同じ高さの音を発声した際，参加者5名で
平均して推定確率は約85.5%となった．
最大挙上状態の推定結果
学習時と同じ発声をした時の推定確率
実験参加者 A B C D E
推定率(%) 89.3±2.7 85.3±1.2 84.4±1.4 84.7±4.0 83.7±6.2
19
推定確率(%)
実験参加者

20. • トレーニングを重ねることで喉上げが上達するか検
証した．以下の流れを6回繰り返した．
喉上げ能力の遷移の調査実験
自然状態と喉頭挙上状態の学習
喉上げを10秒程度練習
ゲーム体験時間の決定
喉の動きがアバターと
連動することを確認
60秒のゲーム体験
1回目 2回目以降
1時間の休憩
(6回繰り返す)
実験参加者 5名(男性3名，
女性2名)
試行回数 6回(1回行う
ごとに1時
間の休憩)
検証方法 推定された
喉頭位置に
おける挙上
時間で評価
実験条件
実験の流れ
20

21. 喉上げ能力の遷移の結果
喉頭が推定確率75%以上の状態にいた合計時間
喉頭が推定確率50%以下の状態にいた合計時間
参加者A，B，Eは
喉頭が推定確率
75%以上の位置に
いた時間が長く
なった．
参加者A，B，D，E
は喉頭が推定確率
50%以下の位置に
いた時間が短く
なった．
21

22. • ゲームに対して自分の最高記録を更新しようと意欲
的に取り組む参加者がいた．
• ほかの人の得点を気にする参加者や，自分より得点
が高い人を目標にしようとする参加者がいた．
実験中のトレーニングゲームへの反応
実験中の様子
22

23. • トレーニングを重ねることで喉上げ動作を学んでい
る様子が見て取れた．
• 全体として6回目のパフォーマンスが落ちたことか
ら，トレーニングは適正量を行うのが望ましい．
• 自らのトレーニング動作が得点などでわかりやすく
提示されることはモチベーションの向上に繋がる．
実験での考察
23

24. • 反射型光センサの反射光量は対象物の色が暗いと少
なくなるため，皮膚色による影響を受ける可能性が
ある．
• 喉表面の形状変化が微小なので，首を上下に動かし
ただけで喉上げの判定がされてしまう．
喉頭位置推定システムの課題
24

25. • 年代や喉上げの能力に応じた画面上の可視化の様子
の変更
• 対戦型ゲームとしての拡張
可視化及びトレーニングゲームの拡張
対戦ゲームの実装予想図
25

26. • 提案システムが喉周辺の筋力強化に寄与しているか
舌圧の計測等の実施により検討
• 簡易的な嚥下能力評価の指標としての医療現場及び
生活環境への導入
• 包括的な嚥下機能の向上を可能にするゲームシステ
ムの再考
今後の展望
26

27. • 目的：喉上げトレーニングができるようになるため
の支援
• 手法：反射型光センサを用いて喉表面までの距離を
計測し，SVMを用いて喉頭位置を推定
• 結果：トレーニングゲームを重ねることで喉の上げ
方を学んでいる様子が見て取れた．
まとめ
27