1.
スマートフォンカメラと
ペットボトルを用いた握力計測手法の提案
松本渚紗1，藤田浩二2，遠峰結衣3，杉浦裕太1
1慶應義塾大学
2東京医科歯科大学
3東京都健康長寿医療センター研究所

2.
2
• 少子高齢化や生活習慣病の増加に伴い，健康で自立
した生活を送ることができる「健康寿命」に着目
• 2014年度から項目に健診・検診が加わり，検診に
よる定期的な健康状態の把握が重要視されている.
[1] 株式会社ファーマシィ スマート・ライフ・プロジェクト, https://www.pharmacy-net.co.jp/news/index.php?c=of_topics_view&pk=38, (2020/9/22).
健康寿命の延伸
スマートライフプロジェクトの概要[1]

3.
3
身体と握力の関連
• 握力は身体状況を簡便に評価するための尺度
• 健康状態の指標として握力の計測が期待される．
握力と身体の関連[2][3][4]ものを握る際の力
[2] Roberts, H. C., Denison, H. J. et. al.: A review of the measurement of grip strength in clinical and epidemiological studies: towards a standardized approach, Age and Ageing, Vol. 40, No. 4, pp. 423–429, DOI: 10.1093/ageing/afr051 (2011).
[3]池田 望,村田 伸,大田尾浩,村田 潤,堀江 淳,溝田勝彦 ：地域在住女性高齢者の握力と身体機能との関係, 理学療法科学,Vol. 26, No. 2, pp. 255–258, DOI: 10.1589/rika.26.255 (2011).
[4] Fujita, K., Kaburagi, H. et. al.: Lower grip strength and dynamic body balance in women with distal radial fractures, Osteoporosis International, Vol. 30 (online), DOI: 10.1007/s00198-018-04816-4 (2019).

4.
4
従来の握力計測手法
• 病院や体育施設ではスメドレー式握力計が普及
• 一般家庭には普及していない．
[5]公益財団法人長寿科学振興財団：健康長寿ネット正確な 握力の測定方法，https://www.tyojyu.or.jp/net/kenkou-tyoju/tairyoku-kiki/akuryoku.html, (2019/07/16参照)．
スメドレー式握力計[5] 握力の測定方法[5]

5.
5
• 目的
• 生活環境に導入しやすい握力計測の実現
• 提案手法
• スマートフォンカメラとペットボトルを用いた握力の計測
• 基礎検討として手指姿勢とペットボトル内の空気圧を調査
目的と提案手法
ペットボトルを用いた握力計測のイメージ

6.
6
• システムがスマートフォン上で動作することを想定し，
手指姿勢推定手法にMediaPipe Handsを採用
[6] Cao, Z., Simon, T., Wei, S.-E. and Sheikh, Y.: Re- altime Multi-Person 2D Pose Estimation Using Part Affinity Fields, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017).
[7] Google, On-Device, Real-Time Hand Tracking with MediaPipe, https://ai.googleblog.com/2019/08/on-device-real-time-hand-tracking-with.html, (2019/12/2).
関連研究：単眼カメラによる手指姿勢推定
特徴点の関係より2次元画像の
関節部位を検出[6]
モバイル端末での手指姿勢推定[7]
各関節の2次元座標を取得 各関節の3次元座標を取得

7.
7
[8] Jaber, R., Hewson, D. J. and DuchAlne, J.: Design and validation of the Grip-ball for measurement of hand grip strength, Medical Engineering & Physics, Vol. 34, No. 9, pp.1356-1361 (2012).
[9]松本, 家永, et al.: 単眼カメラを用いた握力計測に向けた基礎検討; エンタテインメントコンピューティングシンポジウム 2019 論文集, pp234-239 (2019).
関連研究：握力の計測
先行研究：カメラを用いた計測デバイスを用いた計測
カメラで検出した手指関節角度より
ボールの空気圧を推定[9]
圧力センサと温度センサ
で空気圧の変化を計測 [8]
• 専用に開発された
電子機器が必要
• 適度な柔らかさのボールが必要
• ボールで隠れた指を検出できない．

8.
8
システム構成

9.
9
システム構成

10.
10
• 画像全体における手のひらの位置を検出し，その後
検出された手領域のランドマークを推定
MediaPipe Handsによる手指姿勢推定
入力画像
手のひら検出
モデル
手のランドマーク
モデル
ペットボトルを握る手指姿勢の検出
Palm.1.
手指姿勢検出の流れ

11.
11
• 隣り合うランドマークが交わる3次元ベクトルの
内積を算出することで，14の関節角度を取得
手指関節角度の取得
cos 𝜃𝜃 =
⃗𝑎𝑎 � 𝑏𝑏
⃗𝑎𝑎 𝑏𝑏
ランドマーク座標から関節角度を算出

12.
12
• 手指関節角度とペットボトル内の空気圧について
重回帰分析を行い，回帰モデルを作成
• 指の関節は連動して動くため，説明変数間に高い相
関関係を持つ可能性がある．
回帰モデルの作成
回帰モデルの作成 手指関節の名称

13.
13
• ペットボトルを握る動作の変化情報をもとに主成分
分析を行い，主成分に強く寄与する関節を調査
実験参加者 4名(男性2名，女性2名，
平均年齢38.75歳，右利き)
説明変数 14の関節角度の初期姿勢からの変化量
評価方法 第二主成分までの寄与率と因子負荷量の積
の絶対値の総和に着目
データセット 約900フレーム(=30fps × 約30sec)
実験条件
予備実験：主成分分析による説明変数の選択
データ取得と解析の流れ

14.
14
• 5つの関節を説明変数として選択
予備実験：主成分分析の結果と説明変数の選択
参加者 1-MP 1-IP 2-MP 2-PIP 2-DIP 3-MP 3-PIP 3-DIP 4-MP 4-PIP 4-DIP 5-MP 5-PIP 5-DIP
A 0.115346 0.248865 0.059586 0.286416 0.065605 0.095938 0.388128 0.178591 0.09569 0.371125 0.140498 0.053338 0.372309 0.078796
B 0.162844 0.042014 0.027675 0.264809 0.149611 0.03137 0.376744 0.160065 0.058765 0.429002 0.190525 0.047299 0.418004 0.196597
C 0.121348 0.087116 0.028845 0.242102 0.10734 0.061634 0.354723 0.140411 0.075117 0.391898 0.067329 0.097078 0.407035 0.211763
D 0.279971 0.133251 0.061888 0.237549 0.031108 0.072951 0.291538 0.092349 0.105311 0.322639 0.108391 0.122107 0.325809 0.061785
各関節の主成分への影響
親指 人差し指 中指 薬指 小指
※第二主成分までの寄与率と
因子負荷量の積の絶対値の総和
選択した指関節

15.
15
• 5つの関節角度とペットボトル内の空気圧について
回帰モデルを作成し，空気圧の推定精度を評価
実験参加者 4名(男性2名，女性2名，
平均年齢38.75歳，右利き)
説明変数 選択した関節角度の初期姿勢からの変化量
回帰モデル (1)参加者自身のデータセットのみを利用
(2)自分以外の参加者から1人選択し，
選択した参加者のデータセットのみを利用
(3)自分以外の参加者すべての
データセットを利用
評価方法 (1)5分割交差検証
(2)(3)自身のデータセットを検証に利用
評価指標 真値と推定値の差分の絶対値
データセット 900フレーム(=30fps × 30sec)
実験：空気圧の推定精度評価
実験条件
回帰モデルの種類

16.
16
• 5指の関節角度とペットボトル内空気圧に相関
• 決定係数の平均は(1)の場合0.84，(3)の場合0.92
• 推定誤差は(1)，(2)，(3)の順に大きくなる傾向
実験：空気圧の推定精度評価の結果
A B C D
A 13.6 49.6 45 65.9
B 28.7 21.2 33.1 29.2
C 19 38.3 22.2 42.7
D 31.4 35.7 58.9 23.9
参加者自身以外 22.1 52.2 36.3 67.6
回帰モデルに応じた推定誤差 (hPa)
推定データ
学
習
デ
ー
タ
回帰モデルの種類

17.
17
• 回帰モデルの共有性
• 汎用的な唯一のモデルを作成することは困難
• 参加者ごとに適切な回帰モデルを参照することで，推定
誤差を低減できる可能性
議論：空気圧の推定精度評価
A B C D
A 13.6 49.6 45 65.9
B 28.7 21.2 33.1 29.2
C 19 38.3 22.2 42.7
D 31.4 35.7 58.9 23.9
参加者自身以外 22.1 52.2 36.3 67.6
回帰モデルに応じた推定誤差 (hPa)
推定データ
学
習
デ
ー
タ
回帰モデルの種類

18.
18
• 5セット分のデータ中の空気圧の最大値と，実際の
握力の関係について調査
• 参加者A，B，Dについて空気圧の最大値と実際の握
力値には相関が見られた．
実験参加者 空気圧の
最大値(hPa)
握力(kg) 手の長さ
(cm)
A 106 22.5 18.4
B 134 26.7 18.3
C 152 38.3 19.7
D 160 31.8 18.8
調査：ペットボトル内の空気圧と実際の握力
空気圧の最大値と握力，手の長さの対応
計測中の様子

19.
19
• 参加者Cは実際の握力値に対して，期待される空気
圧よりデータセット中の空気圧が低かった．
• 手やペットボトルの大きさの違いが影響を与えている
可能性
• ペットボトルの形状や大きさ，素材を考慮して空気圧と
握力に相関があるか検討
議論：ペットボトル内の空気圧と実際の握力
実験参加者 空気圧の
最大値(hPa)
握力(kg) 手の長さ
(cm)
A 106 22.5 18.4
B 134 26.7 18.3
C 152 38.3 19.7
D 160 31.8 18.8
空気圧の最大値と握力，手の長さの対応
計測中の様子

20.
20
まとめ
背景 定期的な握力計測は健康状態の把握につながる．
関連研究 ボール型デバイスによる握力計測システム
提案 ペットボトルを握る動作を利用した握力推定
応用例 手のリハビリテーション
実装
MediaPipe Handsで手指姿勢推定，
ペットボトル内空気圧との回帰モデルを作成
評価 3種類の回帰モデルについて空気圧の推定精度を評価
結果 5指の関節角度と空気圧に相関
課題 回帰モデルの共有性，実際の握力との詳細な調査