手の甲の皮膚変形計測による手形状の3次元再構成，日本バーチャルリアリティ学会第22回大会，2017年9月．

1. 手の甲の皮膚変形計測による
手形状の3次元再構成
2017/9/27
慶應義塾大学大学院理工学研究科
久能若葉
Department of Information and Computer Science
久能若葉
1)
，杉浦裕太
1)
，浅野直生
1)
，河合航
2)
，杉本麻樹
1)
1) 慶應義塾大学大学院 理工学研究科
2) 東京大学 教養学部

2. バーチャル環境とのインタラクション
1
バーチャル環境の物体との直感的なインタラクションを目指す上で
手指の動作を用いたインタラクションが重要
[] https://www.leapmotion.com/ (2017/9/21アクセス)
[] https://www.youtube.com/watch?v=B9tF7_nK4lI (2017/9/21アクセス)
[] https://www.youtube.com/watch?v=4LVVpl9tCNE (2017/9/21アクセス)
コントローラを用いたインタラクション[1]
身体を直接用いたインタラクション[2][3]

3. グローブ型デバイスによる指姿勢計測
2[4] GESTO: A Glove for Enhanced Sensing and Touching Based on Inertial and Magnetic Sensors for Hand Tracking and Cutaneous Feedback. Tommaso Lisini Baldi et al.
IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS. 2017
慣性センサや磁気センサなどを付けたグローブ型デバイスを用いて
手指の姿勢を直接計測する．
直接的な計測によって高い計測精度が得られる．
デバイスの機構や重量が手指の自然な動作を阻害する可能性
指姿勢計測の様子[4]グローブ型デバイス[4]

4. 深度カメラを用いた指姿勢推定
3[5] Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences. Jonathan Taylor et al. Siggraph 2016.
指の姿勢を推定する様子[5]
深度カメラで撮影した画像に画像処理を行い手指の姿勢を推定する．
手指にマーカなどを付けずに手指の姿勢を推定できる．
カメラに手指を映すために一定の空間を必要とする．
物体や手同士のオクルージョンによる姿勢推定への影響
深度カメラによる姿勢推定[5]

5. 手首や前腕の計測によるジェスチャ推定
4
手首や前腕を筋電センサや圧力センサなどで計測することで
指の動作情報を間接的に取得してジェスチャを推定する．
指の動作を直接計測せずにジェスチャを推定できるが計測部位が
指から離れているので多様な指のジェスチャを推定することが困難
前腕の筋電計測によるジェスチャ推定[6] 手首の圧力計測によるジェスチャ推定[7]
[6] Myo. https://www.myo.com (2017/9/21アクセス)
[7] WristFlex: low-power gesture input with wrist-worn pressure sensors. Dementyev A. and Paradiso A. J.. ACM symposium on User interface software and technology. 161-166. 2014.

6. 5[8] Behind The Palm: Hand Gesture Recognition through Measuring Skin Deformation on Back Hand by Optical Sensors. Yuta Sugiura et al. SICE Annual Conference. 2017
手指の動作を阻害することなく多様な指のジェスチャを推定できるが
動作中の指姿勢は推定することができない．
装着型デバイスの反射型光センサで手の甲の変形を計測することで
指の姿勢情報を間接的に取得して指の静的ジェスチャを推定する．
手の甲の計測原理とデバイスの外観[8]手の甲を計測によるジェスチャ推定[8]
先行研究： Behind The Palm

7. 目的
6
先行研究で開発したデバイスを用いて動作中の指姿勢を推定する．
手の甲変形の計測による指の姿勢推定
オクルージョンがなく手指の動作を阻害しない指姿勢推定が可能

8. 7
提案システムの実装結果

9. 提案手法
8
手の甲の変形と指の姿勢を同時に計測したデータで回帰モデルを
学習することで手の甲の変形と指の姿勢の関係を得る．
データセットによる回帰モデルの学習
学習した回帰モデルと手の甲の変形から指の姿勢を推定する．

10. システムの流れ
9
提案手法のシステムフロー
学習段階で指の姿勢と手の甲の変形を計測し主成分分析(PCA)で
次元削減した後ランダムフォレスト回帰(RFR)のモデルを学習する．
推定段階で手の甲の変形を計測してRFRから指の姿勢を推定する．

11. 指姿勢の計測
10
各指関節の3次元位置を手中心からの相対位置で計測する．
指の関節は一部連動して動くので全指関節による姿勢表現は冗長
→ 独立して動かせる指関節10ヶ所を用いた指姿勢の表現を使用
指姿勢計測装置
ユーザ
指姿勢計測の概念図
指姿勢の表現

12. 手の甲変形の計測
11
慣性センサや磁気センサなどよりも小型で軽量な反射型光センサで
手の甲変形のみを計測するため指の動作を阻害せず計測できる．
指の姿勢も赤外線を用いて計測するので反射型光センサに干渉
→ 5回計測した値の最小値をセンサ値として計測する．
手の甲の計測原理とデバイスの外観[8]
[8] Behind The Palm: Hand Gesture Recognition through Measuring Skin Deformation on Back Hand by Optical Sensors. Yuta Sugiura et al. SICE Annual Conference. 2017

13. 静止状態指姿勢推定精度評価実験
12
被験者 9名(男性7名，女性2名)
被験者毎のデータセット 2500フレーム (= 50fps x 10秒 x 5試行)
指姿勢の種類 5種類
推定精度の評価 指姿勢の各関節同士の推定誤差(10分割交差検証)
推定誤差の算出 3次元ユークリッド距離
実験条件
静止状態指姿勢の計測シーケンス
静止した指の姿勢における提案手法の姿勢推定誤差を評価した．

14. 静止状態指姿勢推定精度評価実験結果
13
上手くいった推定誤差の時間推移例
静止状態指姿勢の平均推定誤差
中指，薬指，小指の姿勢推定誤差は親指と人指し指に比べて小さく
親指と人指し指において推定誤差が極端に大きくなる場合があった．
上手く行かなった推定誤差の時間推移例

15. 動作状態指姿勢推定精度評価実験
14
被験者 9名(男性7名，女性2名)
被験者毎のデータセット 2000フレーム (= 50fps x 5秒 x 8試行)
指姿勢の種類 5種類
推定精度の評価 指姿勢の各関節同士の推定誤差(4分割交差検証)
推定誤差の算出 3次元ユークリッド距離
動作中の指の姿勢における提案手法の姿勢推定誤差を評価した．
動作状態指姿勢の計測シーケンス
実験条件

16. 動作状態指姿勢推定精度評価実験結果
15
動作状態指姿勢の平均推定誤差
姿勢推定誤差の時間推移例
親指の動作により親指と人指し指の姿勢推定誤差が大きくなった．
手の甲計測デバイスで親指付近の計測を十分に行えないことと
人指し指付近の手の甲が親指の動作によっても変形することが原因

17.  反射型光センサと手の甲との距離はユーザごとに異なるので
ユーザごとにデータセットを用意して学習を行う必要
→ センサ値を正規化などの処理でユーザ間の差異を吸収する．
 同一ユーザでもデバイスを装着する度に計測する手の甲の範囲が
異なるので再装着の度にデータセットを用意して学習を行う必要
→ 反射型光センサの数と配置を変更する．
 親指と人指し指の姿勢推定誤差が他の指に比べて大きい．
→ 手の甲の他に手首などの部位も計測する．
16
今後の課題

18.  先行研究で開発したデバイスにより手の甲の変形を計測して
指の姿勢を推定する手法を提案した．
 回帰モデルを利用して指の姿勢と手の甲の変形の相関関係を
計測したデータから取得した．
17
まとめ