指先の皮膚変形と姿勢計測による接触力推定の検討，日本バーチャルリアリティ学会第23回大会，2018年9月．

1. 指先の皮膚変形と姿勢計測による接
触力推定の検討
2 0 1 8 / 9 / 2 0
齋藤彩音1)，久能若葉1)，杉浦裕太1)2)
1) 慶應義塾大学 理工学部 情報工学科
2) 科学技術振興機構 さきがけ
日本バーチャルリアリティ学会 第23回大会

2. • 物体に触れた際の指先接触
力の計測
• 製品の指動作におけるユー
ザビリティ評価に応用
• 日用品の持ち方
• ボタン操作
• スクリーン操作
• スポーツ分野での技術指導
• ボールの持ち方
• ラケットの握り方
2
[1] https://www.chaku2.jp/contents/wp-content/uploads/2018/01/No-10.jpg(2018/8/23閲覧)
[2] http://torendo.org/wp-content/uploads/2013/10/2si-mu.jpg?75ff01(2018/0906閲覧)
背景：指先の接触力測定
製品に対する指動作[1]
スポーツ分野での指動作[2]

3. • 接触面にセンサをつけることで接触力を計測
• 測定する対象ごとに取り付ける手間
• 対象と指の間にセンサをつけることによる触感の変化
3
従来手法：接触面にセンサを配置
[3] https://www.nitta.co.jp/product/sensor/conformat/ (2018/9/6閲覧)
[4] https://www.nitta.co.jp/product/sensor/4256e/(2018/9/6閲覧)
接触対象物にセンサを設置する計測[3] 指にセンサを設置する計測[4]

4. 接触力の急激な変化に弱い
4
従来手法：指先の変化を計測
爪色を計測する手法[5] 指腹の変形を計測する手法[6]
[5] Mascaro, S. and Asada, H.: Finger Posture and Shear Force Measurement using Fingernail Sensors: Initial Experimentation. IEEE International Conference on
Robotics & Automation. 2001.
[6] 中谷正史，川副智行．触感の感性評価ツール：ウェアラブル触動作センサ HapLog．日本ロボット学会誌，Vol.30，No. 5，pp. 499-501，2012．
• 指先の変化を計測することで接触力を推定
• 対象と指の間には何も存在しないため，触感は変化しない．
• 対象ごとに取り付ける手間がない．
3次元接触力を推定には未着手

5. • 指腹側面の変形を反射型の光センサ（フォトリフレク
タ）で取得することによって３次元接触力を計測する研
究[7]
• 指の入射角度を考慮することで指腹接触力の推定精度が
向上する可能性
5
[7] 久能若葉,河合航,杉本麻樹,杉浦裕太.反射型光センサを用いた指腹の変形計測による接触力の推定.SIG-DeMO.2017.
当研究グループの先行研究
皮膚変形計測による接触圧推定 デバイスの外観
Photo-reflective
sensor
nail
grand
finger
force

6. • 指腹側面の皮膚変形に加えて指の接触対象との距離
を計測し，接触力の推定精度を向上
6
本発表での目的
距離の測定方法
接触面との距離
光センサ
測定原理
Photo-reflective
sensor
nail
grand
finger
force

7. • デバイスによる距離と皮膚変形の計測とロードセル
による接触力の計測を同時にすることで回帰モデル
を生成
• 学習した回帰モデルと距離，皮膚変形のデータから
接触力を推定
7
接触力推定方法
指腹側面の皮膚変形
指と接地面との距離
回帰モデル
接触力
指と接地面
との距離
推定
接触力
指腹側面の
皮膚変形
学習フェーズ 推定フェーズ
デバイス
デバイス
ロードセル

8. • ３Dプリンタで出力された指爪に装着
• フォトリフレクタの配置構成
• 距離計測用：指と床の接地面を向くように4個配置
• 指腹計測用：指の皮膚面を向くように3個配置
8
指先装着デバイスの構成
デバイス下面の様子 指に装置をつけた様子
指腹計測用
距離計測用

9. • ひずみゲージ式の3軸力覚センサ
• 接触面に発生する3分力(x, y, z)の計測が可能
• 接触面との距離を測るために，ロードセルの上に薄
い板を配置
9
[8] http://www.tecgihan.co.jp/products/3axis-force-sensor/ (2018/7/2閲覧)
ロードセル（小型3軸力覚センサ）
小型3軸力覚センサ[8] 今回使用したロードセルの様子

10. • センサ値はArduinoで読み取
りPCへ送信
• フォトリフレクタとロードセ
ルの値を同時に計測して可視
化
• 左側：ロードセル(x, y, z)
• 右側：
• 距離計測用フォトリフレクタ４個
• 指腹計測用フォトリフレクタ３個
10
センサ値の取得
センサ値の取得の様子
フォトリフ
レクタロードセル
x
y
z
距離
計測用{
{指腹
計測用

11. • フォトリフレクタにより接触面との距離を計測
• フォトリフレクタにより指腹側面の皮膚変形を計測
• ロードセルにより3軸の接触力を計測
• 計測された3種類のデータからランダムフォレスト
で学習
11
接触力推定のための回帰モデルの生成手法
回帰モデルの生成手法
ロードセル
フォトリフレクタ
接触力
接地面との距離
回帰モデル
フォトリフレクタ 指腹側面の皮膚変形

12. • 3次元接触力推定システムの推定精度を評
価する実験
• 指の姿勢情報を考慮すると精度が向上す
ることを確認
12
3次元接触力推定精度評価実験
実験参加者 9名(男性3名，女性6名)
実験参加者ごとの
データセット
約12,000フレーム
(=60fps×約20秒×10試行)
力を加える方向 • 4方向(5秒ずつ)
• ランダム
推定精度評価手法 10分割交差検証(実験参加
者ごとのデータを使用)
比較条件 • 指の姿勢情報考慮有
• 指の姿勢情報考慮無
誤差算出方法 真値と推定結果の差を絶対
値にして平均値化
実験条件
力を加える4方向
10N以上の力を指先に加
えた場合，指先の皮膚変
形が起こらないことから，
10N以上の力が加えられ
た場合はロードセルのセ
ンサ値を10Nとして測定
予稿の実験情報から被験
者を追加したものを掲載

13. 13
4方向に力を加えた場合の評価実験結果
全被験者における平均推定誤差
軸方向 指の姿勢情報考慮有 指の姿勢情報考慮無
x 0.661N 0.865N
y 1.002N 1.077N
z 1.071N 1.294N
ある被験者における3次元接触力推定結果
平均推定誤差の数値比較
0
0.5
1
1.5
2
X Axis Y Axis Z Axis
MeanError[N]
Pressure Direction
Estimated by our method
Estimated only by skin deformation
p<0.05
p<0.05
p<0.05

14. 14
4方向に力を加えた場合の評価実験結果
全被験者における平均推定誤差
軸方向 指の姿勢情報考慮有 指の姿勢情報考慮無
x 0.661N 0.865N
y 1.002N 1.077N
z 1.071N 1.294N
ある被験者における3次元接触力推定結果
0
0.5
1
1.5
2
X Axis Y Axis Z Axis
MeanError[N]
Pressure Direction
Estimated by our method
Estimated only by skin deformation
平均推定誤差の数値比較

15. 15
ランダムに力を加えた場合の評価実験結果
全被験者における平均推定誤差 ある被験者における3次元接触力推定結果
軸方向 指の姿勢情報考慮有 指の姿勢情報考慮無
x 0.657N 0.847N
y 0.943N 1.050N
z 1.179N 1.411N
平均推定誤差の数値比較
0
0.5
1
1.5
2
X Axis Y Axis Z Axis
MeanError[N]
Pressure Direction
Estimated by our method
Estimated only by skin deformation
p<0.05
p<0.05
p<0.05

16. 16
ランダムに力を加えた場合の評価実験結果
全被験者における平均推定誤差 ある被験者における3次元接触力推定結果
0
0.5
1
1.5
2
X Axis Y Axis Z Axis
MeanError[N]
Pressure Direction
Estimated by our method
Estimated only by skin deformation
軸方向 指の姿勢情報考慮有 指の姿勢情報考慮無
x 0.657N 0.847N
y 0.943N 1.050N
z 1.179N 1.411N
平均推定誤差の数値比較

17. • 10N以上の接触力を計測できない
• 指の爪色など別の部分の計測を同時にすることでダイナ
ミックな計測を実現
• 現在は接触対象が平面でないと接触面との距離を正
確に測定できない
• センサ数を増やすことで接触面の形状を計測
• デバイスの小型化
• 無線通信を行う
17
今後の課題

18. • 目的：指腹側面の皮膚変形計測に加えて指の接触対
象との距離を計測することで，指にかかる接触力の
推定の向上を確認すること
• 結果：指の姿勢情報を加えることでx，y，z軸で接
触力の推定精度が向上
18
まとめ
0
0.5
1
1.5
2
X Axis Y Axis Z Axis
MeanError[N]
Pressure Direction
Estimated by our method
Estimated only by skin deformation
p<0.05
p<0.05
p<0.05
指先の皮膚変形と姿勢計測による接触力推定の検討
齋藤彩音，久能若葉，杉浦裕太