jsai2017

1. Kinectを用いた鍬動作の
初心者と熟練者の比較分析手法の試作
一ノ瀬 修吾1, 白松 俊1, 大森 友子2
1名古屋工業大学 工学部 情報工学科
2Agriturismo大森家

2. 市民共創プロジェクト
スーパーアグリ構想
名人の技を科学する
鍬動作分析
研究背景

3. 市民共創プロジェクトのページ

4. 市民共創プロジェクト
スーパーアグリ構想
名人の技を科学する
鍬動作分析
研究背景

5.  農作業熟練者と初心者の鍬動作の認識・蓄積
- 熟練者と初心者の鍬の使い方には違いがあるはず
- 熟練者の効率のいい体の動かし方を分析する
- 分析にはモーションキャプチャ(Kinect)などを使用する
 蓄積データを用いた比較手法の開発
- 蓄積した熟練者のデータから自動で初心者のデータと違いを
比較し指導するシステムの開発を目指す
本研究の目的

6. システム構成図
熟練者の
平均的動作の生成
熟練者DB
熟練者の
平均的動作
熟練者の動作
を蓄積
初心者の
動作
比較
鍬動作ビューア
鍬動作
Kinect
Wiiリモコン
鍬動作の認識
正規化
分割
比較のための計算
認識結果
アドバイス生成
（未実装）

7. 鍬動作の比較
熟練者と初心者の鍬動作を比較するためには
データ同士の比較をしやすくする必要がある
参考文献[白鳥 05]をもとに
1. 空間的にそろえる
→対象が常に横を向くように座標を正規化
2. 時間的にそろえる
→取得した座標から得た速さの時系列データを
動作プリミティブに分割
白鳥貴亮 他: モーションキャプチャと音楽情報を用いた舞踊動作解析手法, 電子情報通信学会論文誌 D, 2005.

8. 動作の分析手法
1. 座標の正規化
- Kinectから各関節の3次元座標を取得
Y軸
X軸
Z軸
(0, 0, 0)

9. 動作の分析手法
1. 座標の正規化
- 座標の原点を腰に設定する
Y軸
X軸
Z軸 (0, 0, 0)

10. 動作の分析手法
1. 座標の正規化
- 座標系を変換する
Y軸
X軸
90°回転
Z軸

11. 動作の分析手法
1. 座標の正規化

12. 動作の分析手法
2. 動作プリミティブの抽出
動作プリミティブとは
「人間の動きを短い単位時間に分けたときの動作要素とする」[佐藤 07]
本研究では鍬の動作として2パターンを想定
(1)「振り上げ」「振り下ろし」「引き」
振り上げた時に静止する場合
(2)「引き」「空中動作」
空中で静止せず動作が連続する場合
佐藤知正 他: 日常生活支援のための机上作業のモデル化およびその認識と支援軌道の生成, 日本ロボット学会誌, 2007.

13. 動作の分析手法
2. 動作プリミティブの抽出
動作プリミティブとは
人間の動きを短い単位時間に分けたときの動作要素とする
本研究では鍬の動作として2パターンを想定
(1)「振り上げ」「振り下ろし」「引き」
振り上げた時に静止する場合
(2)「引き」「空中動作」
空中で静止せず空中動作が連続する場合

14. 動作の分析手法
2. 動作プリミティブの抽出
- 取得した3次元座標から速度を求める
𝑓 𝑡
t

15. 動作の分析手法
2. 動作プリミティブの抽出
- グラフを平滑化する
𝑔 t
t

16. 動作の分析手法
2. 動作プリミティブの抽出
- 速度の極小値を求める
𝑔 𝑡
t

17. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
閾値=0.8

18. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
閾値=0.8

19. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
「引き」「空中動作」
の場合

20. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
「引き」「空中動作」
の場合

21. 動作の分析手法
細かく分割
しすぎている
分割
できていない
問題点:上記の手法だけでは分割精度が十分とはいえない
解決策:自己相関関数により基本周波数を求めて分割精度を補う

22. Kinectの問題点
鍬を持った状態で誤認識をする場合がある
- 持っている鍬を手の延長として認識する
誤認識部分

23. 加速度センサーによる計測
Wiiリモコンを使った鍬の先端の加速度の認識
- 周期性がみられるため精度向上に期待できる
加速度(v/s)
時間(ms)

24. 熟練者の鍬動作の認識
実際の畑で熟練者のデータの計測を行った
- 本研究の動作プリミティブセット以外の動きもしていた

25. 0
0.005
0.01
0.015
0.02
0.025
0.03
0.035
0 1
速度(m/s)
周期長
分割した各プリミティブの平均
取得した熟練者のデータを手動で分割し，各プリミティブ同士の
平均をとる
空中動作 引き
0.65

26. 0
0.02
0.04
0.06
0.08
0.1
0.12
速度(m/s)
時間(ms)
プリミティブ同士の比較
初心者の鍬動作一周期分のデータとの比較
初心者の
一周期分のデータ
熟練者の平均
0
0.02
0.04
0.06
0.08
0.1
0.12
0 1
速度(m/s)
周期長 0.65
空中動作 引き

27. プリミティブ同士の比較
速度以外のデータも平均化し，どのデータのどの違いが正しい鍬
動作のために重要であるかを今後調べる予定
初心者 熟練者 初心者 熟練者

28. 初心者の鍬動作の蓄積
3/2-3/4 のインタラクション2017で発表
- 15人分の初心者の鍬動作のデータを認識した
- 床に対して鍬を振ったため実際の畑と違う動作であるため工夫が必要

29. 認識動作インタフェース
画像，速度，鍬先端の加速度，動作プリミティブを確認できる

30. 認識動作インタフェース

31. 考察
 認識した鍬動作について
- 鍬を手と誤認識する問題は腕の長さで補正することで改善でき
る可能性がある
- 基本周波数・Wiiリモコンからの加速度をもとに分割の精度を改
善できる可能性がある
- 本稿で認識し分割した動作以外にも鍬動作は存在する
農作業基本オントロジー[朱 16]が参考になる可能性がある
 データの蓄積について
- 十分な人数の熟練者の動作を蓄積し，これを名人のデータとし
て分析に使う
- 実際の畑で計測を行うので障害物を考慮する必要がある
朱 他: データ連携のためのオントロジーを用いた農業分野の用語標準化. JSAI2016, 2D5-4, 2016.

32.  モーションキャプチャ(Kinect)を使って鍬動作を分析した
- 取得した座標を正規化して速さの時系列データを作成した
- 時系列データの極小値の閾値からデータを分割した
 Kinectの認識精度やデータの分割精度は完全ではない
-加速度センサーを使うなどで改善する可能性がある
-データの分割は基本周波数から改善する予定である
 熟練者の平均のデータを計算し，初心者のデータと比較した
-現段階では目視での速度の比較を支援可能
まとめと今後の課題
 認識精度・分割精度の改善
 データ分析時の環境の改善
 データの比較を自動で行いアドバイスするシステムの開発
今後の課題
まとめ