2017情報処理学会IPSJでの発表スライド

1. 市民共創による農作業支援技術開発
のためのモーションセンサを用いた
鍬動作の分析
一ノ瀬 修吾1, 白松 俊1, 大森 友子2
1名古屋工業大学 工学部 情報工学科
2Agriturismo大森家

2. 市民共創プロジェクト
スーパーアグリ構想
名人の技を科学する
鍬動作分析
研究背景

3. 市民共創プロジェクトのページ

4. 市民共創プロジェクト
スーパーアグリ構想
名人の技を科学する
鍬動作分析
研究背景

5.  農作業熟練者と初心者の鍬動作の認識・蓄積
- 熟練者と初心者の鍬の使い方には違いがあるはず
- 熟練者の効率のいい体の動かし方を分析する
- 分析にはモーションキャプチャ(Kinect)などを使用する
 初心者に対して比較・指導するシステムの実装
- 蓄積した熟練者のデータから自動で初心者のデータと違いを
比較し指摘する
本研究の目的

6. システム構成図
熟練者の
平均的動作の生成
熟練者DB
熟練者の
平均的動作
熟練者の動作
を蓄積
初心者の
動作
比較と
アドバイス生成
鍬動作ビューア
鍬動作
Kinect
Wiiリモコン
鍬動作の認識
正規化
分割
比較のための計算
認識結果

7. 鍬動作の比較
熟練者と初心者の鍬動作を比較するためには
データ同士の比較をしやすくする必要がある
参考文献[白鳥 05]をもとに
1. 空間的にそろえる
→対象が常に横を向くように座標を正規化
2. 時間的にそろえる
→取得した座標から得た速さの時系列データを
動作プリミティブに分割
白鳥貴亮 他: モーションキャプチャと音楽情報を用いた舞踊動作解析手法, 電子情報通信学会論文誌 D, 2005.

8. 動作の分析手法
1. 座標の正規化
- Kinectから各関節の3次元座標を取得
Y軸
X軸
Z軸
(0, 0, 0)

9. 動作の分析手法
1. 座標の正規化
- 座標の原点を腰に設定する
Y軸
X軸
Z軸 (0, 0, 0)

10. 動作の分析手法
1. 座標の正規化
- 座標系を変換する
Y軸
X軸
90°回転
Z軸

11. 動作の分析手法
1. 座標の正規化

12. 動作の分析手法
2. 動作プリミティブの抽出
動作プリミティブとは
「人間の動きを短い単位時間に分けたときの動作要素とする」[佐藤 07]
本研究では鍬の動作として2パターンを想定
(1)「振り上げ」「振り下ろし」「引き」
振り上げた時に静止する場合
(2)「引き」「空中動作」
空中で静止せず動作が連続する場合
佐藤知正 他: 日常生活支援のための机上作業のモデル化およびその認識と支援軌道の生成, 日本ロボット学会誌, 2007.

13. 動作の分析手法
2. 動作プリミティブの抽出
動作プリミティブとは
人間の動きを短い単位時間に分けたときの動作要素とする
本研究では鍬の動作として2パターンを想定
(1)「振り上げ」「振り下ろし」「引き」
振り上げた時に静止する場合
(2)「引き」「空中動作」
空中で静止せず空中動作が連続する場合

14. 動作の分析手法
2. 動作プリミティブの抽出
- 取得した3次元座標から速度を求める
𝑓 𝑡
t

15. 動作の分析手法
2. 動作プリミティブの抽出
- グラフを平滑化する
𝑔 t
t

16. 動作の分析手法
2. 動作プリミティブの抽出
- 速度の極小値を求める
𝑔 𝑡
t

17. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
閾値=0.8

18. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
閾値=0.8

19. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
「引き」「空中動作」
の場合

20. 動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
「引き」「空中動作」
の場合

21. 動作の分析手法
細かく分割
しすぎている
分割
できていない
問題点:上記の手法だけでは分割精度が十分とはいえない
解決策:自己相関関数により基本周波数を求めて分割精度を補う

22. Kinectの問題点
鍬を持った状態で誤認識をする場合がある
- 持っている鍬を手の延長として認識する
誤認識部分

23. 加速度センサーによる計測
Wiiリモコンを使った鍬の先端の加速度の認識
- 周期性がみられるため精度向上に期待できる

24. 初心者の鍬動作の蓄積
3/2-3/4 のインタラクション2017で発表
- 15人分の初心者の鍬動作のデータを認識した
- 床に対して鍬を振ったため土を入れたプランターを用意するなど工夫
が必要

25. 熟練者の鍬動作の認識
実際の畑で熟練者のデータの計測を行った
- 本研究の動作プリミティブセット以外の動きもしていた

26. 認識動作インタフェース
画像，速度，鍬先端の加速度，動作プリミティブ
を確認できる

27. 認識動作インタフェース

28. 第1回市民共創知研究会
対話セッションで応用について議論を行った
- 議論参加者…市民・大学・企業から7,8人程度
- 意見…農具IoT，脈波を使う，リズムとの関連など

29. 考察
 認識した鍬動作について
- 鍬を手と誤認識する問題は腕の長さで補正することで改善でき
る可能性がある
- 基本周波数・Wiiリモコンからの加速度をもとに分割の精度を改
善できる可能性がある
- 本稿で認識し分割した動作以外にも鍬動作は存在する
農作業基本オントロジー[朱 17]が参考になる可能性がある
 データの蓄積について
- 十分な人数の熟練者の動作を蓄積し，これを名人のデータとし
て分析に使う
- 土の状態も鍬動作に影響を与える可能性がある
朱 他: 農作業基本オントロジーに基づく米の生産費統計調査の自動化. JSAI SIG-SWO-041-14, 2017.

30.  モーションキャプチャ(Kinect)を使って鍬動作を分析した
- 取得した座標を正規化して速さの時系列データを作成した
- 時系列データの極小値の閾値からデータを分割した
 Kinectの認識精度やデータの分割精度は完全ではない
-加速度センサーを使うなどで改善する可能性がある
-データの分割は基本周波数から改善する予定である
まとめと今後の課題
 認識精度・分割精度の改善
 データ蓄積時の環境の構築
 初心者の動作との比較手法の開発
 初心者に対してアドバイスするシステムの開発
今後の課題
まとめ