異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析

1. 異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析 2016/05/27 奈良先端科学技術⼤学院⼤学情報科学研究科ユビキタスコンピューティングシステム研究室中川愛梨、守⾕⼀希、諏訪博彦、藤本まなと、荒川豊、安本慶⼀第79回 MBL研究会

2. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 2 ⽬次

3. SmartHome Team 研究背景（1/2）⾼齢者⾒守り省エネ家電制御リアルタイムな⾏動認識が必要センシングデバイスの普及 3

4. SmartHome Team 研究背景（2/2）分類モデルを作成そのまま導⼊できない 4 Aさんの家 Bさんの家

5. SmartHome Team • リアルタイムに宅内⽇常⽣活の⾏動を認識する • 別の家庭にも導⼊できるシステムを開発する研究⽬的本研究では10秒以内を⽬標とする 5

7. SmartHome Team • 物体の動きと特徴量を⽤いて⾏動認識[1] →カメラを⽤いることによるプライバシー侵害の問題 • 携帯電話の加速度センサとマイクを⽤いて⾏動認識[2] 7種類の⾏動（⽫洗い、掃除機がけ、アイロンがけ、トイレ⽔洗/⼿洗い、⻭磨き、髭剃り、ドライヤーの使⽤） →⾏動の種類が限られている関連研究（1/3） 7 [1]勝⼿美紗, 他: 物体と動き特徴を⽤いた⾏動認識, 電⼦情報通信学会技術研究報告(2012). [2]⼤内⼀成, 他: 携帯電話搭載センサによるリアルタイム⽣活⾏動認識システム, 情報処理学会論⽂誌(2012).

8. SmartHome Team • 家電から発⽣する磁界により⾏動認識[3] →電化製品を使⽤する⾏動しか認識できない →認識精度が75%程度と精度向上の余地がある • 家庭内のあらゆるものに接触センサを付けることで⾏動認識[4] →導⼊及び維持コストが⾼い関連研究（2/3） 8 [3] T. Maekawa, et al: ”Recognizing the Use of Portable Electrical Devices with Hand-Worn Magnetic Sensors,” in Proc. of Pervasive 2011(2011). [4]T. L. M. van Kasteren, et al:“activity monitoring system for elderly care using generative and discriminative models,” Personal and Ubiquitous Computing(2010).

9. SmartHome Team • ドアセンサ、引出センサ、温度センサなど様々なセンサが埋め込まれたスマートホームで⾏動認識[5] →データセグメントの⻑さが60秒となっており、リアルタイムに⾏動が認識できていない →多数のセンサを使⽤するため導⼊・維持コストが⾼い関連研究（3/3） 9 [5]L. Chen, et al: A Knowledge-Driven Approach to Activity Recognition in Smart Homes, IEEE Transactions on Knowledge and Data Engineering(2012).

10. SmartHome Team 関連研究の課題 10 課題 [1] [2] [3] [4] [5] [6] （1）カメラ等によるプライバシーの侵害 ● ● - - - - （2）認識できる⾏動の種類が少ない ● ● ● - - - （3）認識精度がよくない - - ● - - - （4）導⼊及び維持コストが⾼い - - - ● ● - （5）認識までに時間がかかる - - - - ● ● [1]勝⼿美紗, 他: 物体と動き特徴を⽤いた⾏動認識, 電⼦情報通信学会技術研究報告(2012). [2]⼤内⼀成, 他: 携帯電話搭載センサによるリアルタイム⽣活⾏動認識システム, 情報処理学会論⽂誌(2012). [3]T. Maekawa, et al: ”Recognizing the Use of Portable Electrical Devices with Hand-Worn Magnetic Sensors,” in Proc. of Pervasive 2011(2011). [4]T. L. M. van Kasteren, et al:“activity monitoring system for elderly care using generative and discriminative models,” Personal and Ubiquitous Computing(2010). [5]L. Chen, et al: A Knowledge-Driven Approach to Activity Recognition in Smart Homes, IEEE Transactions on Knowledge and Data Engineering(2012). [6]K. Ueda, et al: ”Exploring Accuracy-Cost Tradeoff in In-Home Living Activity Recognition Based on Power Consumptions and User Positions,” in Proc. of IUCC 2015.

11. SmartHome Team 11 関連研究 • 35軒の家庭から照度データと消費電⼒データを収集 • ある家庭のデータを異なる家庭に適応する⼿法を提案 (1)家庭間の交差検証を⾏い精度のいいもののみを学習に使う (2)転⼊元のデータ分布を転⼊先のデータ分布に近似する [7]井上創造,潘新程,花沢明俊:家庭内⾏動センシングにおける機械学習データの家庭間転移について,情報処理学会研究報告,Vol. 2015-UBI-48, No. 10, pp.1–8(2015).

12. SmartHome Team • 位置センサと消費電⼒センサを⽤いる • 計10種類の⾏動を対象 • 各⾏動に対し30個ずつサンプルを抜き出し、Random Forestを⽤いて⾏動学習モデルを構築先⾏研究（1/2）受信機送信機超⾳波天井ユーザが装着消費電⼒取得 12

13. SmartHome Team • 時間窓5分で平均91.3%の精度で各⾏動を認識 • 新たなセンサで環境を構築した先⾏研究（2/2）リアルタイム性がない消費電⼒取得サンプリング周期 30秒 13

15. SmartHome Team • 新たな消費電⼒センサの導⼊環境の構築 Bluetoothワットチェッカー CTセンサデータ保存のためのプログラムを開発独⾃で製作サンプリング周期 1秒間に1回 15

16. SmartHome Team （Ⅰ）認識精度がよくない⾏動の種類15種類、ラベルのついた全データを対象平均精度 66.1 % （Ⅱ）異なる家具配置の家庭にシステムをそのまま導⼊できない課題 16 ⾏動の位置は家具の配置に依存する

18. SmartHome Team • ⽌まってする⾏動と動いてする⾏動を分類したい・位置分散の利⽤ x座標とy座標の共分散を特徴量として導⼊した。 𝑎" が25,000より⼤きいとき「1」、 25,000以下なら「0」という値を特徴量として与えた。課題（Ⅰ）に対する提案⼿法（1/2） 18 𝑎" = Cov(x,y) 掃除など⾷事、読書など

19. SmartHome Team • ノイズとなっている特徴量をなくしたい・特徴量の選定 →ジニ係数の算出本研究では上位12個を使⽤課題（Ⅰ）に対する提案⼿法（2/2） 19 特徴量の重要度を測る指標照明１寝室コンセントリビング延⻑コンセントテレビ IHヒーターリビング・ダイニングコンセント y座標 x座標照明2 寝室延⻑コンセント z座標寝室エアコン照明１：リビング・ダイニング・キッチン・寝室照明照明２：⽞関・廊下・浴室・トイレ・洗⾯照明

20. SmartHome Team • 位置情報の領域情報への変換座標を領域A〜Hに変換することで異なる家具配置の家庭にも対応課題（Ⅱ）に対する提案⼿法（1/2） 20

21. SmartHome Team • 消費電⼒の正規化家電の種類が異なることを想定し、消費電⼒値を各家電ごとに平均0、分散1になるように正規化する 21 課題（Ⅱ）に対する提案⼿法（2/2） 𝑧" = 𝑥" − 𝜇 𝜎 ・𝑧"：正規化後の値・𝑥"：各センサ値・𝜇：各センサごとの平均値・𝜎：各センサごとの標準偏差

23. SmartHome Team • 実験概要 • ⾏動の種類データ収集実験 23 ・⾷事・料理・掃除・睡眠・外出・⾷器洗い・読書・⾵呂掃除・ゲーム・PC使⽤・⼊浴・テレビ視聴・スマホ操作・洗濯・洗⾯スマートホーム設備新たに追加・2015年10⽉(9⽇間)と2016年2⽉(14⽇間)に実施・期間ごとに家具配置を変更・被験者計9名(10⽉4名、2⽉5名)

24. SmartHome Team • 3台のビデオカメラで⽣活の様⼦を撮影 • ボタンを押して⾏動の開始と終了を記録 • 実験終了後、専⽤のツールを⽤いてラベル付け⾏動の記録 24 動画を再⽣

25. SmartHome Team • 各センサデータを10秒ごとに丸める（⾏動の切れ⽬は考慮しない）・位置情報（サンプリング周期0.5秒） 10秒間の中央値を取得外出の際の値の⽋損は固定値を与えて補完する・消費電⼒情報（サンプリング周期1秒） 10秒間の平均値を取得 10秒間の間で1つも値のない特徴量を含むデータは除外データの丸めについて 25

26. SmartHome Team • 被験者に1秒ごとにラベル付けを依頼した • 以下のデータは除外した・複数の⾏動が混ざっているデータ・10秒間分のデータがないデータ⾏動ラベルについて 10秒間料理料理⾷事料理 26

27. SmartHome Team • 実験したうちの１⽇分のラベル付きデータをテストデータとし、残りを教師データとして、機械学習（Random Forest）により分析を⾏う • すべての⽇に対して同様の分析を⾏い、平均を取ったものを全体の結果とする 27 分析⽅法テストデータテストデータ教師データ教師データ

28. SmartHome Team 結果（従来⼿法） 28 ⾏動の種類料理⾷事掃除睡眠外出⾷器洗い PC使⽤⼊浴テレビ視聴読書⾵呂掃除ゲームスマホ操作洗濯洗⾯重み付け平均サンプル数 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.776 0.709 0.590 0.818 0.982 0.688 0.879 0.527 0.357 0.234 0.407 0.517 0.380 0.144 0.297 0.766 再現率 0.816 0.538 0.383 0.661 0.977 0.705 0.883 0.429 0.753 0.057 0.215 0.646 0.227 0.075 0.290 0.661 F値 0.761 0.583 0.424 0.668 0.979 0.600 0.838 0.395 0.431 0.089 0.237 0.563 0.215 0.053 0.281 0.653 平均精度 66.108%

29. SmartHome Team 結果（位置分散の導⼊） 29 ⾏動の種類料理⾷事掃除睡眠外出⾷器洗い PC使⽤⼊浴テレビ視聴読書⾵呂掃除ゲームスマホ操作洗濯洗⾯重み付け平均サンプル数 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.781 0.857 0.573 0.818 0.973 0.684 0.881 0.520 0.357 0.312 0.344 0.486 0.378 0.098 0.344 0.772 再現率 0.835 0.515 0.351 0.652 0.978 0.757 0.892 0.475 0.782 0.113 0.147 0.624 0.200 0.062 0.366 0.681 F値 0.777 0.592 0.393 0.663 0.975 0.640 0.844 0.426 0.454 0.164 0.157 0.531 0.177 0.043 0.350 0.669 平均精度 68.061%

30. SmartHome Team 30 位置分散の導⼊による効果

31. SmartHome Team 特徴量の選定 31 ・上位12個を使⽤ y座標 x座標照明2 寝室延⻑コンセント z座標寝室エアコン照明１寝室コンセントリビング延⻑コンセントテレビ IHヒーターリビング・ダイニングコンセント照明１：リビング・ダイニング・キッチン・寝室照明照明２：⽞関・廊下・浴室・トイレ・洗⾯照明

32. SmartHome Team 結果（特徴量の選定） 32 ⾏動の種類料理⾷事掃除睡眠外出⾷器洗い PC使⽤⼊浴テレビ視聴読書⾵呂掃除ゲームスマホ操作洗濯洗⾯重み付け平均サンプル数 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.469 0.568 0.326 0.792 0.491 0.994 0.148 0.784 0.938 0.159 0.985 0.437 0.518 0.362 0.398 0.765 再現率 0.370 0.333 0.110 0.812 0.654 0.975 0.169 0.469 0.906 0.145 0.806 0.215 0.532 0.319 0.730 0.669 F値 0.359 0.404 0.159 0.759 0.543 0.983 0.111 0.521 0.897 0.152 0.823 0.244 0.456 0.207 0.493 0.664 平均精度 66.850%

33. SmartHome Team 33

34. SmartHome Team • 実際の⽇常⽣活では全ての⾏動にラベルがつけられるわけではない →「ラベルなし」という⾏動を追加することで対処 34 実環境への導⼊の想定料理⾷事ラベルなしラベルなし

35. SmartHome Team 結果（全時間を対象としたとき） 35 ⾏動の種類ラベルなし料理⾷事掃除睡眠外出⾷器洗い PC使⽤⼊浴テレビ視聴読書⾵呂掃除ゲームスマホ操作洗濯洗⾯重み付け平均サンプル数 3497 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.410 0.441 0.604 0.290 0.735 0.661 1.000 0.000 0.734 0.955 0.167 0.000 0.220 0.566 0.103 0.447 0.708 再現率 0.786 0.314 0.249 0.104 0.677 0.643 0.927 0.000 0.345 0.841 0.001 0.000 0.078 0.300 0.019 0.784 0.614 F値 0.516 0.309 0.331 0.151 0.662 0.651 0.958 0.000 0.434 0.856 0.001 0.000 0.094 0.296 0.030 0.546 0.591 平均精度 61.355%

36. SmartHome Team • 他の家庭で学習したデータは使えない →位置情報を領域情報に変換し、消費電⼒情報を正規化 • 領域情報 x,y座標をもとに、それぞれの領域に含まれていれば「1」、含まれていなければ「0」とした位置情報から領域情報への変換 36

37. SmartHome Team • 家電の種類が異なることを想定し、消費電⼒値を各家電ごとに平均0、分散1になるように正規化する消費電⼒情報の正規化 37 𝑧" = 𝑥" − 𝜇 𝜎 ・𝑧"：正規化後の値・𝑥"：各センサ値・𝜇：各センサごとの平均値・𝜎：各センサごとの標準偏差

38. SmartHome Team 結果（異なる家具配置への対応） 38 ⾏動の種類ラベルなし料理⾷事掃除睡眠外出⾷器洗い PC使⽤⼊浴テレビ視聴読書⾵呂掃除ゲームスマホ操作洗濯洗⾯重み付け平均サンプル数 7515 4763 2687 528 709 1692 1677 9045 3404 4983 3629 1040 3160 3085 670 820 ----- 適合率 0.147 0.746 0.333 0.239 0.000 0.939 0.289 0.827 0.000 0.325 0.008 0.000 0.391 0.000 0.000 0.000 0.365 再現率 0.719 0.509 0.010 0.225 0.000 0.125 0.190 0.035 0.000 0.532 0.000 0.000 0.097 0.000 0.000 0.000 0.243 F値 0.245 0.605 0.020 0.232 0.000 0.221 0.230 0.067 0.000 0.403 0.001 0.000 0.155 0.000 0.000 0.000 0.189 平均精度 24.340%

39. SmartHome Team 39 混同⾏列分類結果「ラベルなし」に様々な⾏動が引きずられている

40. SmartHome Team 40 結果（ラベルなしを除く）⾏動の種類料理⾷事掃除睡眠外出⾷器洗い PC使⽤⼊浴テレビ視聴読書⾵呂掃除ゲームスマホ操作洗濯洗⾯重み付け平均サンプル数 4763 2687 528 709 1692 1677 9045 3404 4983 3629 1040 3160 3085 670 820 ----- 適合率 0.761 0.855 0.244 0.985 0.994 0.401 0.283 0.756 0.396 0.414 0.068 0.335 0.011 0.212 0.228 0.466 再現率 0.802 0.082 0.444 0.585 0.865 0.355 0.301 0.421 0.736 0.422 0.262 0.288 0.003 0.237 0.226 0.427 F値 0.781 0.150 0.315 0.734 0.925 0.376 0.292 0.541 0.515 0.418 0.109 0.310 0.004 0.223 0.227 0.411 平均精度 42.731%

42. SmartHome Team • 精度向上のための⼿法について位置分散の導⼊特徴量の選定あまり⼤きな精度向上効果は得られなかった⾏動ごとに⾒ると⼤きく精度向上したものがある位置分散の導⼊特徴量の選定考察(1/2) 42 → +1.953% → +0.742% → 「読書」「洗⾯」 → 「睡眠」「読書」

43. SmartHome Team • 全時間を対象とした分析について 4.753%の精度低下が⾒られた →「ラベルなし」がノイズになってしまっている • 異なる家庭へシステムを導⼊するための⼿法について 24.340%という低い精度となった「ラベルなし」を除くと42.731%となった →しかし、領域の切り分けや正規化の⽅法の⾒直し、教師データの⼯夫などで精度向上が期待できる考察(2/2) 43

44. SmartHome Team • 特徴量の整理より効果的な選定、新たな特徴量の導⼊ • 「ラベルなし」の影響を少なくする⽅法の考案学習データサンプル数の調整 • 位置情報、消費電⼒情報のより効果的な変換領域の細分化、正規化の⼿法の再検討今後の予定 44

46. SmartHome Team • 位置・消費電⼒情報を⽤いてリアルタイムに⽣活⾏動認識を⾏う⼿法を提案した • 精度向上のために、位置分散の導⼊、特徴量の選定、異なる家庭への対応のために、領域情報への変換と消費電⼒の正規化を提案した • 提案⼿法の評価のためスマートホームで実験を⾏った • ⼤きな精度向上には⾄らなかったが、⾏動ごとで⾒ると⼤きな変化がある⾏動があった • 異なる家庭にそのままシステムを⽤いるためにはまだ⼯夫が必要であることがわかった 46 まとめ

異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析

You are reading a preview.

Check these out next

異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析

More Related Content

Similar to 異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析 (20)

More from 奈良先端大情報科学研究科 (20)

Recently uploaded (20)