Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析

356 views

Published on


携帯情報機器、コンピュータネットワークの発展により、いつでもどこでも情報を発信したり、受信、検索することができるモバイルコンピューティング環境ができあがりつつあります。 モバイルコンピューティングとパーベイシブシステム研究会(MBL研究会)は、モバイルコンピューティングに関して、基礎となる理論・技術、通信プロトコル、コンピュータアーキテクチャ、オペレーティングシステム、アプリケーション、応用事例、管理運用、さらに社会科学的考察などについて研究していくことを目指しています。

Published in: Science
  • Be the first to comment

  • Be the first to like this

異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析

  1. 1. 異なる家具配置に対応可能な リアルタイム行動認識システム開発のための データ収集と分析 2016/05/27 奈良先端科学技術⼤学院⼤学 情報科学研究科 ユビキタスコンピューティングシステム研究室 中川愛梨、守⾕⼀希、諏訪博彦、 藤本まなと、荒川豊、安本慶⼀ 第79回 MBL研究会
  2. 2. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 2 ⽬次
  3. 3. SmartHome Team 研究背景(1/2) ⾼齢者⾒守り 省エネ家電制御 リアルタイムな⾏動認識が必要 センシングデバイスの普及 3
  4. 4. SmartHome Team 研究背景(2/2) 分類モデルを作成 そのまま導⼊できない 4 Aさんの家 Bさんの家
  5. 5. SmartHome Team • リアルタイムに宅内⽇常⽣活の⾏動を認識する • 別の家庭にも導⼊できるシステムを開発する 研究⽬的 本研究では10秒以内を⽬標とする 5
  6. 6. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 6 ⽬次
  7. 7. SmartHome Team • 物体の動きと特徴量を⽤いて⾏動認識[1] →カメラを⽤いることによるプライバシー侵害の問題 • 携帯電話の加速度センサとマイクを⽤いて⾏動認識[2] 7種類の⾏動(⽫洗い、掃除機がけ、アイロンがけ、トイレ⽔ 洗/⼿洗い、 ⻭磨き、髭剃り、ドライヤーの使⽤) →⾏動の種類が限られている 関連研究(1/3) 7 [1]勝⼿ 美紗, 他: 物体と動き特徴を⽤いた⾏動認識, 電⼦情報通信学会技術研究報告(2012). [2]⼤内 ⼀成, 他: 携帯電話搭載センサによるリアルタイム⽣活⾏動認識システム, 情報処 理学会論⽂誌(2012).
  8. 8. SmartHome Team • 家電から発⽣する磁界により⾏動認識[3] →電化製品を使⽤する⾏動しか認識できない →認識精度が75%程度と精度向上の余地がある • 家庭内のあらゆるものに接触センサを付けることで⾏動認識[4] →導⼊及び維持コストが⾼い 関連研究(2/3) 8 [3] T. Maekawa, et al: ”Recognizing the Use of Portable Electrical Devices with Hand-Worn Magnetic Sensors,” in Proc. of Pervasive 2011(2011). [4]T. L. M. van Kasteren, et al:“activity monitoring system for elderly care using generative and discriminative models,” Personal and Ubiquitous Computing(2010).
  9. 9. SmartHome Team • ドアセンサ、引出センサ、温度センサなど様々なセンサが埋め 込まれたスマートホームで⾏動認識[5] →データセグメントの⻑さが60秒となっており、リアルタ イムに⾏動が認識できていない →多数のセンサを使⽤するため導⼊・維持コストが⾼い 関連研究(3/3) 9 [5]L. Chen, et al: A Knowledge-Driven Approach to Activity Recognition in Smart Homes, IEEE Transactions on Knowledge and Data Engineering(2012).
  10. 10. SmartHome Team 関連研究の課題 10 課題 [1] [2] [3] [4] [5] [6] (1)カメラ等によるプライバシーの侵害 ● ● - - - - (2)認識できる⾏動の種類が少ない ● ● ● - - - (3)認識精度がよくない - - ● - - - (4)導⼊及び維持コストが⾼い - - - ● ● - (5)認識までに時間がかかる - - - - ● ● [1]勝⼿ 美紗, 他: 物体と動き特徴を⽤いた⾏動認識, 電⼦情報通信学会技術研究報告(2012). [2]⼤内 ⼀成, 他: 携帯電話搭載センサによるリアルタイム⽣活⾏動認識システム, 情報処理学会論⽂誌(2012). [3]T. Maekawa, et al: ”Recognizing the Use of Portable Electrical Devices with Hand-Worn Magnetic Sensors,” in Proc. of Pervasive 2011(2011). [4]T. L. M. van Kasteren, et al:“activity monitoring system for elderly care using generative and discriminative models,” Personal and Ubiquitous Computing(2010). [5]L. Chen, et al: A Knowledge-Driven Approach to Activity Recognition in Smart Homes, IEEE Transactions on Knowledge and Data Engineering(2012). [6]K. Ueda, et al: ”Exploring Accuracy-Cost Tradeoff in In-Home Living Activity Recognition Based on Power Consumptions and User Positions,” in Proc. of IUCC 2015.
  11. 11. SmartHome Team 11 関連研究 • 35軒の家庭から照度データと消費電⼒データを収集 • ある家庭のデータを異なる家庭に適応する⼿法を提案 (1)家庭間の交差検証を⾏い精度のいいもののみを学習に使う (2)転⼊元のデータ分布を転⼊先のデータ分布に近似する [7]井上創造,潘新程,花沢明俊:家庭内⾏動センシングにお ける機械学習データの家庭間転 移について,情報処理学 会研究報告,Vol. 2015-UBI-48, No. 10, pp.1–8(2015).
  12. 12. SmartHome Team • 位置センサと消費電⼒センサを⽤いる • 計10種類の⾏動を対象 • 各⾏動に対し30個ずつサンプルを抜き出し、Random Forestを⽤ いて⾏動学習モデルを構築 先⾏研究(1/2) 受信機 送信機 超⾳波 天井 ユーザが装着 消費電⼒取得 12
  13. 13. SmartHome Team • 時間窓5分で平均91.3%の精度で各⾏動を認識 • 新たなセンサで環境を構築した 先⾏研究(2/2) リアルタイム性がない 消費電⼒取得 サンプリング周期 30秒 13
  14. 14. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 14 ⽬次
  15. 15. SmartHome Team • 新たな消費電⼒センサの導⼊ 環境の構築 Bluetoothワットチェッカー CTセンサ データ保存のための プログラムを開発 独⾃で製作 サンプリング周期 1秒間に1回 15
  16. 16. SmartHome Team (Ⅰ)認識精度がよくない ⾏動の種類15種類、ラベルのついた全データを対象 平均精度 66.1 % (Ⅱ)異なる家具配置の家庭にシステムをそのまま導⼊できない 課題 16 ⾏動の位置は家具の配置 に依存する
  17. 17. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 17 ⽬次
  18. 18. SmartHome Team • ⽌まってする⾏動と動いてする⾏動を分類したい ・位置分散の利⽤ x座標とy座標の共分散を特徴量として導⼊した。 𝑎" が25,000より⼤きいとき「1」、 25,000以下なら「0」という値を特徴量として与えた。 課題(Ⅰ)に対する提案⼿法(1/2) 18 𝑎" = Cov(x,y) 掃除など ⾷事、読書など
  19. 19. SmartHome Team • ノイズとなっている特徴量をなくしたい ・特徴量の選定 →ジニ係数の算出 本研究では上位12個を使⽤ 課題(Ⅰ)に対する提案⼿法(2/2) 19 特徴量の重要度を測る指標 照明1 寝室コンセント リビング延⻑コンセント テレビ IHヒーター リビング・ダイニングコンセント y座標 x座標 照明2 寝室延⻑コンセント z座標 寝室エアコン 照明1:リビング・ ダイニング・キッチ ン・寝室照明 照明2:⽞関・廊 下・浴室・トイレ・ 洗⾯照明
  20. 20. SmartHome Team • 位置情報の領域情報への変換 座標を領域A〜Hに変換することで異なる家具配置の家庭にも 対応 課題(Ⅱ)に対する提案⼿法(1/2) 20
  21. 21. SmartHome Team • 消費電⼒の正規化 家電の種類が異なることを想定し、消費電⼒値を各家電ごと に平均0、分散1になるように正規化する 21 課題(Ⅱ)に対する提案⼿法(2/2) 𝑧" = 𝑥" − 𝜇 𝜎 ・𝑧":正規化後の値 ・𝑥":各センサ値 ・𝜇:各センサごとの平均値 ・𝜎:各センサごとの標準偏差
  22. 22. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 22 ⽬次
  23. 23. SmartHome Team • 実験概要 • ⾏動の種類 データ収集実験 23 ・⾷事 ・料理 ・掃除 ・睡眠 ・外出 ・⾷器洗い ・読書 ・⾵呂掃除 ・ゲーム ・PC使⽤ ・⼊浴 ・テレビ視聴 ・スマホ操作 ・洗濯 ・洗⾯ スマートホーム設備 新たに追加 ・2015年10⽉(9⽇間)と2016年2⽉(14⽇間)に実施 ・期間ごとに家具配置を変更 ・被験者 計9名(10⽉4名、2⽉5名)
  24. 24. SmartHome Team • 3台のビデオカメラで⽣活の様⼦ を撮影 • ボタンを押して⾏動の開始と終了 を記録 • 実験終了後、専⽤のツールを⽤い てラベル付け ⾏動の記録 24 動画を再⽣
  25. 25. SmartHome Team • 各センサデータを10秒ごとに丸める(⾏動の切れ⽬は考慮しない) ・位置情報(サンプリング周期0.5秒) 10秒間の中央値を取得 外出の際の値の⽋損は固定値を与えて補完する ・消費電⼒情報(サンプリング周期1秒) 10秒間の平均値を取得 10秒間の間で1つも値のない特徴量を含むデータは除外 データの丸めについて 25
  26. 26. SmartHome Team • 被験者に1秒ごとにラベル付けを依頼した • 以下のデータは除外した ・複数の⾏動が混ざっているデータ ・10秒間分のデータがないデータ ⾏動ラベルについて 10秒間 料理 料理 ⾷事 料理 26
  27. 27. SmartHome Team • 実験したうちの1⽇分のラベル付きデータをテストデータとし、 残りを教師データとして、機械学習(Random Forest)により分 析を⾏う • すべての⽇に対して同様の分析を⾏い、平均を取ったものを全 体の結果とする 27 分析⽅法 テストデータ テストデータ教師データ 教師データ
  28. 28. SmartHome Team 結果(従来⼿法) 28 ⾏動の種類 料理 ⾷事 掃除 睡眠 外出 ⾷器洗い PC使⽤ ⼊浴 テレビ視聴 読書 ⾵呂掃除 ゲーム スマホ操作 洗濯 洗⾯ 重み付け平均 サンプル数 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.776 0.709 0.590 0.818 0.982 0.688 0.879 0.527 0.357 0.234 0.407 0.517 0.380 0.144 0.297 0.766 再現率 0.816 0.538 0.383 0.661 0.977 0.705 0.883 0.429 0.753 0.057 0.215 0.646 0.227 0.075 0.290 0.661 F値 0.761 0.583 0.424 0.668 0.979 0.600 0.838 0.395 0.431 0.089 0.237 0.563 0.215 0.053 0.281 0.653 平均精度 66.108%
  29. 29. SmartHome Team 結果(位置分散の導⼊) 29 ⾏動の種類 料理 ⾷事 掃除 睡眠 外出 ⾷器洗い PC使⽤ ⼊浴 テレビ視聴 読書 ⾵呂掃除 ゲーム スマホ操作 洗濯 洗⾯ 重み付け平均 サンプル数 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.781 0.857 0.573 0.818 0.973 0.684 0.881 0.520 0.357 0.312 0.344 0.486 0.378 0.098 0.344 0.772 再現率 0.835 0.515 0.351 0.652 0.978 0.757 0.892 0.475 0.782 0.113 0.147 0.624 0.200 0.062 0.366 0.681 F値 0.777 0.592 0.393 0.663 0.975 0.640 0.844 0.426 0.454 0.164 0.157 0.531 0.177 0.043 0.350 0.669 平均精度 68.061%
  30. 30. SmartHome Team 30 位置分散の導⼊による効果
  31. 31. SmartHome Team 特徴量の選定 31 ・上位12個を使⽤ y座標 x座標 照明2 寝室延⻑コンセント z座標 寝室エアコン 照明1 寝室コンセント リビング延⻑コンセント テレビ IHヒーター リビング・ダイニングコンセント 照明1:リビング・ ダイニング・キッチ ン・寝室照明 照明2:⽞関・廊 下・浴室・トイレ・ 洗⾯照明
  32. 32. SmartHome Team 結果(特徴量の選定) 32 ⾏動の種類 料理 ⾷事 掃除 睡眠 外出 ⾷器洗い PC使⽤ ⼊浴 テレビ視聴 読書 ⾵呂掃除 ゲーム スマホ操作 洗濯 洗⾯ 重み付け平均 サンプル数 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.469 0.568 0.326 0.792 0.491 0.994 0.148 0.784 0.938 0.159 0.985 0.437 0.518 0.362 0.398 0.765 再現率 0.370 0.333 0.110 0.812 0.654 0.975 0.169 0.469 0.906 0.145 0.806 0.215 0.532 0.319 0.730 0.669 F値 0.359 0.404 0.159 0.759 0.543 0.983 0.111 0.521 0.897 0.152 0.823 0.244 0.456 0.207 0.493 0.664 平均精度 66.850%
  33. 33. SmartHome Team 33
  34. 34. SmartHome Team • 実際の⽇常⽣活では全ての⾏動にラベルがつけられるわけでは ない →「ラベルなし」という⾏動を追加することで対処 34 実環境への導⼊の想定 料理 ⾷事 ラベルなしラベルなし
  35. 35. SmartHome Team 結果(全時間を対象としたとき) 35 ⾏動の種類 ラベルなし 料理 ⾷事 掃除 睡眠 外出 ⾷器洗い PC使⽤ ⼊浴 テレビ視聴 読書 ⾵呂掃除 ゲーム スマホ操作 洗濯 洗⾯ 重み付け平均 サンプル数 3497 1593 958 312 273 957 747 4260 1325 1542 1473 731 517 1305 298 289 ----- 適合率 0.410 0.441 0.604 0.290 0.735 0.661 1.000 0.000 0.734 0.955 0.167 0.000 0.220 0.566 0.103 0.447 0.708 再現率 0.786 0.314 0.249 0.104 0.677 0.643 0.927 0.000 0.345 0.841 0.001 0.000 0.078 0.300 0.019 0.784 0.614 F値 0.516 0.309 0.331 0.151 0.662 0.651 0.958 0.000 0.434 0.856 0.001 0.000 0.094 0.296 0.030 0.546 0.591 平均精度 61.355%
  36. 36. SmartHome Team • 他の家庭で学習したデータは使えない →位置情報を領域情報に変換し、消費電⼒情報を正規化 • 領域情報 x,y座標をもとに、それぞれの領域に含まれていれば「1」、 含まれていなければ「0」とした 位置情報から領域情報への変換 36
  37. 37. SmartHome Team • 家電の種類が異なることを想定し、消費電⼒値を各家電ごとに 平均0、分散1になるように正規化する 消費電⼒情報の正規化 37 𝑧" = 𝑥" − 𝜇 𝜎 ・𝑧":正規化後の値 ・𝑥":各センサ値 ・𝜇:各センサごとの平均値 ・𝜎:各センサごとの標準偏差
  38. 38. SmartHome Team 結果(異なる家具配置への対応) 38 ⾏動の種類 ラベルなし 料理 ⾷事 掃除 睡眠 外出 ⾷器洗い PC使⽤ ⼊浴 テレビ視聴 読書 ⾵呂掃除 ゲーム スマホ操作 洗濯 洗⾯ 重み付け平均 サンプル数 7515 4763 2687 528 709 1692 1677 9045 3404 4983 3629 1040 3160 3085 670 820 ----- 適合率 0.147 0.746 0.333 0.239 0.000 0.939 0.289 0.827 0.000 0.325 0.008 0.000 0.391 0.000 0.000 0.000 0.365 再現率 0.719 0.509 0.010 0.225 0.000 0.125 0.190 0.035 0.000 0.532 0.000 0.000 0.097 0.000 0.000 0.000 0.243 F値 0.245 0.605 0.020 0.232 0.000 0.221 0.230 0.067 0.000 0.403 0.001 0.000 0.155 0.000 0.000 0.000 0.189 平均精度 24.340%
  39. 39. SmartHome Team 39 混同⾏列 分類結果 「ラベルなし」に様々な⾏動が引きずられている
  40. 40. SmartHome Team 40 結果(ラベルなしを除く) ⾏動の種類 料理 ⾷事 掃除 睡眠 外出 ⾷器洗い PC使⽤ ⼊浴 テレビ視聴 読書 ⾵呂掃除 ゲーム スマホ操作 洗濯 洗⾯ 重み付け平均 サンプル数 4763 2687 528 709 1692 1677 9045 3404 4983 3629 1040 3160 3085 670 820 ----- 適合率 0.761 0.855 0.244 0.985 0.994 0.401 0.283 0.756 0.396 0.414 0.068 0.335 0.011 0.212 0.228 0.466 再現率 0.802 0.082 0.444 0.585 0.865 0.355 0.301 0.421 0.736 0.422 0.262 0.288 0.003 0.237 0.226 0.427 F値 0.781 0.150 0.315 0.734 0.925 0.376 0.292 0.541 0.515 0.418 0.109 0.310 0.004 0.223 0.227 0.411 平均精度 42.731%
  41. 41. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 41 ⽬次
  42. 42. SmartHome Team • 精度向上のための⼿法について 位置分散の導⼊ 特徴量の選定 あまり⼤きな精度向上効果は得られなかった ⾏動ごとに⾒ると⼤きく精度向上したものがある 位置分散の導⼊ 特徴量の選定 考察(1/2) 42 → +1.953% → +0.742% → 「読書」「洗⾯」 → 「睡眠」「読書」
  43. 43. SmartHome Team • 全時間を対象とした分析について 4.753%の精度低下が⾒られた →「ラベルなし」がノイズになってしまっている • 異なる家庭へシステムを導⼊するための⼿法について 24.340%という低い精度となった 「ラベルなし」を除くと42.731%となった →しかし、領域の切り分けや正規化の⽅法の⾒直し、教師 データの⼯夫などで精度向上が期待できる 考察(2/2) 43
  44. 44. SmartHome Team • 特徴量の整理 より効果的な選定、新たな特徴量の導⼊ • 「ラベルなし」の影響を少なくする⽅法の考案 学習データサンプル数の調整 • 位置情報、消費電⼒情報のより効果的な変換 領域の細分化、正規化の⼿法の再検討 今後の予定 44
  45. 45. SmartHome Team 1.研究背景と⽬的 2.関連研究と先⾏研究について 3.環境の構築と課題 4.提案⼿法 5.評価実験 6.考察・今後の予定 7.まとめ 45 ⽬次
  46. 46. SmartHome Team • 位置・消費電⼒情報を⽤いてリアルタイムに⽣活⾏動認識を⾏ う⼿法を提案した • 精度向上のために、位置分散の導⼊、特徴量の選定、異なる家 庭への対応のために、領域情報への変換と消費電⼒の正規化を 提案した • 提案⼿法の評価のためスマートホームで実験を⾏った • ⼤きな精度向上には⾄らなかったが、⾏動ごとで⾒ると⼤きな 変化がある⾏動があった • 異なる家庭にそのままシステムを⽤いるためにはまだ⼯夫が必 要であることがわかった 46 まとめ

×