Download to read offline
![様々なセンサ技術を用いた
人間行動取得の試み
今後の展望: 多様性への対応
• 多様性対応の重要性
– センサが取得できる情報に限界
• 精度や粒度は今後向上していくと考えられる
– 人間の行動すべてを記述できない
• アプローチ
– 潜在的因子の発見[1][2][3][4]
• データ間に存在する関係性
• 教師なし学習や強化学習，集合知
– SOM(Self-Organizing Map)[3]
– 遺伝的アルゴリズム
– 協調フィルタリング
– 物理センサ以外ののものを利用
• 物理センサでは難しいコンテクストを取得
• 参加型センシング[13]
– 人間がセンサとなる
6
8/26
東京大学大学院学際情報学府 口述試験
Boys be ambitious](https://image.slidesharecdn.com/tuniv-130828062528-phpapp01/85/T-univ-6-320.jpg)
![様々なセンサ技術を用いた
人間行動取得の試み
行動認識手法
• スマートフォン[5][6]
– スマートフォンに内蔵されているセンサを利用
• 歩いている，階段を登っている(降りている)，座っている
• GPS[7]
– 位置情報をもとに行動を認識
• 仕事している，寝ている
• 加速度センサ[8][9][10]
– 身体に(一つもしくは複数の)センサを装着
• 姿勢，歩いている，座っている，話している
• ウェアラブルカメラ[11]
– (手元の)画像を解析して行動を認識
• ドアを開ける，拭いている，食べている，寝ている
• RFID[12]
– 手袋にRFIDタグを装着
• 手を洗っている，ご飯の準備をしている
8/26
東京大学大学院学際情報学府 口述試験
10](https://image.slidesharecdn.com/tuniv-130828062528-phpapp01/85/T-univ-10-320.jpg)
![様々なセンサ技術を用いた
人間行動取得の試み
参考文献
16
8/26
東京大学大学院学際情報学府 口述試験
[4]Zhang, Hao, and Lynne E. Parker. "4-dimensional local spatio-temporal features for human activity recognition." Intelligent
Robots and Systems (IROS), 2011 IEEE/RSJ International Conference on. IEEE, 2011.
[3]高須賀清隆, 丸山一貴, and 寺田実. "閲覧履歴を利用した協調フィルタリングによる Web ページ推薦とその評価." DBWS2007
107.131 (2007): 115-120.
[2]Yin, Jun, andYan Meng. "Human activity recognition in video using a hierarchical probabilistic latent model." ComputerVision and
Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. IEEE, 2010.
[1]Wang,Yang, and Greg Mori. "Human action recognition by semilatent topic models." Pattern Analysis and Machine Intelligence, IEEE
Transactions on 31.10 (2009): 1762-1774.
[5]Kwapisz, Jennifer R., Gary M.Weiss, and Samuel A. Moore. "Activity recognition using cell phone accelerometers." ACM
SIGKDD Explorations Newsletter 12.2 (2011): 74-82.
[7]Liao, Lin. Location-based activity recognition. Diss. University of Washington, 2006.
[9]Farringdon, Jonny, et al. "Wearable sensor badge and sensor jacket for context awareness." Wearable Computers, 1999.
Digest of Papers.The Third International Symposium on. IEEE, 1999.
[10]Foerster, F., M. Smeja, and J. Fahrenberg.“Detection of posture and motion by accelerometry: a validation study in
ambulatory monitoring.” Computers in Human Behavior 15.5 (1999): 571-583.
[11]Sundaram, Sudeep, and Walterio W. Mayol Cuevas.“High level activity recognition using low resolution wearable vision.”
ComputerVision and Pattern RecognitionWorkshops, 2009. CVPRWorkshops 2009. IEEE Computer Society Conference on. IEEE, 2009.
[12]Philipose, Matthai, et al.“Inferring activities from interactions with objects.” Pervasive Computing, IEEE 3.4 (2004): 50-57.
[8]Yuuki Nishiyama，et al. DALT:Detection Algorithm of Throwing form Changing to Prevent the Baseball Player ’s
Throwing Related Injuries PERVASIVE 2012 UbiHealth
[6]Botía, J.A.“Real Time Activity Recognition Using a Cell Phone’s Accelerometer and Wi-Fi.” Intelligent Environments;
Workshop Proceedings. IOS Press, 2012.
[13]Burke, J., Estrin, D., Hansen, M., Parker,A., Ramanathan, N., Reddy, S. and Srivastava, M.B.: Participatory sensing, SENSYS,ACM (2006)
[14]阿部 匡伸. ライフログ活用技術の動向と研究所の取り組み. NTT技術ジャーナル2010](https://image.slidesharecdn.com/tuniv-130828062528-phpapp01/85/T-univ-16-320.jpg)
T univ
- 1.
- 2. 様々なセンサ技術を用いた 人間行動取得の試み 背景: ライフログ • 日々の生活を記録していく • 対象領域(日々の生活) {実世界 情報空間} – 主観的・客観的に人々が認識してきたもの – 無意識的（ 主観 客観）に認識していたもの • クローズド と オープン – 自分のための情報 • 記憶補助 – 他の人と共有する情報 • 食べログ • Instagram • Facebook • ユーザプロファイリング – 各個人の特徴を抽出 – 情報検索，レコメンド，ヘルスケアに活用 2 8/26 東京大学大学院学際情報学府 口述試験 思い出をしっかり保存
- 3. 様々なセンサ技術を用いた 人間行動取得の試み 分野: 行動認識(Activity Recognition) • 日々のユーザの行動を認識する – 食事，運動，睡眠 • データの取得 – １つの(複数の)ウェアラブルセンサ， ウェアラブルデバイスを装着 • 特徴量(パラメータ)の設定 – センサから取得した数値 – 対象とする行動に合わせる • 識別器(機械学習) – 特徴量をもとに行動を認識 • SVM • ベイジアン • K-means 3 8/26 東京大学大学院学際情報学府 口述試験 NIKE Fuelband Google glass
- 4. 様々なセンサ技術を用いた 人間行動取得の試み 研究例: BodyScope※ • 取得対象行動: – 食べている，飲んでいる，話している， 笑っている，咳き込んでいる • 装着デバイス: – 喉にマイクロフォンを装着 – 音の波形を取得する • 識別器: – SVM(Support Vector Machine) • One-against-One 高い精度で行動を認識可能 想定環境だけでなく実際の環境でも利用可能 処理に時間がかかるため，リアルタイム☓ 4 8/26 東京大学大学院学際情報学府 口述試験 ※Yatani, Koji, and Khai N. Truong. "BodyScope: a wearable acoustic sensor for activity recognition." Proceedings of the 2012 ACM Conference on Ubiquitous Computing. ACM, 2012.
- 5. 様々なセンサ技術を用いた 人間行動取得の試み 行動認識手法における課題・困難 • データ取得 – ウェアラブルセンサの性能 • バッテリー・安全性 • リアルタイム性・精度 • 導入時のユーザの負担 • データ処理 – アルゴリズムの性能 • フィードバック時間の短縮 • 適合率・再現率の向上 • 多くの研究がなされている – 多様性への対応 • 想定された行動にのみ対応 • 想定外の行動は対象とならない 5 8/26 東京大学大学院学際情報学府 口述試験
- 6. 様々なセンサ技術を用いた 人間行動取得の試み 今後の展望: 多様性への対応 • 多様性対応の重要性 – センサが取得できる情報に限界 • 精度や粒度は今後向上していくと考えられる – 人間の行動すべてを記述できない • アプローチ – 潜在的因子の発見[1][2][3][4] • データ間に存在する関係性 • 教師なし学習や強化学習，集合知 – SOM(Self-Organizing Map)[3] – 遺伝的アルゴリズム – 協調フィルタリング – 物理センサ以外ののものを利用 • 物理センサでは難しいコンテクストを取得 • 参加型センシング[13] – 人間がセンサとなる 6 8/26 東京大学大学院学際情報学府 口述試験 Boys be ambitious
- 7. 様々なセンサ技術を用いた 人間行動取得の試み まとめ • ライフログ研究の一分野：行動認識 – ウェアラブルセンサを用いた研究の紹介 – 手法の課題・困難 • データ取得 • データ処理 – 今後の展望 • 多様性への対応 • ご清聴ありがとうございました 8/26 東京大学大学院学際情報学府 口述試験 7
- 8.
- 9. 様々なセンサ技術を用いた 人間行動取得の試み 解決策の提案 • ウェアラブルセンサ – 消費電力の制御 – 導入の容易性 • 意識させない= 普段使っているものに取り入れる • 手法 – 特徴量の増加 • 従来では分類しきれなかった行動を細分化 – 識別器の選定 • 教師なし学習 9 8/26 東京大学大学院学際情報学府 口述試験
- 10. 様々なセンサ技術を用いた 人間行動取得の試み 行動認識手法 • スマートフォン[5][6] – スマートフォンに内蔵されているセンサを利用 • 歩いている，階段を登っている(降りている)，座っている • GPS[7] – 位置情報をもとに行動を認識 • 仕事している，寝ている • 加速度センサ[8][9][10] – 身体に(一つもしくは複数の)センサを装着 • 姿勢，歩いている，座っている，話している • ウェアラブルカメラ[11] – (手元の)画像を解析して行動を認識 • ドアを開ける，拭いている，食べている，寝ている • RFID[12] – 手袋にRFIDタグを装着 • 手を洗っている，ご飯の準備をしている 8/26 東京大学大学院学際情報学府 口述試験 10
- 11. 様々なセンサ技術を用いた 人間行動取得の試み 研究紹介: BodyScope • 対象とする行動(12種)： – 座っている – 深呼吸 – 食事(クッキー) – 食事(パン) – 飲み物(水) – 飲み物(熱いお茶) – 話している – 囁き – 口笛 – 笑い声 – ため息 – 咳 8/26 東京大学大学院学際情報学府 口述試験 11 座っている(平常時) 深呼吸 飲み物(水) 飲み物(熱いお茶)
- 12. 様々なセンサ技術を用いた 人間行動取得の試み • 特徴量: – ZCR(Zero-CrossingRate) – Total Spectram Power – Subband Power – Brightness – Spectral Rolloff – Spectral Flux – MFCC(Mel-Frequency Cepstral Coefficient) • 識別器: – SVM，Naïve Bayes, K-近傍法 8/26 東京大学大学院学際情報学府 口述試験 12 研究紹介: BodyScope
- 13. 様々なセンサ技術を用いた 人間行動取得の試み • 実験(想定環境): – 参加者：10人 – 12種の行動をそれぞれ10回ずつやってもらう(1200サンプル) • 考察： – 同じ行動でもユーザによってスペクトログラムが違う – トレーニングデータにそれぞれのユーザが含まれている必要が ある 8/26 東京大学大学院学際情報学府 口述試験 13 研究紹介: BodyScope
- 14. 様々なセンサ技術を用いた 人間行動取得の試み 8/26 東京大学大学院学際情報学府 口述試験 14 研究紹介: BodyScope
- 15. 様々なセンサ技術を用いた 人間行動取得の試み 8/26 東京大学大学院学際情報学府 口述試験 15 • 実験(実世界): – 参加者: 5人 – 普段通りの生活 研究紹介: BodyScope SVMによる結果 Naïve Bayesによる結果
- 16. 様々なセンサ技術を用いた 人間行動取得の試み 参考文献 16 8/26 東京大学大学院学際情報学府 口述試験 [4]Zhang,Hao, and Lynne E. Parker. "4-dimensional local spatio-temporal features for human activity recognition." Intelligent Robots and Systems (IROS), 2011 IEEE/RSJ International Conference on. IEEE, 2011. [3]高須賀清隆, 丸山一貴, and 寺田実. "閲覧履歴を利用した協調フィルタリングによる Web ページ推薦とその評価." DBWS2007 107.131 (2007): 115-120. [2]Yin, Jun, andYan Meng. "Human activity recognition in video using a hierarchical probabilistic latent model." ComputerVision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. IEEE, 2010. [1]Wang,Yang, and Greg Mori. "Human action recognition by semilatent topic models." Pattern Analysis and Machine Intelligence, IEEE Transactions on 31.10 (2009): 1762-1774. [5]Kwapisz, Jennifer R., Gary M.Weiss, and Samuel A. Moore. "Activity recognition using cell phone accelerometers." ACM SIGKDD Explorations Newsletter 12.2 (2011): 74-82. [7]Liao, Lin. Location-based activity recognition. Diss. University of Washington, 2006. [9]Farringdon, Jonny, et al. "Wearable sensor badge and sensor jacket for context awareness." Wearable Computers, 1999. Digest of Papers.The Third International Symposium on. IEEE, 1999. [10]Foerster, F., M. Smeja, and J. Fahrenberg.“Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.” Computers in Human Behavior 15.5 (1999): 571-583. [11]Sundaram, Sudeep, and Walterio W. Mayol Cuevas.“High level activity recognition using low resolution wearable vision.” ComputerVision and Pattern RecognitionWorkshops, 2009. CVPRWorkshops 2009. IEEE Computer Society Conference on. IEEE, 2009. [12]Philipose, Matthai, et al.“Inferring activities from interactions with objects.” Pervasive Computing, IEEE 3.4 (2004): 50-57. [8]Yuuki Nishiyama，et al. DALT:Detection Algorithm of Throwing form Changing to Prevent the Baseball Player ’s Throwing Related Injuries PERVASIVE 2012 UbiHealth [6]Botía, J.A.“Real Time Activity Recognition Using a Cell Phone’s Accelerometer and Wi-Fi.” Intelligent Environments; Workshop Proceedings. IOS Press, 2012. [13]Burke, J., Estrin, D., Hansen, M., Parker,A., Ramanathan, N., Reddy, S. and Srivastava, M.B.: Participatory sensing, SENSYS,ACM (2006) [14]阿部 匡伸. ライフログ活用技術の動向と研究所の取り組み. NTT技術ジャーナル2010