1. パートナーロボット視点からの観察による
人・物体関連シーンの抽出

2. 研究背景と目的
• 過去にユーザが行った情報を想起させてあげる事
ライフログ
１人称視点
２人称視点の利点
• 場所に囚われずどこでもユーザの行 ウェアラブルカメラ
動を記録する事が出来る
• ユーザにとって死角となっている情 位置情報
報も記録する事が出来る 脳波計
２人称視点 ３人称視点
視線角度
パートナーロボットのカメラ
顔認識 監視カメラ
他人のウェアラブルカメラ

3. システムの構成
• Kinectを用いて、ユーザのふるまいを取得する
• ユーザが関わった物体も記録する
• ジェスチャーで、必要とする情報を検索する

4. システムの手順
• ユーザのふるまい（ライフログ）を取得する
• 物体の抽出
• ユーザが必要な情報の検索

5. ふるまい記録サーバとクライアントの構造

6. デモ

7. システムの手順
• ユーザのライフログ（行動記録）を取得する
• 物体の抽出
• ユーザが必要な情報の検索

8. 物体抽出
• 距離画像を用いて背景差分
• ラベリングによる物体検出

9. 距離画像による背景差分
• 最新の２００フレームの各ピクセルのデプス情報を保持する
• 各ピクセルのデプスの平均値と分散値を求める
背景差分の画像(左：入力画像 右：背景差分)
物体候補の条件（各ピクセル毎）
・人物領域以外
・現在のデプスと平均(過去２００フレーム)
のデプスの差が1cm以上ある時
・｜現在のデプス - 平均のデプス｜ > 2σ
(σ:標準偏差)

10. 物体検出
ラベリング
• 背景差分から検出された物体候補領
域にラベリング
• 一定の面積(今回は500ピクセル)以上
の場合のみ、物体候補として抽出
物体検出
• ３０フレーム間連続して、同じ位置に
その物体候補領域が検出されれば、物
体であると検知する

11. 物体検知のデモ

12. システムの手順
• ユーザのライフログ（行動記録）を取得する
• 物体の抽出
• ユーザが必要な情報の検索

13. 人物動作（ジェスチャ）を 用いた物体と使用動作の検索
ジェスチャーから、必要としている情報の検索を行う
ジェスチャーから履歴を検索するシステム
検索時に行った動作（飲む） 検索時に行った動作(めくる)
検索時に行った動作 検索時に行った動作
検索結果 検索結果
検索時に行った動作 検索時に行った動作

14. まとめ
• ユーザの動きのライフログ取得部分の完成
• 距離画像を用いた物体検出システムの完成
今後の予定
• 「人物動作を 用いた物体と使用動作の検索」を行うシステムと結合を行い、
実際に運用して性能評価や問題点の解消を行う。