おうちハック発表会 #4 LT登壇資料

1. レ
テ
ビ
O
N
TV ON
∼ジェスチャーを用いた家電制御∼

2. 自己紹介
• 石田 陽太
• 株式会社ネクスト
• 画像処理、機械学習の研究
• おうちハッカー ブログやってます
bohemia日記
おうちハックとか画像処理とか

4. テレビ出ました

5. 照明がつく
テレビがつく
エアコンがつく
起床時（7時頃）

6. 就寝前
・23時頃、メイン照明を落とす
・23時、落ち着いた色の間接照
明にする
・24時、照明OFF

7. 出勤時その１
• 雨の日なら、家を出る前に玄関のライトを青くする
• ゴミの日なら、家を出る前に玄関のライトを緑にす
る

8. 冬には帰って来たら暖かい部屋に
夏は涼しい部屋に
帰宅時その１
半径3kmでエアコンをON
半径500mで間接照明をONに
帰っても真っ暗じゃないように

9. CO2濃度が1000ppm以上になったら
居間のライトを赤くする
部屋にいる時

10. 湿度が40%以下になったら居間
のライトを砂漠っぽい色にする
部屋にいる時

11. 今までのおうちハック
• 基本的に自動制御。
• 自分の生活に合わせて設定、手間を減らす、快適に
する方向性

12. やっぱり自分で操作したいことがある
• 24時に照明消える設定
• LTの資料作ってるから、もう少し電気付けたい！
• 音声認識は実用的ではない
• 誤認識や認識ミス多い
• 認識を意識した話し方
• 面倒になってくる

13. ハンドサインで操作できないか？

14. Intelの3Dカメラ
顔やジェスチャー認識
点群
3Dスキャン

15. RealSenseについているジェスチャー

16. 構成
RealSense
赤外線対応家電
IRKit

17. 照明ON 照明OFF

18. テレビON/ OFF

19. やってみて
• よく使う動作のジェスチャー操作は向いている
• 音声よりはストレスは少ない気がする
• 対象範囲はRealSense F200の0.2 1.2mなので、
近づく必要あり
• IRKitとRealSenseが競合する場合がある

20. もっと複雑なジェスチャー

21. 手の点群が取れる

22. にっこにっこにーの
hand position

23. NSHP解析

24. NSHP解析
人y
小y
中y
薬y

25. NSHP解析
人y
小y
中y
薬y
NS判定条件
人y > 中y・・①
人y > 薬y・・②
小y > 中y・・③
小y > 薬y・・④
上記を全て満たす

26. 楽しいおうちハック生活を！

28. RealSense Depthセンサの
仕組み

29. RealSense Depthセンサの
仕組み
赤外線パターンを投射、
IRカメラでその反射を見て、距離を測定

30. IRKitがRealSenseの赤外線
投射で競合

31. こういうジェスチャーもできます
条件①：顔がある
条件②：手の個数が2つである
条件③：手と顔の２次元距離が
閾値以下である