ITフォーラム2021 先端IT活用推進コンソーシアム(5/7)

Copyright © 2021 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2021
協働プロジェクト『空気を読む家』
ドコでナニしている？
～空間OSとフィジカルの連携～
2021年02月03日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会リーダー荒本道隆

やりたいこと
・ドコでナニしてる？を知る
・自宅の中で → 一般家庭で導入可能な価格、大きさ
・寝起き直後の人が → パジャマ姿、寝ぐせアリ、化粧ナシ
・どこにいるか？ → どの部屋の、どこに居るか
・何をしているか？ → カメラで姿勢検出するなら、プライバシーに配慮
・どうするを示唆する
・トイレや寝室に移動 → 各部屋にデバイスを設置
・やる事が多い → 手を塞がないよう、音（音楽、音声）や光でお知らせ
状況を選曲やテンポや色で伝える
本当にヤバイ時は、音声で伝える
付加機能で、ニュースの読み上げ（非常に余裕がある朝）
2
バーチャルとリアルの橋渡し

もう１つのテーマ
・これまでのITフォーラムの成果を活用しよう
・2016年：『空気を読む家』におけるデータ解析
寝室：Webカメラ、人判定、寝ているか？
https://www.slideshare.net/aitc_jp/201624-os-57987229
・2017年：『空気を読む家』におけるデータ解析
寝室：センサ、環境データを0.5秒周期で記録、データを可視化
https://www.slideshare.net/aitc_jp/2017it-forum-aitc4
・2018年：『空気を読む家』におけるオブジェクト認識技術
リビング：ラズパイ＋Webカメラ、重さで物を見つける
https://www.slideshare.net/aitc_jp/2018-it4
・2019年：キッチンにおけるデータ収集
キッチン：ラズパイ＋BLEタグ、電波強度を測定、冷蔵庫のドアの開閉
https://www.slideshare.net/aitc_jp/31-133093969
・2020年：室内を画像処理で把握
実家：姿勢検出、物体検出、サーモグラフィ
https://www.slideshare.net/aitc_jp/it2020-aitc4
3

2016年：寝室：人判定、寝ているか？
4

2017年：寝室：環境データを0.5秒周期で記録
5

2018年：リビング：重さで物を見つける
6

2019年：キッチン：電波強度を測定
7

2020年：実家：姿勢検出、物体検出、ｻｰﾓｸﾞﾗﾌｨ
8

・実現方法
・BLEタグ → 電波強度で「近い」「遠い」「とても遠い」が分かる
・TWELITE CUE → 電波強度で「近い」「遠い」「とても遠い」が分かる
・Webカメラ → 姿勢検出で人が居るか分かる。細かい位置まで分かる
設置する部屋を制限する
ドコで？
9
電波を
出す
電波を出す
加速度計
電波を受信
空間OS
色＆点滅
電波強度から距離を推測
人検出
姿勢検出

リビング
・実現方法
・BLEタグ → どこにいるか、何の近くにいるかで推測
・TWELITE → どこにいるか、何の近くにいるかで推測
・Webカメラ →細かい位置と、姿勢検出で「立つ」「座る」「寝る」
キッチントイレ
ナニをしている？
10
お風呂
寝室
姿勢検出
リビングの電波が一番強い
→ リビングに居る
座っている
→ 朝食を食べている

キッチン
リビング
・実現方法
・音（音楽） → 選曲とテンポで状況を伝える。近く音量Up、他は音量Down
・音（音声） → インフメーションやニュースを読み上げる
・光（照明） → 色と点滅で「急げ」を伝える
どうする
11
トイレ
お風呂
寝室
姿勢検出
音量ゼロ

こうなる
12

・寝起きなのでデバイスを身に付けたくない
・スリッパにタグ（6.5g）を２つ付ける
・安価にシステムを構築したい
・ラズパイとUSBデバイス → 合計約2万円ｘ3
・スピーカーはそこそこ良いものにする
システム構成
13
空間OS
タグ＆
加速度計
BLEタグ
USBカメラ
ラズパイ
タグ親機
USBスピーカー
どの部屋に居るか
部屋内の位置
立つ／座る／寝る
曲、音量、テンポ
読み上げテキスト

電波強度から部屋を推定
・３ヵ所のラズパイで電波強度を測定し、一番電波が強い部屋に居る
・動いていなくても、電波強度はブレる
・加速度が変化しなければ、「人は動いていない」で補正する
・動いていない間の平均値を算出
・遮蔽物があると、電波が弱くなる
・スリッパの上に、ほぼ水平に配置
14
2019年：

室内で姿勢検出をやってみたー１
・カメラを設置する位置を工夫する
15

室内で姿勢検出をやってみたー２
・人が居る状態
16

室内で姿勢検出をやってみたー３
・真横から撮れば、頭の位置で「立つ」「座る」は判定できそう
・カメラを２つにすれば、より正確な位置が出せそう（X軸、Y軸）
17

姿勢検出速度に不満がある場合
・ラズパイ４で0.3FPS程度
・３秒間隔でしか検出できない
・他の処理が重くなってしまう
・NVIDIA Jetson Xavier/Nano に置換すれば、高速化
・全て Linux なので、移行し易い
18
2020年：

自宅内にカメラを常時設置できるのか？
・キッチンにカメラを置くのは、家族に猛反対されるかも
・寝起き姿でウロウロするから
・サーモグラフィ（低解像度）なら、許してもらえる？
• Lepton 3.5（サーモグラフィ）（合計約５万円）
• 解像度：160x120
• 測定温度：-10～140℃（-10～400℃）
• 温度の分解能：0.05℃
• 高解像度なものは、購入時に手続き（BIS-711）が必要
19
ドアを開ける人買いたての缶コーヒー：55度コンロの火：400度以上

音＆光による通知について
・全てのラズパイで、同時に曲の再生を開始する
・一番近いラズパイだけ音量Up、それ以外は音量ゼロ
家族が別の部屋でまだ寝ていても、迷惑にならない
・人が部屋を移動したら、それぞれ音量を変化させる
曲の途中で部屋を移動したときに、切り替えをスムーズにするため
・テンポの変更
ダウンロード → 速度変換処理 → 再生
・テキストの読み上げ
・全てのラズパイで読み上げると、一番近いラズパイから聞こえる
・「Open JTalk」で、漢字まじりの文章を読み上げる
・光による通知
・電球の代わりに、色を指定できるLED電球に交換
20

クラウド・テクノロジー活用部会のまとめ
・この５年間で、さまざまな蓄積ができた
・今回は、残念ながらデモ無し
・2021年夏の発表に向けて、これから実装＆実証実験を開始
・新規の技術＆アイデアも検索中
・技術以外の課題が、色々と出てきそう
・どこまでカメラを設置できるか？
・同じ部屋の中で複数人が同時に動いたら？
・別の部屋に人が居る場合は、どうする？
・未検討部分
・オープンデータの活用方法
・バスの時刻表、現在位置
・電車の遅延情報
・天気予報／現在の天気
・桜の開花状況
21

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
最新情報は、
こちらをご参照ください

ITフォーラム2021 先端IT活用推進コンソーシアム(5/7)

More Related Content

What's hot

Similar to ITフォーラム2021 先端IT活用推進コンソーシアム(5/7)

More from aitc_jp

ITフォーラム2021 先端IT活用推進コンソーシアム(5/7)