先端ITで『空気を読んだ』度を測定してみる

1. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
【ITフォーラム2022 AITCセッシ
先端ITで『空気を読んだ』度を測定してみ
2022年2月4日
先端IT活用推進コミュニティ
松山 憲和/荒本 道隆

2. 2
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』でこれまでの取り組んだ技術
2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年
技術トレンド（Google Trend in 日本）
協働プロジェクト『空気を読む家』 活動開始 1st 玄関 2nd 寝室 3rd 寝室 4th リビング 5th キッチン 6th 安心・安全 7th 安心・安全
クラウド・テクノロジー活用部会 ー
人認証
カメラ
OpenCV
Caffe
睡眠度認識
カメラ
OpenCV
Caffe
データ可視化
オブジェクト認識
メーターOCR
Raspberry Pi 2 B+
motion
OpenCV
asound
BLEタグ
Raspberry Pi3
電波強度
NVIDIA Jetson Xavier
NVIDIA Jetson Nano
Raspberry Pi 4
Lepton 3.5（サーモグ
ラフィ）
OpenPos(姿勢検出)
YOLO(物体検出)
BLE電波強度
ビジネスAR研究部会 ー
空間OS
ロボット(Root)
空間OS 空間OS 空間OS 空間OS
空間OS
LookingGlass
LeapMotion
Unity
空間OS
ナチュラルユーザーインタフェース活用部会 ー
Philips Hue(スマート照
明)
パラメトリックスピー
カー
Philips Hue
Arduino UNO
温度センサー
湿度センサー
気圧センサー
照度センサー
音量センサー
オムロン HSL-101(電波
式睡眠計)
Jawbone UP3(活動量
計)
オムロン HSL-101
(電波式睡眠計)
ー
圧力センサー
Google AGoogle AIY
Voice Kit
（スマートスピー
カー）
TP-Link Kasa KL130
（スマート照明)
ー
コンテキストコンピューティング研究部会 ー ー 集合知と機械学習 トゥールミン・モデル トゥールミン・モデル トゥールミン・モデル
トゥールミン・モデル
知識基盤(ダイアグラム)
ドメイン
タスク
コンテキスト
ユーザエクスペリエンス技術部会 マンガ駆動開発
再掲

3. Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
【ITフォーラム2022 AITCセッシ
人認識技術
2022年2月4日
先端IT活用推進コミュニティ
松山 憲和

4. 4
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
人認識技術の範囲
住人
ペット
部屋
モノ
状態(気温、湿度)
…
誰が
何処で
何時
何をしているのか
どう感じているのか
人認識
何と
①何を
センシングするか
③”居心地”を
どう定義するか
②どのように
フィードバックするか

5. 5
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』の人認識技術
センシング対象 認識技術 カテゴリ
顔識別 OpenCV OpenFace face-net face_recognition RFaceIID
話者識別 Speaker Diarization Google Vision API
Azure
Cognitive Services
Amazon Transcribe mimi SRS
体格識別 OpenVINO OpenPOSE VisionPose AsillaPose Bodygram
何時 NTP PTP GNSS 標準電波
BLE Quuppa
何と OpenCV Regional CNN YOLO
SSMD(Single Shot
MultiBox Detector
Google Cloud
Vision API
何をし
ているか 行動認識 姿勢推定 OpenVINO OpenPOSE VisionPose AsillaPose
表情 EmoPy Affdex FaceReader
Azure
Cognitive Services
Google Cloud
Vision API
音声 OpenSMILE Empath mimi EMO/AIR MIMOSYS Sensibility Technology
態度 (EyeTracking) (身ぶり) (手ぶり) (姿勢)
心拍数 スマート
ウォ
ッ
チ
安価(100円～500円)なBLE Tag AirTag (Apple)：3800円
RFID、音響、可視光、UWB、距離(ToFカメラ)、Kinect
誰が
・
家族の誰か
・
家族以外
人識別
bioAPI
何処で
・
どの部屋
・
部屋の何処
屋内位置測位
どう
感じ
ているか 感情認識
Affective Computing
実装技術
(赤字；
有償、
青セルは、
使用済)
時刻取得
物体認識

6. 6
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』における人認識
誰が
何処で
何時
何をしているのか
どう感じているのか
何と
識別対象は1人～10人前後。高い識別精度が期待できる
秒単位の精度で十分と想定される
事前に間取りなどを設定することができる
家の中のモノだけを事前学習させることができる
対象人数が少ないので、長期間の学習で認識精度向上が期待で
きる
どのように学習させるかは課題
今後
• 複数の人認識技術の組み合わせ（空間OSによる総連携）
• 誰が、何時、何処で、何と、何をしていて、どう感じているのか、
• プライバシー、セキュリティへの配慮
• Wel-Beingを実現する『空気を読み家』を実現するどんなアクションが最適か

7. ハルミン
AITC非公式イメージキャラクター
最新情報はこちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.

8. 8
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
ウェルビーイングと空気を読む家 飯沢さん
・家型ロボット、ITシステム
・継続的幸福
・ポジティブコンピューティング
PERMA：ポジティブ感情、エンゲージメント、関係性、意味・意義、達成
自己決定論：自立性、
よけいなお世話、ありがた迷惑