Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
【ITフォーラム2022 AITCセッシ
先端ITで『空気を読んだ』度を測定してみ
2022年2月4日
先端IT活用推進コミュニティ
松山 憲和/荒本 道隆
2
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』でこれまでの取り組んだ技術
2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年
技術トレンド(Google Trend in 日本)
協働プロジェクト『空気を読む家』 活動開始 1st 玄関 2nd 寝室 3rd 寝室 4th リビング 5th キッチン 6th 安心・安全 7th 安心・安全
クラウド・テクノロジー活用部会 ー
人認証
カメラ
OpenCV
Caffe
睡眠度認識
カメラ
OpenCV
Caffe
データ可視化
オブジェクト認識
メーターOCR
Raspberry Pi 2 B+
motion
OpenCV
asound
BLEタグ
Raspberry Pi3
電波強度
NVIDIA Jetson Xavier
NVIDIA Jetson Nano
Raspberry Pi 4
Lepton 3.5(サーモグ
ラフィ)
OpenPos(姿勢検出)
YOLO(物体検出)
BLE電波強度
ビジネスAR研究部会 ー
空間OS
ロボット(Root)
空間OS 空間OS 空間OS 空間OS
空間OS
LookingGlass
LeapMotion
Unity
空間OS
ナチュラルユーザーインタフェース活用部会 ー
Philips Hue(スマート照
明)
パラメトリックスピー
カー
Philips Hue
Arduino UNO
温度センサー
湿度センサー
気圧センサー
照度センサー
音量センサー
オムロン HSL-101(電波
式睡眠計)
Jawbone UP3(活動量
計)
オムロン HSL-101
(電波式睡眠計)
ー
圧力センサー
Google AGoogle AIY
Voice Kit
(スマートスピー
カー)
TP-Link Kasa KL130
(スマート照明)
ー
コンテキストコンピューティング研究部会 ー ー 集合知と機械学習 トゥールミン・モデル トゥールミン・モデル トゥールミン・モデル
トゥールミン・モデル
知識基盤(ダイアグラム)
ドメイン
タスク
コンテキスト
ユーザエクスペリエンス技術部会 マンガ駆動開発
再掲
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
【ITフォーラム2022 AITCセッシ
人認識技術
2022年2月4日
先端IT活用推進コミュニティ
松山 憲和
4
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
人認識技術の範囲
住人
ペット
部屋
モノ
状態(気温、湿度)
…
誰が
何処で
何時
何をしているのか
どう感じているのか
人認識
何と
①何を
センシングするか
③”居心地”を
どう定義するか
②どのように
フィードバックするか
5
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』の人認識技術
センシング対象 認識技術 カテゴリ
顔識別 OpenCV OpenFace face-net face_recognition RFaceIID
話者識別 Speaker Diarization Google Vision API
Azure
Cognitive Services
Amazon Transcribe mimi SRS
体格識別 OpenVINO OpenPOSE VisionPose AsillaPose Bodygram
何時 NTP PTP GNSS 標準電波
BLE Quuppa
何と OpenCV Regional CNN YOLO
SSMD(Single Shot
MultiBox Detector
Google Cloud
Vision API
何をし
ているか 行動認識 姿勢推定 OpenVINO OpenPOSE VisionPose AsillaPose
表情 EmoPy Affdex FaceReader
Azure
Cognitive Services
Google Cloud
Vision API
音声 OpenSMILE Empath mimi EMO/AIR MIMOSYS Sensibility Technology
態度 (EyeTracking) (身ぶり) (手ぶり) (姿勢)
心拍数 スマート
ウォ
ッ
チ
安価(100円~500円)なBLE Tag AirTag (Apple):3800円
RFID、音響、可視光、UWB、距離(ToFカメラ)、Kinect
誰が
 
・
家族の誰か
 
・
家族以外
人識別
bioAPI
何処で
 
・
どの部屋
 
・
部屋の何処
屋内位置測位
どう
感じ
ているか 感情認識
Affective Computing
実装技術 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
(赤字;
有償、
青セルは、
使用済)
時刻取得
物体認識
6
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』における人認識
誰が
何処で
何時
何をしているのか
どう感じているのか
何と
識別対象は1人~10人前後。高い識別精度が期待できる
秒単位の精度で十分と想定される
事前に間取りなどを設定することができる
家の中のモノだけを事前学習させることができる
対象人数が少ないので、長期間の学習で認識精度向上が期待で
きる
どのように学習させるかは課題
今後
• 複数の人認識技術の組み合わせ(空間OSによる総連携)
• 誰が、何時、何処で、何と、何をしていて、どう感じているのか、
• プライバシー、セキュリティへの配慮
• Wel-Beingを実現する『空気を読み家』を実現するどんなアクションが最適か
ハルミン
AITC非公式イメージキャラクター
最新情報はこちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
8
Copyright © 2022 Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved.
ウェルビーイングと空気を読む家 飯沢さん
・家型ロボット、ITシステム
・継続的幸福
・ポジティブコンピューティング
PERMA:ポジティブ感情、エンゲージメント、関係性、意味・意義、達成
自己決定論:自立性、
よけいなお世話、ありがた迷惑

ITフォーラム2022 先端IT活用推進コミュニティ(4-1)

  • 1.
    Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 【ITフォーラム2022 AITCセッシ 先端ITで『空気を読んだ』度を測定してみ 2022年2月4日 先端IT活用推進コミュニティ 松山 憲和/荒本 道隆
  • 2.
    2 Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 『空気を読む家』でこれまでの取り組んだ技術 2014年 2015年 2016年 2017年 2018年 2019年 2020年 2021年 技術トレンド(Google Trend in 日本) 協働プロジェクト『空気を読む家』 活動開始 1st 玄関 2nd 寝室 3rd 寝室 4th リビング 5th キッチン 6th 安心・安全 7th 安心・安全 クラウド・テクノロジー活用部会 ー 人認証 カメラ OpenCV Caffe 睡眠度認識 カメラ OpenCV Caffe データ可視化 オブジェクト認識 メーターOCR Raspberry Pi 2 B+ motion OpenCV asound BLEタグ Raspberry Pi3 電波強度 NVIDIA Jetson Xavier NVIDIA Jetson Nano Raspberry Pi 4 Lepton 3.5(サーモグ ラフィ) OpenPos(姿勢検出) YOLO(物体検出) BLE電波強度 ビジネスAR研究部会 ー 空間OS ロボット(Root) 空間OS 空間OS 空間OS 空間OS 空間OS LookingGlass LeapMotion Unity 空間OS ナチュラルユーザーインタフェース活用部会 ー Philips Hue(スマート照 明) パラメトリックスピー カー Philips Hue Arduino UNO 温度センサー 湿度センサー 気圧センサー 照度センサー 音量センサー オムロン HSL-101(電波 式睡眠計) Jawbone UP3(活動量 計) オムロン HSL-101 (電波式睡眠計) ー 圧力センサー Google AGoogle AIY Voice Kit (スマートスピー カー) TP-Link Kasa KL130 (スマート照明) ー コンテキストコンピューティング研究部会 ー ー 集合知と機械学習 トゥールミン・モデル トゥールミン・モデル トゥールミン・モデル トゥールミン・モデル 知識基盤(ダイアグラム) ドメイン タスク コンテキスト ユーザエクスペリエンス技術部会 マンガ駆動開発 再掲
  • 3.
    Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 【ITフォーラム2022 AITCセッシ 人認識技術 2022年2月4日 先端IT活用推進コミュニティ 松山 憲和
  • 4.
    4 Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 人認識技術の範囲 住人 ペット 部屋 モノ 状態(気温、湿度) … 誰が 何処で 何時 何をしているのか どう感じているのか 人認識 何と ①何を センシングするか ③”居心地”を どう定義するか ②どのように フィードバックするか
  • 5.
    5 Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 『空気を読む家』の人認識技術 センシング対象 認識技術 カテゴリ 顔識別 OpenCV OpenFace face-net face_recognition RFaceIID 話者識別 Speaker Diarization Google Vision API Azure Cognitive Services Amazon Transcribe mimi SRS 体格識別 OpenVINO OpenPOSE VisionPose AsillaPose Bodygram 何時 NTP PTP GNSS 標準電波 BLE Quuppa 何と OpenCV Regional CNN YOLO SSMD(Single Shot MultiBox Detector Google Cloud Vision API 何をし ているか 行動認識 姿勢推定 OpenVINO OpenPOSE VisionPose AsillaPose 表情 EmoPy Affdex FaceReader Azure Cognitive Services Google Cloud Vision API 音声 OpenSMILE Empath mimi EMO/AIR MIMOSYS Sensibility Technology 態度 (EyeTracking) (身ぶり) (手ぶり) (姿勢) 心拍数 スマート ウォ ッ チ 安価(100円~500円)なBLE Tag AirTag (Apple):3800円 RFID、音響、可視光、UWB、距離(ToFカメラ)、Kinect 誰が   ・ 家族の誰か   ・ 家族以外 人識別 bioAPI 何処で   ・ どの部屋   ・ 部屋の何処 屋内位置測位 どう 感じ ているか 感情認識 Affective Computing 実装技術                                                                (赤字; 有償、 青セルは、 使用済) 時刻取得 物体認識
  • 6.
    6 Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. 『空気を読む家』における人認識 誰が 何処で 何時 何をしているのか どう感じているのか 何と 識別対象は1人~10人前後。高い識別精度が期待できる 秒単位の精度で十分と想定される 事前に間取りなどを設定することができる 家の中のモノだけを事前学習させることができる 対象人数が少ないので、長期間の学習で認識精度向上が期待で きる どのように学習させるかは課題 今後 • 複数の人認識技術の組み合わせ(空間OSによる総連携) • 誰が、何時、何処で、何と、何をしていて、どう感じているのか、 • プライバシー、セキュリティへの配慮 • Wel-Beingを実現する『空気を読み家』を実現するどんなアクションが最適か
  • 7.
  • 8.
    8 Copyright © 2022Advanced IT Community to Evaluate, Apply and Drive All Rights Reserved. ウェルビーイングと空気を読む家 飯沢さん ・家型ロボット、ITシステム ・継続的幸福 ・ポジティブコンピューティング PERMA:ポジティブ感情、エンゲージメント、関係性、意味・意義、達成 自己決定論:自立性、 よけいなお世話、ありがた迷惑