協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
協働プロジェクト『空気を読む家』 
キッチンにおけるデータ収集（２）
2019年2月5日
先端IT活用推進コンソーシアム
ナチュラルユーザーインターフェース活用部会リーダー
岡村和英(株式会社テクリエ)

Today’s Topics

3
NUI活⽤部会のとりくみ
キッチンにおけるデータ収集
今後の取り組み

4

活動テーマ
⼈の⾃然な振る舞いや仕草を
ユーザーインターフェースとする
ナチュラルユーザーインタフェース
（NUI）を追求
様々なデバイスを実際に使⽤したり
プロトタイプの開発を通して
現時点での限界や可能性を探求
5

ゴール
協働プロジェクト「空気を読む家」
のなかで
⽇常的な⼈間の振る舞いが
⾃然なインターフェースとして
システムと繋がるような
フレームワークを検討・開発する
6

活動内容
NUI技術及び事例の調査
勉強会・ハンズオンの開催
NUIデバイスを⽤いたアプリ試作
NUIフレームワークの検討・開発
7

活動内容
8
実際のデバイスに
触れてみたい

活動内容
9
もっと⾊々な⼈に
知ってもらいたい

デジタルガジェット祭り
10
各種デバイス、およびそれを利⽤したアプ
リケーション等を紹介・展⽰。最新デバイ
スを⾝近に触れる機会を提供。

11

12

活動内容
16

NUIを活⽤した乗⾞券販売機
17
TheEyeTribeTracker
視線を検出する
アイトラッキングセンサー
LeapMotion
指と⼿の動きを検出する
モーションセンサー

18

活動内容
19

20
空間OS
訪問者情報
在宅状況
室温
状態
取得
Hueブリッジ照明
制御
来客の通知
・知⼈、宅配便など
→ ⼈がいる部屋の電灯を点滅
・セールスマン
→ 何もしない（無視）
来客だよ！
アラート！
空間OSによる照明制御

21
在室状況
起床時刻
睡眠度
起床制御
07:30
2 of 9
在室
起床時間にはちょっと
早いけど、睡眠が浅いから
環境⾳楽と優しい照明で
ゆっくりと起こし始めよう
空気を読む家における起床
空間OS
状態取得
睡眠レベルや起床すべき時刻に基
づいて、起きやすい状態の時に⽬
覚めを誘う
超指向性スピーカーで狙った
ところに⾳を届ける

ログファイル
睡眠環境データの収集
22
約0.5秒毎に温度や光
量などのデータを測
定し、送信
受信したデータを10秒単位
に集計。平均値（⾳量のみ
最⼤値）をplotlyに送信し、
リアルアイムでグラフ描画
受信したデータを逐次、
⽇毎のログファイルに保存
クラウド部会の
データ解析担当者に提出

23

冷蔵庫の奥で
忘れ去られているモノ
ありませんか？

検討過程は
荒本さんの資料に
詳しいので省略

重さ（＝圧⼒）で
モノの有無を判定する

システム構成
27
•  冷蔵庫の棚を想定した
板の４隅の裏側に感圧
センサーを取り付ける
•  冷蔵庫内のESP32 (M5
Stack) からBLEで測定
データを送信する
•  冷蔵庫外のRaspberry Pi
でデータを受信し、
WebSocketサーバーへ
転送する
•  WebSocketクライアン
トへデータを通知する

冷蔵庫に
電気機器を⼊れて
⼤丈夫？

今回はあくまで
コンセプト検証が⽬的

冷蔵庫の機能として
実現される想定なので
センサー部以外は
庫内には⼊らないはず

実装⽅法
31
•  ESP32側はArduino開発環境で実装
–  MicroPythonがBLEに対応していなかった！！
–  ADコンバーター経由でセンサーの出⼒電圧を取得
–  BLEのAdvertiseパケットで測定データをブロードキャ
スト送信
•  RaspberryPi側はpythonで実装
–  Pybluezパッケージを⽤いてAdvertiseパケットを受信
–  フォーマットが⼀致するデータのみを抽出
–  JSON形式に変換、時刻情報や発信元BDアドレスなど
を付与してローカルホスト上のWebSocketサーバーへ
送信
–  WebSocketサーバーは受け取ったデータを全クライア
ントに通知するだけ

実装⽅法（続き）
32
•  WebSocketクライアントとはJavaScriptで実装
–  今⽇は mac & chrome で実⾏
–  受信した測定データを蓄積＆解析
•  モノが置かれた、取り除かれたの判定
•  置かれた／取り除かれた場所を推測
•  置かれた／取り除かれたモノを推測
–  Highchartsでグラフ表⽰
–  Three.jsで圧⼒分布をビジュアライズ

デモ

34
BLEで送信されたデータをJSON化
データ値を電圧に変換
電圧からセンサーの
コンダクタンス値を算出
ざっくり300のべき乗で
⾮線形化

35
質量に変換
質量の変化を検出
圧⼒を視覚化
⻘＜＜＜⻩
置かれたモノ、
置かれた場所を推測

36
この辺にビール⽸が置かれたみたいだよ？
２つのセンサーが
⼤きく変化

37
この辺に２本めのビール⽸が置かれたよ？
１つのセンサーが
⼤きく変化

38
この辺にあったビール⽸が取り除かれたよ？
２つのセンサーが
⼤きく変化

感想
39
•  圧⼒のかかり具合が均等化できない！
–  ちょっとした歪みが⾼さの違い＝ガタツキとなって
しまう
–  センサー⾯との間にボルト＋ナットを挟むことで微
調整したものの、、、
–  結果として、重さの偏り（＝位置情報）の精度が低
くなってしまった
•  抵抗値から圧⼒値への変換がうまくできなった！
–  重さが増える（圧⼒が⾼くなる）ほど、抵抗値の変
化が少なくなる
–  センサーのデータシートにグラフデータとして掲載
されてはいるけど、数式や換算表に落とし込めな
かった
–  いちおうそれっぽい感じの式を作ってみたけど期待
する値には程遠かった
–  結果として、モノの判定の精度が低くなってしまっ
た

でも
⼀番の問題は、、、

感圧センサーが
届いたのが
先週の⾦曜⽇
（＝４⽇前）

とにかく
時間がなかった！

43

今回システムの改良
44
•  データ測定点の追加
– センサーをつけた⼩さいパネルを敷き詰めて
みたい
– 位置情報の精度は⾼まりそうだが、設置⾯の
ばらつきがより⼤きくなるのでは？
•  機械学習的な⼿法によるデータ補正
– 設置精度を⾼めるよりも、誤差があることを
前提として補正を⾏ってはどうか？
– ある決まったものを繰り返し置くことでキャ
リブレーションすればいいのでは？
– センサーデータ→圧⼒値→重さの変換も機械
学習で賄う！

空気を読む家とNUI
•  空気を読む家＝ユーザーインターフェー
スを必要としない家？
– 空気を読む＝オートメーションとは限らない
– ⾃動化がすすんでも明⽰的な操作が必要とさ
れる場⾯は存在する
– その時々に応じて必要・適正な操作を促し、
導くことも空気を読んでいるといえるのでは
ないか？
45

最新情報は
こちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
ハルミン
AITC⾮公式イメージキャラクター

協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

Recommended

Recommended

More Related Content

What's hot

What's hot (6)

Similar to 協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

Similar to 協働プロジェクト「空気を読む家」キッチンにおけるデータ収集 (20)

More from Kazuhide Okamura

More from Kazuhide Okamura (6)

Recently uploaded

Recently uploaded (9)

協働プロジェクト「空気を読む家」キッチンにおけるデータ収集