Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

195 views

Published on

ソフトウェアジャパン2019 ITフォーラムセッション

Published in: Technology
  • Login to see the comments

  • Be the first to like this

協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

  1. 1. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 協働プロジェクト『空気を読む家』
 キッチンにおけるデータ収集(2) 2019年2月5日 先端IT活用推進コンソーシアム ナチュラルユーザーインターフェース活用部会 リーダー 岡村 和英(株式会社テクリエ)
  2. 2. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. Today’s Topics
  3. 3. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  4. 4. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  5. 5. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動テーマ ⼈の⾃然な振る舞いや仕草を ユーザーインターフェースとする ナチュラルユーザーインタフェース (NUI)を追求 様々なデバイスを実際に使⽤したり プロトタイプの開発を通して 現時点での限界や可能性を探求 5
  6. 6. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ゴール 協働プロジェクト「空気を読む家」 のなかで ⽇常的な⼈間の振る舞いが ⾃然なインターフェースとして システムと繋がるような フレームワークを検討・開発する 6
  7. 7. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 7
  8. 8. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 8 実際のデバイスに 触れてみたい
  9. 9. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 9 もっと⾊々な⼈に 知ってもらいたい
  10. 10. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デジタルガジェット祭り 10 各種デバイス、およびそれを利⽤したアプ リケーション等を紹介・展⽰。最新デバイ スを⾝近に触れる機会を提供。
  11. 11. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11
  12. 12. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 12
  13. 13. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
  14. 14. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
  15. 15. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
  16. 16. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 16
  17. 17. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. NUIを活⽤した乗⾞券販売機 17 TheEyeTribeTracker 視線を検出する アイトラッキングセンサー LeapMotion 指と⼿の動きを検出する モーションセンサー
  18. 18. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 18
  19. 19. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 19
  20. 20. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 20 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 来客の通知  ・知⼈、宅配便など    → ⼈がいる部屋の電灯を点滅  ・セールスマン    → 何もしない(無視) 来客だよ! アラート! 空間OSによる照明制御
  21. 21. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 21 在室状況 起床時刻 睡眠度 起床制御 07:30 2 of 9 在室 起床時間にはちょっと 早いけど、睡眠が浅いから 環境⾳楽と優しい照明で ゆっくりと起こし始めよう 空気を読む家における起床 空間OS 状態取得 睡眠レベルや起床すべき時刻に基 づいて、起きやすい状態の時に⽬ 覚めを誘う 超指向性スピーカーで狙った ところに⾳を届ける
  22. 22. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ログファイル  睡眠環境データの収集 22 約0.5秒毎に温度や光 量などのデータを測 定し、送信 受信したデータを10秒単位 に集計。平均値(⾳量のみ 最⼤値)をplotlyに送信し、 リアルアイムでグラフ描画 受信したデータを逐次、 ⽇毎のログファイルに保存 クラウド部会の データ解析担当者に提出
  23. 23. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 23 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  24. 24. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 冷蔵庫の奥で 忘れ去られているモノ ありませんか?
  25. 25. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 検討過程は 荒本さんの資料に 詳しいので省略
  26. 26. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 重さ(=圧⼒)で モノの有無を判定する
  27. 27. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. システム構成 27 •  冷蔵庫の棚を想定した 板の4隅の裏側に感圧 センサーを取り付ける •  冷蔵庫内のESP32 (M5 Stack) からBLEで測定 データを送信する •  冷蔵庫外のRaspberry Pi でデータを受信し、 WebSocketサーバーへ 転送する •  WebSocketクライアン トへデータを通知する
  28. 28. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 冷蔵庫に 電気機器を⼊れて ⼤丈夫?
  29. 29. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回はあくまで コンセプト検証が⽬的
  30. 30. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 冷蔵庫の機能として 実現される想定なので センサー部以外は 庫内には⼊らないはず
  31. 31. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装⽅法 31 •  ESP32側はArduino開発環境で実装 –  MicroPythonがBLEに対応していなかった!! –  ADコンバーター経由でセンサーの出⼒電圧を取得 –  BLEのAdvertiseパケットで測定データをブロードキャ スト送信 •  RaspberryPi側はpythonで実装 –  Pybluezパッケージを⽤いてAdvertiseパケットを受信 –  フォーマットが⼀致するデータのみを抽出 –  JSON形式に変換、時刻情報や発信元BDアドレスなど を付与してローカルホスト上のWebSocketサーバーへ 送信 –  WebSocketサーバーは受け取ったデータを全クライア ントに通知するだけ
  32. 32. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装⽅法(続き) 32 •  WebSocketクライアントとはJavaScriptで実装 –  今⽇は mac & chrome で実⾏ –  受信した測定データを蓄積&解析 •  モノが置かれた、取り除かれたの判定 •  置かれた/取り除かれた場所を推測 •  置かれた/取り除かれたモノを推測 –  Highchartsでグラフ表⽰ –  Three.jsで圧⼒分布をビジュアライズ
  33. 33. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デモ
  34. 34. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 34 BLEで送信されたデータをJSON化 データ値を電圧に変換 電圧からセンサーの コンダクタンス値を算出 ざっくり300のべき乗で ⾮線形化
  35. 35. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 35 質量に変換 質量の変化を検出 圧⼒を視覚化 ⻘<<<⻩ 置かれたモノ、 置かれた場所を推測
  36. 36. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 36 この辺にビール⽸が置かれたみたいだよ? 2つのセンサーが ⼤きく変化
  37. 37. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 37 この辺に2本めのビール⽸が置かれたよ? 1つのセンサーが ⼤きく変化
  38. 38. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 38 この辺にあったビール⽸が取り除かれたよ? 2つのセンサーが ⼤きく変化
  39. 39. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 感想 39 •  圧⼒のかかり具合が均等化できない! –  ちょっとした歪みが⾼さの違い=ガタツキとなって しまう –  センサー⾯との間にボルト+ナットを挟むことで微 調整したものの、、、 –  結果として、重さの偏り(=位置情報)の精度が低 くなってしまった •  抵抗値から圧⼒値への変換がうまくできなった! –  重さが増える(圧⼒が⾼くなる)ほど、抵抗値の変 化が少なくなる –  センサーのデータシートにグラフデータとして掲載 されてはいるけど、数式や換算表に落とし込めな かった –  いちおうそれっぽい感じの式を作ってみたけど期待 する値には程遠かった –  結果として、モノの判定の精度が低くなってしまっ た
  40. 40. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. でも ⼀番の問題は、、、
  41. 41. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 感圧センサーが 届いたのが 先週の⾦曜⽇ (=4⽇前)
  42. 42. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. とにかく 時間がなかった!
  43. 43. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 43 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  44. 44. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回システムの改良 44 •  データ測定点の追加 – センサーをつけた⼩さいパネルを敷き詰めて みたい – 位置情報の精度は⾼まりそうだが、設置⾯の ばらつきがより⼤きくなるのでは? •  機械学習的な⼿法によるデータ補正 – 設置精度を⾼めるよりも、誤差があることを 前提として補正を⾏ってはどうか? – ある決まったものを繰り返し置くことでキャ リブレーションすればいいのでは? – センサーデータ→圧⼒値→重さの変換も機械 学習で賄う!
  45. 45. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家とNUI •  空気を読む家=ユーザーインターフェー スを必要としない家? – 空気を読む=オートメーションとは限らない – ⾃動化がすすんでも明⽰的な操作が必要とさ れる場⾯は存在する – その時々に応じて必要・適正な操作を促し、 導くことも空気を読んでいるといえるのでは ないか? 45
  46. 46. 最新情報は こちらをご参照ください Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp ハルミン AITC⾮公式イメージキャラクター

×