Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ソフトウエアジャパン2017 IT Forum AITC(3)

147 views

Published on

『空気を読む家』におけるIoT技術

Published in: Technology
  • Be the first to comment

  • Be the first to like this

ソフトウエアジャパン2017 IT Forum AITC(3)

  1. 1. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 『空気を読む家』におけるIoT技術 2017年2月3日 先端IT活用推進コンソーシアム ナチュラルユーザーインターフェース活用部会 リーダー 岡村 和英(株式会社テクリエ)
  2. 2. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. Today’s Topics
  3. 3. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  4. 4. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  5. 5. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動テーマ 人の自然な振る舞いや仕草を ユーザーインターフェースとする ナチュラルユーザーインタフェース (NUI)を追求 様々なデバイスを実際に使用したり プロトタイプの開発を通して 現時点での限界や可能性を探求 5
  6. 6. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ゴール 協働プロジェクト「空気を読む家」 のなかで 日常的な人間の振る舞いが 自然なインターフェースとして システムと繋がるような フレームワークを検討・開発する 6
  7. 7. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. これまでの活動内容 NUI技術及び事例の調査 NUIデバイスを用いたアプリ試作 7
  8. 8. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デジタルガジェット祭り 8 各種デバイス、およびそれを利用したアプ リケーション等を紹介・展示。最新デバイ スを身近に触れる機会を提供。
  9. 9. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デジタルガジェット祭り 9 昨年6月に行った第3回では、コンソーシア ムメンバーが作成した自作のIoTガジェット を紹介
  10. 10. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. NUIを活用した乗車券販売機 10 TheEyeTribeTracker 視線を検出する アイトラッキングセンサー LeapMotion 指と手の動きを検出する モーションセンサー
  11. 11. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11
  12. 12. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSによる照明制御 12 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 在宅状況に応じたON/OFF制御 • 不在時は自動消灯 • 帰宅時に自動点灯 誰もいないよ! 消灯!
  13. 13. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 13 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 来客の通知 ・知人、宅配便など → 人がいる部屋の電灯を点滅 ・セールスマン → 何もしない(無視) 来客だよ! アラート! 空間OSによる照明制御
  14. 14. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 14 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 環境に応じた調色制御 ・室温が高い → 寒色系の色合い ・室温が低い → 暖色系の色合い 寒いよ! 温かい気分に! 空間OSによる照明制御
  15. 15. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 15 在室状況 起床時刻 睡眠度 起床制御 07:30 2 of 9 在室 起床時間にはちょっと 早いけど、睡眠が浅いから 環境音楽と優しい照明で ゆっくりと起こし始めよう 空気を読む家における起床 空間OS 状態取得 睡眠レベルや起床すべき時刻に基 づいて、起きやすい状態の時に目 覚めを誘う 超指向性スピーカーで狙った ところに音を届ける
  16. 16. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 16 在室状況 起床時刻 睡眠度 起床制御 07:30 4 of 9 在室 起床時刻なのにまだ寝てるぞ! うるさい音と激しい点灯で はげしく起こさないと! 空間OS 空気を読む家における起床 状態取得 状態に合わせて起こし方を変える
  17. 17. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 17 在室状況 起床時刻 睡眠度 状態取得 起床制御 07:30 在室 無事に起きれたみたいだ。 音を止めて 普通の灯りをつけよう! 0 of 9 空間OS 空気を読む家における起床
  18. 18. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. UX技術部会との連携 18
  19. 19. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 19 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  20. 20. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ取得の目的 • 空気の読む家における睡眠の位置づけと はどういうものか? • 快眠を得られる環境は人によって違うの ではないか? • 環境と睡眠具合の関係を調べ、再現する ことによって快適な睡眠を得られるよう にすることが出来るのではないか? 20
  21. 21. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 取得するデータ • 睡眠具合を示す指標 – 睡眠時間 – 睡眠度(深い眠り、浅い眠り、レム睡眠) – 途中の目覚め(回数、時間) • 睡眠に影響を与えるもの – 温度、湿度、風速 → 体感温度 – 明るさ、騒音 – 気圧 – 就寝時刻、起床時刻 などなど 21
  22. 22. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 睡眠データの計測 • 睡眠具合をデータ化するための手段として睡眠 度を測定可能なセンサー商品を用いた – リストバンド型活動量計 Jawbone UP3 – 電波式睡眠計 オムロン HSL-101 – マット式睡眠計 タニタ スリープスキャン SL-504 • いずれの商品も専用アプリケーションを用いて サーバーにデータをアップロードすることで、 睡眠時間・睡眠度などの表示が行えるように なっている 22
  23. 23. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 睡眠データの表示例 23 UP3 HSL-101 SL-504
  24. 24. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 睡眠データの取得 24 • Jawbone社の提供するAPI を用いて、同社サーバー 上に蓄積された睡眠デー タの取得を行えるように した [ { "time_completed": 1484695142, "xid": "Be-Z567GsRIEWTDnfnQ-_NaBVxVzKH7y", "title": "for 5h 42m", "time_created": 1484671133, "time_updated": 1484920278, "details": { "body": "", "tz": "Asia/Tokyo", "awakenings": 2, "light": 14001, "mind": 0, "asleep_time": 1484671975, "deep": 0, "awake": 3415, "rem": 5368, "duration": 24009, "smart_alarm_fire": "", "quality": "", "awake_time": 1484694818 }, "date": 20170118, "shared": true, "sub_type": 0, "phases": [ { "depth": 1, "time": 1484671133 }, { "depth": 2, "time": 1484671975 }, ......
  25. 25. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 • 各環境データ用の測定センサーを含む電子回路 を試作し、マイコン基盤を用いてデータの数値 化と収集を行った 25
  26. 26. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 26 温湿度センサーモジュール (DHT11) 気温と湿度を測定(精度は あまり高くない) 大気圧センサーモジュール (LPS331AP) 大気圧、海抜高度、気温を 高精度で測定 照度センサー(CdSセル) 明るさにより電圧が変化 音量センサーモジュール (浅草ギ研 AS-SS) 一定時間内でのピーク音 量を演算して検出
  27. 27. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 27 測定用プローブ: 温めたダイオードに風が 当たることで生じる温度 低下による電圧変化を検 出する 熱式風量センサー(自作)
  28. 28. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 28 ZigBee通信モジュール: センサーから取得した値を無線送出 する 制御用マイコン(Arduino UNO)
  29. 29. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ログファイル 環境データの収集 29 約0.5秒毎に各データ を測定し、PCに接続 された親機に送信 受信したデータを10秒単位 に集計。平均値(音量のみ 最大値)をplotlyに送信し、 リアルアイムでグラフ描画 受信したデータを逐次、 日毎のログファイルに保存 クラウド部会の データ解析担当者に提出
  30. 30. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの出力例 30 湿度(%) 気温(℃) 気圧(hPa) 音量(V) 照度(V) 風量(V) センサー側で 単位変換された 値を記録 センサーの 出力電圧を そのまま記録
  31. 31. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 試作所感 • 制御および通信周りのプログラムについては過去 に作成したものがほぼ流用できた • 風速センサーについては、思ったよりも感度が敏 感で回路の調整に手間取った → プローブ以外の部分に風があたらないようケー スに入れるなどの工夫も必要 • 音量センサーはかなり大きな音でないと反応せず、 睡眠時の騒音を測定するには不向きであった → 配布版に先立ち自作を行おうと思ったが時間不 足で断念 • ZigBeeのパケット抜けにより不正なデータが混入 するケースが多々生じた → バイナリ化して1パケットに収める、または チェックサムを設けてエラー検出することが必要 31
  32. 32. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 配布版の製作 • より多くのデータを収集するため、配布用に10 セットの測定モジュールを用意することにした • 試作版からいくつかの変更を行った – CdS を フォトトランジスタ に変更 – 気圧センサーが廃版となったため、後継製品に変更 – アナログ温湿度センサー も より精度の高いデジタル センサーに変更 – 風速センサーは製作難度が高く、また設置後の調整 作業も必要となるため除外 – 音量センサーの改良も時間不足で断念、配布版から は除外 • ZigBeeを用いた無線接続は使わず、USB直結で行っ てもらうことにした – 後述のとおりZigBeeでの運用には限界があり、また費 用をかけるのであれば今後WiFiへの改良に使った方が よいのでは?という思いもあった 32
  33. 33. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 配布版センサーセット 33 温湿度センサーモジュール (HDC1000) 気温と湿度を高精度に測定 大気圧センサーモジュール (LPS25H) 大気圧、海抜高度、気温を 高精度で測定 照度センサー (フォトトランジスター) 明るさにより電圧が変化
  34. 34. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 製作所感 • 10セットの測定モジュール組み立ては配布前日か らの徹夜作業になってしまいかなり大変だった – 特に配線用のジャンパケーブルを作成するのに時間 がかかった → 今後同様のことを行うのであれば、各自に組み立て て貰いたいが、回路図・配線図などを作成し提供す る作業も大変なので悩ましい 34 • Arudinoとの配線の説明は文 章だとわかりにくそうだった ので写真を加工して図解して みた – 空港への移動中に画像加工 • 制御用マイコン含めてワン ボード化できるとよりよかっ た – その方が設置も容易
  35. 35. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ収集所感 • 収集用PCにWindows10の自動アップデートで勝手にリ ブートしてしまい、収集が途切れてしまうことが頻発 した → ローカルグループポリシーを変更して、自動アップ デートを行わないように設定した → PCを介さず、Wi-Fiなどで直接外部サーバーにデータ蓄 積を行うように変更したい → WiFi前提であれば Arduinoではなく、ESP-WROOM-02を 使ってワンボード化したい • 睡眠データ、環境データのそれぞれをファイルとして 提供してもらうのは手間だし、プライバシー保持の面 からも望ましくない → 空間OSのリポジトリに自動的に登録できる仕組みを考 える → JawboneのAPIでPubSub機能が提供されているので、そ れを使う? →センサーからのデータもWi-Fiなどでアップロードする 35
  36. 36. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソースコード https://github.com/kzokm/aitc-nui-20170203 36
  37. 37. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 37 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  38. 38. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. IoTの技術要素 • センシング(計測、把握) • ネットワーキング(接続、収集) • アナリシス(分析、評価) • フィードバック(指示、制御) • セキュリティ(情報保護) 38
  39. 39. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回できたこと • センシング(計測、把握) • ネットワーキング(接続、収集) → NUI活用部会にて実施 • アナリシス(分析、評価) → クラウド活用部会にて実施 • フィードバック(指示、制御) • セキュリティ(情報保護) → 今後の検討課題 39
  40. 40. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家とIoT • IoTデバイスに求められる性質とは? – ロバストネス – コネクティビティ – ポータビリティ – セキュリティ • 空間OSとの連携 – エンドポイントの発見・利用 – データ活用の範囲、匿名化 40
  41. 41. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家とNUI • 空気を読む家=ユーザーインターフェー スを必要としない家? – 空気を読む=オートメーションとは限らない – 自動化がすすんでも明示的な操作が必要とさ れる場面は存在する – その時々に応じて必要・適正な操作を促し、 導くことも空気を読んでいるといえるのでは ないか? • 「NUIとは何か?」をもう一度考えてみよ う 41
  42. 42. 最新情報は こちらをご参照ください Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp ハルミン AITC非公式イメージキャラクター

×