Successfully reported this slideshow.
Your SlideShare is downloading. ×

ソフトウエアジャパン2017 IT Forum AITC(3)

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Loading in …3
×

Check these out next

1 of 42 Ad
Advertisement

More Related Content

Slideshows for you (20)

Viewers also liked (19)

Advertisement

Similar to ソフトウエアジャパン2017 IT Forum AITC(3) (20)

More from aitc_jp (20)

Advertisement

Recently uploaded (20)

ソフトウエアジャパン2017 IT Forum AITC(3)

  1. 1. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 『空気を読む家』におけるIoT技術 2017年2月3日 先端IT活用推進コンソーシアム ナチュラルユーザーインターフェース活用部会 リーダー 岡村 和英(株式会社テクリエ)
  2. 2. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. Today’s Topics
  3. 3. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  4. 4. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  5. 5. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動テーマ 人の自然な振る舞いや仕草を ユーザーインターフェースとする ナチュラルユーザーインタフェース (NUI)を追求 様々なデバイスを実際に使用したり プロトタイプの開発を通して 現時点での限界や可能性を探求 5
  6. 6. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ゴール 協働プロジェクト「空気を読む家」 のなかで 日常的な人間の振る舞いが 自然なインターフェースとして システムと繋がるような フレームワークを検討・開発する 6
  7. 7. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. これまでの活動内容 NUI技術及び事例の調査 NUIデバイスを用いたアプリ試作 7
  8. 8. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デジタルガジェット祭り 8 各種デバイス、およびそれを利用したアプ リケーション等を紹介・展示。最新デバイ スを身近に触れる機会を提供。
  9. 9. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デジタルガジェット祭り 9 昨年6月に行った第3回では、コンソーシア ムメンバーが作成した自作のIoTガジェット を紹介
  10. 10. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. NUIを活用した乗車券販売機 10 TheEyeTribeTracker 視線を検出する アイトラッキングセンサー LeapMotion 指と手の動きを検出する モーションセンサー
  11. 11. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11
  12. 12. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSによる照明制御 12 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 在宅状況に応じたON/OFF制御 • 不在時は自動消灯 • 帰宅時に自動点灯 誰もいないよ! 消灯!
  13. 13. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 13 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 来客の通知 ・知人、宅配便など → 人がいる部屋の電灯を点滅 ・セールスマン → 何もしない(無視) 来客だよ! アラート! 空間OSによる照明制御
  14. 14. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 14 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 環境に応じた調色制御 ・室温が高い → 寒色系の色合い ・室温が低い → 暖色系の色合い 寒いよ! 温かい気分に! 空間OSによる照明制御
  15. 15. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 15 在室状況 起床時刻 睡眠度 起床制御 07:30 2 of 9 在室 起床時間にはちょっと 早いけど、睡眠が浅いから 環境音楽と優しい照明で ゆっくりと起こし始めよう 空気を読む家における起床 空間OS 状態取得 睡眠レベルや起床すべき時刻に基 づいて、起きやすい状態の時に目 覚めを誘う 超指向性スピーカーで狙った ところに音を届ける
  16. 16. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 16 在室状況 起床時刻 睡眠度 起床制御 07:30 4 of 9 在室 起床時刻なのにまだ寝てるぞ! うるさい音と激しい点灯で はげしく起こさないと! 空間OS 空気を読む家における起床 状態取得 状態に合わせて起こし方を変える
  17. 17. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 17 在室状況 起床時刻 睡眠度 状態取得 起床制御 07:30 在室 無事に起きれたみたいだ。 音を止めて 普通の灯りをつけよう! 0 of 9 空間OS 空気を読む家における起床
  18. 18. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. UX技術部会との連携 18
  19. 19. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 19 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  20. 20. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ取得の目的 • 空気の読む家における睡眠の位置づけと はどういうものか? • 快眠を得られる環境は人によって違うの ではないか? • 環境と睡眠具合の関係を調べ、再現する ことによって快適な睡眠を得られるよう にすることが出来るのではないか? 20
  21. 21. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 取得するデータ • 睡眠具合を示す指標 – 睡眠時間 – 睡眠度(深い眠り、浅い眠り、レム睡眠) – 途中の目覚め(回数、時間) • 睡眠に影響を与えるもの – 温度、湿度、風速 → 体感温度 – 明るさ、騒音 – 気圧 – 就寝時刻、起床時刻 などなど 21
  22. 22. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 睡眠データの計測 • 睡眠具合をデータ化するための手段として睡眠 度を測定可能なセンサー商品を用いた – リストバンド型活動量計 Jawbone UP3 – 電波式睡眠計 オムロン HSL-101 – マット式睡眠計 タニタ スリープスキャン SL-504 • いずれの商品も専用アプリケーションを用いて サーバーにデータをアップロードすることで、 睡眠時間・睡眠度などの表示が行えるように なっている 22
  23. 23. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 睡眠データの表示例 23 UP3 HSL-101 SL-504
  24. 24. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 睡眠データの取得 24 • Jawbone社の提供するAPI を用いて、同社サーバー 上に蓄積された睡眠デー タの取得を行えるように した [ { "time_completed": 1484695142, "xid": "Be-Z567GsRIEWTDnfnQ-_NaBVxVzKH7y", "title": "for 5h 42m", "time_created": 1484671133, "time_updated": 1484920278, "details": { "body": "", "tz": "Asia/Tokyo", "awakenings": 2, "light": 14001, "mind": 0, "asleep_time": 1484671975, "deep": 0, "awake": 3415, "rem": 5368, "duration": 24009, "smart_alarm_fire": "", "quality": "", "awake_time": 1484694818 }, "date": 20170118, "shared": true, "sub_type": 0, "phases": [ { "depth": 1, "time": 1484671133 }, { "depth": 2, "time": 1484671975 }, ......
  25. 25. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 • 各環境データ用の測定センサーを含む電子回路 を試作し、マイコン基盤を用いてデータの数値 化と収集を行った 25
  26. 26. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 26 温湿度センサーモジュール (DHT11) 気温と湿度を測定(精度は あまり高くない) 大気圧センサーモジュール (LPS331AP) 大気圧、海抜高度、気温を 高精度で測定 照度センサー(CdSセル) 明るさにより電圧が変化 音量センサーモジュール (浅草ギ研 AS-SS) 一定時間内でのピーク音 量を演算して検出
  27. 27. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 27 測定用プローブ: 温めたダイオードに風が 当たることで生じる温度 低下による電圧変化を検 出する 熱式風量センサー(自作)
  28. 28. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの計測 28 ZigBee通信モジュール: センサーから取得した値を無線送出 する 制御用マイコン(Arduino UNO)
  29. 29. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ログファイル 環境データの収集 29 約0.5秒毎に各データ を測定し、PCに接続 された親機に送信 受信したデータを10秒単位 に集計。平均値(音量のみ 最大値)をplotlyに送信し、 リアルアイムでグラフ描画 受信したデータを逐次、 日毎のログファイルに保存 クラウド部会の データ解析担当者に提出
  30. 30. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 環境データの出力例 30 湿度(%) 気温(℃) 気圧(hPa) 音量(V) 照度(V) 風量(V) センサー側で 単位変換された 値を記録 センサーの 出力電圧を そのまま記録
  31. 31. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 試作所感 • 制御および通信周りのプログラムについては過去 に作成したものがほぼ流用できた • 風速センサーについては、思ったよりも感度が敏 感で回路の調整に手間取った → プローブ以外の部分に風があたらないようケー スに入れるなどの工夫も必要 • 音量センサーはかなり大きな音でないと反応せず、 睡眠時の騒音を測定するには不向きであった → 配布版に先立ち自作を行おうと思ったが時間不 足で断念 • ZigBeeのパケット抜けにより不正なデータが混入 するケースが多々生じた → バイナリ化して1パケットに収める、または チェックサムを設けてエラー検出することが必要 31
  32. 32. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 配布版の製作 • より多くのデータを収集するため、配布用に10 セットの測定モジュールを用意することにした • 試作版からいくつかの変更を行った – CdS を フォトトランジスタ に変更 – 気圧センサーが廃版となったため、後継製品に変更 – アナログ温湿度センサー も より精度の高いデジタル センサーに変更 – 風速センサーは製作難度が高く、また設置後の調整 作業も必要となるため除外 – 音量センサーの改良も時間不足で断念、配布版から は除外 • ZigBeeを用いた無線接続は使わず、USB直結で行っ てもらうことにした – 後述のとおりZigBeeでの運用には限界があり、また費 用をかけるのであれば今後WiFiへの改良に使った方が よいのでは?という思いもあった 32
  33. 33. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 配布版センサーセット 33 温湿度センサーモジュール (HDC1000) 気温と湿度を高精度に測定 大気圧センサーモジュール (LPS25H) 大気圧、海抜高度、気温を 高精度で測定 照度センサー (フォトトランジスター) 明るさにより電圧が変化
  34. 34. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 製作所感 • 10セットの測定モジュール組み立ては配布前日か らの徹夜作業になってしまいかなり大変だった – 特に配線用のジャンパケーブルを作成するのに時間 がかかった → 今後同様のことを行うのであれば、各自に組み立て て貰いたいが、回路図・配線図などを作成し提供す る作業も大変なので悩ましい 34 • Arudinoとの配線の説明は文 章だとわかりにくそうだった ので写真を加工して図解して みた – 空港への移動中に画像加工 • 制御用マイコン含めてワン ボード化できるとよりよかっ た – その方が設置も容易
  35. 35. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ収集所感 • 収集用PCにWindows10の自動アップデートで勝手にリ ブートしてしまい、収集が途切れてしまうことが頻発 した → ローカルグループポリシーを変更して、自動アップ デートを行わないように設定した → PCを介さず、Wi-Fiなどで直接外部サーバーにデータ蓄 積を行うように変更したい → WiFi前提であれば Arduinoではなく、ESP-WROOM-02を 使ってワンボード化したい • 睡眠データ、環境データのそれぞれをファイルとして 提供してもらうのは手間だし、プライバシー保持の面 からも望ましくない → 空間OSのリポジトリに自動的に登録できる仕組みを考 える → JawboneのAPIでPubSub機能が提供されているので、そ れを使う? →センサーからのデータもWi-Fiなどでアップロードする 35
  36. 36. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソースコード https://github.com/kzokm/aitc-nui-20170203 36
  37. 37. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 37 NUI部会活動紹介 睡眠環境データの取得 今後の取り組み
  38. 38. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. IoTの技術要素 • センシング(計測、把握) • ネットワーキング(接続、収集) • アナリシス(分析、評価) • フィードバック(指示、制御) • セキュリティ(情報保護) 38
  39. 39. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回できたこと • センシング(計測、把握) • ネットワーキング(接続、収集) → NUI活用部会にて実施 • アナリシス(分析、評価) → クラウド活用部会にて実施 • フィードバック(指示、制御) • セキュリティ(情報保護) → 今後の検討課題 39
  40. 40. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家とIoT • IoTデバイスに求められる性質とは? – ロバストネス – コネクティビティ – ポータビリティ – セキュリティ • 空間OSとの連携 – エンドポイントの発見・利用 – データ活用の範囲、匿名化 40
  41. 41. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家とNUI • 空気を読む家=ユーザーインターフェー スを必要としない家? – 空気を読む=オートメーションとは限らない – 自動化がすすんでも明示的な操作が必要とさ れる場面は存在する – その時々に応じて必要・適正な操作を促し、 導くことも空気を読んでいるといえるのでは ないか? • 「NUIとは何か?」をもう一度考えてみよ う 41
  42. 42. 最新情報は こちらをご参照ください Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp ハルミン AITC非公式イメージキャラクター

Editor's Notes

  • ・NUIを活用するためのデザインアプローチ
    ・NUIを活用したアプリケーション
    ・NUIの活用によってもたらされるなにか

×