Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

of

空気を読む家のキッチン(3-1) Slide 1 空気を読む家のキッチン(3-1) Slide 2 空気を読む家のキッチン(3-1) Slide 3 空気を読む家のキッチン(3-1) Slide 4 空気を読む家のキッチン(3-1) Slide 5 空気を読む家のキッチン(3-1) Slide 6 空気を読む家のキッチン(3-1) Slide 7 空気を読む家のキッチン(3-1) Slide 8 空気を読む家のキッチン(3-1) Slide 9 空気を読む家のキッチン(3-1) Slide 10 空気を読む家のキッチン(3-1) Slide 11 空気を読む家のキッチン(3-1) Slide 12 空気を読む家のキッチン(3-1) Slide 13 空気を読む家のキッチン(3-1) Slide 14 空気を読む家のキッチン(3-1) Slide 15 空気を読む家のキッチン(3-1) Slide 16 空気を読む家のキッチン(3-1) Slide 17 空気を読む家のキッチン(3-1) Slide 18 空気を読む家のキッチン(3-1) Slide 19 空気を読む家のキッチン(3-1) Slide 20 空気を読む家のキッチン(3-1) Slide 21 空気を読む家のキッチン(3-1) Slide 22 空気を読む家のキッチン(3-1) Slide 23 空気を読む家のキッチン(3-1) Slide 24
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

0 Likes

Share

Download to read offline

空気を読む家のキッチン(3-1)

Download to read offline

ソフトウェアジャパン2019 ITフォーラム AITCセッション

キッチンにおけるデータ収集

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to like this

空気を読む家のキッチン(3-1)

  1. 1. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソフトウエアジャパン2019 協働プロジェクト『空気を読む家』 キッチンにおけるデータ収集 2019年02月05日 先端IT活用推進コンソーシアム クラウド・テクノロジー活用部会 リーダー 荒本道隆
  2. 2. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. クラウド・テクノロジー活用部会のご紹介 ■背景/活動目的 7年目は、特に音を使った機械学習を中心に、様々な技術について 「実際に触ってみる」を実践した。 8年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前 期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連 の各要素技術の活用に挑戦する。 ・測定(センシングなど): Arduino,RaspberryPI を使ったセンシング ・収集(ネットワーク) : 無線LAN, Bluetooth, 電子署名, セキュリティ ・蓄積(KVS, クラウドサービスの利用): RDF, SPARQL, IaaS の利用 ・分析(統計処理、オープンデータの利用、アルゴリズム): R, 遺伝的アルゴリズ ム, ディープラーニング ・出力(ビジュアライゼーション、外部操作): R, D3.js, ロボット, ROS これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを 使ったプロトシステムを開発し、運用を行う。 2
  3. 3. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 具体的な活動内容 • 月1回(13:30~17:30)のミーティング • 情報交換(イベント、ニュース、その他) • 東京都立産業技術研究センター IoTテストベッド見学会 • 新しいサービスや面白い技術を触ってみる • ROS(Robot Operating System)2 • 量子コンピュータ • 書籍輪読 • 去年『仕事ではじめる機械学習』 • 今年『ゼロから作る Deep Learning ②』 • 気象庁XML取得APIを運用 http://api.aitc.jp/ – 運用期間を2021年8月まで延長 3
  4. 4. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 気象庁XMLの取得APIのアクセス数 4 REST API SPARQL WebSocket 年/月 リクエスト数 ユニークIP リクエスト数 ユニークIP リクエスト数 ユニークIP 2017/04 428,595 289 64 39 2,173 117 2017/05 452,716 441 100 40 923 155 2017/06 461,664 124 120 53 1,100 179 2017/07 485,524 139 205 54 1,743 164 2017/08 473,130 147 433 70 98,483 187 2017/09 487,245 582 503 62 79,967 191 2017/10 414,585 779 48 27 42,216 166 2017/11 302,232 558 67 30 1,552 148 2017/12 253,900 431 53 27 546 112 2018/01 349,202 265 32 28 758 162 2018/02 341,489 348 225 32 534 134 2018/03 388,140 294 77 22 1,580 148 2018/04 357,686 328 18 17 418 128 2018/05 368,571 460 39 26 369 108 2018/06 343,283 477 49 36 521 116 2018/07 257,046 351 55 35 463 103 2018/08 247,556 379 51 37 1,921 109 2018/09 290,163 319 29 24 504 128 2018/10 797,226 329 24 20 970 115 2018/11 1,742,973 843 59 15 200 106 2018/12 1,262,362 577 26 18 499 118 2019/01 154,889 469 45 21 521 123
  5. 5. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. キッチンにおけるデータ収集 冷蔵庫編
  6. 6. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. やりたいこと • 今回の『空気を読む家』のテーマ • ビール:冷えている物があと何本? → 在庫管理 • プリン:賞味期限切れを通知 → 期限管理 • ジュース:外気温だと味が悪くなる → 品質管理 • 冷蔵庫の中にある物の在庫管理 → 在庫、期限 • 冷蔵庫の外に出ている時間を測る → 品質 • 今回は冷蔵庫にフォーカス 冷蔵庫を改造すると怒られそうなので、復元可能な範囲で 6
  7. 7. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実現方法を検討-内蔵方式 • 冷蔵庫の中に設置 案1:BLEタグを対象物に付ける 案2:Arduino+圧力センサ+モバイルバッテリを設置 • 課題 • 冷蔵庫の中と外で通信できるのか? • ダメなら、扉が開いている間のみ通信を行う仕組みが必要 • 外気温との温度差による結露 • リチウムイオンバッテリが濡れると、爆発の恐れが? • 動作温度 • 電池やバッテリは、一般的に5度を下回ると良くない • 冷蔵室の中は、約3~6度 7
  8. 8. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実現方法を検討-観測方式 • 冷蔵庫の外に設置 • カメラを冷蔵庫上部に設置し、内部を撮影する • 物体認識で、何がどこにあるか把握 • 課題 • 扉が開いている間しか、撮影できない • どうやって「扉が開いている」を知るか? • ARマーカー or 画像 or e.t.c.... • 後ろに隠れた物は、分からない • カメラ設置に、家族の賛同が得られるか? • 冷蔵庫の近くは、カメラに映る危険がある • 冷蔵庫を開けると、確実にカメラに映ってしまう 8
  9. 9. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 検証方法 • 冷蔵庫内にBLEタグを設置 • 外のRaspberyPi3で測定 • 検証結果 • 冷蔵庫の外からでも、問題なく中の電波が取れた • 冷蔵庫の外:-40~-75 • 冷蔵庫の中:-60~-80 • 冷蔵庫の奥と、扉のポケットで、強さが違う • BLEタグの向きが変わっただけでも、強さが大きく変わった • 映画の影響で、「冷蔵庫は小さな電波暗室」と思い込んでいた • 昔の冷蔵庫は磁石が付くので、電波が届かないかも 課題:冷蔵庫の中と外で通信できるか? 9 BLEタグを 外に出した 範囲が重なっている
  10. 10. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 構成 • 対象物にBLEタグを付ける • 上に載せる、もしくは、輪ゴムで止める • 基準用に、常に冷蔵庫内に1つ置く • 外のRaspberry Pi3で、電波強度を測定する • クラウドに測定した電波強度を送る • 懸念点 • BLEタグが1個1,500円する • どんなに高価なプリンにつけても、勿体ない • 温度・加速度センサと合わせて、ワインなどを管理 冷蔵庫の中に設置:案1を実装 10 クラウド
  11. 11. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ量 • BLEタグのビーコンの電波強度を全て記録 • タグ数:4個/1軒あたり • 間隔:約2秒(かなりバラバラ) • 値の範囲:-35 ~ -105 • 通信量 • 2秒ごと、4個のBLEタグの電波強度をクラウドに送信 • 一番手軽なHTTPを利用したので、ムダが多い • 「自宅=Internet使い放題」の場合が多いはず • 削減方法 • 「状態が変化した時」だけ通知する • 軽量なプロトコル(MQTTなど)にする 11
  12. 12. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. データ蓄積量 • レンタルサーバ上のRDB(MySQL)に格納 • 今回は、小規模な実験で必要な性能で良しとする • 実測値:7日間 x 1軒 x 4タグで、約100万レコード • つまり、1分1タグあたり25レコード • RDBを使用しているので • 時間が経つと蓄積量が多くなり、参照や挿入が遅くなる • NoSQLも検討した方が良いが、今回は対象外とした • 発表当日の状態 • 17日間動かして、550万レコード 12
  13. 13. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 受信した電波強度-1 • 扉を閉じている状態 • 4つのBLEタグを冷蔵庫の中に置いた • -55~-90 の間を変動している 13
  14. 14. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 扉を開けて、BLEタグを1つ外へ出した • 開けた瞬間だけ、値が大きくなる • 注意:短時間だと、扉を開けた事が分からないかも 受信した電波強度-2 14 扉を開けた BLEタグを 外に出した
  15. 15. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 冷蔵庫の扉の開閉 • 開:基準タグが -50 を超えた → 見逃しあり • 閉:一定時間、基準タグが -50 を超えなかった → 遅延あり • 対象物の位置 • 出:対象タグが -50 を超えて、扉が「閉」状態 → 遅延あり • 入:一定時間、対象タグが -50 を超えなかった → 遅延あり 判定方法 15 10秒で、たまに誤判定 20秒で、ほぼ誤判定しない理想 現実
  16. 16. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 30分間、対象タグを外に出した場合 • 最初の2分間 判定方法検証-1 16 扉を開けた 誤判定した とても小さい値も たまに出る 「外」と判定
  17. 17. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 30分間、対象タグを外に出した場合 • 最後の2分間 判定方法検証-2 17 仕舞った 扉を開けたことを 見逃した
  18. 18. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装について • Raspberry Pi3側は awk で実装 • btmon(BLEモニタ)コマンドの出力をawkに流し込む • awk で、77Step を記述 • クラウドへの送信は、awk内からcurl コマンドを実行 • HTTPを使って送信 • DNS参照が何故か毎回遅いので、/etc/hosts にIPを記述 • サーバ側は php で実装 • 以前に作成したIoT用の可視化ツールを流用 • 2軒 x 4タグ x 2秒周期で、性能上は問題ナシ 18
  19. 19. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSとの連携 • 状態が変化したら、空間OSに通知する • 冷蔵庫の扉 :閉、開 • プリン1の位置:入、出 • プリン2の位置:入、出 • プリン3の位置:入、出 • HTTPを使って送信 • curl コマンドを叩くだけ 19
  20. 20. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 部会メンバによる実験の様子 • 花粉症対策で、ヨーグルトを1日1個必ず食べる • ヨーグルトが無いと、BLEタグを冷蔵庫の上へ置く 20
  21. 21. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 夜にヨーグルトを食べている • 2/1 はタグ無しのヨーグルトを食べた • グラフ通り、残ヨーグルトは1個(本人に確認済み) 部会メンバによる実験の結果 21 スタート ble2を 食べた ble4を 食べた
  22. 22. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 扉の開閉で、電波強度の変化が少ない冷蔵庫もあった • BLEタグ、Raspberry Pi3、使用しているソフトウエアは同じ • 基準タグの変化量が、非常に少ない やってみて分かった事 22 我が家の冷蔵庫 Uさん宅の冷蔵庫 物を取り出したのに、 それらしい記録がない
  23. 23. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 感想 23 • ログを取っておくと、何かに使えるかも • 朝、冷蔵庫を開ける習慣があるなら → 気温と、起床時刻との相関 → 体重と、冷凍庫の開閉回数との相関 • 今回は、電子工作が一切不要だった • 機器を買うだけなので、ハードルが低い • BLEタグを見分けるためのシールを貼った • BLEタグの電波をどこまで信じられるか? • 一方的に電波を出し、上下幅がかなりあり、判定が難しい • 基準に複数のBLEタグを使うことで、誤差を減らせる • 4つで0.5秒周期相当 1
  24. 24. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター AITC クラウド活用部会への参加、 お待ちしてます

ソフトウェアジャパン2019 ITフォーラム AITCセッション キッチンにおけるデータ収集

Views

Total views

219

On Slideshare

0

From embeds

0

Number of embeds

0

Actions

Downloads

0

Shares

0

Comments

0

Likes

0

×