Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
人工知能(機械学習) x IoTに向けて
家庭内IoT導入記
2...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 INPUT
 多種多様なセンサが入手可能
 センサのみだ...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 どのデータを使うか?
 テキストデータ:Twitter
...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 悩み
 ここ数年、ずっと睡眠不足気味なので、原因を知りたい...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
システム構成-睡眠監視
5
6畳
ベット
TV
無線LAN
AP...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
システム構成-全体
6
LEDでお知らせ用
無線LAN
Blue...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
お買いものリスト
7
商品名 値段 備考
Raspberry P...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 OpenCV
 画像処理・画像解析および機械学習等の機能を...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 Twitter APIサンプル
 朝7:00~8:15は山...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 毎日6~7時間寝ているつもりだった
 実際はほぼ毎日3.5...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 発生日時:5月25日14時28分
 マグニチュード:5.5...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 室温、加速度、画像の変化量、エアコン、を比較
 エアコンを...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 室温と眠りの深さは関係ないらしい
 起きたらしい気配を感じ...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
 カメラの強化
 可動式にする
 画像解析方法の変更
 ...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
OpenCV付属のサンプル(一部)
画像解析方法の変更
15
...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 画像の変化量
– 人がギリギリ見える程度の明るさだと、画像は...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 色々な事に転用できそう
– 見守り(ペット、乳幼児)
– 動...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• まずはデータを貯めてから、考えよう
– 可視化するだけで、色...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 蓄積中のデータ
– ベット上の室温・加速度・映像の変化量
–...
Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.faceb...
Upcoming SlideShare
Loading in …5
×

2015年6月期AITCオープンラボ「家庭内IoT導入記」

1,136 views

Published on

発表日:2015年6月18日 AITCオープンラボ
イベント名:AIによってIoTの価値はどう高まるのか?「人工知能 x IoT」勉強会
タイトル:家庭内IoT導入記
発表者:アドソル日進株式会社 荒本道隆
案内URL:http://aitc.jp/events/20150618-OpenLab/info.html

Published in: Internet
  • Be the first to comment

2015年6月期AITCオープンラボ「家庭内IoT導入記」

  1. 1. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 人工知能(機械学習) x IoTに向けて 家庭内IoT導入記 2015年06月18日 先端IT活用推進コンソーシアム クラウド・テクノロジー活用部会 リーダー アドソル日進株式会社 荒本道隆 この発表の内容は必ずしも所属する企業・団体の 公式な見解を表すものではありません
  2. 2. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  INPUT  多種多様なセンサが入手可能  センサのみだと安価だが、簡単な工作が必要  高精度・高機能なものは、やっぱり高価  ゲートウエイ  Raspberry PIやAndroid端末を利用  センサデバイスからのデータを受信  簡単なデータ処理を実行  データを一時保存  サーバ  サーバ機やクラウドを利用  データを長期間に渡って保存  OUTPUT  デバイスを動かす。例:照明やエアコンをON  PUSH通知を行う。例:メールによる通知  可視化を行う。例:グラフ  データ分析・機械学習の入力として使う IoTを使ったシステムの全体像 2 貼付け型ウェアラブル生体センサ 東芝 「Silmee Bar type」 Raspberry PI 2 OUTPUTするまでが IoTです Things=モノ・センサ だけじゃない 機械学習サービスが 増えてきた
  3. 3. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  どのデータを使うか?  テキストデータ:Twitter  数値データ:オープンデータ  何をするか?  目的に合ったデータがあるのか?  そもそも何をしよう??  そこで、  自分のデータを記録して、自分の悩みを解決しよう  市販の製品やサービスをそのまま使うのはツマラナイ  Raspberry PIを使ってIoTらしいシステムを構築  苦手な半田付けは、できるだけ避ける  欲しい機能を随時追加 人工知能(機械学習) x IoTの最初の難関 3
  4. 4. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  悩み  ここ数年、ずっと睡眠不足気味なので、原因を知りたい  仮説  そもそも睡眠時間が短い  睡眠中の環境が悪い(室温や湿度が高い)  ノンレム睡眠(深い眠り)の時間が短い  ノンレム睡眠中に目覚まし時計→体への負担が大きい  IoTによるアプローチ  睡眠中の状態を測定  収集したデータを可視化  ついでに  朝、山手線の状況を教えて欲しい  エアコンの消費電力を記録したい 個人的な悩みをIoTで解決しよう 4 通勤経路を変えれば、 同じ時刻に出ても間に合う
  5. 5. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. システム構成-睡眠監視 5 6畳 ベット TV 無線LAN AP Internet さくらインターネット レンタルサーバ •10秒ごとにHTTP送信 •単純なREST OCN 光回線 カメラと加速度センサで 眠りの深さを測定 データ受信cgiを設置 グラフ生成cgiを設置
  6. 6. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. システム構成-全体 6 LEDでお知らせ用 無線LAN Bluetooth マウスへ カメラへ 温度&加速度センサ スピーカー 電力測定 無線LAN AP USB電源 画像取得 マウス MicroSD 音声で お知らせ用 Raspberry PI エアコン
  7. 7. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. お買いものリスト 7 商品名 値段 備考 Raspberry PI ¥5,650- Raspberry PI用ケース 約¥1,300- 外箱もそのまま使えて便利 MicroSDカード 32GByte 約¥2,000- 無線LANアダプタ 約1,000- Bluetoothアダプタ 約1,000- USBカメラ(200万画素、PC用) 約¥1,200- ワゴンセール品 Sensortag「CC2541」 $25- 新型が出た。ただし、新型は技適が 未通過なので、国内では使用不可 Bluetooth接続スピーカー ¥2,980- USB接続激安マウス ¥429- 裏面の赤色LEDだけ使用 電力測定プラグ ¥4,327- 富士通BSC F-PLUG115 電力・温度・湿度・照度測定機能つき さくらのレンタルサーバ ¥500-/月 「スタンダード」を契約済みだった。 MySQLが利用可能
  8. 8. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  OpenCV  画像処理・画像解析および機械学習等の機能を持つライブラリ  Python版のサンプルが付属。motempl.py を改造して使用  Sensortag用サンプル  https://github.com/msaunby/ble-sensor-pi  デバイス側のアドレスを修正する必要アリ  独自作成シェル+Pythonプログラム  シェルと tail コマンドでほとんど完成  REST呼び出しをPythonで実装 インストールしたソフトウエア-1 8 killall python gatttool fplug.sh python -u /home/pi/sensortag15.py 5C:31:3E:BF:E8:66 > /tmp/5C313EBFE866.txt & python -u /home/pi/OpenCV/motempl.py > /tmp/UCAM_C0220FBRD.txt & bash /home/pi/fplug.sh > /tmp/FPLUG_1.txt & sleep 1 tail -f /tmp/5C313EBFE866.txt /tmp/UCAM_C0220FBRD.txt /tmp/FPLUG_1.txt | python -u /home/pi/tempsend.py
  9. 9. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  Twitter APIサンプル  朝7:00~8:15は山手線の状況を随時通知  Twitter APIで「from:@train_yamanote」を検索  “現在、事故・遅延に関する情報はありません”以外は、LEDと音声でお知らせ  hub-ctrl  USBのポートをON/OFFするオープンソースのツール  ハード的に対応していないポートは、ソフト的にON/OFF  Open JTak  入力された日本語テキストに基づいて自由な音声を生成するHMMテキス ト音声合成システム  漢字カナ混じりでも読み上げてくれる  ちょっと長い文章だと、開始に結構時間がかかる  fplug_for_linux  「富士通BSC F-PLUG115」から値を取得するオープンソースのツール  10回に1回ぐらいワット数が取れない。時々固まる インストールしたソフトウエア-2 9
  10. 10. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  毎日6~7時間寝ているつもりだった  実際はほぼ毎日3.5時間しか寝ていない  体が動いているのは、レム睡眠(浅い眠り)中 可視化した結果 10 実際に起きたのは7時過ぎ だけど4:40から体は起きている 青:加速度センサ 緑:画像の変化量 7:00 起床 8:15 出発 Highcharts.js を使用
  11. 11. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  発生日時:5月25日14時28分  マグニチュード:5.5(暫定値)  場所および深さ:埼玉県北部、深さ56km(暫定値)  測定場所(私の家):東京都内、震度3~4 2015年5月25日の地震時 11 加速度センサは 電池が切れていた 青:加速度センサ 緑:画像の変化量 カメラが倒れて、 以降は測定不能 14:28 地震発生 この微妙な動きは何?
  12. 12. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  室温、加速度、画像の変化量、エアコン、を比較  エアコンを付けると室温が下がる → 外気温も欲しい  機械学習の画像処理で何かできないか? ヒートマップも作ってみた 12 D3.js を使用 無線LANが 切れていた センサの電池が 切れていた
  13. 13. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  室温と眠りの深さは関係ないらしい  起きたらしい気配を感じたら  メガネをかけて時計を見る → 完全に起きてしまう  現在時刻を音声でお知らせ → 安心して二度寝  ベストのタイミングで起こす仕掛けを考え中  朝5時のレム睡眠からノンレム睡眠へ移行できるはず 問題解決に向けて 13
  14. 14. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.  カメラの強化  可動式にする  画像解析方法の変更  魚眼カメラで360度を測定  ドアや窓の開閉を測定  Sensortagをドアノブに貼ればできそう  生体データの測定  歩数、運動量、脈拍、体温、など  行動と体調を記録していけば  行動から体調が予測できるかも  エアコン以外の消費電力も測定  照明、パソコン、TV、冷蔵庫、e.t.c… 今後の拡張案 14 タミヤ「リモコンロボット製作セット」 ¥4,104-
  15. 15. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenCV付属のサンプル(一部) 画像解析方法の変更 15 使用中
  16. 16. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 画像の変化量 – 人がギリギリ見える程度の明るさだと、画像は真っ暗 • 日が昇るまで、数値が出ない • 安価な赤外線カメラの入手が難しい • SensorTag – ボタン電池は12日間と11日間で切れた • 使用するセンサの数、ポーリング間隔、方式で変化する – スマホアプリや体に付けるセンサで測定するよりも楽 • アプリの起動不要、充電不要、置きっぱなし • LEDによる通知 – 100均のUSB-LEDは、ON/OFFできなかった • 電源をON/OFFできるUSBハブ(SUGOI-HUB)を買うという手もある – 激安マウスの裏面のLEDは、ON/OFFできた • 音声による通知 – ヘッドフォン端子に接続すると、常時ノイズが出るので没 – Bluetooth接続スピーカーは、ノイズが気にならない • Raspberry PIから接続する時に苦労した • 正常時にもうるさくない程度に通知して、異常検出 やってみて気付いたこと 16 「1年ぐらいもつ」と 書いてあったのに
  17. 17. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 色々な事に転用できそう – 見守り(ペット、乳幼児) – 動作監視(ルンバ) – 防犯 • 頻繁に構成を変更した – 想定していなかった問題が多々発生 • 実業務だと、なかなか変更できない • 帰りに秋葉原か渋谷に寄って、機器を購入→即導入 – IoTの「Fail First」という考え方 • Fail First:どんどん失敗して、まずは経験値を貯める • 連続稼働は大変 – 無線LANにつながらなくなる – 電池切れ – 値が空・異常に小さい、値取得ツールが応答しなくなる • 自分で自分のデータを取って正解だった – データの意味を把握できる – データの取り扱いに気を使わなくてよい – 発表資料に堂々とデータを貼れる まとめ 17 買ったけど、没になったもの ・百均のUSB-LED(¥100-) ・パッシブスピーカー(¥400-)
  18. 18. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • まずはデータを貯めてから、考えよう – 可視化するだけで、色々と閃いた – 機械学習で使うには、もうちょっと工夫が必要そう – こんなデータでも、公開すれば誰かが使ってくれる? • 本来とは違う活用方法を思いつく人が居るかも – 教師データ • 「昨晩はグッスリ寝られた」と入力する • 自動判定:起床時刻、起き上がる速度、飲んだ水の量、体温、など • 複数人分の測定ができるのなら – センサの種類や位置を統一したい – クラスタリングや機械学習に使えるかも • Twitterから山手線の状況を予測したい – 今は「from:@train_yamanote」の最新発言を参照 • “現在、事故・遅延に関する情報はありません”と比較 – 「#山手線」から機械学習で判定できないか? IoTを人工知能にどう使うか?-1 18
  19. 19. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. • 蓄積中のデータ – ベット上の室温・加速度・映像の変化量 – エアコンの消費電力 – Twitterで流れている山手線の状況(テキスト) – 家を出た時刻(映像の変化量とエアコンから判定) • こんな事にも使えそう – 室温が○度以上なら、エアコンをONした • ○度だったら、帰宅前に自動的にエアコンをONする • 「エアコンを止めて窓を開けましょう」と通知 – 山手線の状況と、家を出た時刻を学習 • 「○時○分までに家を出てください」と通知 • Pepper君を操作すれば – OUTPUTを変えるだけで印象が大きく変わる – センサの種類を統一、自力で位置調整が可能 – 現実的には Rapiro ? IoTを人工知能にどう使うか?-2 19 Pepper君 約20万円 好みを学習 未来を予測
  20. 20. Copyright © 2014 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター 常時稼働のRaspberry PIがあると、 いろんな事が試せます 工作ができなくても意外とOK

×