Download as PDF, PPTX
Uploaded byYasuyuki Sugai
IoTとDeep Learningで自宅警備員を育ててみる
AITCオープンラボ 第5回IoT勉強会～人工知能xIoT～ 「IoTとDeep Learningで 自宅警備員を育ててみる」の資料です
![[DLHacks] DLHacks説明資料](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks-170919004557-thumbnail.jpg?width=640&height=640&fit=bounds)
IoTとDeep Learningで自宅警備員を育ててみる
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. 今日のお話の流れ・・・ • こんなん作ってみました編 ←前振り – 家族を認識させよう –在宅？留守？を認識させよう – 留守中の訪問を認識させよう – (おまけ)今日の天気を喋らせよう • こんな風に作ってみました編 ←メイン – ： 7 以上、2本でお送りしまーす
- 8. 今日お話しないこと・・・ • Deep LearningやIoTってなんぞや？ –わたしが説明できないので – 時間の都合により・・・ – 数式とかも出てきません • 何も無いのも寂しいので、過去のクラウド部会で 開催したニューラルネットワーク勉強会の資料を (人のだけど勝手に)置いときます 8 何度も 読み返してます http://www.slideshare.net/kzokm/ss-41622970
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. どうやって家族を識別するか？ 16 • Rapiroの前面にカメラを配置し、画像撮影 • 事前に学習したモデルと画像を用いて分類 –特定の人物の顔 – それ以外の顔 カメラ
- 17.
- 18. 18 • 家族を検知した場合 • 家族以外を検知した場合 ど、どちらさまですか？ とりあえず通報しました写真付きで メール送信 おかえりなさいませ、 ご主人様💕
- 19.
- 20. 調子にのって顔の検知をするのですが、、 結果、煩わしい →留守の時だけ検知するようにします （留守から復帰後の初回のみ） 20 • 付近を通るたびに検知される • 知ってる人や来訪者には失礼 –お客さんを迎えたり・・・ – 配達で届けてもらったり・・・
- 21. どうやって在宅/留守を認識するか？ 21 • 玄関の扉にセンサーを設置 – 加速度センサー –人感センサー • センサーの値の変化から、人が外に出たのか 入って来たのかを判定 – 在宅 • まだ外に出ていない人がいる • 外から入ってきた人がいる – 留守 • 全員が外に出た
- 22.
- 23.
- 24.
- 25.
- 26.
- 27. どうやるか？ 27 • 気象庁の公開データから府県天気概況を取得 • 天気は合成音声で通知 •視覚的な表現はRapiroのLEDの色変化で通知 RGBフルカラー
- 28.
- 29.
- 30. 概要 30 • 画像の分類、識別にDeep Learning –画像からの特徴量抽出が最大の魅力 • Deep LearningのライブラリにはCaffeを採用 – 画像分類の分野では一番話に聞くので – GPUでもCPUでも動作 – サンプルやドキュメントが充実 • 課題 – Caffeの動作環境の準備 – 学習用の画像データの用意
- 31. 課題① Caffeの動作環境の準備 31 • Caffeのセットアップは大変と聞くけど。特にCUDA周り。 –最近ではCaffeが動作する環境が公開されているので、 比較的楽チンに • Docker • AWSのAMI • GPU環境なんて持ち合わせてないんですけど。 – CPUでも動作するけど、学習時間を考えるとGPUがオススメ – AWSのGPUインスタンスを使おう • GPUインスタンスってお高いんでしょ。 – スポットインスタンスで節約 – バージニア州だと、1時間$0.1くらいあれば大体いける
- 32.
- 33.
- 34.
- 35. 課題② 学習用の画像の用意 35 • DeepLearningでは大量の画像が必要って 聞くけど・・・ – 学習用データ超重要 – ここのデータの精度で学習結果に如実に影響が • 今回のデータの準備は・・・ – 家族の顔写真の用意 • OpenCVで5日間に分けて一人あたり3千枚生成 • パソコンの前にいると勝手に撮影 • 流出すると変質者と思われるぐらいの量。。。 （しかも全部自分の画像。。。） – 家族以外の顔写真 • LFWのデータを利用
- 36. LFW (Labeled Face inthe Wild) http://vis-www.cs.umass.edu/lfw/ • 研究用に作成された、著名人がラベル付けされた画像集 – １万枚以上の画像が収録 – 一人あたりの画像枚数は少なめ • 今回の使い方 – ラベルは考慮しない – 画像の質を重視してスクリーニング – ある程度のグループに分類（機械的に＋最後は人力） – 最終的に秘伝のタレみたいな状態に。。 36 選ばれる人の基準が よくわからん・・・
- 37. • 何を変えるとどう変わるかが全く予測できない・・ – ただの知識不足という噂も –いくつか用意されているモデルのパラメータを参考に • 進化的アルゴリズム – こちらも過去のクラウド部会で開催した 進化的アルゴリズム勉強会の資料を (人のだけど勝手に)置いときます パラメータチューニング 何度も(ry http://www.slideshare.net/kzokm/genetic-algorithm-41617242
- 38.
- 39. • 40,000回の試行で93.04%の精度となった – AWSg2.2xlargeインスタンスで2時間程度 – 10,000回あたりで収束？ 学習結果 39
- 40. • 学習には時間がかかるけど、学習モデルを 使った評価は早い – CPUで十分な速度（CPUでも一枚の画像を数秒で分類) –GPUで学習モデルを作成し、評価はCPUで行うと お財布にも優しい • 分類の精度は学習用データによるところが大きい – テスト精度が99%まで行っても、新しいデータが軒並み 誤判定だったり – 過学習っぽい感じ – LFWの画像増やすとそっちに持ってかれたり、比率も重要 学習モデルの利用
- 41.
- 42.
- 43. 概要 43 • センサーデータから実環境の状況把握 – 今回は加速度センサーと人感センサーを利用 •センサーとRapiro間は無線通信 – 配置場所の制約から逃れる – Zigbee通信で近距離無線通信 • 課題 – 入室と退室をどうやって判別するか
- 44.
- 45. 課題① 入室と退室をどうやって判別 45 • まずは測定してプロットしてみる –特徴や分散、相関や偏りから考える 人感センサー 加速度センサー 退室 入室 加速度センサーよりも前に人感センサーが 反応しているか否かの違いが見受けらる
- 46. 46 • 二つのセンサーの値変化の関係性から、 判別ができそう • けどそのまま判別しても面白くない、、、 IoTとDeepLearningを組み合わせてみたい • センサーデータは時系列となる事が多いので 時系列データの波形を特徴量として。。。 数列として扱うのではなく、 グラフを画像化して画像識別で いけるんじゃね？
- 47. センサーデータとDeep Learning 47 • DeepLearningで時系列データのグラフから 特徴量の抽出、分類を行う – 数列から特徴量を抽出して分類するのは結構大変 • グラフの波形が同じようになるよう前処理は必要 – 間隔の均一、階差、補間、移動平均などを施したり – 線だけでなく、面で表現することで特徴量を認識しやすく – 部分的にデータ抽出するところにはルール化が必要になる – 顔識別と同様に、ここの出来が悪いと結果にも影響 • 学習用データの準備 – 基は数列なので、いくらでもデータは増やせる – ノイズを加えたり画像の水増しもお茶の子さいさい
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54. 夕方か夜に雨が降りそうの判定 54 • ある日の天気概況 • 夕方や夜などの単語の後で、近い距離に雨を 表す単語が現れるかで判定 •IoTもDeep Learningも機械学習も 関係ないのであくまでおまけ・・・ １５日は、晴れますが夕方から雲が広がり、雨や雷雨となる所があるでしょ う。東京都では高温が予想されます。熱中症などの健康管理に注意してくだ さい。１６日は、曇りで昼過ぎ一時雨の見込みです。
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.