Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

AITCオープンラボ 2018年5月度(3)

57 views

Published on

『空気を読む家』におけるオブジェクト認識技術

Published in: Technology
  • Be the first to comment

  • Be the first to like this

AITCオープンラボ 2018年5月度(3)

  1. 1. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 協働プロジェクト『空気を読む家』 『空気を読む家』におけるオブジェクト認識技術 2018年05月25日 先端IT活用推進コンソーシアム クラウド・テクノロジー活用部会 リーダー 荒本道隆 ユーザーエクスペリエンス技術部会 吉田光輝 2018年5月度AITC オープンラボ
  2. 2. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. クラウド・テクノロジー活用部会のご紹介 ■背景/活動目的 7年目は、特に音を使った機械学習を中心に、様々な技術について 「実際に触ってみる」を実践した。 8年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前 期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連 の各要素技術の活用に挑戦する。 ・測定(センシングなど): Arduino,RaspberryPI を使ったセンシング ・収集(ネットワーク) : 無線LAN, Bluetooth, 電子署名, セキュリティ ・蓄積(KVS, クラウドサービスの利用): RDF, SPARQL, IaaS の利用 ・分析(統計処理、オープンデータの利用、アルゴリズム): R, 遺伝的アルゴリズ ム, ディープラーニング ・出力(ビジュアライゼーション、外部操作): R, D3.js, ロボット, ROS これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを 使ったプロトシステムを開発し、運用を行う。 2
  3. 3. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2017年の主な成果-1 • 情報交換(イベントへの参加、ニュース、その他) • 「音を使った機械学習」をやってみる < 松井 部会参加者(6人分)の録音データで話者識別 • データサイエンティスト協会の紹介 < 宮本 • ゼロから作るニューラルネット第4章を参考に、Iris分類 • Wekaを導入&触ってみる < 今里 • AIについて < 宮川 • 機械学習について < 今里 • サーバ上のJupyterを触ってみる < 荒本 • Arduinoとクラウドの連携(応答性能向上)手法 < 荒本 • ROS概要 < 佐伯 3
  4. 4. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2017年の主な成果-2 4 • 持ち回り講師で、書籍を輪読。実際に動かしてもみる 『ゼロから作るDeep Learning』 2章 パーセプトロン < 菅井 3章 ニューラルネットワーク < 蓑島 4章 ニューラルネットワークの学習 < 松井 5章 誤差逆伝播法 < 荒本 6章 学習に関するテクニック 6.1 パラメータの更新 < 新谷 6.3 Batch Normalization < 大越 6.4 正則化 < 市川 6.5 ハイパーパラメータの検証 < 田中 7章 畳み込みニューラルネットワーク < 新谷 • 今年は『仕事ではじめる機械学習』を輪読中
  5. 5. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. オブジェクト認識技術
  6. 6. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. やりたいこと • 今回の『空気を読む家』のテーマ • 失くしモノや忘れモノ対策 • 対象物が、どの部屋にあるか? • どの部屋にも無い=家の外にある • 対象物が、部屋の中のどの位置にあるか? • 隠れていても、見つけられること • 対象物が、誰と一緒に移動しているか? • 身に着けている or カバンに入っている 6
  7. 7. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実現方法を検討 • 技術で分類 • 電波(RFID, Bluetooth) • 画像(画像認識, 差分検出, ARマーカー, バーコード) • その他(加速度, ?) 7
  8. 8. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 電波を使ったオブジェクト探査 • RFID(Radio Frequency Identifier) • 概要:ID情報を埋め込んだRFタグを対象物に付ける • 特徴:RFタグは安価だが、リーダーは高価 • 課題:電池無しのパッシブ型は読みとり距離が3mと短い • Bluetooth • 概要:電池を内蔵したタグを対象物に付ける • 特徴:リーダーとしてスマホが活用できる • 課題:大体の距離しか分からない 8 製品化されたものが多数ある。
  9. 9. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 画像を使ったオブジェクト探査 • 画像認識 • 概要:機械学習を利用し、カメラ画像から対象物を見つける • 特徴:学習させれば、何でも検出可能 • 課題:カメラから遠いと、画像が小さすぎて検出できない • AITCでも、過去にやった事がある 9 2016年1月期 AITCオープンラボ 「第1回 機械学習勉強会 ~Deep Learningを使って訪問者判定してみた」 ポケットやカバンの中は、分からない。 カメラに写った人が誰かは分かる。 服装で仕事かどうかも分かるかも。
  10. 10. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 参考:人・仕事判定のための準備 10 2016年1月期 AITCオープンラボ 「第1回 機械学習勉強会 ~Deep Learningを使って訪問者判定してみた」
  11. 11. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2016年6月23日 デジタルガジェット祭り! 「加速度センサーに挑戦」 その他のオブジェクト探査 • 加速度センサ • 概要:加速度を2回積分し、移動距離を算出する • 特徴:出発地点からの移動距離で、現在地点を推測する • 課題:自作すると、ある程度の大きさになってしまう • AITCでも、過去にやった事がある 11 精度を上げるのは、かなり大変そう
  12. 12. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. そこで今回は • 課題:爪切りを持ち出したのは誰か? • 要件 • レターボックスに、爪切り、ハサミ、e.t.c…が入っている • 誰かが爪切りを持ち出して、返し忘れている • 誰が爪切りを持って行ったかを知りたい • 制限事項 • RFIDやBluetoothは使わない • 物体の画像認識は使わない( レターボックスの内部にカメラが設置できない) 12
  13. 13. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 補足説明 • 「何を持っていったか?」に注力する • いつ、何を持ち出したかを判定する • 「誰か?」は今回は実装しない • すでにやったことがあるので • WEBカメラを2台同時に使う上での課題がある • USBのバススピードが不足する場合がある 13
  14. 14. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デモ実施 14
  15. 15. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 種明かし 15 ・事前に全アイテムの重さを計る。 ・webCamで計りの針を読む。 ・重さから足りないアイテムを推定する。 HW 計り Raspberry Pi 2 B+ WebCam, スピーカー SW motion (package) OpenCV (package) asound (pckage) python script(自作)
  16. 16. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 画像から角度を得る 16 実際の画像
  17. 17. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 画像から角度を得る 17 蛍光黄色を探す:針 青色を探す:原点
  18. 18. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 画像から角度を得る 18 青いピクセル群の重心を原点と する。 黄色のピクセル群から直線を検 出しベクトルを得る。 Y軸とベクトルのなす角を得る。 角度から重さを得る。
  19. 19. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 苦労した点 画像処理の不安定さ •周辺の光源、色の影響 •ピクセル群から幾何的な計算 Raspberry Pi •WebCamが不安定 •Line Outがノイズまみれ 19
  20. 20. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. まとめ • 通信機能を持った計りでも出来たけど • 今回は、家庭にある安価な計りを使いたかった • 機械が「人間用の計りの目盛りを読む」を実現 • 重さからオブジェクトを推測 • 高解像度カメラなら、遠くから目盛りが読めるかも • 計りにARマーカーを付ければ、場所の特定は容易 • 料理のサポートなど、様々な応用が出来そう • 音声入力との連携も楽しそう • 今回のシステムの活用例 • 使用履歴を記録 • 使用量を記録 20
  21. 21. Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター AITC クラウド活用部会への参加、 お待ちしてます

×