Successfully reported this slideshow.
Your SlideShare is downloading. ×

第77回MBL研究会 "多様なIoTデータストリームをクラウドレスで分散処理するミドルウェアの設計"

第77回MBL研究会 "多様なIoTデータストリームをクラウドレスで分散処理するミドルウェアの設計"

Download to read offline

<受賞>
第77回MBL研究会 優秀発表賞
<要旨>
IoT デバイスが急速に進歩し,実世界のあらゆる情報をセンシングできるようになりつつある.それに伴い,様々なデバイスから時々刻々と生成される IoT データストリームの即時的な利活用が求められている . 本研究では,生成されたデータストリームを, IoT デバイスが持つ計算資源を用いて,その場で素早く処理する「地産地処」をコンセプトに, IoT デバイス群の上位で動作する実時間処理ミドルウェアを設計する.本ミドルウェアには, (1) アプリケーションから要求されるタスクを分割しながら分散で実行する機能 , (2) IoT データストリームを分散処理のためデバイス間でオンデマンドに流通する機能, (3) 複数のデータストリームをオンラインで分析する機能, (4) 異種センサ / アクチュエータのシームレスな連携を実現する機能を設計,実装する.本稿では,機能を限定したミドルウェアのプロトタイプを Raspberry Pi上に実装し,動作検証した結果を報告する.

<受賞>
第77回MBL研究会 優秀発表賞
<要旨>
IoT デバイスが急速に進歩し,実世界のあらゆる情報をセンシングできるようになりつつある.それに伴い,様々なデバイスから時々刻々と生成される IoT データストリームの即時的な利活用が求められている . 本研究では,生成されたデータストリームを, IoT デバイスが持つ計算資源を用いて,その場で素早く処理する「地産地処」をコンセプトに, IoT デバイス群の上位で動作する実時間処理ミドルウェアを設計する.本ミドルウェアには, (1) アプリケーションから要求されるタスクを分割しながら分散で実行する機能 , (2) IoT データストリームを分散処理のためデバイス間でオンデマンドに流通する機能, (3) 複数のデータストリームをオンラインで分析する機能, (4) 異種センサ / アクチュエータのシームレスな連携を実現する機能を設計,実装する.本稿では,機能を限定したミドルウェアのプロトタイプを Raspberry Pi上に実装し,動作検証した結果を報告する.

More Related Content

More from Ubi NAIST

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

第77回MBL研究会 "多様なIoTデータストリームをクラウドレスで分散処理するミドルウェアの設計"

  1. 1. 奈良先端科学技術大学院大学 ユビキタスコンピューティングシステム研究室 http://ubi-lab.naist.jp/ 多様なIoTデータストリームを クラウドレスで分散処理する ミドルウェアの設計 中村優吾✝, 諏訪博彦✝, 荒川豊✝ ,山口弘純☨ , 安本慶一✝ ✝奈良先端科学技術大学院大学情報科学研究科 ☨大阪大学大学院情報科学研究科 モバイルコンピューティングとパーベイシブシステム (MBL) 研究会 第77回研究発表会 2015年12月4日(金)
  2. 2. 研究概要 IoTデータストリーム 2015/12/04 第77回MBL研究会 2 クラウド集中型 課題: 遅延時間,通信コスト プライバシー,セキュリティ 従来のIoTプラットフォーム Raspebrry Piを用いて IFoTの試作を設計,実装 Sensing Sensing Sensing IFoT ミドルウェア 実機により動作検証した 結果を報告 即時的な利活用 ローカルのIoTデバイスによる 至近距離プロセッシング 次世代のIoTプラットフォーム IoTデータストリームをクラウドレスかつ実時間 で分散処理するIoTデータ流処理基盤 IFoT ( Information Flow of Things ) の実現に向けた研究開発
  3. 3. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴とミドルウェアの要件 • IFoTミドルウェアの要件 • IFoTミドルウェアの設計 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 3
  4. 4. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴とミドルウェアの要件 • IFoTミドルウェアの要件 • IFoTミドルウェアの設計 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 4
  5. 5. Internet of Things の発展 • 実世界のあらゆる情報を収集可能に… 2015/12/04 第77回MBL研究会 5
  6. 6. Internet of Things の発展 • 実世界のあらゆる情報を収集可能に… • 多地点で多様なストリームデータが流れ続ける時代 2015/12/04 第77回MBL研究会 6 「逐次生成される雑多なIoTデータストリーム」 ⇒いかに有効活用するか?
  7. 7. IoTデータストリーム活用の流れ 2015/12/04 第77回MBL研究会 7 既存IoTシステム = クラウド一極集中 実社会 IoTデータストリーム クラウド ①収集 ①IoTデータ流の収集 ②蓄積 IoTビックデータ ②大規模ストレージに蓄積④還元 ④分析結果を実社会に還元 ③時間とパワーをかけて分析 ③分析
  8. 8. IoTデータストリーム活用の流れ 2015/12/04 第77回MBL研究会 8 ③分析②蓄積 IoTビックデータ 長距離 問題点② ・プライバシー ・セキュリティIoTデータストリーム クラウド 問題点① ・遅延時間 ・通信効率,コスト 実社会 ①収集 ④還元 リアルタイム性のあるサービス 地域や個人に特化したサービス 既存IoTシステム = クラウド一極集中 ⇒大きな弱点が存在
  9. 9. 研究目的 2015/12/04 第77回MBL研究会 9 • 問題点①:遅延時間、通信コスト • 問題点②:プライバシー、セキュリティ ⇒①②を解決する新たなIoTプラットフォームの実現 ⇒ クラウドレスな 至近距離プロセッシング IoTデータ流処理基盤IFoT( Information Flow of Things ) 高度なデータ処理を発生源で行う“地産地処”技術 IoTデータストリームの“即時的な利活用”を実現 至近距離 ( IoTデバイス≒処理マシン ) IFoT 実社会 発生源での分散処理 即時的な利活用
  10. 10. IFoTの実現に向けて • ①IFoTミドルウェアの開発 データ流処理エンジン ⇒モジュール上での流通・分析処理 • ②IFoTニューロンモジュールの試作 データ流の違いを吸収するGWデバイス ⇒異種データ流を統一化 2015/12/04 第77回MBL研究会 10 IFoT IFoT ニュ ーロンモジュ ール IFoT ミ ド ルウェ ア IFoTミドルウェア
  11. 11. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴とミドルウェアの要件 • IFoTミドルウェアの設計 • IFoTによるアプリケーション構築 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 11
  12. 12. エッジ[1]/フォグコンピューティング[2] クラウドより近い場所に処理サーバを配置し 従来よりも遅延の少ないデータ処理を実現 2015/12/04 第77回MBL研究会 12 クラウドサーバ 世界、国長距離 課題 ・インフラ整備に時間とコストが掛かる ・エッジまでの通信コストも軽視できない (例:高層ビルの構造ヘルスモニタリング) エッジ/フォグサーバ 都市,地域近距離 [1] A. Davis, J. Parikh, W. E. Weihl : Edgecomputing:extending enterprise applications to the edge of the internet, Proc. of the 13th international World Wide Web conference on Alternate track papers and posters, (2004). [2] Bonomi, Flavio, et al.: : Fog Computing and Its Role in the Internet of Things, Proc. of the First Edition of the MCC Workshop on Mobile Cloud Computing (MCC '12), pp. 13-16 (2012).
  13. 13. エッジ[1]/フォグコンピューティング[2] クラウドより近い場所に処理サーバを配置し 従来よりも遅延の少ないデータ処理を実現 2015/12/04 第77回MBL研究会 13 エッジ/フォグサーバ クラウドサーバ 世界,国 都市,地域近距離 長距離 至近距離 IFoT 地区,建物 ⇒より近い範囲で処理モジュールを展開
  14. 14. • インフラ整備が必須、設置に時間とコストが掛かる ⇒ • エッジまでの通信コストも軽視できない ⇒ IFoTのアプローチ 2015/12/04 第77回MBL研究会 14 発生源でのデータ処理⇒集約側(エッジetc)の負担軽減 ローカル環境で動作⇒インフラ整備不要,設置が簡単 都市,地域近距離 至近距離 IFoT 地区,建物 ・発生源でのデータクレンジング, コンテキスト認識,テータ抽象化を実現 ・置くだけで動作する小型処理モジュール群 エッジ/フォグサーバ
  15. 15. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴とミドルウェアの要件 • IFoTミドルウェアの設計 • IFoTによるアプリケーション構築 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 15
  16. 16. IFoTの特徴と応用例 • IFoTミドルウェアを搭載した小型デバイス群で構成 • IoTデータストリームを蓄積することなく, 発生源に近い場所(ローカル空間)で分散処理する 2015/12/04 第77回MBL研究会 16 IFoT IFoTミドルウェア センシングからアクチュエーションのサイクルが早く, リアルタイム性の求められるアプリケーション との親和性が高い 例) ・リアルタイム知的見守り@スマートハウス ・リアルタイム知的観光ナビ@スマートシティ
  17. 17. リアルタイム知的見守り@スマートハウス • クラウドレスかつオンラインな分析処理により プライバシーを考慮しつつ、真に危険な状況を検知 2015/12/04 第77回MBL研究会 17 s s ss s s s s s s 抽象化データ クラウド IFoT リアルタイム行動認識による行動見守り IFoTミドルウェア
  18. 18. リアルタイム知的見守り@スマートハウス • クラウドレスかつオンラインな分析処理により プライバシーを考慮しつつ、真に危険な状況を検知 2015/12/04 第77回MBL研究会 18 IFoT IFoTミドルウェア
  19. 19. リアルタイム知的観光ナビ@スマートシティ 2015/12/04 第77回MBL研究会 19 • 地域における景観,混雑,渋滞,気候状況など 異種データ流を編纂した知的ナビゲーション IFoT IFoTミドルウェア
  20. 20. リアルタイム知的観光ナビ@スマートシティ 2015/12/04 第77回MBL研究会 20 • 地域における景観,混雑,渋滞,気候状況など 異種データ流を編纂した知的ナビゲーション IFoT IFoTミドルウェア
  21. 21. 応用例を踏まえて… IFoT上で求められる処理 • 即時的な分析によるコンテキスト理解 • 異なるデータ流の組み合わせによる活用 IFoTミドルウェアの要件 ① 異なるデータ流の違いを吸収する機能 ② センサデータをデバイス間で自由に流通する機能 ③ 流れるセンサデータを即時的に分析する機能 ④ 以上の動作を複数のデバイスで分散処理する機能 2015/12/04 第77回MBL研究会 21
  22. 22. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴とIFoTミドルウェアの要件 • IFoTミドルウェアの設計 • IFoTによるアプリケーション構築 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 22
  23. 23. 情報流通機構 タスク割り当て機構 情報分析機構 IoTデバイスインタフェース機構 IFoTミドルウェアの設計 2015/12/04 第77回MBL研究会 23 IFoTミドルウェア アプリケーションサービス IoTデバイス ④以上の動作を複数のデバイスで 分散処理する機能 ③流れるセンサデータを 即時的に分析する機能 ②センサデータをデバイス間で 自由に流通する機能 ①異なるデータ流の違いを吸収する機能 IFoTミドルウェアの要件 タスク割り当て機構 情報分析機構 情報流通機構 IoTデバイスインタフェース機構
  24. 24. IFoTミドルウェアの設計 ①異なるデータ流の違いを吸収する機能 ②センサデータをデバイス間で自由に流通する機能 2015/12/04 第77回MBL研究会 24 (a) 異なる通信規格からのデータを取得 し上位層にデータを受け渡す (b) MQTTプロトコル対応のパケットに 変換し,他のIFoTニューロンに流通 (b) 情報流通機構 ⇒ (a) IoTデバイスI/F機構 ⇒
  25. 25. IFoTミドルウェアの設計 ③流れるセンサデータを即時的に分析する機能 2015/12/04 第77回MBL研究会 25 (c-1) センサデータのオンライン学習 (c-2) 学習モデルの逐次更新 (c-3) 学習モデルに基づく判定 ⇒オンライン機械学習フレームワーク Jubatusを基とした処理系を検討 (c) 情報分析機構 ⇒
  26. 26. IFoTミドルウェアの設計 ④タスクを複数のデバイスで分散処理する機能 2015/12/04 第77回MBL研究会 26 (d)タスク割り当て機構⇒ アプリケーションサービス ⇒アプリケーションの動作を レシピ(設定ファイル) として記述 レシピのイメージ センサデータをどのように 組み合わせ分析するかといった 処理手順を示すタスクグラフ
  27. 27. IFoTミドルウェアの設計 ④タスクを複数のデバイスで分散処理する機能 2015/12/04 第77回MBL研究会 27 (d)タスク割り当て機構⇒ アプリケーションサービス (d-1) レシピを分散実行可能 なタスクに分割 (d-2) タスクを他のデバイス に分配
  28. 28. 情報流通機構 タスク割り当て機構 情報分析機構 IoTデバイスインタフェース機構 IFoTミドルウェアの設計 2015/12/04 第77回MBL研究会 28 IFoTミドルウェア アプリケーションサービス IoTデバイス ④以上の動作を複数のデバイスで 分散処理する機能 ③流れるセンサデータを 即時的に分析する機能 ②センサデータをデバイス間で 自由に流通する機能 ①異なるデータ流の違いを吸収する機能 IFoTミドルウェアの要件 タスク割り当て機構 情報分析機構 情報流通機構 IoTデバイスインタフェース機構
  29. 29. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴とミドルウェアの要件 • IFoTミドルウェアの設計 • IFoTによるアプリケーション構築 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 29
  30. 30. 想定環境 2015/12/04 第77回MBL研究会 30 ・1台のIFoTニューロンに複数台のセンサ/アクチュエータ ・各IFoTニューロンは共通LANで相互に接続
  31. 31. アプリケーション構築の流れ • Step1 レシピの作成,送信 • Step2 レシピの分解 タスク割り当て • Step3 アプリケーション実行 2015/12/04 第77回MBL研究会 31
  32. 32. Step1:レシピの作成,送信 2015/12/04 第77回MBL研究会 32 アプリケーション構築者は, 実行したいアプリケーションのレシピを記述し, その設定ファイルをIFoTニューロンに送信 高齢者見守りアプリ
  33. 33. Step2:レシピの分解,タスク割り当て 2015/12/04 第77回MBL研究会 33 レシピを受信したIFoTニューロンは, レシピを分散実行可能なタスク単位に分割し, センサの接続状況やリソース状況に応じて, 各タスクを他のIFoTニューロンに割り当てる (d)タスク割り当て機構⇒
  34. 34. Step3:アプリケーション実行 2015/12/04 第77回MBL研究会 34 タスクを割り当てられた各IFoTニューロンは, その内容に応じた処理を行うミドルウェアを起動し, 相互に協調,連携しながらアプリケーションとしての動作 を振る舞う (c) 情報分析機構 ⇒ (b) 情報流通機構 ⇒ (a) IoTデバイスI/F機構⇒
  35. 35. Step3:アプリケーション実行 2015/12/04 第77回MBL研究会 35 タスクを割り当てられた各IFoTニューロンは, その内容に応じた処理を行うミドルウェアを起動し, 相互に協調,連携しながらアプリケーションとしての動作 を振る舞う
  36. 36. Step3:アプリケーション実行 2015/12/04 第77回MBL研究会 36 タスクを割り当てられた各IFoTニューロンは, その内容に応じた処理を行うミドルウェアを起動し, 相互に協調,連携しながらアプリケーションとしての動作 を振る舞う アプリケーションA アプリケーションBアプリケーションC
  37. 37. 応用イメージ@スマートハウス 2015/12/04 第77回MBL研究会 37 高齢者見守りアプリケーション 快適空調制御アプリケーション s s s s ss 共通のモジュール群上で複数のアプリケーションを水平実行
  38. 38. 応用イメージwith ドローン 2015/12/04 第77回MBL研究会 38 ローカルでの ストリームキュレーション 選手のパフォーマンス分析アプリケーション
  39. 39. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴と応用例 • IFoTミドルウェアの要件 • IFoTミドルウェアの設計 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 39
  40. 40. 実験の概要 • 実験目的:IFoTミドルウェアによる一連の動作検証 • 実験方法: • IFoTミドルウェアのプロトタイプを6台のRaspberryPi 上に導入 • データの流通,分析という一連の処理にかかる動作時間を測定 • センサデータ生成レートを変化させた場合の処理遅延を確認 2015/12/04 第77回MBL研究会 40 実験環境
  41. 41. 検証する動作シナリオ 2015/12/04 第77回MBL研究会 41 • 多値分類アプリケーション 開始 センサA センサB センサC 多値分類(Classifier) 分類結果出力 動作検証レシピ 実験では管理マネージャから 手動でタスクを割り当て
  42. 42. 測定する一連の処理 2015/12/04 第77回MBL研究会 42 モジュールA モジュールB モジュールC モジュールD Pub(センサ値A) Pub(センサ値B) Pub(センサ値C) 実験① センサデータ生成⇒学習 実験② センサデータ生成⇒分類 モジュールE Sub(センサ値ABC) Pub(センサ値ABC) ①学習処理 モジュールF Pub(センサ値ABC) ②分類処理 各モジュール上でダミーの センサデータ(32byte)を生成 各生成レート(5,10,20,40,80Hz) ごとのの処理遅延を測定
  43. 43. 5-10Hz : 遅延の少ないリアルタイムな処理を実現可能 20-40Hz : 遅延が増加し始め,リアルタイム性を損なう 80Hz~ : 遅延時間が更に増加する 実験結果と考察 2015/12/04 第77回MBL研究会 43 表2 処理遅延(センサデータ生成-分類)表1 処理遅延(センサデータ生成-学習) ⇒タスクの更なる分散化による性能向上を検討
  44. 44. 考察:タスクの分散化 2015/12/04 第77回MBL研究会 44 開始 センサA センサB センサC 多値分類(Classifier) 分類結果出力 センサA取得 センサB取得 センサC取得 学習処理 分類処理 負荷大 学習処理の分散化 ⇒処理負荷に応じたタスクの分散方式を検討 機能によるレシピの分割
  45. 45. 今後の評価 2015/12/04 第77回MBL研究会 4545 モジュールE Sub(センサ値ABC) Pub(センサ値ABC) ①学習処理 モジュールF Pub(センサ値ABC) ②分類処理 分散学習処理 タスクの分散化による性能の向上 1モジュール⇔複数の異種センサ の場合の評価 モジュールA モジュールB モジュールC
  46. 46. 目次 • 背景と目的 • 関連研究 • 提案システム • IFoTの特徴と応用例 • IFoTミドルウェアの要件 • IFoTミドルウェアの設計 • 動作検証実験 • まとめ 2015/12/04 第77回MBL研究会 46
  47. 47. まとめ • IoTデータ流処理基盤IFoT を提案 • IFoTミドルウェアの設計を示す • RaspberryPiを用いた動作検証実験を実施 ⇒小規模な環境では実時間処理を実現可能である 2015/12/04 第77回MBL研究会 47 IFoT IFoTミドルウェア
  48. 48. 今後の課題 • レシピを記述する言語およびインタフェースの策定 • • IFoTニューロンの動的な参加離脱に対応した ノードの検索機構を実現 • 大規模な環境への適用を目指し クラウドとの一部連携を考慮したアーキテクチャを検討 2015/12/04 第77回MBL研究会 48 IFoT クラウド
  49. 49. ご清聴ありがとうございました

×