M2Mプラットフォームとビッグデータ　(Cloudian Summit 2012)

M2Mとは（その１）M2M（Machine To Machine）とは機械同士が人手を介さずに自律的に相互に通信を行うためのコンセプト、または、それを実現するための技術の総称です。 M 2M プラトォームッフ適用範囲・ホームオートメーション分野：ホームセキュリティ、家電制御など・テレマティクス分野： ITS（高度道路交通システム）、EV（電動輸送機器）、カーナビなど・テレメトリ分野：エレベータ等の機器の遠隔メンテナンス、ヘルスケアなど 2 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

M2Mとは（その２）デバイス同士の双方向通信 H2M(Human To Machine) M2M(Machine To Machine) 判断情報判断情報指示指示情報情報指示指示情報人間のアクションを介して各デバイスから収集した情報を基情報と指示がやり取りされにる判断と次の指示を機械自身が行う3 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

M2Mプラットフォーム概要サービス・アプリケーションリアルタイム分・・データ蓄積析・ M2Mプラットフォーム膨大な数・種類のデバイスを統合的に管理し、情報を利用するための基盤(プラットフォーム)が必要!  デバイスから収集した大量のデータを、 1. リアルタイムで分析し、状況に応じてアクションを起こす 2. 蓄積し、必要に応じて分析・統計処理などを行い、利用しやすい形で提供する4 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

M2Mプラットフォーム詳細～全体の流れ～大量のデバイスからデータを受け取データの処理をし、外部へ送り出す/内部で蓄積るするM2Mデバイス M2Mプラットフォーサービス・アプリケームション大規模データデータスト分析モジュー蓄積データの利用アル M2M 必要なデータのスマートグリッゲートウェフィルタリンドイグ・振り分け (1) データ蓄積 M2M ゲートウェ入力インターフェイス出力インターフェイスイ交通インフラ M2M 大量の入ゲートウェデータの見える化イ力データ (リアルタイムモニタリング) リアルタイム分析処理（CEP） (2) リアルタイム異常がデータ監視起きました土木・建築アラート送信監視条件と一致したデータが来たときアラート送信外部システム出力インターフェイスデバイスの動作を指示スマート家電  CEP(Complex Event 外部 M2M Processing) システゲートウェイ大量に流れるデータを、あらム M2M かじめ決められたルールにゲートウェ従って、運輸イオンメモリで処理していくデバイスを制御する5 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

M2Mプラットフォーム詳細～データ蓄積と分析～ M2Mプラットフォームサービスアプリケーション大容量データストア大規模データ分析モジュールデータストア Slave node 蓄積データの利用 S データストア大規模 Slave node 分析要求 3 分散処理イ Slave node データストアン Slave node Master node データストアタ分析結果・フ Slave node ・・・ェ・データストアー・ Slave node ス  大量データの管理に『Cloudian』を使用  大量データの分析に『Hadoop』を適用  デファクトスタンダードの『S3』インタフェースで接続なぜCloudianか？ 大量データを格納可能。またスケールアウトが容易。 製品であり、サポートが存在する。 デファクトスタンダードであるＳ３Ｉ／Ｆをサポートしており、データの格納や移行等が容易。 PrivateおよびPublicクラウドの両方で使用できる。6 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

大規模データ分析モジュール～実機検証～Step1: インタフェース及び動作検証 Cloudian ～ S3インタフェース～ Hadoop でデータの取り出し・分析・格納ができることを確認３通りの実装方式で検証大容量データストア大規模データ分析モジュー・Javaによる実装ル・Hiveによる実装・Pigによる実装 S フ 3 Map/Reduce処理ェイデーターンスタストア用途台数 OS CPU メモリ備考 Cloudian 1台 CentOS 5.7 Pentium4 2.7GH 1.0GByte Cloudian 2.1 ｚ Hadoop 1台 CentOS 5.7 Pentium4 2.8GH 1.5GByte Hadoopバージョン cdh3u4 ⇒結果（いくつかの問題は発生したが・・・・・）ｚ・Javaによる実装 → 問題なく動作！！・Hiveによる実装 → 問題なく動作！！・Pigによる実装 → 問題なく動作！！Step2: パフォーマンスの検証実施中です。出来上がり次第ご報告いたします。 7 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

M2Mプラットフォーム詳細～Hadoopを活用した分析～Hadoop Map Reduce による大規模分散処理のイメージ大容量データストア ②プログラム実行を大規模データ分析モジュール各ノードに割り当てる Master node Job ①分析の要求 Tracker 全ドキュメントからワードの出現数を Task Slave node Task Slave node 数える Tracker Map処理 Tracker “Science” “Information” “Systems” Reduce処理 Task Slave node ④各ノードのMap処理の結 Tracker Map処理果集計を集計し出力する Science 215 Information 184 Systems 116 Task Slave node Tracker Map処理 ③分担してドキュメントを解析、検索する 重い処理を手分けして片付ける発想・（従来はデータ構造やロジックを工夫して・軽く・する発想←限界があった） Task Slave node Tracker Map処理 パフォーマンスはノード数にほぼ比例（ボトルネックを排除するための高度な技術） 8 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

大規模データ分析モジュール～活用例～分析要求レガシーデータアクセス 大量のレガシーデータを格納し、ログ分析に活用 過去データと現在データを融合することで幅広い分析が可能販売履歴 データ移行においてもS3インタデータ観測記録フェースを利用可能データ大容量大規模データデータ移行運行履歴データストア分析モジュールデータ証券売買履歴データデータの蓄積 …過去・現在データを融合ライブデータリアルタイリアルタイム監視ム M2M モニタリン M2M ゲートウェM2M ゲートウェリアルタイム分析グイゲートウェイイ9 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

大規模データ分析モジュール～今後の展望と課題～  CloudianとHadoopの組み合わせが可能 → 【ビッグデータ】を扱う事が可能なCloudianと分散で処理できるプラットフォーム（Hadoop）を組み合わせることにより、今まで実現が困難であった大量データの分析処理可能なインフラを構築できることが可能に。 → Enterprise分野での活用をより活発に。 → サービス事業者向けには、S3 I/Fと共にMapReduceプラットフォームが提供可能に。  より確実なソリューションとする為の検証の継続 → 複数台構成でのテストの実施。及び性能検証。 → いくつかの問題点・課題の解決。  Hadoop周辺技術との組み合わせ → PigやHiveといったHadoopをより簡単に使用するための技術（SQLのような言語によりデータの集計が可能な技術）により、データウェアハウスの実現を検討する。10 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

弊社の取組み安心してご利用いただくために先端技術への取組みソリューション・パッケー様々な業種における（ビッグデータへの取り組ジシステム開発実績み）分散KVSの活用 Cloudian の拡充 通信キャリア系システム - Apache Cassandra ネットワーク高度化基盤 放送メディア系システム 大規模分散処理の活用 MDM 金融公共系システム - Apache Hadoop 産業系システム M2Mプラットフォーム リアスタイム分析の活用 その他、開発支援サービ 位置情報サービス基盤 - Siddhi-CEP ス 勤時（勤怠管理）ＳＩプロジェクトの運営実績充実したサポート 立上げフェーズ（提案、見積、要件定義） コンサルティングサービス 設計フェーズ（基本仕様、ＵＩ、アーキテクチャ、接続I/F） 品質保証 制作、内部試験フェーズ（制作、単体試験、内部結合試験） 運用・サポート 連動試験フェーズ（外部結合試験、システム試験、運用試験、性能・負荷試験） 導入/サービス開始（移行、サービス開始）12 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

弊社概要商号株式会社科学情報システムズ Science Information Systems Co., Ltd.（略称：SIS）設立 1984年4月3日技術沿革 1984年資本金3,000万円で設立 1986年大阪支店開設 1990年資本金6,000万円に増資 2001年ｼｽﾃﾑｲﾝﾃｸﾞﾚｰﾀ企業認定品質 2001年ﾌﾟﾗｲﾊﾞｼｰﾏｰｸ取得 2004年 ISO9001:2000取得 2006年 ISMS認証取得ｿﾘｭｰｼｮﾝ所在地本社：横浜市神奈川区金港町2-6 横浜ﾌﾟﾗｻﾞﾋﾞﾙ6F Tel.045-450-6311 （代） Fax.045-450-6351 大阪本社：大阪市中央区博労町4-3-2 ｵｰﾂｸﾞﾗﾝﾄﾞﾋﾞﾙ5F Tel.06-6243-2111 （代） Fax.06-6243-2122代表者取締役社長小島仲市資本金 6,000万円従業員数 246名（2012年4月現在）売上高 25億470万円(2011年3月実績)13 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.

http://www.gemini-bigdata.com	595
http://761491162799547271_7aad108906d6f82dc609181ef9005b8e127363de.blogspot.com	10
http://webcache.googleusercontent.com	1

M2Mプラットフォームとビッグデータ　(Cloudian Summit 2012)

by Cloudian on Jun 10, 2012

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 606

Statistics