• Save
M2Mプラットフォームとビッグデータ (Cloudian Summit 2012)
Upcoming SlideShare
Loading in...5
×
 

M2Mプラットフォームとビッグデータ (Cloudian Summit 2012)

on

  • 2,503 views

Presentation by SIS at "Cloudian Summit 2012" on June 5, 2012 in Tokyo

Presentation by SIS at "Cloudian Summit 2012" on June 5, 2012 in Tokyo

Statistics

Views

Total Views
2,503
Views on SlideShare
1,882
Embed Views
621

Actions

Likes
0
Downloads
0
Comments
0

4 Embeds 621

http://www.gemini-bigdata.com 608
http://761491162799547271_7aad108906d6f82dc609181ef9005b8e127363de.blogspot.com 10
http://www.cloudian-blog.com 2
http://webcache.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

M2Mプラットフォームとビッグデータ (Cloudian Summit 2012) M2Mプラットフォームとビッグデータ (Cloudian Summit 2012) Presentation Transcript

  • M2Mプラットフォームとビッグデータ ~弊社のCloudianに対する取組み~ 株式会社 科学情報システムズ 2012/06/05 We Draw the Future All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • 目次 1.M2Mとは 2.M2Mプラットフォームの概要と詳細 3.大規模データ分析モジュールについて 4.おわりに1 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • M2Mとは(その1)M2M(Machine To Machine)とは機械同士が人手を介さずに自律的に相互に通信を行うためのコンセプト、または、それを実現するための技術の総称です。 M 2M プラ ト ォーム ッ フ適用範囲・ ホームオートメーション分野 : ホームセキュリティ、家電制御など・ テレマティクス分野 : ITS(高度道路交通システム)、EV(電動輸送機器)、カーナビなど・ テレメトリ分野 : エレベータ等の機器の遠隔メンテナンス、ヘルスケアなど 2 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • M2Mとは(その2)デバイス同士の双方向通信 H2M(Human To Machine) M2M(Machine To Machine) 判断 情報 判断 情報 指示 指示 情報 情報 指示 指示 情報 人間のアクションを介して 各デバイスから収集した情報を基 情報と指示がやり取りされ に る 判断と次の指示を機械自身が行う3 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • M2Mプラットフォーム概要 サービス・アプリケーション リアルタイム分 ・・ データ蓄積 析 ・ M2Mプラットフォーム 膨大な数・種類のデバイスを統合的に管理し、 情報を利用するための基盤(プラットフォーム)が必要!  デバイスから収集した大量のデータを、 1. リアルタイムで分析し、状況に応じてアクションを起こす 2. 蓄積し、必要に応じて分析・統計処理などを行い、利用しやすい形で提供する4 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • M2Mプラットフォーム詳細 ~全体の流れ~大量のデバイスからデータを受け取 データの処理をし、外部へ送り出す/内部で蓄積る するM2Mデバイス M2Mプラットフォー サービス・アプリケー ム ション 大規模データ データスト 分析モジュー 蓄積データの利用 ア ル M2M 必要なデータの スマートグリッ ゲートウェ フィルタリン ド イ グ・ 振り分け (1) データ蓄積 M2M ゲートウェ 入力インターフェイス 出力インターフェイス イ 交通インフラ M2M 大量の入 ゲートウェ データの見える化 イ 力データ (リアルタイムモニタリン グ) リアルタイム分析処理 (CEP) (2) リアルタイム 異常が データ監視 起きました 土木・建築 アラート送信 監視条件と一致し た データが来たとき アラート送信 外部 システ ム 出力インターフェイス デバイスの動作を指示 スマート家電  CEP(Complex Event 外部 M2M Processing) システ ゲートウェ イ 大量に流れるデータを、あら ム M2M かじめ決められたルールに ゲートウェ 従って、 運輸 イ オンメモリで処理していくデバイスを制御する5 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • M2Mプラットフォーム詳細 ~データ蓄積と分析~ M2Mプラットフォーム サービスアプリケーション 大容量データストア 大規模データ分析モジュール データストア Slave node 蓄積データの利用 S データストア 大規模 Slave node 分析要求 3 分散処理 イ Slave node データストア ン Slave node Master node データストア タ 分析結果 ・ フ Slave node ・ ・ ・ ェ ・ データストア ー ・ Slave node ス  大量データの管理に『Cloudian』を使用  大量データの分析に『Hadoop』を適用  デファクトスタンダードの『S3』インタフェース で接続 なぜCloudianか? 大量データを格納可能。またスケールアウトが容易。 製品であり、サポートが存在する。 デファクトスタンダードであるS3 I/Fをサポートし ており、 データの格納や移行等が容易。 PrivateおよびPublicクラウドの両方で使用できる。6 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • 大規模データ分析モジュール ~実機検証~Step1: インタフェース及び動作検証 Cloudian ~ S3インタフェース ~ Hadoop でデータの取り出し・分析・格納ができることを確認 3通りの実装方式で検証 大容量データストア 大規模データ分析モジュー ・Javaによる実装 ル ・Hiveによる実装 ・Pigによる実装 S フ 3 Map/Reduce処理 ェイ データ ーン スタ ストア 用途 台数 OS CPU メモリ 備考 Cloudian 1台 CentOS 5.7 Pentium4 2.7GH 1.0GByte Cloudian 2.1 z Hadoop 1台 CentOS 5.7 Pentium4 2.8GH 1.5GByte Hadoopバージョン cdh3u4 ⇒結果(いくつかの問題は発生したが・・・・・)z ・Javaによる実装 → 問題なく動作!! ・Hiveによる実装 → 問題なく動作!! ・Pigによる実装 → 問題なく動作!!Step2: パフォーマンスの検証 実施中です。 出来上がり次第 ご報告いたしま す。 7 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • M2Mプラットフォーム詳細 ~Hadoopを活用した分析~Hadoop Map Reduce による大規模分散処理のイメージ 大容量データストア ②プログラム実行を 大規模データ分析モジュール 各ノードに割り当 てる Master node Job ①分析の要求 Tracker 全ドキュメントか ら ワードの出現数を Task Slave node Task Slave node 数える Tracker Map処理 Tracker “Science” “Information” “Systems” Reduce処理 Task Slave node ④各ノードのMap処理の結 Tracker Map処理 果 集計 を集計し出力する Science 215 Information 184 Systems 116 Task Slave node Tracker Map処理 ③分担してドキュメン ト を解析、検索する 重い処理を手分けして片付ける発想 ・ (従来はデータ構造やロジックを工夫して ・ 軽く ・ する発想←限界があった) Task Slave node Tracker Map処理 パフォーマンスはノード数にほぼ比例 (ボトルネックを排除するための高度な技 術) 8 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • 大規模データ分析モジュール ~活用例~ 分析要求 レガシーデータ アクセス 大量のレガシーデータを格納し、 ログ 分析に活用 過去データと現在データを融合 することで幅広い分析が可能 販売履歴 データ移行においてもS3インタ データ 観測記録 フェースを利用可能 データ 大容量 大規模データ データ移行 運行履歴 データストア 分析モジュール データ 証券売買 履歴デー タ データの蓄積 …過去・現在データを融合 ライブデータ リアルタイ リアルタイ ム監視 ム M2M モニタリン M2M ゲートウェM2M ゲートウェ リアルタイム分析 グ イ ゲートウェ イ イ9 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • 大規模データ分析モジュール ~今後の展望と課題~  CloudianとHadoopの組み合わせが可能 → 【ビッグデータ】を扱う事が可能なCloudianと分散で処理できるプラットフォーム (Hadoop)を組み合わせることにより、今まで実現が困難であった大量データの分析処 理可能なインフラを構築できることが可能に。 → Enterprise分野での活用をより活発に。 → サービス事業者向けには、S3 I/Fと共にMapReduceプラットフォームが提供可能に。  より確実なソリューションとする為の検証の継続 → 複数台構成でのテストの実施。及び性能検証。 → いくつかの問題点・課題の解決。  Hadoop周辺技術との組み合わせ → PigやHiveといったHadoopをより簡単に使用するための技術(SQLのような言語によ りデータの集計が可能な技術)により、データウェアハウスの実現を検討する。10 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • さいごに・・・11 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • 弊社の取組み 安心してご利用いただくために 先端技術への取組み ソリューション・パッケー 様々な業種における(ビッグデータへの取り組 ジ システム開発実績 み)分散KVSの活用 Cloudian の拡充 通信キャリア系システム - Apache Cassandra ネットワーク高度化基盤 放送メディア系システム 大規模分散処理の活用 MDM 金融公共系システム - Apache Hadoop 産業系システム M2Mプラットフォーム リアスタイム分析の活用 その他、開発支援サービ 位置情報サービス基盤 - Siddhi-CEP ス 勤時(勤怠管理) SIプロジェクトの運営実績 充実したサポート 立上げフェーズ(提案、見積、要件定義) コンサルティングサービス 設計フェーズ(基本仕様、UI、アーキテクチャ、接続I/F) 品質保証 制作、内部試験フェーズ(制作、単体試験、内部結合試験) 運用・サポート 連動試験フェーズ(外部結合試験、システム試験、運用試験、性能・負 荷試験) 導入/サービス開始(移行、サービス開始)12 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • 弊社概要商号 株式会社科学情報システムズ Science Information Systems Co., Ltd.(略称:SIS)設立 1984年4月3日 技術沿革 1984年 資本金3,000万円で設立 1986年 大阪支店開設 1990年 資本金6,000万円に増資 2001年 システムインテグレータ企業認定 品質 2001年 プライバシーマーク取得 2004年 ISO9001:2000取得 2006年 ISMS認証取得 ソリューション所在地 本 社: 横浜市神奈川区金港町2-6 横浜プラザビル6F Tel.045-450-6311 (代) Fax.045-450-6351 大阪本社: 大阪市中央区博労町4-3-2 オーツグランドビル5F Tel.06-6243-2111 (代) Fax.06-6243-2122代表者 取締役社長 小島 仲市資本金 6,000万円従業員数 246名(2012年4月現在)売上高 25億470万円(2011年3月実績)13 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.
  • ご清聴ありがとう ございました14 All Rights Reserved, Copyright © 2012 Science Information Systems Co., Ltd.