MapR Streams & MapR コンバージド・データ・プラットフォーム

1,473 views

Published on

共有された情報トピックを介してデータ生成元とデータ利用先を接続する、高い信頼性のグローバルイベントストリーミングシステム MapR Streams を発表します。MapR Streams の統合により、業界初にして唯一のファイル、データベース、イベントストリーミング、分析のすべてに対応した統合データプラットフォームを実現。データ主導のアプリケーションを加速し、新たな IoT ニーズに応えます。2015年12月10日に開催された製品発表 Webinar の資料です。

Published in: Data & Analytics
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,473
On SlideShare
0
From Embeds
0
Number of Embeds
373
Actions
Shares
0
Downloads
11
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

MapR Streams & MapR コンバージド・データ・プラットフォーム

  1. 1. ® © 2015 MapR Technologies 1 ® © 2015 MapR Technologies Anil Gadre – SVP, Product Management Will Ochandarena – Director, Product Management Nick Amato – Director, Technical Marketing Engineering 2015 年 12 月 10 日
  2. 2. ® © 2015 MapR Technologies 2 本日のトピック •  ビジネスの必須事項: Data-in-Motion と Data-at-Rest の統合 •  MapR Streams の発表 •  ライブデモ: MapR Streams 実際の動作 •  利用例: イベントストリーミングをビジネスに活用する
  3. 3. ® © 2015 MapR Technologies 3 スピーカー Steve Wooledge VP, Product Marketing Anil Gadre SVP, Product Management Will Ochandarena Director, Product Management Nick Amato Director, Technical Marketing
  4. 4. ® © 2015 MapR Technologies 4 データを行動に結びつける サイクルを加速することで 「即断可能な」ビジネスを実現する ®
  5. 5. ® © 2015 MapR Technologies 5 主要な業種のトップ企業が採用 金融サービス 小売・消費財 セキュリティ オンラインサービス・ ソフトウェア メディア・ エンターテイメント 製造・公益・石油・ガス 広告 医療 通信 政府・公共機関 Fortune 10 小売企業
  6. 6. ® © 2015 MapR Technologies 6© 2015 MapR Technologies ® Data-in-Motion と Data-at-Rest の統合
  7. 7. ® © 2015 MapR Technologies 7 IoT と Data in Motion の台頭 10 億 60 億 500 億 2000年代: モバイルインターネット 2020年: Internet of People および Internet of Things 1990年代: 固定線インターネット 世界全体の接続デバイス 2020年までに、「価値あるデータ」全体の 21% が IoT からもたらされる - IDC
  8. 8. ® © 2015 MapR Technologies 8 MapR Streams の発表 グローバル Publish/Subscribe イベントストリーミング Producer 毎秒数十億のメッセージを トピックに送信 Consumer すべての Consumer に 即時に高信頼な配送 グローバル 世界全域の地理的に分散 したクラスタを結びつける
  9. 9. ® © 2015 MapR Technologies 9 ビッグデータの成長に伴い新しいアプリを供給することが困難に データの種類 の増加 データソース の増加 バッチから よりリアルタイム な分析へ 利用アプリケー ションの増加 •  複数のテクノロジー •  アプリ開発の難易度の増加 •  いたるところに遅延が発生 •  サイロ化の再来 •  データコピーが急増 •  アプリ保守の難易度も増加 •  運用管理の課題の増加 •  複数のクラスタの費用 ビジネスにおけ る飛躍的な価 値をどのように 迅速に作り出す か
  10. 10. ® © 2015 MapR Technologies 10 30年に一度の変化が進行中レガシー Data-to-Action アプリケーション ミドルウェア 高価な専用 計算機器・ストレージ エンタープライズアプリケーション コモディティハードウェア RDBMS バッチ分析 メッセージバス グローバルイベントストリーミング ビッグデータ時代 単一ネームスペース オペレーショナル分析 構造化 データ 半構造化 データ 非構造化 データ
  11. 11. ® © 2015 MapR Technologies 11 処理データ Batch Streaming SQL MapR Converged Data Platform 問題: データサイロのパッチワークが出現アプリ カスタマーエクスペリエンスデータアーキテクチャ 最適化 セキュリティ調査・ イベント管理 オペレーショナル インテリジェンス マネージドサービス・ カスタムアプリ
  12. 12. ® © 2015 MapR Technologies 12 処理データ MapR Converged Data Platform ファイル テーブル ドキュメント ストリーム 設計ゴール: すべてのアプリ向けの共通データサービス Batch Streaming SQL MapR Converged Data Platform アプリ カスタマーエクスペリエンスデータアーキテクチャ 最適化 セキュリティ調査・ イベント管理 オペレーショナル インテリジェンス マネージドサービス・ カスタムアプリ
  13. 13. ® © 2015 MapR Technologies 13 処理データ MapR Converged Data Platform ファイル テーブル ドキュメント ストリーム 設計ゴール: すべてのアプリ向けの共通データサービス Batch Streaming SQL MapR Converged Data Platform MapR コンバージド・データ・プラットフォーム Hadoop、Spark、NoSQL データベース、SQL、イベントストリーミング、 Web スケールストレージのパワーを備えた統合プラットフォーム アプリ カスタマーエクスペリエンスデータアーキテクチャ 最適化 セキュリティ調査・ イベント管理 オペレーショナル インテリジェンス マネージドサービス・ カスタムアプリ
  14. 14. ® © 2015 MapR Technologies 14 MapR コンバージド・データ・プラットフォーム オープンソースエンジン・ツール 商用エンジン・アプリケーション ユーティリティグレードデータサービス データ処理 エンタープライズストレージ MapR-FS MapR-DB MapR Streams データベース イベントストリーミング グローバルネームスペース 高可用性 データ保護 自律復旧 統合セキュリティ リアルタイム マルチテナント 検索・ その他 クラウド・ マネージド サービス カスタム アプリ 統合運用管理・監視
  15. 15. ® © 2015 MapR Technologies 15 Hadoop + エンタープライズストレージ Hadoop + エンタープライズストレージ + NoSQL Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL + イベントストリーミング 2011 2013 2014 2015 トップランク Hadoop トップランク NoSQL トップランク SQL 統合に向けたビジョンの着実な実行
  16. 16. ® © 2015 MapR Technologies 16 MapR プラットフォームサービス: オープン API アーキテクチャ 互換性を保証し、ロックインを避ける MapR-FS エンタープライズストレージ MapR-DB NoSQL データベース MapR Streams グローバルイベントストリーミング HDFS API POSIX NFS SQL, Hbase API JSON API Kafka API
  17. 17. ® © 2015 MapR Technologies 17 MapR Streams により業界初にして唯一の 統合データプラットフォームを実現 「流れるデータ」と「保存されたデータ」を統合する高スループットのストリーミング 1 2 3 統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ 継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現 グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化
  18. 18. ® © 2015 MapR Technologies 18 イベントが一件ずつ発生しビッグデータが生成される “time” : “6:01.103”, “event” : “RETWEET”, “location” : “lat” : 40.712784, “lon” : -74.005941 “time: “5:04.120”, “severity” : “CRITICAL”, “msg” : “Service down” “card_num” : 1234, “merchant” : ”Apple”, “amount” : 50
  19. 19. ® © 2015 MapR Technologies 19 バッチ処理の様々な利用例 ●  クリックストリーム分析 ●  予知保全 ●  不正検出 ●  クーポン提示 ●  リスクモデル ●  カスタマー 360 ●  センチメント分析
  20. 20. ® © 2015 MapR Technologies 20 リアルタイム処理は補完的 ●  運用管理ダッシュボード ●  障害アラート ●  侵害検知 ●  リアルタイム不正検出 ●  リアルタイム価格提示 ●  プッシュ通知 ●  トレンドの提示 ●  ニュースフィード
  21. 21. ® © 2015 MapR Technologies 21 データパイプラインの課題 フィルタリング・ 集計 アラート 加工
  22. 22. ® © 2015 MapR Technologies 22 ストリームはデータの移動をシンプルにする フィルタリング・ 集計 アラート 加工 ストリーム データソースと配信先の間をつなぐ 高信頼の Publish/Subscribe トランスポート
  23. 23. ® © 2015 MapR Technologies 23 レガシーシステム: メッセージキュー IBM MQ, TIBCO, RabbitMQ Ordersフロントエンド 注文処理 注文処理 利用形態/要件 ●  システム間の密接でトラン ザクショナルなやり取り ●  1対1 もしくは 少数対少数 ●  低いデータレート ●  ミッションクリティカル配送 アプローチ ●  キュー指向デザイン ● 各メッセージは N 個の出力 キューに複製される ● 読み込みによりメッセージが 取り出される ●  スケールアップ、マスター/スレーブ できないこと ●  高いメッセージレート (>10万/秒) ●  Consumer を遅らせること ●  キューの再生/巻き戻し
  24. 24. ® © 2015 MapR Technologies 24 進化する「ビッグデータ」イベントストリーム: 分散ログ Kafka, Hydra, DistributedLog 利用形態/要件 ●  切り離されたシステムから 転送される高スループット データ ● 多数→1 ● 1→多数 ● 異なる速度 アプローチ ●  ログ指向デザイン ● ログファイルにメッセージを 書き込む ● Consumer はメッセージを 個々のベースで引き出す ●  スケールアウト できないこと ●  グローバルアプリケーション ●  メッセージの永続化 ●  分析の統合 (データの移動が必要) DB_Changes ストリーミング処理 検索/ EDW DB
  25. 25. ® © 2015 MapR Technologies 25 MapR: イベントストリームプラットフォームの再検討 ●  「ビッグデータ」スケール・パフォーマンス ●  グローバルなアプリケーションとデータ収集 ●  マルチテナント・マルチアプリケーション ●  セキュリティ ●  直接分析が可能 (データ移動不要) ●  統合済み: クラスタが立ち並ぶことがない ストリーミング処理 分析 広告インプレッション アプリケーションログ センサーデータ
  26. 26. ® © 2015 MapR Technologies 26© 2015 MapR Technologies ® MapR Streams 統合、継続、グローバル
  27. 27. ® © 2015 MapR Technologies 27 MapR Streams: ビッグデータ向けグローバル Pub-Sub イベントストリーミングシステム Producer は毎秒数十億のメッセージをス トリーム内のトピックに送信 すべての Consumer に対する保証された、 即時の配信 世界全域の地理的に分散したクラスタを 結びつける 標準リアルタイム API (Kafka) による Spark Streaming、Storm、Apex、Flink と の連携 分析フレームワークからのダイレクトデー タアクセス (OJAI API) To pi c ストリーム トピックProducer Consumer リモートのサイトとConsumer Streaming バッチ分析
  28. 28. ® © 2015 MapR Technologies 28 グローバル 提供される機能 ●  数千クラスタ間での任意のトポロジー ●  自動的なループ防止 ●  DNS ベースディスカバリー ●  メッセージオフセットと Consumer カーソル のグローバルな同期 実現されること ●  グローバルなアプリケーションとデータ収集 ●  Producer・Consumer のフェールオーバー ●  エッジにおける分析/フィルタリング/集計 ●  「不定期の」接続 Producer Consumer
  29. 29. ® © 2015 MapR Technologies 29 主な差別化ポイント MapR Streams 統合 グローバル セキュリティ・マルチテナント ファイル、テーブル、スト リームのための単一クラス タ グローバルなフェールオー バー機能を備える IoT ス ケールの「ファブリック」 テナントによるストリームの 所有、トピックとメッセージ の論理グループ化 認証、アクセス制御、暗号 化に利用される、他のプ ラットフォームサービスと統 合されたポリシー データ永続化とバッチ処理 フレームワークのダイレクト データアクセス
  30. 30. ® © 2015 MapR Technologies 30© 2015 MapR Technologies ® MapR Streams の動作をご覧ください – デモ Nick Amato
  31. 31. ® © 2015 MapR Technologies 31© 2015 MapR Technologies ® イベントストリーミング・処理の利用例 Will Ochandarena
  32. 32. ® © 2015 MapR Technologies 32 全業種 Web 2.0 医療 通信 • ETL / データウェアハウス 最適化 • メインフレーム最適化 • アプリケーション・ネット ワーク監視 • セキュリティ情報・イベン ト管理 • レコメンデーションエンジ ン・ターゲティング • カスタマー 360 • クリックストリーム分析 • ソーシャルメディア分析 • 広告最適化 • スマートホスピタル • バイトメトリクス • 患者の生体情報監視 • 不正検出 • アンテナ最適化 • 課金・請求 • 設備監視・予防保全 • スマートメーター分析 主要な業種と利用例 石油・ガス 金融サービス 小売 アドテク • ポンプ監視・アラート発信 • 地震波トレース識別 • 設備メンテナンス • 安全性・環境 • セキュリティ • リアルタイム不正/リスク監視 • トランザクションのモバイル 通知 • リアルタイムサプライ チェーン最適化 • 在庫管理 • リアルタイムクーポン • 広告ターゲティング・最適化 • グローバルキャンペーンダッ シュボード
  33. 33. ® © 2015 MapR Technologies 33 利用例 ストリーム アプリケーション/インフラ監視 Logs Metrics ビジネス上の成果 ●  障害やセキュリティ侵入 時のリアルタイム検出と アラート送信 ●  利用量、稼働状況、性能 に関するグローバルダッ シュボード MapR Streams 採用の理由 ●  アプリ/インフラから ETL・処理 システムに対するリアルタイム 配信 ●  システムの性能低下・障害時の 信頼性の高いデータバッファリ ング MapR 採用の理由 ●  統合プラットフォームがすべてのコ ンポーネントを結びつける ●  グローバルイベントレプリケーショ ンにより集中監視が可能に ●  セキュアなマルチテナント機能によ りクラスタの共有が可能に
  34. 34. ® © 2015 MapR Technologies 34 クレジットカード処理向けデータベース変更キャプチャ ビジネス上の成果 ●  購入者に対するリアルタイムモバイル通知で顧客満足度が向 上 ●  より多くの不正をリアルタイムで検出 ●  データ探索により社員の生産性が向上 MapR Streams 採用の理由 ●  メインフレーム RDBMS と ETL/処理基盤間の シームレスでリアルタイムの接続 MapR 採用の理由 ●  ユーティリティグレードの信頼性によりトランザク ションの損失を防止 ●  統合プラットフォームセキュリティによる認証、アク セス制御、暗号化の統一 利用例 Transactions 不正検出 Streaming 1
  35. 35. ® © 2015 MapR Technologies 35 医療・金融向けストリーム System of Record ビジネス上の成果 ●  データアジリティ - JSON、グラフ、検索の各形式での最新 データの表示 ●  HIPAA、PCI への準拠 ●  国内のデータ法令の遵守 Records JSON DB (MapR-DB) グラフ DB (Titan on MapR-DB) 検索エンジン (Elastic-Search) 書き込み API 読み出し API MapR Streams 採用の理由 ●  ストリームは変更不可能、巻き戻し可能な監査に適した データ構造 ●  Pub-Sub により JSON-DB、グラフ DB、ElasticSearch へ のリアルタイムのレプリケーションが可能に MapR 採用の理由 ●  統合プラットフォームは流れるデータ、保存されたデータ両 方を単一のクラスタ・セキュリティモデルで対応可能 ●  災害対策のための選択的で信頼性の高いグローバルレプ リケーション EU 利用例
  36. 36. ® © 2015 MapR Technologies 36 アドテクにおけるグローバルな統合分析 … + アジア、欧州 ビジネス上の成果 ●  広告費とパフォーマンスのための新しいリアルタイム 顧客ダッシュボード ●  グローバルな情報取得までの時間を短縮 - 時間から分単位に ●  災害復旧能力の追加 MapR Streams 採用の理由 ●  既存のログ転送方式と比較して、よりシンプルでより信頼 性の高いデータ/ETL パイプライン MapR 採用の理由 ●  統合プラットフォームは流れるデータ、保存されたデータ 両方を単一のクラスタ・セキュリティモデルで対応可能 ●  収集、分析、災害対策を分散して行うための高信頼グ ローバルレプリケーション 米国1 広告アプリケーション 本社 米国2 利用例
  37. 37. ® © 2015 MapR Technologies 37 IoT データ転送と加工 利用例 ビジネス上の成果 ●  「モノ」からのデータを収集・加工することで新しい収益 の流れを創出 ●  利用者の近くに収集・加工基盤を配置することで低い 応答時間を実現 MapR Streams 採用の理由 ●  IoT はイベントベースであるため、イベントスト リーミングアーキテクチャが求められる MapR 採用の理由 ●  統合プラットフォームは流れるデータ、保存された データ両方を単一のクラスタ・セキュリティモデルで 対応可能 ●  収集、分析、災害対策を分散して行うための高信 頼グローバルレプリケーション グローバルダッシュボード、アラート、加工 ローカルでの収集、フィルタリング、集計
  38. 38. ® © 2015 MapR Technologies 38 Q&A MapR Streams により業界初にして唯一の統合データプラットフォームを実現 1 2 3 統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ 継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現 グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化 詳細は www.mapr.com/streams にて

×