Download as PDF, PPTX
Uploaded byMapR Technologies Japan
MapR Streams & MapR コンバージド・データ・プラットフォーム
共有された情報トピックを介してデータ生成元とデータ利用先を接続する、高い信頼性のグローバルイベントストリーミングシステム MapR Streams を発表します。MapR Streams の統合により、業界初にして唯一のファイル、データベース、イベントストリーミング、分析のすべてに対応した統合データプラットフォームを実現。データ主導のアプリケーションを加速し、新たな IoT ニーズに応えます。2015年12月10日に開催された製品発表 Webinar の資料です。
More Related Content
Similar to MapR Streams & MapR コンバージド・データ・プラットフォーム
![[B27] エンタープライズ NoSQL/HBase プラットフォーム – MapR M7 エディション by Masataka Oka](https://cdn.slidesharecdn.com/ss_thumbnails/b27maprm7-131126004827-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AWSマイスターシリーズ] Amazon Elastic MapReduce (EMR)](https://cdn.slidesharecdn.com/ss_thumbnails/20130925aws-meister-regenerate-emrpublic-130926030316-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
MapR Streams & MapR コンバージド・データ・プラットフォーム
- 1. ® © 2015 MapRTechnologies 1 ® © 2015 MapR Technologies Anil Gadre – SVP, Product Management Will Ochandarena – Director, Product Management Nick Amato – Director, Technical Marketing Engineering 2015 年 12 月 10 日
- 2. ® © 2015 MapRTechnologies 2 本日のトピック • ビジネスの必須事項: Data-in-Motion と Data-at-Rest の統合 • MapR Streams の発表 • ライブデモ: MapR Streams 実際の動作 • 利用例: イベントストリーミングをビジネスに活用する
- 3. ® © 2015 MapRTechnologies 3 スピーカー Steve Wooledge VP, Product Marketing Anil Gadre SVP, Product Management Will Ochandarena Director, Product Management Nick Amato Director, Technical Marketing
- 4. ® © 2015 MapRTechnologies 4 データを行動に結びつける サイクルを加速することで 「即断可能な」ビジネスを実現する ®
- 5. ® © 2015 MapRTechnologies 5 主要な業種のトップ企業が採用 金融サービス 小売・消費財 セキュリティ オンラインサービス・ ソフトウェア メディア・ エンターテイメント 製造・公益・石油・ガス 広告 医療 通信 政府・公共機関 Fortune 10 小売企業
- 6. ® © 2015 MapRTechnologies 6© 2015 MapR Technologies ® Data-in-Motion と Data-at-Rest の統合
- 7. ® © 2015 MapRTechnologies 7 IoT と Data in Motion の台頭 10 億 60 億 500 億 2000年代: モバイルインターネット 2020年: Internet of People および Internet of Things 1990年代: 固定線インターネット 世界全体の接続デバイス 2020年までに、「価値あるデータ」全体の 21% が IoT からもたらされる - IDC
- 8. ® © 2015 MapRTechnologies 8 MapR Streams の発表 グローバル Publish/Subscribe イベントストリーミング Producer 毎秒数十億のメッセージを トピックに送信 Consumer すべての Consumer に 即時に高信頼な配送 グローバル 世界全域の地理的に分散 したクラスタを結びつける
- 9. ® © 2015 MapRTechnologies 9 ビッグデータの成長に伴い新しいアプリを供給することが困難に データの種類 の増加 データソース の増加 バッチから よりリアルタイム な分析へ 利用アプリケー ションの増加 • 複数のテクノロジー • アプリ開発の難易度の増加 • いたるところに遅延が発生 • サイロ化の再来 • データコピーが急増 • アプリ保守の難易度も増加 • 運用管理の課題の増加 • 複数のクラスタの費用 ビジネスにおけ る飛躍的な価 値をどのように 迅速に作り出す か
- 10. ® © 2015 MapRTechnologies 10 30年に一度の変化が進行中レガシー Data-to-Action アプリケーション ミドルウェア 高価な専用 計算機器・ストレージ エンタープライズアプリケーション コモディティハードウェア RDBMS バッチ分析 メッセージバス グローバルイベントストリーミング ビッグデータ時代 単一ネームスペース オペレーショナル分析 構造化 データ 半構造化 データ 非構造化 データ
- 11. ® © 2015 MapRTechnologies 11 処理データ Batch Streaming SQL MapR Converged Data Platform 問題: データサイロのパッチワークが出現アプリ カスタマーエクスペリエンスデータアーキテクチャ 最適化 セキュリティ調査・ イベント管理 オペレーショナル インテリジェンス マネージドサービス・ カスタムアプリ
- 12. ® © 2015 MapRTechnologies 12 処理データ MapR Converged Data Platform ファイル テーブル ドキュメント ストリーム 設計ゴール: すべてのアプリ向けの共通データサービス Batch Streaming SQL MapR Converged Data Platform アプリ カスタマーエクスペリエンスデータアーキテクチャ 最適化 セキュリティ調査・ イベント管理 オペレーショナル インテリジェンス マネージドサービス・ カスタムアプリ
- 13. ® © 2015 MapRTechnologies 13 処理データ MapR Converged Data Platform ファイル テーブル ドキュメント ストリーム 設計ゴール: すべてのアプリ向けの共通データサービス Batch Streaming SQL MapR Converged Data Platform MapR コンバージド・データ・プラットフォーム Hadoop、Spark、NoSQL データベース、SQL、イベントストリーミング、 Web スケールストレージのパワーを備えた統合プラットフォーム アプリ カスタマーエクスペリエンスデータアーキテクチャ 最適化 セキュリティ調査・ イベント管理 オペレーショナル インテリジェンス マネージドサービス・ カスタムアプリ
- 14. ® © 2015 MapRTechnologies 14 MapR コンバージド・データ・プラットフォーム オープンソースエンジン・ツール 商用エンジン・アプリケーション ユーティリティグレードデータサービス データ処理 エンタープライズストレージ MapR-FS MapR-DB MapR Streams データベース イベントストリーミング グローバルネームスペース 高可用性 データ保護 自律復旧 統合セキュリティ リアルタイム マルチテナント 検索・ その他 クラウド・ マネージド サービス カスタム アプリ 統合運用管理・監視
- 15. ® © 2015 MapRTechnologies 15 Hadoop + エンタープライズストレージ Hadoop + エンタープライズストレージ + NoSQL Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL + イベントストリーミング 2011 2013 2014 2015 トップランク Hadoop トップランク NoSQL トップランク SQL 統合に向けたビジョンの着実な実行
- 16. ® © 2015 MapRTechnologies 16 MapR プラットフォームサービス: オープン API アーキテクチャ 互換性を保証し、ロックインを避ける MapR-FS エンタープライズストレージ MapR-DB NoSQL データベース MapR Streams グローバルイベントストリーミング HDFS API POSIX NFS SQL, Hbase API JSON API Kafka API
- 17. ® © 2015 MapRTechnologies 17 MapR Streams により業界初にして唯一の 統合データプラットフォームを実現 「流れるデータ」と「保存されたデータ」を統合する高スループットのストリーミング 1 2 3 統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ 継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現 グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化
- 18. ® © 2015 MapRTechnologies 18 イベントが一件ずつ発生しビッグデータが生成される “time” : “6:01.103”, “event” : “RETWEET”, “location” : “lat” : 40.712784, “lon” : -74.005941 “time: “5:04.120”, “severity” : “CRITICAL”, “msg” : “Service down” “card_num” : 1234, “merchant” : ”Apple”, “amount” : 50
- 19. ® © 2015 MapRTechnologies 19 バッチ処理の様々な利用例 ● クリックストリーム分析 ● 予知保全 ● 不正検出 ● クーポン提示 ● リスクモデル ● カスタマー 360 ● センチメント分析
- 20. ® © 2015 MapRTechnologies 20 リアルタイム処理は補完的 ● 運用管理ダッシュボード ● 障害アラート ● 侵害検知 ● リアルタイム不正検出 ● リアルタイム価格提示 ● プッシュ通知 ● トレンドの提示 ● ニュースフィード
- 21. ® © 2015 MapRTechnologies 21 データパイプラインの課題 フィルタリング・ 集計 アラート 加工
- 22. ® © 2015 MapRTechnologies 22 ストリームはデータの移動をシンプルにする フィルタリング・ 集計 アラート 加工 ストリーム データソースと配信先の間をつなぐ 高信頼の Publish/Subscribe トランスポート
- 23. ® © 2015 MapRTechnologies 23 レガシーシステム: メッセージキュー IBM MQ, TIBCO, RabbitMQ Ordersフロントエンド 注文処理 注文処理 利用形態/要件 ● システム間の密接でトラン ザクショナルなやり取り ● 1対1 もしくは 少数対少数 ● 低いデータレート ● ミッションクリティカル配送 アプローチ ● キュー指向デザイン ● 各メッセージは N 個の出力 キューに複製される ● 読み込みによりメッセージが 取り出される ● スケールアップ、マスター/スレーブ できないこと ● 高いメッセージレート (>10万/秒) ● Consumer を遅らせること ● キューの再生/巻き戻し
- 24. ® © 2015 MapRTechnologies 24 進化する「ビッグデータ」イベントストリーム: 分散ログ Kafka, Hydra, DistributedLog 利用形態/要件 ● 切り離されたシステムから 転送される高スループット データ ● 多数→1 ● 1→多数 ● 異なる速度 アプローチ ● ログ指向デザイン ● ログファイルにメッセージを 書き込む ● Consumer はメッセージを 個々のベースで引き出す ● スケールアウト できないこと ● グローバルアプリケーション ● メッセージの永続化 ● 分析の統合 (データの移動が必要) DB_Changes ストリーミング処理 検索/ EDW DB
- 25. ® © 2015 MapRTechnologies 25 MapR: イベントストリームプラットフォームの再検討 ● 「ビッグデータ」スケール・パフォーマンス ● グローバルなアプリケーションとデータ収集 ● マルチテナント・マルチアプリケーション ● セキュリティ ● 直接分析が可能 (データ移動不要) ● 統合済み: クラスタが立ち並ぶことがない ストリーミング処理 分析 広告インプレッション アプリケーションログ センサーデータ
- 26. ® © 2015 MapRTechnologies 26© 2015 MapR Technologies ® MapR Streams 統合、継続、グローバル
- 27. ® © 2015 MapRTechnologies 27 MapR Streams: ビッグデータ向けグローバル Pub-Sub イベントストリーミングシステム Producer は毎秒数十億のメッセージをス トリーム内のトピックに送信 すべての Consumer に対する保証された、 即時の配信 世界全域の地理的に分散したクラスタを 結びつける 標準リアルタイム API (Kafka) による Spark Streaming、Storm、Apex、Flink と の連携 分析フレームワークからのダイレクトデー タアクセス (OJAI API) To pi c ストリーム トピックProducer Consumer リモートのサイトとConsumer Streaming バッチ分析
- 28. ® © 2015 MapRTechnologies 28 グローバル 提供される機能 ● 数千クラスタ間での任意のトポロジー ● 自動的なループ防止 ● DNS ベースディスカバリー ● メッセージオフセットと Consumer カーソル のグローバルな同期 実現されること ● グローバルなアプリケーションとデータ収集 ● Producer・Consumer のフェールオーバー ● エッジにおける分析/フィルタリング/集計 ● 「不定期の」接続 Producer Consumer
- 29. ® © 2015 MapRTechnologies 29 主な差別化ポイント MapR Streams 統合 グローバル セキュリティ・マルチテナント ファイル、テーブル、スト リームのための単一クラス タ グローバルなフェールオー バー機能を備える IoT ス ケールの「ファブリック」 テナントによるストリームの 所有、トピックとメッセージ の論理グループ化 認証、アクセス制御、暗号 化に利用される、他のプ ラットフォームサービスと統 合されたポリシー データ永続化とバッチ処理 フレームワークのダイレクト データアクセス
- 30. ® © 2015 MapRTechnologies 30© 2015 MapR Technologies ® MapR Streams の動作をご覧ください – デモ Nick Amato
- 31. ® © 2015 MapRTechnologies 31© 2015 MapR Technologies ® イベントストリーミング・処理の利用例 Will Ochandarena
- 32. ® © 2015 MapRTechnologies 32 全業種 Web 2.0 医療 通信 • ETL / データウェアハウス 最適化 • メインフレーム最適化 • アプリケーション・ネット ワーク監視 • セキュリティ情報・イベン ト管理 • レコメンデーションエンジ ン・ターゲティング • カスタマー 360 • クリックストリーム分析 • ソーシャルメディア分析 • 広告最適化 • スマートホスピタル • バイトメトリクス • 患者の生体情報監視 • 不正検出 • アンテナ最適化 • 課金・請求 • 設備監視・予防保全 • スマートメーター分析 主要な業種と利用例 石油・ガス 金融サービス 小売 アドテク • ポンプ監視・アラート発信 • 地震波トレース識別 • 設備メンテナンス • 安全性・環境 • セキュリティ • リアルタイム不正/リスク監視 • トランザクションのモバイル 通知 • リアルタイムサプライ チェーン最適化 • 在庫管理 • リアルタイムクーポン • 広告ターゲティング・最適化 • グローバルキャンペーンダッ シュボード
- 33. ® © 2015 MapRTechnologies 33 利用例 ストリーム アプリケーション/インフラ監視 Logs Metrics ビジネス上の成果 ● 障害やセキュリティ侵入 時のリアルタイム検出と アラート送信 ● 利用量、稼働状況、性能 に関するグローバルダッ シュボード MapR Streams 採用の理由 ● アプリ/インフラから ETL・処理 システムに対するリアルタイム 配信 ● システムの性能低下・障害時の 信頼性の高いデータバッファリ ング MapR 採用の理由 ● 統合プラットフォームがすべてのコ ンポーネントを結びつける ● グローバルイベントレプリケーショ ンにより集中監視が可能に ● セキュアなマルチテナント機能によ りクラスタの共有が可能に
- 34. ® © 2015 MapRTechnologies 34 クレジットカード処理向けデータベース変更キャプチャ ビジネス上の成果 ● 購入者に対するリアルタイムモバイル通知で顧客満足度が向 上 ● より多くの不正をリアルタイムで検出 ● データ探索により社員の生産性が向上 MapR Streams 採用の理由 ● メインフレーム RDBMS と ETL/処理基盤間の シームレスでリアルタイムの接続 MapR 採用の理由 ● ユーティリティグレードの信頼性によりトランザク ションの損失を防止 ● 統合プラットフォームセキュリティによる認証、アク セス制御、暗号化の統一 利用例 Transactions 不正検出 Streaming 1
- 35. ® © 2015 MapRTechnologies 35 医療・金融向けストリーム System of Record ビジネス上の成果 ● データアジリティ - JSON、グラフ、検索の各形式での最新 データの表示 ● HIPAA、PCI への準拠 ● 国内のデータ法令の遵守 Records JSON DB (MapR-DB) グラフ DB (Titan on MapR-DB) 検索エンジン (Elastic-Search) 書き込み API 読み出し API MapR Streams 採用の理由 ● ストリームは変更不可能、巻き戻し可能な監査に適した データ構造 ● Pub-Sub により JSON-DB、グラフ DB、ElasticSearch へ のリアルタイムのレプリケーションが可能に MapR 採用の理由 ● 統合プラットフォームは流れるデータ、保存されたデータ両 方を単一のクラスタ・セキュリティモデルで対応可能 ● 災害対策のための選択的で信頼性の高いグローバルレプ リケーション EU 利用例
- 36. ® © 2015 MapRTechnologies 36 アドテクにおけるグローバルな統合分析 … + アジア、欧州 ビジネス上の成果 ● 広告費とパフォーマンスのための新しいリアルタイム 顧客ダッシュボード ● グローバルな情報取得までの時間を短縮 - 時間から分単位に ● 災害復旧能力の追加 MapR Streams 採用の理由 ● 既存のログ転送方式と比較して、よりシンプルでより信頼 性の高いデータ/ETL パイプライン MapR 採用の理由 ● 統合プラットフォームは流れるデータ、保存されたデータ 両方を単一のクラスタ・セキュリティモデルで対応可能 ● 収集、分析、災害対策を分散して行うための高信頼グ ローバルレプリケーション 米国1 広告アプリケーション 本社 米国2 利用例
- 37. ® © 2015 MapRTechnologies 37 IoT データ転送と加工 利用例 ビジネス上の成果 ● 「モノ」からのデータを収集・加工することで新しい収益 の流れを創出 ● 利用者の近くに収集・加工基盤を配置することで低い 応答時間を実現 MapR Streams 採用の理由 ● IoT はイベントベースであるため、イベントスト リーミングアーキテクチャが求められる MapR 採用の理由 ● 統合プラットフォームは流れるデータ、保存された データ両方を単一のクラスタ・セキュリティモデルで 対応可能 ● 収集、分析、災害対策を分散して行うための高信 頼グローバルレプリケーション グローバルダッシュボード、アラート、加工 ローカルでの収集、フィルタリング、集計
- 38. ® © 2015 MapRTechnologies 38 Q&A MapR Streams により業界初にして唯一の統合データプラットフォームを実現 1 2 3 統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ 継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現 グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化 詳細は www.mapr.com/streams にて