Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

クラウドにおけるビッグデータ分析環境

891 views

Published on

This is Japanese slide.
Introduction of Big data Analytics Cloud Service

Published in: Data & Analytics
  • Be the first to comment

クラウドにおけるビッグデータ分析環境

  1. 1. 1 © Hortonworks Inc. 2011 – 2016. All Rights Reserved クラウドにおける ビッグデータ分析環境 次世代データプラットフォームのデファクトスタンダードを提供する オープンソースソフトウェア企業の世界的リーダー ホートンワークスジャパン株式会社 マーケティングディレクター 北瀬 公彦 2017-10-27 NetApp Webinar
  2. 2. 2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 免責事項 このプレゼンテーションは、情報提供のみを⽬的としています。 Hortonworksは、 このプレゼンテーションでの内容に注意を払っておりますが、掲載された情報の 内容の正確性については⼀切保証しません。
  3. 3. 3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Agenda à Hortonworksについて à ビッグデータ・アナリティクスサービスの紹介(クラウド、OSS) à AWS – Hortonworks à Azure – Hortonworks à IBM Cloud – Hortonworks à お客様紹介
  4. 4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks について
  5. 5. 5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks 創⽴ 2011年 Yahoo!のApache Hadoop オリジナルチームのメンバー24 ⼈のエンジニアが設⽴ 役員 CEO: ロブ・バーデン、COO:スコット・デイビッドソン オープンソースソフトウェアへ100%コミット Apache Hadoop プロジェクトへの貢献世界⼀ 2011年 創業、マイクロソフト社 (Azure HDInsight)と提携 2014年 9⽉ ⽇本法⼈ホートンワークスジャパン株式会社設⽴ 12⽉ NASDAQ上場(NASDAQ: HDP) 2015年 創業以来最速で売上$100Mを達成 Apache NiFiのOnyara社買収し、HDFを市場投⼊ 2016年 Billingが$270M越す、HDC for AWSを市場投⼊ 2016年 DellEMC社と提携 2017年 6⽉ 主⼒製品 新版HDP 2.6、HDF 3.0を市場投⼊ 6⽉ IBM社と提携 9⽉ 新製品・サービス HCPとDPSを市場投⼊ 会社概要 実績 次世代データプラットフォームのデファクトスタンダードを提供する オープンソースソフトウェア企業の世界的リーダー Billing実績 $ 270M (前年同期⽐ +62.7%) 売上実績 $ 184.5M(前年同期⽐ +51.4%) $ 13.1 $ 18.1 $ 20.9 $ 25.6 $ 27.6 $ 31.0 $ 32.5 $ 35.6 $ 42.1 $ 45.8 $ 9.2 $ 11.9 $ 11.3 $ 11.9 $ 13.7 $ 12.6 $ 15.1 $ 16.4 $ 13.9 $ 16.0 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 2015 2016 2Q17/2Q16 Revenue Growth: 42% YoY 2016年度
  6. 6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved ホートンワークスジャパン株式会社 Ã 設⽴ – 2014年9⽉ Ã オフィス – 東京都千代⽥区永⽥町2-11-1 ⼭王パークタワー3F Ã 社員数 – 20名弱(2017年7⽉現在) – Apache Spark、HBaseの書籍執筆者も在籍 – ⽇本初のApache NiFi コミッタ/PMCも在籍 Ã ビジネスモデル – サブスクリプション(サポート) – プロフェッショナルサービス – トレーニング Ã パートナー(エコモデル構築中) – 12社の販売パートナーと 拡⼤するエコシステムパートナー Ã お客様(急拡⼤中) – ⾦融、保険、⾃動⾞、⼩売・卸売、通信、 サービスをはじめとした先進的なお客様
  7. 7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved ホートンワークスが、ビッグデータウェアハウスのリーダーに選出 Ã オープンソースベースのデータウェアハウスソ リューション Ã あらゆる種類のデータから判断・⾏動のための 情報を提供 Ã 様々なエコシステムベンダーと連携可能 Ã 低コスト、スケーラブルなアーキテクチャ Ã オンプレミス、クラウドなどあらゆるプラット フォームに対応 Ã 分散ストレージ、分散処理機能、データ収集、 データガバナンス、サポートといった企業で必 要とされる機能を提供 Source: Forrester: The Forrester Wave™: Big Data Warehouse, Q2 2017 詳細はこちら: https://jp.hortonworks.com/info/big-data-solution-will-help-make-big-difference/
  8. 8. 8 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 提供する製品、サービス、ソリューション ソリューション データウェアハウス 最適化ソリューション IoT・ストリーミング 分析ソリューション データサイエンス・機械学習 サイバーセキュリティー オンプレミス Hortonworks Data Suite HDFHDP クラウド Hortonworks Data Cloud AWS Azure サービス サブスクリプション トレーニング プロフェッショナルサービス コミュニティ HCP DPS IBM
  9. 9. 9 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 次世代データアプリケーションを⽀えるプラットフォーム INTERNET OF ANYTHING 蓄積されたデータ流れているデータ セキュリティ脅威の監視 判断・行動の ための情報 HDFHortonworks DataFlow HDPHortonworks Data Platform HCPHortonworks Cybersecurity Platform 次世代データアプリケーションÃ 最適な保健料⾦の選定システム Ã 故障予測サービス Ã サイバーセキュリティ Ã スマートメータ連携システム Ã レコメンドシステム Ã その他、インダストリーアプリケーション
  10. 10. 10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved クラウドとOSS ビッグデータ・アナリティクスサービスの紹介
  11. 11. 11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Category OSS AWS Azure Google IBM ETL NiFi, Sqoop, Flume, etc Amazon Data Pipeline Azure Data Factory Azure Data Catalog Cloud DataPrep Data Connect メッセージング システム Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub ビッグデータ 分散処理 Hadoop Spark Amazon EMR Azure HDInsight Cloud DataProc Cloud Dataflow BigInsights for Apache Hadoop リアルタイム データ処理 Storm Amazon Kinesis Azure Stream Analytics Streaming Analytics NoSQL MongoDB, CouchDB, HBase, Cassandra, etc Amazon DynamoDB Azure CosmosDB Azure Time Series Insights Cloud Datastore Cloud BigTable IBM Cloudant データウェアハウス Hive / Druid Amazon Redshift Azure SQL Datawarehouse BigQuery IBM Db2 Warehouse on Cloud クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake Analytics BigQuery BigInsights for Apache Hadoop (Subscription) BI Superset, etc Amazon QuickSight PowerBI Google Data Studio Cognossなど、 UnmanagedなBI製品を 利用 データサイエンス Zeppelin Jupyter Notebook Amazon Machine Learning Azure Machine Learning Cloud DataLab IBM Data Science Experience マシーンラーニング Amazon Machine Learning Azure Machine Learning Cloud Machine Learning Services IBM Watson Machine Learning 参考: https://ilyas-it83.github.io/CloudComparer/ クラウドサービスの紹介 ビッグデータ・アナリティクス 注意: カバーできていない他のOSS、クラウドサービスもありますが、 作成者の視点により主要サービスのみカバーしています。
  12. 12. 12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved ストリーム データ転送 分散 ファイル システム データ ウェアハウス Business Intelligence 分散処理 データ サイエンス バルク データ転送 アドホック クエリー マシン ラーニング DB DB NoSQL Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ビッグデータ分析のための データパイプライン リアルタイム 処理
  13. 13. 13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved NiFi, Kafka HDFS Hive / Druid Superset Hadoop / Spark ZeppelinSqoop Hive QL / LLAP Storm, Spark Streaming Spark MLlibな どの機械学習 ライブラリを 使用して開発 DB DB Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ストリームデータ転送 バルクデータ転送 ビッグデータ関連OSSの紹介 OSS ビッグデータ・アナリティクス 注意: カバーできていない他のOSSもありますが、 作成者の視点により主要サービスのみカバーしています。 Mongo DB HBase, Cassandra
  14. 14. 14 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Amazon Kinesis Amazon S3 Amazon Redshift Amazon QuickSight Amazon EMR Amazon ML Amazon Data Pipeline Amazon Athena Amazon ML DB DB Amazon DynamoDB Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ストリームデータ転送 バルクデータ転送 クラウドサービスの紹介 AWS ビッグデータ・アナリティクス 注意: カバーできていないサービスもありますが、 作成者の視点により主要サービスのみカバーしています。 Amazon Kinesis Analytics
  15. 15. 15 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Google Cloud Pub/Sub Google Cloud Storage Google Datastore Google Data Studio Google Cloud Dataproc Google Cloud Datalab Google Cloud DataPrep Google BigQuery Google Cloud Datalab DB DB Google BigQuery Google BigTable Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ストリームデータ転送 バルクデータ転送 クラウドサービスの紹介 Google ビッグデータ・アナリティクス 注意: カバーできていないサービスもありますが、 作成者の視点により主要サービスのみカバーしています。 Google Cloud Dataflow
  16. 16. 16 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Azure Event Hub Azure Blob / ADLS Azure SQL Server Data warehouse Azure PowerBI Azure ML Azure Data Factory Azure Data Lake Analytics Azure Streaming Analytics Azure ML DB DB Azure HDInsight Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ストリームデータ転送 バルクデータ転送 クラウドサービスの紹介 Azure ビッグデータ・アナリティクス 注意: カバーできていないサービスもありますが、 作成者の視点により主要サービスのみカバーしています。 Azure CosmoDB
  17. 17. 17 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース IBM Message Hub IBM Object Storage IBM Db2 Warehouse on Cloud Cognossなど、 Unmanagedな BI製品を利用 IBM Data Science Experience IBM Data Connect それぞれの サービスに 付属 IBM Watson Machine Learning DB DB IBM Cloudant BigInsights for Apache Hadoop Sensor Sensor ストリームデータ転送 バルクデータ転送 クラウドサービスの紹介 IBM ビッグデータ・アナリティクス 注意: カバーできていないサービスもありますが、 作成者の視点により主要サービスのみカバーしています。 IBM Streaming Analytics
  18. 18. 18 © Hortonworks Inc. 2011 – 2016. All Rights Reserved NetApp Private Storageを利⽤した ハイブリッドなビッグデータ・アナリティクス環境 Reference: https://blog.netapp.com/blogs/top-5-reasons-to-attend-strata-data-conference IBM Cloud IBM Cloud HDP on IBM Cloud Direct Link HDP on Azure Analytics Engine (beta)
  19. 19. 19 © Hortonworks Inc. 2011 – 2016. All Rights Reserved AWS – Hortonworks
  20. 20. 20 © Hortonworks Inc. 2011 – 2016. All Rights Reserved AWS – Hortonworks 半マネージド(PaaS) HDC for AWS Ã HortonworksがMarket Placeにて提供 Ã コントローラーをデプロイ後、 クラスタをプロビジョニング Ã プロビジョニング可能なクラスタ – EDW-ETL (Apache Hive, Spark) – BI (Druid) – Data Sciense (Apache Spark, Zepellin) – EDW-ETL (Apache Hive, Spark) – EDW-analytics (Apache Hive LLAP, Spark) Ã AWS S3を利⽤可能 アンマネージド(IaaS) Hortonworks on AWS Ã EC2上に展開 Ã BYOL Ã サーバー環境を⾃社で管理 Ã 他のソフトウェアなどを 組み合わせてクラスタを構築可能 Ã オンプレミスと同⼀の環境に 構成可能 HDC: Hortonworks Data Cloud for AWS
  21. 21. Demo
  22. 22. 22 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Product Architecture cloud controller (powered by Cloudbreak) Master Node Worker Node Worker Node Worker Node Master Node Worker Node Worker Node Worker Node Master Node Worker Node Worker Node Worker Node HDP Cluster A HDP Cluster B HDP Cluster C AMI-1 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 Docker
  23. 23. 23 © Hortonworks Inc. 2011 – 2016. All Rights Reserved AWS Marketplace: Products cloud controller (powered by Cloudbreak) Master Node Worker Node Worker Node Worker Node Master Node Worker Node Worker Node Worker Node Master Node Worker Node Worker Node Worker Node HDP Cluster A HDP Cluster B HDP Cluster C AMI-1 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 AMI-2 Hortonworks Data Cloud “HDP Services” Hortonworks Data Cloud “Controller Service”
  24. 24. 24 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Launch the Cloud Controller Launch Cloud Controller (using CloudFormation) BASIC: - New EC2 Instance - New Security Group - Embedded database - New VPC, Subnet ADVANCED: - New EC2 Instance - New Security Group - Existing RDS database - Existing VPC, Subnet
  25. 25. 25 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Prescriptive, On-Demand, Ephemeral Workloads Choice of platforms Early access Latest innovations
  26. 26. 26 © Hortonworks Inc. 2011 – 2016. All Rights Reserved EASE OF USE: Manage all of your ephemeral workloads from a convenient and easy to use dashboard.
  27. 27. 27 © Hortonworks Inc. 2011 – 2016. All Rights Reserved EASE OF USE: Choose from a set of pre-tuned and pre- configured cluster types.
  28. 28. 28 © Hortonworks Inc. 2011 – 2016. All Rights Reserved EASE OF USE: Prescriptive customization points enable the operator to further tune the infrastructure and cluster as required.
  29. 29. 29 © Hortonworks Inc. 2011 – 2016. All Rights Reserved REDUCED OPERATIONAL EFFORT: Simplified choice of cluster topologies enable automatic cluster repair, reducing the burden on the operator.
  30. 30. 30 © Hortonworks Inc. 2011 – 2016. All Rights Reserved CONTROL COSTS: Opportunistically leverage Spot and Reserved Instances to control costs.
  31. 31. 31 © Hortonworks Inc. 2011 – 2016. All Rights Reserved INTEGRATED NETWORK SECURITY: A built-in Protected Gateway, along with advanced network options, minimizes the network access points.
  32. 32. 32 © Hortonworks Inc. 2011 – 2016. All Rights Reserved REDUCED OPERATIONAL EFFORT: Auto-scaling enables the cluster to dynamically adjust to the workload without operator input.
  33. 33. 33 © Hortonworks Inc. 2011 – 2016. All Rights Reserved REDUCED OPERATIONAL EFFORT: An integrated and powerful Command Line Interface (CLI) enables automating cluster creation and management.
  34. 34. 34 © Hortonworks Inc. 2011 – 2016. All Rights Reserved REDUCED OPERATIONAL EFFORT: Simplified cluster controls and easy access to cluster resources.
  35. 35. 35 © Hortonworks Inc. 2011 – 2016. All Rights Reserved SHARED METASTORE SERVICE: Reusable shared metadata services provide consistent schema across and in-between ephemeral workloads.
  36. 36. 36 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Azure – Hortonworks
  37. 37. 37 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Azure - Hortonworks マネージド(PaaS) Azure HDInsight à HDPベースに開発 à R Serverとの連携 à プロビジョニング可能なクラスタ – Hadoop (Hive), HBase, Storm, Spark, Kafka, Interactive Hive (LLAP), and R Server (with R Studio, R 9.1). à Azure Data Lakeや、 Azure Storageと連携可能 アンマネージド(IaaS) Hortonworks on Azure à Azure VM上に展開 à BYOL à サーバー環境を⾃社で管理 à 他のソフトウェアなどを 組み合わせてクラスタを構築可能 à オンプレミスと同⼀の環境に 構成可能
  38. 38. Demo
  39. 39. Hortonworksから ⽀援を受けた場合は…
  40. 40. 40 © Hortonworks Inc. 2011 – 2016. All Rights Reserved IBM Cloud - Hortonworks
  41. 41. 41 © Hortonworks Inc. 2011 – 2016. All Rights Reserved IBM Cloud – Hortonworks マネージド(PaaS) IBM Analytics Engine (beta) à HDPベースに開発 à Data Science Experienceとの連携 à プロビジョニング可能なクラスタ – Hadoop + Spark, Spark à Object Storageの利⽤(S3, Swift) アンマネージド(IaaS) Hortonworks on IBM Cloud à 仮想・物理サーバーの利⽤ à BYOL à サーバー環境を⾃社で管理 à 他のソフトウェアなどを 組み合わせてクラスタを構築可能 à オンプレミスと同⼀の環境に 構成可能 Reference: https://www.youtube.com/watch?v=kGkPmCY8nQw https://www.ibm.com/blogs/bluemix/2017/09/ibm-analytics-engine-beta-goes-live/ 2017-10-27: ベータステータス
  42. 42. Demo
  43. 43. 43 © Hortonworks Inc. 2011 – 2016. All Rights Reserved お客様紹介
  44. 44. 44 © Hortonworks Inc. 2011 – 2016. All Rights Reserved システム統合プロジェクトに伴うデータ分析基盤の刷新 Hadoopの活⽤で住環境の「安⼼・安全・快適」を⽬指す Ã 5社システムの統合 Ã 基幹システムと情報システムの連携 Ã 住宅IoTデータへの対応 導⼊背景 Ã 低コストで⼤容量システムを構築 Ã ITガバナンスの管理実⾏ Ã 情報分析データ活⽤の検証 導⼊効果 システムアーキテクチャ 2つのシステム組み合わせ、双⽅の利点を活かすことで、⼤容量データを 効率的かつ安価に処理できる基盤を構築 HDP: 統計分析・機械学習などの⾼度な分析を拡張性が⾼く、低コストに実現 SAP HANA:超⾼速処理で業績管理を実現
  45. 45. u 稼働中のトラックのリアルタイムな情報を、お客様のPC端末でチェックできるサービス u トラックから送られる⾞両情報を、三菱ふそうカスタマーアシスタンスセンターが受信し、お客様はインターネッ ト上のトラックコネクト専⽤ページにアクセスするだけで、現在位置や運⾏状況を把握することが可能 出典: http://car.watch.impress.co.jp/docs/news/1059805.html 三菱ふそうトラック・バス 株式会社様 ⾞両センサーデータを活⽤し⾼付加価値サービスの実現 Azure HDInsightを利⽤したテレマティクス基盤 三菱ふそうトラック・バス株式会社でのシステムアーキテクチャー
  46. 46. Microsoft Office 365 MyAnalytics 参考: https://www.slideshare.net/DataStax/webinar-microsoft-office-365-enhancing-customer-experience-at-global-scale-with-datastax-and-azure
  47. 47. 統合データレイクの構築にHortonworksを採⽤ ⽇産⾃動⾞株式会社様 Data Sources Big Data Platform Data Analytics Platform Data Integration Platform ESB MLlib Data Sources Data Mgmt. Platform Data Integration Platform Data Sources for Analytics Data Analytics Platform Hortonworks Data Platform LLAP Data Mart AMQP ETL Ã ⾛⾏データを⻑期保管するための インフラが必要 Ã サイロ化している社内データの統合 Ã さまざまなデータをクロスファンクショナル に活⽤するためのプラットフォームが必要 導⼊背景 サイロ化されたデータをデータレイクに統合 導⼊効果 Ã 社内のあらゆるデータを蓄積できる データレイクの構築を実現 Ã さまざまなデータ活⽤に対するニーズが向上 Ã IoT データ分析や、 グローバルデータレイクの構想
  48. 48. 1 . . 4 . 4 . . . E C 1 1/ . . 44 . お問い合わせ先 ホートンワークスジャパン株式会社 TEL:03-6205-3284 住所: 東京都千代⽥区永⽥町2-11-1 ⼭王パークタワー3F info-jp@hortonworks.com http://jp.hortonworks.com

×