Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは

1,107 views

Published on

ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
DSX x IAE x Object Storage でデータ基盤を構築しよう

Published in: Technology
  • Be the first to comment

ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは

  1. 1. ライトプランで利⽤可能な分析基盤 「IBM Analytics Engine (IAE)」とは DSX x IAE x Object Storage でデータ基盤を構築しよう ホートンワークスジャパン マーケティングディレクター 北瀬 公彦
  2. 2. 2 Hortonworks 会社概要 創⽴ 2011年 Yahoo!のApache Hadoop オリジナルチームのメンバー24 ⼈のエンジニアが設⽴ 役員 CEO: ロブ・バーデン、COO:スコット・デイビッドソン オープンソースソフトウェアへ100%コミット Apache Hadoop プロジェクトへの貢献世界⼀ 2011年 創業、マイクロソフト社 (Azure HDInsight)と提携 2014年 9⽉ ⽇本法⼈ホートンワークスジャパン株式会社設⽴ 12⽉ NASDAQ上場(NASDAQ: HDP) 2015年 創業以来最速で売上$100Mを達成 Apache NiFiのOnyara社買収し、HDFを市場投⼊ 2016年 Billingが$270M越す、HDC for AWSを市場投⼊ 2016年 DellEMC社と提携 2017年 6⽉ 主⼒製品 新版HDP 2.6、HDF 3.0を市場投⼊ 6⽉ IBM社と提携 9⽉ 新製品・サービス HCPとDPSを市場投⼊ 会社概要 実績 次世代データプラットフォームのデファクトスタンダードを提供する オープンソースソフトウェア企業の世界的リーダー 受注実績 $ 270M (前年同期⽐ +62.7%) 売上実績 $ 184.5M(前年同期⽐ +51.4%) 3Q17/3Q16 Subscription Revenue Growth: 64% YoY 2016年度 $ 13.1 $ 18.1 $ 20.9 $ 25.6 $ 27.6 $ 31.0 $ 32.5 $ 35.6 $ 42.1 $ 45.8 $ 53.2 $ 9.2 $ 11.9 $ 11.3 $ 11.9 $ 13.7 $ 12.6 $ 15.1 $ 16.4 $ 13.9 $ 16.0 $ 15.8 Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3 2015 2016 2017
  3. 3. 3 14:55 [Room 2] IBM Cloud DBaaS の概要と事例紹介 野間 愛⼀郎 : IBM, Cloud Software & Analytics 15:45 [Room 2] DSXでデータ・サイエンス 河⽥ ⼤ : IBM, アナリティクス・テクニカル・セールス 14:30 [Room 1] ライトプランで利⽤可能な分析基盤「Analytics Engine」とは 北瀬 公彦 : ホートンワークスジャパン, マーケティングディレクター 本⽇のデータ関連サービスのセッション紹介
  4. 4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved ⽣成されるデータの急増 出典: IDC's Data Age 2025 study, sponsored by Seagate https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
  5. 5. 5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved データの⽣成場所が個⼈から企業へ 出典: IDC's Data Age 2025 study, sponsored by Seagate https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
  6. 6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved リアルタイムデータの増加 出典: IDC's Data Age 2025 study, sponsored by Seagate https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
  7. 7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved AIシステムにより利⽤されるデータの増加 出典: IDC's Data Age 2025 study, sponsored by Seagate https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf
  8. 8. データを取り巻く 環境の激変に 対応可能ですか?
  9. 9. ビッグデータ分析環境の例 データの収集 Hortonworks DataFlow データの蓄積、分析 Hortonworks Data Platform Hadoop Weekly / Monthly etc) EDW Hadoop EDW データ アプリケーション データ アナリスト データ サイエンティスト データ エンジニア
  10. 10. 10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Category OSS AWS Azure Google IBM ETL NiFi, Sqoop, Flume, etc Amazon Data Pipeline Azure Data Factory Azure Data Catalog Cloud DataPrep Data Connect メッセージング システム Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub ビッグデータ 分散処理 Hadoop Spark Amazon EMR Azure HDInsight Cloud DataProc Cloud Dataflow IBM Analytics Engine (IAE) リアルタイム データ処理 Storm Amazon Kinesis Azure Stream Analytics Cloud Dataflow Streaming Analytics NoSQL MongoDB, CouchDB, HBase, Cassandra, etc Amazon DynamoDB Azure CosmosDB Azure Time Series Insights Cloud Datastore Cloud BigTable IBM Cloudant データウェアハウス Hive / Druid Amazon Redshift Azure SQL Datawarehouse BigQuery IBM Db2 Warehouse on Cloud クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake Analytics BigQuery BigInsights for Apache Hadoop (Big SQL) BI Superset, etc Amazon QuickSight PowerBI Google Data Studio Cognossなど、 UnmanagedなBI製品を 利用 データサイエンス Zeppelin Jupyter Notebook Amazon Machine Learning Azure Machine Learning Cloud DataLab IBM Data Science Experience マシーンラーニング Amazon Machine Learning Azure Machine Learning Cloud Machine Learning Services IBM Watson Machine Learning 参考: https://ilyas-it83.github.io/CloudComparer/ クラウドサービスの紹介 ビッグデータ・アナリティクス 注意: カバーできていない他のOSS、クラウドサービスもありますが、 作成者の視点により主要サービスのみカバーしています。
  11. 11. 11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved ストリーム データ転送 分散 ファイル システム データ ウェアハウス Business Intelligence 分散処理 データ サイエンス バルク データ転送 アドホック クエリー マシン ラーニング DB DB NoSQL Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ビッグデータ分析のための データパイプライン リアルタイム 処理
  12. 12. 12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved NiFi, Kafka HDFS Hive / Druid Superset Hadoop / Spark ZeppelinSqoop Hive QL / LLAP Storm, Spark Streaming Spark MLlibな どの機械学習 ライブラリを 使用して開発 DB DB Sensor Sensor 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース ストリームデータ転送 バルクデータ転送 ビッグデータ関連OSSの紹介 OSS ビッグデータ・アナリティクス 注意: カバーできていない他のOSSもありますが、 作成者の視点により主要サービスのみカバーしています。 Mongo DB HBase, Cassandra
  13. 13. 13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved ここの話 収集 蓄積 処理 分析⽤データ 可視化・分析・機械学習ソース IBM Message Hub IBM Object Storage IBM Db2 Warehouse on Cloud Cognossなど、 Unmanagedな BI製品を利用 IBM Data Science Experience IBM Data Connect それぞれの サービスに 付属 IBM Watson Machine Learning DB DB IBM Cloudant IBM Analytics Engine (IAE) Sensor Sensor ストリームデータ転送 バルクデータ転送 クラウドサービスの紹介 IBM ビッグデータ・アナリティクス 注意: カバーできていないサービスもありますが、 作成者の視点により主要サービスのみカバーしています。 IBM Streaming Analytics
  14. 14. 14 IBM Analytics Engine とは Ã マネージド Hadoop / Spark サービス – Hortonworks Data Platform (HDP) ベースに開発され、2017年11⽉にGA) Ã IBM Open Platform for Hadoop (IOP) や BigInsights for Apache Hadoop の後継 – IOPはすでにService Retired – BigInsights for Apache Hadoop もまもなくService Retired • Service Retirement Announce Date: November 7, 2017 • End of Marketing Date: December 7, 2017 • End of Support Date: November 7, 2018 Source: https://www.ibm.com/blogs/bluemix/2017/11/deprecation-of-biginsights-for-apache-hadoop-basic-plan/
  15. 15. 15 IBM Analytics Engine 1.0 Spark (Free)
  16. 16. 16 IBM Analytics Engine 1.0 Spark and Hadoop (Free)
  17. 17. 17 IBM Data Science Experience (DSX) とは Ã データサイエンスに携わる全てのユーザ様向けのプラットフォーム Ã データ分析に必要な環境をAll In Oneで装備し、分析のサイクルを⼀気通貫 Ã データサイエンスを組織としてまわすために必要なコラボレーション機能 Ã Sparkを梱包しているためビッグデータ処理も対応 多様なデータ・ソースへ のアクセス機能 Python, R, SPSS ⾃動化された機械学習 API化
  18. 18. 18 © Hortonworks Inc. 2011 – 2016. All Rights Reserved データサイエンス / 機械学習 テクノロジースタック DSX x IAE による Find Share Collaborate common data, pipelines and projects IBM Data Science Experience DATA SYSTEMSPlatforms On-Premise Private Cloud Cloud Security Operations Governance & Integration °1 ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° N YARN : Data Operating System Script Pig SQL Hive NoSQL HBase Stream Strom In-Mem Spark HDFS (Hadoop Distributed File System) Others BigSQL Clickstream Web & Social Geolocation Sensor & Machine Server Logs Unstructured Data Sources Apache Spark 内蔵 IBM Analytics Engine (Apache Hadoop / Spark 占有環境) Powered by Hortonworks 拡 張 可 能
  19. 19. 19 デモスクリプト Ã IBM Analytics Engineでクラスタを作成 Ã 作成されたクラスタの確認 Ã IBM Data Science Experienceで、プロジェクトの作成 Ã Object Storage (S3)でバケットの作成 Ã Sparkサービスの作成 Ã IAEとDSXの連携 Ã Jupyter NotebookでNotebookの作成 Ã サンプルNotebookを実⾏
  20. 20. 20 参考情報 à Web – https://www.ibm.com/cloud/analytics-engine à YouTube – https://www.youtube.com/watch?v=Qa2Zq0NkokM – https://www.youtube.com/watch?v=uf1aNmbfGZk à 関連記事 – https://japan.zdnet.com/article/35109884/
  21. 21. 21 北瀬 公彦 KIMIHIKO KITASE http://blogs.itmedia.co.jp/kkitase @kkitase ホートンワークスジャパン マーケティングディレクター クラウド利⽤促進機構 総合アドバイザー facebook.com/kkitase kkitase@gmail.com 何かあればあとでご連絡ください

×