Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[Data Platform Conference Tokyo 2017] エキスパートに聞く!クラウドで実現するビッグデータ活用

741 views

Published on

[Data Platform Conference Tokyo 2017] エキスパートに聞く!クラウドで実現するビッグデータ活用
https://satonaoki.wordpress.com/2017/10/10/data-platform-conference/

http://dataplatform.jp/

https://dataplatform.jp/regist/popup/a-3.html

Published in: Software
  • Be the first to comment

[Data Platform Conference Tokyo 2017] エキスパートに聞く!クラウドで実現するビッグデータ活用

  1. 1. エキスパートに聞く! クラウドで実現するビッグデータ活用 日本マイクロソフト株式会社 佐藤 直生 日本アイ・ビー・エム株式会社 平山 毅 ホートンワークスジャパン株式会社 北瀬 公彦
  2. 2. © Data Platform Conference Tokyo 2017. All Rights Reserved2 Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved2  メジャーなクラウドにおける ビッグデータ・アナリティクス関連サービスについて確認  Azureのビッグデータ・アナリティクス関連サービスについて  IBMのビッグデータ・アナリティクス関連サービスについて アジェンダ
  3. 3. 日本マイクロソフト株式会社 パートナー事業本部 エバンジェリスト 佐藤 直生 氏 日本アイ・ビー・エム株式会社 IBMクラウド事業本部 コンサルティング・アーキテクト 平山 毅 氏
  4. 4. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved4 Category OSS AWS Azure Google IBM ETL NiFi, Sqoop, Flume, etc Amazon Data Pipeline Azure Data Factory Azure Data Catalog Cloud DataPrep Data Connect メッセージング システム Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub ビッグデータ 分散処理 Hadoop Spark Amazon EMR Azure HDInsight Cloud DataProc Cloud Dataflow BigInsights for Apache Hadoop リアルタイム データ処理 Storm Amazon Kinesis Azure Stream Analytics Streaming Analytics NoSQL MongoDB, CouchDB, HBase, Cassandra, etc Amazon DynamoDB Azure CosmosDB Azure Time Series Insights Cloud Datastore Cloud BigTable IBM Cloudant データウェアハウス Hive / Druid Amazon Redshift Azure SQL Datawarehouse BigQuery IBM Db2 Warehouse on Cloud クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake Analytics BigQuery BigInsights for Apache Hadoop (Subscription) BI Superset, etc Amazon QuickSight PowerBI Google Data Studio データサイエンス Zeppelin Jupyter Notebook Amazon Machine Learning Azure Machine Learning Cloud DataLab IBM Data Science Experience マシーンラーニング Amazon Machine Learning Azure Machine Learning Cloud Machine Learning Services IBM Watson Machine Learning クラウドサービスの紹介 ビッグデータ・アナリティクス 参考: https://ilyas-it83.github.io/CloudComparer/
  5. 5. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved5 ビッグデータ分析のための データパイプライン ストリーム データ転送 分散 ファイル システム データ ウェアハウス Business Intelligence 分散処理 データ サイエンス バルク データ転送 アドホック クエリー リアルタイム 処理 マシン ラーニング DB DB NoSQL Sensor Sensor
  6. 6. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved6 Apache Kafka Apache HDFS Apache Hive / Druid Apache Superset Apache Hadoop / Spark Apache Zeppelin Apache Sqoop ETL Apache Hive QL / LLAP Apache Storm Spark Mllibな どの機械学習 ライブラリを 使用して開発 DB DB Mongo DB Apache HBase クラウドサービスの紹介 OSS ビッグデータ・アナリティクス Sensor Sensor ストリームデータ転送 バルクデータ転送
  7. 7. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved7 Amazon Kinesis Amazon S3 Amazon Redshift Amazon QuickSight Amazon EMR Apache Zeppelin ETL Amazon Athena Amazon Kinesis Analytics Amazon ML DB DB Amazon DynamoDB クラウドサービスの紹介 AWS ビッグデータ・アナリティクス Sensor Sensor ストリームデータ転送 バルクデータ転送
  8. 8. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved8 Google Cloud Pub/Sub Google Cloud Storage Google Datastore Google Data Studio Google Cloud Dataproc Google Cloud Datalab ETL Google BigQuery Google Cloud Dataflow Google Cloud Datalab DB DB Google BigQuery Google BigTable Google Cloud Dataflow クラウドサービスの紹介 Google ビッグデータ・アナリティクス Sensor Sensor ストリームデータ転送 バルクデータ転送
  9. 9. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved9 Azure Event Hub Azure Blob / ADLS Azure SQL Server Data warehouse Azure PowerBI Azure MLETL それぞれの サービスに 付属 Azure Streaming Analytics Azure ML DB DB Azure CosmoDB Azure HDInsight クラウドサービスの紹介 Azure ビッグデータ・アナリティクス Sensor Sensor ストリームデータ転送 バルクデータ転送
  10. 10. Data PlatformConference Tokyo 2017 © Data Platform Conference Tokyo 2017. All Rights Reserved10 IBM Message Hub IBM Object Storage IBM Db2 Warehouse on Cloud Cognossなど、 Unmanagedな BI製品を利用 IBM Data Science Experience ETL それぞれの サービスに 付属 IBM Streaming Analytics IBM Watson Machine Learning DB DB IBM Cloudant BigInsights for Apache Hadoop クラウドサービスの紹介 IBM ビッグデータ・アナリティクス Sensor Sensor ストリームデータ転送 バルクデータ転送
  11. 11. 日本マイクロソフト株式会社 パートナー事業本部 エバンジェリスト 佐藤 直生 氏
  12. 12. デ ジ タ ル ト ラ ン ス フ ォ ー メ ー シ ョ ン
  13. 13. クラウド AIデータ
  14. 14. データ ウェアハウス データ レイク オペレーション データベース データ ウェアハウス データ レイク オペレーション データベース セキュリティと プライバシー 選択肢の柔軟性 あらゆる場所の あらゆるデータに対応 AI 組み込み | 最もセキュア | 最小の TCO 2年連続で業界トップ TPC-H パフォーマンスでトップ 任意のデータに対する T-SQL クエリ Aurora より 70% 高速 Redshift の 2 倍のグローバル リーチ 上限なし、99.9% SLA ハイブ リッド SQL Server Azure データ サービス コード変更なしに簡単に移行 SocialLOB Graph IoTImageCRM
  15. 15. Apps + insights Social LOB Graph IoT Image CRM 投入 格納 準備、訓練 モデル、提供 Data orchestration and monitoring Big data store Hadoop/Spark and machine learning Data warehouse
  16. 16. 制御 使いやすさ Azure Data Lake Analytics Azure Data Lake Store Azure Storage Any Hadoop technology Workload optimized, managed clusters Specific apps in a multi- tenant form factor Azure Marketplace HDP | CDH | MapR Azure Data Lake Analytics IaaS クラスター マネージド クラスター ビッグ データ サービス Azure HDInsight ビッグデータ ストレージ ビッグデータ分析 ユーザー導入
  17. 17. OSS ビッグ データ フレームワークを 希望しているか? オンプレミスと厳密 に同じである必要 があるか? 対話型、ストリー ミングが必要か? 必須 強い意見なし Azure Marketplace (IaaS) • All workloads exactly like on-premises • Cloudera/MapR Azure HDInsight • Most Hadoop workloads • Fully managed by Microsoft • Sell HDI + ADLS • Stickier to Microsoft than VMs • Can do interactive (Spark) and streaming (Storm/Spark) Azure Data Lake • Easiest experience for admin: no sense of clusters, instant scale per job • Easiest experience for developers: Visual Studio/U-SQL (C#+SQL) • Sell ADLA + ADLS • Batch workloads only はい 主要な機能が 必要 はい バッチで十分 .NET/VS ユーザーか?
  18. 18. ビッグ データ ソリューション 3 つの主要ソリューション  ビッグ データによる、 データ ウェアハウスの モダナイゼーション  高度な分析  Internet of Things (IoT)
  19. 19. モデル、提供準備、訓練 HDInsight / Spark データ Business apps Custom apps Sensors and devices インテリジェンス アクション 格納 Blobs / Data Lake 投入 Data Factory Analytical dashboards Web & mobile apps Machine Learning Cosmos DB SQL DB SQL Data Warehouse Analysis Services Operational reports
  20. 20. Business apps Custom apps Analytical dashboards Azure SQL Data Warehouse
  21. 21. Azure SQL Data Warehouse Azure CLI Azure Data Factory bcp Command Line Utility SQL Server Integration Services Business apps Custom apps Analytical dashboards
  22. 22. Business apps Custom apps Azure SQL Data Warehouse Azure SQL Database Azure Analysis Services Data Migration Service Data Migration Service Data Migration Service Data Migration Service Analytical dashboards
  23. 23. Business/Custom apps (structured) Azure SQL Data Warehouse Azure CLI, Azure Data Factory Azure Analysis Services Data Migration Service Logs, Files and media (unstructured) Analytical dashboards
  24. 24. Azure SQL Data Warehouse Azure Storage Business/Custom apps (structured) Logs, Files and media (unstructured) Polybase Azure HDInsight (Hadoop/Spark) Analytical dashboards
  25. 25. *IDC study “The Business Value and TCO Advantage of Apache Hadoop in the Cloud with Microsoft Azure HDInsight” Azure HDInsight エンタープライズ向けの Spark、Hadoop クラウド サービス  信頼性  エンタープライズ級  生産性の高い プラットフォーム  コスト効率  統合  簡単  63% 低い TCO
  26. 26. Azure SQL Data Warehouse Azure Storage Business/Custom apps (structured) Logs, Files and media (unstructured) Polybase Azure HDInsight (Hadoop/Spark) Azure Machine Learning & Machine Learning Server Analytical dashboards
  27. 27. Model Management モデルのデプロイ、 バージョン管理、 管理、監視 Workbench データ準備、 モデル構築、 デプロイ、管理 Experimentation Spark、GPU、 アジャイル開発で 生産性を加速
  28. 28. Azure SQL Data Warehouse Azure Data Lake Store Business/Custom apps (structured) Logs, Files and media (unstructured) Polybase Azure Data Lake Analytics Azure Machine Learning & Machine Learning Server Analytical dashboards
  29. 29. Azure SQL Data Warehouse Azure Storage Polybase Azure HDInsight (Hadoop/Spark) Azure Machine Learning & Machine Learning Server Analytical dashboards Sensors and IoT (unstructured) Azure Event Hubs Azure IoT Hub Azure HDInsight (Kafka)
  30. 30. Azure SQL Data Warehouse Azure Stream Analytics Polybase Azure Machine Learning & Machine Learning Server Analytical dashboards Sensors and IoT (unstructured) Azure Event Hubs Azure IoT Hub Azure HDInsight (Kafka)
  31. 31. Azure SQL Data Warehouse Azure Storage Business/Custom apps (structured) Logs, Files and media (unstructured) Polybase Azure HDInsight (Hadoop/Spark) Azure Machine Learning & Machine Learning Server Analytical dashboards Web & mobile apps Cosmos DB Sensors and IoT (unstructured) Azure Event Hubs Azure Data Factory Orchestration Azure Key Vault Key Management Azure ExpressRoute Private Connections Operations Management Suite Monitoring
  32. 32. Data Lake Analytics Business apps Custom apps Sensors and devices Data Lake Store Data Factory (Data Movement) Machine Learning Web & mobile apps Cosmos DB SQL DB Analytical dashboards SQL Data Warehouse Analysis Services Operational reports HDInsight (Hadoop/Spark) Stream Analytics Blob Storage Event Hubs Kafka on HDInsight Azure Azure Data Factory Orchestration Azure Key Vault Key Management Azure ExpressRoute Private Connections Operations Management Suite Monitoring
  33. 33. 利用分析 MACHINE LEARNING データ Business apps Custom apps Sensors and devices インテリジェンス アクション 格納 UP TO 150TB 準備、投入 INTEGRATION SERVICES Analytical dashboards Web & mobile apps REPORTING SERVICES SQL Server <150TB compressed, SMP PolyBase Analytics Platform System >150TB compressed, MPP Your big data store Operational reports
  34. 34. SQL Server 2017 Windows Server、Linux、Docker で動作 アダプティブ クエリ処理を備えた 業界トップのパフォーマンス R、Python によるデータベース内の高度な機械学習 SQL Server 2017
  35. 35. TrustedHybrid IntelligentProductive Microsoft Azure
  36. 36. 最新技術とソリューションの動向。取り組むべき課題と習得すべきスキル。 80 を超えるセッションをご用意しお迎えします。 お申し込みは http://aka.ms/mstsjp17 #mstsjp17 早期割引申込 受付中! インフラエンジニア、アーキテクト、IT 戦略にかかわる皆様のための技術カンファレンス
  37. 37. 日本アイ・ビー・エム株式会社 IBMクラウド事業本部 コンサルティング・アーキテクト 平山 毅 氏
  38. 38. エキスパートに聞く! クラウドで実現するビッグデータ活用 日本マイクロソフト株式会社 佐藤 直生 日本アイ・ビー・エム株式会社 平山 毅 ホートンワークスジャパン株式会社 北瀬 公彦

×