Download as PDF, PPTX
Uploaded by日本マイクロソフト株式会社
【de:code 2020】 Azure Synapse Analytics 技術編 ～ 最新の統合分析プラットフォームによる新しい価値の創出（前編）
Azure Synapse Analytics は、Azure SQL Data Warehouse を大きく進化させ、SQL pool と呼ばれるプロビジョニング型だけでなく、サーバーレスの SQL on-demand、オートスケール Spark の機能を提供する Spark pool、そして、Azure Data Factory や Power BI の機能も統合したシングルサービスとなります。 本セッションでは、技術的な観点で Azure Synapse Analytics の価値をご説明します。
More Related Content
Similar to 【de:code 2020】 Azure Synapse Analytics 技術編 ～ 最新の統合分析プラットフォームによる新しい価値の創出（前編）
![[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...](https://cdn.slidesharecdn.com/ss_thumbnails/20181107techsummitazuremldatabricks-181108015121-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Microsoft Ignite 2020] CON130 ハイライト振り返り - Japan Session](https://cdn.slidesharecdn.com/ss_thumbnails/con130microsoftignitehighlight-japansession-200928031327-thumbnail.jpg?width=640&height=640&fit=bounds)
![N08_次世代通信キャリアの "Resilience" を支援する Microsoft Cloud [Microsoft Japan Digital Days]](https://cdn.slidesharecdn.com/ss_thumbnails/n08resiliencemicrosoftcloud-211029110411-thumbnail.jpg?width=640&height=640&fit=bounds)
![S17_25 分でわかる！Windows 365 [Microsoft Japan Digital Days]](https://cdn.slidesharecdn.com/ss_thumbnails/s1725windows365-211028201849-thumbnail.jpg?width=640&height=640&fit=bounds)
![S15_標準 PC にさようなら！ニューノーマルの働き方に合わせたデバイスの選択 [Microsoft Japan Digital Days]](https://cdn.slidesharecdn.com/ss_thumbnails/s15pc-211028201443-thumbnail.jpg?width=640&height=640&fit=bounds)
【de:code 2020】 Azure Synapse Analytics 技術編 ～ 最新の統合分析プラットフォームによる新しい価値の創出（前編）
- 1. *本資料の内容 (添付文書、リンク先などを含む) はde:code 2020 における公開日時点のものであり、予告なく変更される場合があります。 #decode20 #D09 Azure Synapse Analytics 技術編 最新の統合分析プラットフォームによる新しい価値の創出 (前編) 宮原 誠治 (ドク) 日本マイクロソフト株式会社 デジタル トランスフォーメーション事業本部 エンタープライズ クラウド アーキテクト技術本部 Senior Cloud Solution Architect
- 3. 本セッションについて 対象者 課題 ゴール • IoT, ビッグデータ,データウェアハウスに関心のある技術者 • IT/DX 戦略に関わる方 • 日々増大するデータ、ペタバイトを超えるデータをどう扱うのか？ • データ収集や投入、非構造化・構造化データの加工・分析・可視化は？ • 複数の PaaS を組み合わせて、セキュリティは？運用は？ • Azure SQL Data Warehouse を大きく進化させ、PaaS を組み合わせる 複雑性を排除した最新の統合分析プラットフォームの価値をご理解頂きます
- 4. セッションアジェンダ 前編 (D09) >開発者/分析者視点 後編 (D14) >管理者/運用者視点 •Azure Synapse Analytics とは • Azure Synapse Analytics のアーキテクチャ • 開発生産性の観点 • セキュリティと運用性の観点 • まとめ
- 5. Microsoft Learn おすすめコンテンツ 本セッションの内容は，以下のMicrosoft Learn コンテンツでも補完的に学習できます。 ぜひアクセスし，Microsoft Azure の Azure Synapse Analytics 関連サービスの理解を深めて ください。 Azure Synapse Analytics (ワークスペース プレビュー) とは https://docs.microsoft.com/ja-jp/azure/synapse-analytics/overview-what-is What is Azure Synapse Link for Azure Cosmos DB (Preview)? https://docs.microsoft.com/ja-jp/azure/cosmos-db/synapse-link
- 6.
- 7.
- 8. Cloud Scale Analytics- イノベーションの３本の矢 Open Source Analytics Azure Synapse Analytics Data Governance (Project Babylon)
- 9. 従来の Azure SynapseAnalytics (Azure SQL Data Warehouse) にもアドバンテージがありました GigaOm TPC-H benchmark report, January 2019, “GigaOm report: Data Warehouse in the Cloud Benchmark” $33 Azure Synapse Analytics $103 Snowflake Standard $48 Amazon Redshift …$564 Google BigQuery per byte 94% less TPC-H ベンチマーク比較 価格性能比 | 低い値の方が優れている
- 10. Azure Synapse Analyticsは次のレベルに Open Source Analytics Azure Analytics ベストな OSS と Azure サービス を組み合わせ、エンド ツー エンド のシングルサービスとして提供 HDInsight Enterprise-grade service for open source analytics Hadoop Spark Kafka Ingest Azure Data Factory Prep Azure Databricks Explore Azure Data Explorer Streaming Azure Stream Analytics IoT Azure Event Hubs Share Azure Data Share Store Azure Data Lake Storage
- 11. Azure Analytics Store Transform QueryIngest Azure DataFactory Azure Data Lake Storage Gen2 Azure Databricks Azure SQL Data Warehouse クラウド データ SaaS データ オンプレミス データ デバイス データ Power BI Azure Machine Learning
- 12. 2 データ ウェアハウスとビッグデータ分析システム全体のあらゆるデータから、 驚異的なスピードでインサイトを提供する無制限の分析サービス Store AzureData Lake Storage Gen2 Azure Synapse Analytics Azure Synapse Analytics クラウド データ SaaS データ オンプレミス データ デイバイス データ Power BI Azure Machine Learning
- 13. Azure Synapse Analyticsの重要な開発領域 サーバーレス型 + プロビジョニング型 構造/非構造データに対する 統合されたセキュリティ ワークロード別のスケジューリング オンライン スケーリング 共有データに対する マルチ コンピュート クラスター 統合された SQL + Spark
- 14. Azure Synapse Analytics BI,AI と継続的なインテリジェンスの為の統合データプラットフォーム Platform Azure Data Lake Storage Gen2 Common Data Model Enterprise Security Optimized for Analytics Data Lake Storage との統合、 Common Data Model の採用 METASTORE SECURITY MANAGEMENT MONITORING マネジメント, セキュリティ, モニタリング, メタストアに対して統合プラットフォーム を提供 DATA INTEGRATION Analytics Runtimes 統合された Analytics Runtime を プロビジョニング型とサーバーレス型 (オン デマンド) で提供 SQL Analytics : T-SQL バッチ, スト リーミング, インタラクティブ処理に適応 Spark : Python, Scala, R, .NET に よるビッグデータ処理に適応 PROVISIONED ON-DEMAND Form Factors SQL Languages Python .NETJava Scala R 様々な分析ワークロードに適した多様な 言語をサポート Experience Synapse Analytics Studio コードフリー & コードファーストの SaaS 開発者エクスペリエンスを提供 AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供 あらゆるスケールの分析ワークロードを 処理できるように設計
- 15. ペタバイト スケールにおける 全ての TPC-Hクエリを実行 できた最初で、かつ、唯一の クラウド分析プラットフォーム 1 2 3 4 5 6 7 8 9 10 11 12 13 14 16 17 18 19 20 21 2215 TPC-H queries TPC-H 1 Petabyte query times
- 16. Azure Synapse Analyticsのアーキテクチャ
- 17. Analytics Runtimes 全体アーキテクチャ SQL on-demand SQLRuntime 共有クラスター 自動スケール 共有ストレージ SQL pool SQL Runtime プロビジョン クラスター 現在、手動スケールのみ 共有 ストレージ 専用 ストレージ クラスター × N 個 を作成可能 クラスター × N 個 を作成可能 Spark pool Spark Runtime プロビジョン クラスター 自動/手動スケール 共有ストレージ データ統合機能 パイプライン/データフロー Azure Data Lake Storage Gen2 ※現在、Spark pool から SQL Analytics にメタデータ共有可能なのは、Parquet ファイル形式のマネージドテーブル/外部テーブルで、SQL pool への共有は coming soon Synapse Studio 開発/監視/管理
- 18. SQL pool アーキテクチャ Azure DataLake Storage Gen2 Azure Storage 上ではあるが、SQL pool の占有ストレージとして 内部的に 60 個のデータベースを保持し、Compute Node が均等に分担する Adaptive Cache TempDB ノードは、NVMe SSD を搭載し、 SQL Engine は、Adaptive Cache に カラムストア セグメントをキャッシュ ⚫最大 60 ノード＝30,000 cDWU までスケール ⚫カラムストアのデータサイズは無制限 Parquet ファイル 従来の Polybase のように一度 TempDB に読み込む方式とは異なり、 Parquet Direct 機能による高速アクセスを実現
- 19. SQL on-demand アーキテクチャ AzureData Lake Storage Gen2 上にあるファイル (現在、CSV, JSON, Parquet をサポート) を対象としており、SQL pool のような占有ストレージではない ⚫MPP エンジンではなく、DQP エンジンが稼働 ⚫クエリのフォールト トレランス機能を提供 ⚫Compute Node は、負荷状況に応じて自動スケール ⚫コンピュート ノードは、SQL pool 同様のスペック Adaptive Cache TempDB
- 20. Azure Data Lake StorageGen2 Data movement channel Communication channel Meta data Transactions Centralized services User Partitions Hash Partitions
- 21. Communication channel 自動スケール ⚫ 増分単位は、ノード ⚫タスクは以前のトポロジーで継続実行 ⚫ スケールは、セルの数と同じタスク数に制限 Meta data Transactions Centralized services Data movement channel
- 22. 自動スケール Meta data Transactions Centralized servicesCommunication channel Data movement channel ⚫ 増分単位は、ノード ⚫ タスクは以前のトポロジーで継続実行 ⚫ スケールは、セルの数と同じタスク数に制限
- 23. Meta data Transactions Centralized servicesCommunication channel Data movement channel
- 24. フォールト トレランス Meta data Transactions Centralizedservices Communication channel Data movement channel
- 25. フォールト トレランス Meta data Transactions Centralizedservices Communication channel Data movement channel ⚫ SLA の向上 ⚫ ペタバイト スケールの性能
- 26. Meta data Transactions Centralized servicesCommunication channel Data movement channel
- 27. ホット スポット Meta data Transactions Centralizedservices Communication channel Data movement channel
- 28. ホット スポット Meta data Transactions Centralizedservices Communication channel Data movement channel
- 29. 継続的ホット スポット Meta data Transactions Centralizedservices Communication channel Data movement channel
- 30. Meta data Transactions Centralized servicesCommunication channel Data movement channel ⚫ SLA の向上 ⚫ ペタバイト スケールの性能
- 31. SQL pool とSQL on-demand との比較 類似点 ⚫ 分散型 Analytics Engine ⚫ T-SQL のサポート ⚫ データ ウェアハウス機能 ⚫ Spark pool とのメタデータ共有 相違点 ⚫ サーバーレス クエリ ⚫ 管理オーバーヘッドが無い ⚫ データは Data Lake に存在し、データロード不要 適用領域 ⚫ Data Lake に対するダイレクト クエリ 類似点 ⚫ 分散型 Analytics Engine ⚫ T-SQL のサポート ⚫ データ ウェアハウス機能 ⚫ Spark pool とのメタデータ共有 相違点 ⚫ プロビジョニングされている ⚫ ワークロードに特化した最適化 ⚫ 先進的なワークロード マネジメント ⚫ ロードデータに対するガバナンスが有効 適用領域 ⚫ ロードデータに対する最適化されたワークロード
- 32. SQL pool 新機能- Microsoft Ignite での発表 (2019/11) GA 済みの機能 : ⚫ 性能 : Resultset Caching ⚫ 性能 : Materialized View ⚫ 性能 : Ordered ColumnStore ⚫ データタイプ : JSON サポート ⚫ セキュリティ : Dynamic Data Masking ⚫ セキュリティ : Private Link のサポート ⚫ CI & CD : SSDT (SQL Server Data Tools) サポート ⚫ SQL : Read committed snapshot isolation プレビュー機能 : ⚫ ワークロード管理 : Workload Isolation ⚫ データ取込み : COPY ステートメント ⚫ データ共有 : Azure Data Share によるデータ共有 ⚫ データ取込み : Streaming Ingestion & Analytics ⚫ ビルトイン ML : ネイティブな予測/スコアリング ⚫ Data Lake 統合 : Parquet ファイルへのダイレクトクエリ ⚫ SQL : 更新可能分散カラム ⚫ SQL : JOIN を伴う FROM 句 ⚫ SQL : 複数カラムによる分散
- 33. Azure Synapse Link- Microsoft Build での発表 (2020/05/19) ⚫ Transactional ストア (OLTP DB) の機能として、カラムストア型の Analytical ストアに自動同期 ⚫ ETL 無し (データの 2 重持ちが不要) で Synapse に統合 ⚫ Azure Cosmos DB (プレビュー開始), Azure SQL Database (予定), Azure Database for PostgreSQL / MySQL (予定)
- 34.
- 35.
- 36. Home Data Monitor Manage Quick-accessto common gestures, most-recently used items, and links to tutorials and documentation. Explore structured and unstructured data Centralized view of all resource usage and activities in the workspace. Configure the workspace, pool, access to artifacts Develop Write code and the define business logic of the pipeline via notebooks, SQL scripts, Data flows, etc. Orchestrate Design pipelines that that move and transform data. Synapse Studio
- 37. Demo - Synapse Studio開発者/分析者の視点
- 38.
- 39. Synapse Studio -Data Hub
- 40. Data Hub -ストレージ アカウント ADLS Gen2 ストレージ コンテナー (ファイルシステム) ファイル パス
- 41. Data Hub -ストレージ アカウント
- 42. Data Hub -ストレージ アカウント ファイルやフォルダーに権限設定が可能
- 43. Data Hub -ストレージ アカウント ファイルから分析をすぐに開始 T-SQL や PySpark コードを自動生成 SQL スクリプト エディターが起動 Spark Notebook が起動
- 44. Data Hub -ストレージ アカウント
- 45. Data Hub -データベース
- 46. Data Hub -データベース
- 47. Data Hub -データセット
- 48.
- 49. Synapse Studio -Develop Hub
- 50. Develop Hub -SQL スクリプト
- 51. Develop Hub -Notebook %%<言語名>
- 52. Develop Hub -Notebook 開発者による Spark セッションの設定ができ、 Notebook の実行に必要なリソースを調整可能
- 53. Develop Hub -Notebook Notebook のセルを実行すると、セルの直下に Spark アプリケーションの実行状況 が表示され、詳細な進捗状況やボトルネックなどを確認可能
- 54. Develop Hub -データフロー
- 55. Develop Hub -Power BI
- 56.
- 57. Orchestrate Hub -パイプライン
- 58.
- 59.
- 60. © 2018 MicrosoftCorporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。 © 2020 Microsoft Corporation. All rights reserved. 本情報の内容 (添付文書、リンク先などを含む) は、公開日時点のものであり、予告なく変更される場合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。