M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...日本マイクロソフト株式会社
日本マイクロソフト株式会社
カスタマーサクセス事業本部 データ&クラウドAI アーキテクト統括本部 クラウドソリューションアーキテクト
武田 雅生
近年 DX が推進される中、企業の情報分析基盤に求められるビジネス期待値は高まっています。
どのお客様においても競合に負けじと情報分析基盤の導入・推進が進み、ビジネス状況の可視化から予測へと、「分析高度化」への投資が進んでいます。
しかし、企業内データ分析活動の高度化に伴い、複雑さは日々肥大化し、データがサイロ化するだけでなく、テクノロジーやスキルのサイロ化も進んでいます。
結果的に、データ横断分析の相乗効果を生み出せないという、分析高度化ならではの課題に直面されるお客様も多くいらっしゃいます。
本セッションでは、今のデータ分析・活用を担うエンジニア向けに、Azure Synapse の最新機能・デモをご紹介します。
分析高度化をスムーズに進めるための、ヒントが得られましたら幸いです。
【Microsoft Japan Digital Daysについて】
Microsoft Japan Digital Days は、お客様が競争力を高め、市場の変化に迅速に対応し、より多くのことを達成することを目的とした、日本マイクロソフトがお届けする最大級のデジタル イベントです。4 日間にわたる本イベントでは、一人一人の生産性や想像力を高め、クラウド時代の組織をデザインするモダンワークの最新事例や、変化の波をうまく乗り切り、企業の持続的な発展に必要なビジネスレジリエンス経営を支えるテクノロジの最新機能および、企業の競争優位性に欠かせないクラウド戦略のビジョンなどデジタル時代に必要な情報をお届けいたしました。(2021年10月11日~14日開催)
マイクロソフトは より効率的、かつ大量のデータを使ったデータ分析のための基盤を急ピッチで拡充しています。
分析自体やデータ準備の前処理における手段の1つとして使って頂くことを想定している各種製品・サービスについて説明します。
具体的には、R の並列実行環境である Microsoft R Server、Power BI、並列処理基盤である Azure Data Lake Analytics、Azure Machine Learning を取り上げます。
This document provides references and links about using SQL Server with Linux and PHP. It includes links to documentation on installing and using the Microsoft Drivers for PHP for SQL Server on Linux, an overview of SQL Server on Linux, and a quickstart guide for installing SQL Server and creating a database on Ubuntu. It also links to a Microsoft tutorial for creating PHP apps connected to SQL Server on Ubuntu.
8. on Linux
Red Hat Enterprise Linux 7.3 or 7.4
SUSE Enterprise Linux v12 SP2
Ubuntu 16.04 LTS
Windows 以外のプラットフォームでも動く!!
9. Unsupported
一部の機能は on Linux で非サポート
R (ML) Services
SSAS / SSRS
ストレッチデータベース
Filetable, FILESTREAM
バッファプール拡張
…
https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-release-
notes#Unsupported
16. Machine Learning (ML) Services
2016 の R Services の名前が変わった
R だけでなく、Python も使える
SQL Server とは別プロセスで実行
GPU 対応のパッケージも利用可能
データベース内でデータ解析
データ移動のリスクやコスト低減
17. ML Services + external_script
ML Services のインストールが必要
Windows Only
sp_execute_external_script
R、Python のスクリプトが書ける
execute sp_execute_external_script
@language = N'Python',
@script = N'
import sys
print("*******************************")
print(sys.version)
print("Hello World")
'
GO
18. PREDICATE 関数
Native Scoring
ML Services のインストール不要
Windows / Linux で利用可!
事前にトレーニング済モデルを SQL
Server に登録しといてそれを利用
https://docs.microsoft.com/en-us/sql/advanced-analytics/r/how-to-do-realtime-scoring
https://docs.microsoft.com/en-us/sql/advanced-analytics/real-time-scoring
44. 参考資料 (全般)
What’s new in SQL Server 2017
https://docs.microsoft.com/en-us/sql/sql-server/what-s-
new-in-sql-server-2017
SQL Server 2017 Release Notes
https://docs.microsoft.com/en-us/sql/sql-server/sql-server-
2017-release-notes
SQL Server 2017 事始め
https://www.slideshare.net/masayukiozawa/dal001-sql-
server-2017-sql-server/1
45. 参考資料 (マルチプラットフォーム)
SQL Server on Linux
https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-
overview
Release notes for SQL Server 2017 on Linux
https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-
release-notes
SQL Server on Linux: How? Introduction
https://blogs.technet.microsoft.com/dataplatforminsider/20
16/12/16/sql-server-on-linux-how-introduction/
窓は開かれた!SQL Server on Linux で拡がる可能性
https://www.slideshare.net/decode2017/di01-sql-server-on-
linux
46. 参考資料 (マルチプラットフォーム)
Run the SQL Server 2017 container image with
Docker
https://docs.microsoft.com/en-us/sql/linux/quickstart-
install-connect-docker
microsoft/mssql-server-linux
https://hub.docker.com/r/microsoft/mssql-server-linux/
microsoft/mssql-server-windows-developer
https://hub.docker.com/r/microsoft/mssql-server-windows-
developer/
Microsoft/sqlopsstudio
https://github.com/Microsoft/sqlopsstudio
47. 参考資料 (機械学習)
Microsoft Machine Learning Services
https://docs.microsoft.com/en-us/sql/advanced-
analytics/r/r-services
Machine Learning Services with Python
https://docs.microsoft.com/en-us/sql/advanced-
analytics/python/sql-server-python-services
How to perform realtime scoring or native scoring
in SQL Server
https://docs.microsoft.com/en-us/sql/advanced-
analytics/r/how-to-do-realtime-scoring
49. 参考資料 (Graph)
Graph processing with SQL Server and Azure SQL
Database
https://docs.microsoft.com/en-us/sql/relational-
databases/graphs/sql-graph-overview
SQL Graph Architecture
https://docs.microsoft.com/en-us/sql/relational-
databases/graphs/sql-graph-architecture
CREATE TABLE (SQL Graph)
https://docs.microsoft.com/en-us/sql/t-
sql/statements/create-table-sql-graph
50. 参考資料 (Graph)
INSERT (SQL Graph)
https://docs.microsoft.com/en-us/sql/t-
sql/statements/insert-sql-graph
MATCH (Transact-SQL)
https://docs.microsoft.com/en-us/sql/t-sql/queries/match-
sql-graph
SQL Server 2017 Graph Database Example
https://www.mssqltips.com/sqlservertip/4883/sql-server-
2017-graph-database-example/
Graph extensions in Microsoft SQL Server 2017 and
Azure SQL Database
https://myignite.microsoft.com/videos/55108
51. 参考資料 (AlwaysOn AG)
Overview of Alywas On Availability Groups
https://docs.microsoft.com/en-us/sql/database-
engine/availability-groups/windows/overview-of-always-on-
availability-groups-sql-server
Distributed availability groups
https://docs.microsoft.com/en-us/sql/database-
engine/availability-groups/windows/distributed-availability-
groups
Domain Independent Availability Groups
https://docs.microsoft.com/en-us/sql/database-
engine/availability-groups/windows/domain-independent-
availability-groups
52. 参考資料 (AlwaysOn AG)
Read-scale availability groups
https://docs.microsoft.com/en-us/sql/database-
engine/availability-groups/windows/read-scale-availability-
groups
Availability groups for SQL Server on Linux
https://docs.microsoft.com/en-us/sql/linux/sql-server-linux-
availability-group-overview