Data Scientists Love SQL Server

1 © NEC Corporation 2017
Data Scientists
Love
SQL Server
２０１７年０９月０６日
ＮＥＣソリューションイノベータ株式会社
太田智行
db tech showcase Tokyo 2017

Data Scientists Love SQL Server
▌太田智行（SQL Server DBA）
データベース技術専門部隊にてSW開発か
らSIまで様々経験。現在はSQL Server
を専門にコンサルタントに従事。
現在、翔泳社 DBOnline にて SQL
Server の連載記事を執筆中。
次期 SQL Server すごいですね！
Python ＆ GPU で Deep Learning できる
そうじゃないですか！！
SQL Server すごいですよ！
AI分野に毎年 $12 Billion 投資だそうですからね。
本気です！！
Data Scientist
SQL Server DBA
http://enterprisezine.jp/author/524
▌友永康之（Data Scientist）
AI/Deep Learningの現場運用コンサル
ティングで実績多数(5年以上)。
2016年10月に共著した「金融行動に対
する人工知能の実証研究」が日本マーケ
ティング学会でベストペーパー賞を受賞
http://www.j-mac.or.jp/prize/

ただいま第三次AIブーム真っ只中
▌世の中の動向
キーワード『AI Deep Learning』
過去５年検索ランク推移
出典：Google Trends (2017年5月30日)

AI時代の寵児『NVIDIA Corp』
過去５年株価推移
出典：Google Trends (2017年5月30日) 出典：Google Finance (2017年5月30日)

▌日本における国の後押し「AIの社会実装」を推進せよ
平成２９年度タイトル予算額
文部科学省人工知能/ビッグデータ/IoT/サイバーセキュリティ統合プロジェクト７１．１億円
総務省生産性向上につながるIoT・ビッグデータ・AI 等の活用推進２５．８億円
経済産業省次世代人工知能・ロボット中核技術開発４５．０億円
AI時代の寵児『NVIDIA Corp』
過去５年株価推移
出典：Google Finance (2017年5月30日)出典：Google Trends (2017年5月30日)

第三次AIをブームで終わらせないためには
ＡＩはいまココ
お客様ビジネス直結の
本番運用を求められる段階
流行期幻滅期回復期安定期
出典：ガートナー (2016年8月)
黎明期
① ニューラルネットワーク
“学習”がコンピュータで表現可能
② Bigdata
大量多様”学習”データがホスト可能
③ GPU（＋API）
現実時間内で”学習”処理可能
《ＡＩブームを支える役者》

第三次AIをブームで終わらせないためには
ＡＩはいまココ
お客様ビジネス直結の
本番運用を求められる段階
黎明期流行期幻滅期回復期安定期
出典：ガートナー (2016年8月)
黎明期
① ニューラルネットワーク
“学習”がコンピュータで表現可能
② Bigdata
大量多様”学習”データがホスト可能
③ GPU（＋API）
現実時間内で”学習”処理可能
《ＡＩブームを支える役者》

もくじ
１．AI プラットフォームとしてなぜ
SQL Server が選ばれるのか
２．In Database Analytics のしくみ解説
３．In Database Analytics をさわってみよう

１．AI プラットフォームとして
なぜ SQL Serverが選ばれるのか
～ Data Scientists Love SQL Server ～

AI プラットフォームとしてなぜ SQL Server が選ばれるのか
▌個別の特注SI：大がかりかつ本番運用踏まえた機密性、可用性等の担保も必要
前処理
学習.py
予測.py
Job
学習
モデル
後処理
学習
データ
予測
データ
ETL AI DB
AI
ReportDWH／DM
基幹システム
API
BI
Client

▌SQL Server にインテリジェンスを～ In-Database Analytics ～

▌その実体は「SQL Server Machine Learning Services」
前処理
学習.py
予測.py
Job
学習
モデル
後処理
学習
データ
予測
データ
ETL AI DB
AI
ReportDWH／DM
基幹システム
API
BI
Client
SQL Server
Machine Learning
Services
NEW

▌っと、いうことは…
前処理
学習.py
予測.py
Job
学習
モデル
後処理
学習
データ
予測
データ
ETL AI DB
AI
ReportDWH／DM
基幹システム
API
BI
Client

▌こうなるので…
前処理
学習.py
予測.py
Job
学習
モデル
後処理
学習
データ
予測
データ
ETL AI DB
AI
Report
SQL Server
Machine Learning
Services
NEW
DWH／DM
SQL Server
Agent
Service
SQL Server
Analysis
Service
SQL Server
Integration
Service
SQL Server
Database
Service
SQL Server
Reporting
Service
基幹システム
API
BI
Client

▌ワンボックスのAI プラットフォームが出来上がる！！
基幹システム
API
BI
Client
Agent
Service
Machine Learning ServicesAnalysis
Service
Integration
Service
Database
Service
Reporting
Service
前処理
学習.py
予測.py
学習モデル
後処理
学習データ
予測データ

システム構成部品が少い：信頼性、保守性、連携性が極めて高い。
AIがSQL Serverのリッチな機能に相乗可能：機密性、可用性、性能性を容易に実装でき、Azureへの拡張性も高い。
入口と出口が標準化されたI/Fで接続可能：ユースケースや担当ベンダーごとの個別特注システムは不要＆導入が容易。
In-Database Analytics の真価
３
１
２
B社
担当
A社
担当
C社
担当
入口：基幹システム出口：AIアプリ
Ｘ社
担当
Ｙ社
担当
Ｚ社
担当
ＡＩ：SQL Server
ｔ
ｆ
in
Y社
担当
X社
担当
Z社
担当

Demo
画像認識AIによる毒キノコ判定

Deep Learning デモ
▌Y県自治体の課題
毒キノコの誤食による食中毒の被害があとを絶たない。なんとか減らせないものか…。
▌システムモデル
食用キノコ画像
毒キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API

モデル
（AI）
学習
毒キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API

モデル
（AI）
学習
毒キノコ画像
評価用キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API
スマホ

モデル
（AI）
判定
結果
予測
可視化
学習
毒キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API
スマホ

▌登場人物
Data Scientist ：ＡＩを開発。
SQL Server DBA：ＡＩをSQL Serverにデプロイ。
Developer ：ＡＩをアプリに組込み、結果を可視化。

Python Python
学習予測
デモ①
Microsoft Azure
Linux GPU
SQL
Server
Data Scientist「私が慣れ親しんだ環境でAIを開発します。」
毒キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API
スマホ
Visual
Studio Code
モデル
（AI）
判定
結果
可視化
IDE

Python Python
学習予測
Microsoft Azure
Linux GPU
SQL
Server
毒キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API
スマホ
Visual
Studio Code
モデル
（AI）
判定
結果
IDE
DBA「ＡＩを『コピペ』のプロシージャ化で SQL Server にデプロイします」
デモ②
学習
予測
ストアド
プロシージャ
ストアド
プロシージャ

Python Python
学習予測
Microsoft Azure
Linux GPU
SQL
Server
毒キノコ画像
Microsoft
Cognitive
Services
ETL
Bing
Image
Search
API
スマホ
Visual
Studio Code
モデル
（AI）
判定
結果
IDE
学習
予測
ストアド
プロシージャ
ストアド
プロシージャ
デモ③ Developer「ＳＱＬ文１行でＡＩを実行し、結果を可視化します」
可視化

２． In Database Analytics のしくみ解説
注）SQL Server 2017 RC2 時点の情報です

CREATE PROCEDURE ユーザ定義プロシージャ
AS
BEGIN
EXEC sp_execute_external_script
@language = N'Python',
@script =N'#Python code#'
END
オペレーションモデル
SQL Server 2017
Machine Learning Services
Python Runtime
APP
結果返却
Python/Rコード実行
T-SQL
Java
C/C++
C#/VB.NET
PHP
Node.js
Python
Ruby
②
③
①
EXEC ユーザ定義プロシージャ
sp_execute
_external
_script の呼び出し
@script =N'#Python code#'
もしくは
Server

sp_execute_external_script
CREATE PROCEDURE MyProc(@input varchar(10), @output int OUTPUT) AS
BEGIN
execute sp_execute_external_script
@script = N'
print(''Hello '' + InputParam)
MyOutput = MyInput
OutputParam = len(MyOutput)
print(OutputParam)',
@input_data_1 = N'SELECT 1, 2, 3;',
@input_data_1_name = N'MyInput',
@output_data_1_name = N'MyOutput',
@params = N'@InputParam varchar(10), @OutputParam int OUTPUT',
@InputParam = @input, @OutputParam = @output OUTPUT
WITH RESULT SETS (( C1 int, C2 int, C3 int ));
END
利用するスクリプト言語 ‘Python’
もしくは ‘R’ を指定。

BEGIN
@script = N'
MyOutput = MyInput
END
スクリプトを記述。
※．スクリプトファイルを指定することも可能。
R：source(script.R)
Python v2：execfile(script.py)
Python v3：exec(open('a_filename').read())

BEGIN
@script = N'
MyOutput = MyInput
END
スクリプトに渡すデータセットの
定義（任意）。
※．現時点ではSELECTクエリで定義が必要。
EXEC proc はNG。
※．RではDataFrame、PythonではPandas
DataFrameとして渡される。
スクリプトに渡すデータセットの
変数名（任意）。
※．既定値はInputDataSet

BEGIN
@script = N'
MyOutput = MyInput
@params = N'@InputParam int, @OutputParam int OUTPUT',
END
スクリプトから返されるデータ
セットの変数名の定義（任意）
※．既定値はOutputDataSet
データセットの列バインド
の定義（任意）

BEGIN
@script = N'
MyOutput = MyInput
END
スクリプトに渡すパラメータとスク
リプトから返るパラメータの定義
（任意）。

DECLARE @NumOfRec int
EXEC MyProc @input='Python!', @output=@NumOfRec OUTPUT
SELECT @NumOfRec as NumOfRec
Go

Sample 1：irisデータセットを出力データセットとして返す
@script = N'
from sklearn.datasets import load_iris
import pandas as pd
iris = load_iris()
iris_data = pd.DataFrame(iris.data, columns=iris.feature_names)',
@output_data_1_name = N'iris_data'
WITH RESULT SETS ((
"SepalLength" float not null,
"SepalWidth" float not null,
"PetalLength" float not null,
“PetalWidth” float not null ));
@language = N'R',
@script = N'
iris_data <- iris[, c(1:4)];',
@output_data_1_name = N'iris_data'
WITH RESULT SETS ((
"SepalLength" float not null,
"SepalWidth" float not null,
"PetalLength" float not null,
“PetalWidth” float not null ));

Sample 2：クエリ結果を入力データセットとして渡す
CREATE PROCEDURE [dbo].[load_iris_py_2](@cond_length int, @cond_width int, @num_of_rec int OUTPUT) AS
BEGIN
@script = N'
df = iris_data_in
iris_data_out = df[ (df[''SepalLength''] > length ) & (df[''SepalWidth''] > width ) ]
count = len(iris_data_out)',
@input_data_1 = N'SELECT * FROM iris_py',
@input_data_1_name = N'iris_data_in',
@output_data_1_name = N'iris_data_out',
@params = N'@length int, @width int, @count int OUTPUT',
@length = @cond_length, @width = @cond_width, @count = @num_of_rec OUTPUT
WITH RESULT SETS (("SepalLength" float not null, "SepalWidth" float not null, "PetalLength" float not null, "PetalWidth" float not null));
END
GO
DECLARE @NumOfRec int
EXEC load_iris_py_2
@cond_length=7,
@cond_width=3,
@num_of_rec=@NumOfRec OUTPUT
SELECT @NumOfRec as NumOfRec
Go

In-Database Analytics Architecture
Sqlsrvr.exe Launchpad.exe
Pythonlauncher.dll
/Rlauncher.dll
Python.exe
/RTerm.exe
Python35.dll
/R.dll
PyLink.dll
/RxLink.dll
BxlServer.exe
SqlSatellite.dll
Database Engine
Services
Launchpad
Services
Python/R Process BxlServer Process
Named Pipe
①
②
③ ④
Named Pipe
⑤⑥
TCP/IP
conhost.exe
APP Server
sp_execute
_external
_script

Pythonlauncher.dll
/Rlauncher.dll
Database Engine
Services
Launchpad
Services
APP Server
sp_execute
_external
_script
インスタンスごとに
起動する常駐プロセス
インスタンスごとに
起動する常駐プロセス

Pythonlauncher.dll
/Rlauncher.dll
Database Engine
Services
Launchpad
Services
Named Pipe
①
②
APP Server
①
・SQL ServerはLaunchpadサービスに
クエリを送信する
・InputDataSetクエリが指定されてい
る場合はそれを実行する
②
・Launchpadは@language（e.g.
Python）で示された言語用の
Launcher（e.g. Pythonlauncher）
を選択する。
※ セキュリティのため、選択できるコンポーネントは
Microsoftによる発行もしくは認定されたものに限定され
ている。

①
②
Python.exe
/RTerm.exe
Python35.dll
/R.dll
PyLink.dll
/RxLink.dll
Database Engine
Services
Launchpad
Services
Python/R Process
Named Pipe ③
conhost.exe
APP Server③
・Launcherはプールからワーカーアカウン
トを取得し、そのワーカのセキュリティコ
ンテキストで言語ランタイム（e.g.
Python.exe）を起動する。
※ ワーカアカウントは既定で20個あり、これらのアカウントはすべて
ローカルWindowsグループ「SQLRUserGroup」に所属する。
※ Pythonスクリプトが並列プロセスを使用する場合、それらは同じ単
一のワーカーのコンテキストで起動される。
※ 言語ランタイムはコンソールアプリであるため伴ってconhost.exe
も起動される。
Pythonlauncher.dll
/Rlauncher.dll

sp_execute
_external
_script
Sqlsrvr.exe
Database Engine
Services
Launchpad.exe
Pythonlauncher.dll
/Rlauncher.dll
Launchpad
Services
Named Pipe
①
②
③
APP Server Machine Learning Services
BxlServer.exe
SqlSatellite.dll
BxlServer Process
Python.exe
/RTerm.exe
Python35.dll
/R.dll
PyLink.dll
/RxLink.dll
Python/R Process
conhost.exe
④
Named Pipe
④
・言語ランタイムはBxlServerを起動する。
・BxlServerは言語ランタイムと連携して
データの交換や作業結果の格納を管理する。

Launchpad.exe
Pythonlauncher.dll
/Rlauncher.dll
Launchpad
Services
Named Pipe
①
②
③
APP Server
sp_execute
_external
_script
Python.exe
/RTerm.exe
Python35.dll
/R.dll
PyLink.dll
/RxLink.dll
Python/R Process
conhost.exe
④
Named Pipe
BxlServer.exe
SqlSatellite.dll
BxlServer Process
⑤
TCP/IP
Sqlsrvr.exe
Database Engine
Services
⑤ BxlServerはSQL Satellite（拡張性API）を使用し
以下のタスクを実行する。
・入力データのRead、入力引数のGet
・出力データのWrite、出力引数をSet
・エラー処理
・STDOUTとSTDERRをクライアントに書き戻す

⑤
Launchpad.exe
Pythonlauncher.dll
/Rlauncher.dll
Launchpad
Services
Named Pipe
①
②
③
APP Server
sp_execute
_external
_script
Python.exe
/RTerm.exe
Python35.dll
/R.dll
PyLink.dll
/RxLink.dll
Python/R Process
conhost.exe
④
Named Pipe
BxlServer.exe
SqlSatellite.dll
BxlServer Process
TCP/IP
Sqlsrvr.exe
Database Engine
Services
⑥
⑥ SQL Serverは結果を取得し、関連
するタスクとプロセス（言語ランタ
イム、BxlServer）を終了

Pythonlauncher.dll
/Rlauncher.dll
Database Engine
Services
Launchpad
Services
APP Server
結果返却

Pythonlauncher.dll
/Rlauncher.dll
Python.exe
/RTerm.exe
Python35.dll
/R.dll
PyLink.dll
/RxLink.dll
BxlServer.exe
SqlSatellite.dll
Database Engine
Services
Launchpad
Services
Python/R Process BxlServer Process
Named Pipe
①
②
③ ④
Named Pipe
⑤⑥
TCP/IP
conhost.exe
APP Server
sp_execute
_external
_script

▌生産性
 データのエクスポート、インポートが不要。
 データの前処理、後処理にSQLが使える。pandasやnumpyでゴリゴリとスクリプトを書く必要はない。
▌機密性
 データが外に出ない。DB内で各種セキュリティ機能（アクセス制御、暗号化、監査など）で利用可能。
 学習モデルの利用（≒外部スクリプトの呼び出し）も容易に権限制御可能。
▌性能性
 データがプロセッサに隣接するため低レイテンシー。
 DBが持つ各種性能機能（カラムストア、インメモリ、データ圧縮、並列処理）が利用可能。
▌可用性
 AlwaysOn AG によってAI実行基盤のクラスタ構成が容易。
▌親和性
 上記をDBAのスキルで実装可能≒信頼性、保守性、連携性、拡張性が高い。
 Python/Rをそのままデプロイでき、アプリへの組込みもSQL文を実行するだけ。

機密：外部スクリプトロジックの隠蔽（＝プロシージャ定義へのアクセス制御）
▌定義の参照はオブジェクトの所有者、または ALTER, CONTROL、TAKE
OWNERSHIP、VIEW DEFINITION のいずれかの権限を許可されたユーザのみ
GRANT VIEW DEFINITION TO ユーザ

機密：外部スクリプトロジックの隠蔽（＝プロシージャ定義へのアクセス制御）
▌CREATE PROCEDURE <name> WITH ENCRYPTION によって難読化が可能

機密：外部スクリプトロジックの利用制限（＝プロシージャ実行権限制御）
▌プロシージャ実行はオブジェクト所有者または EXEC権限が必要
GRANT EXEC ON grant_exec_proc_demo TOユーザ

性能：カラムストアインデックスによるETL処理の高速化
CREATE CLUSTERED COLUMNSTORE INDEX
ColumnstoreIndex ON Table_with_5M_rows
CREATE PROCEDURE columnstore_demo AS
BEGIN
@language = N'Python'
, @script = N'
import pyodbc
from datetime import datetime
cnxn = pyodbc.connect(''DRIVER={ODBC Driver 13 for SQL
Server};SERVER=.;DATABASE=MLDEMODB;Trusted_Connection=yes
;'')
cursor = cnxn.cursor()
tsql = "SELECT SUM(Price) as sum FROM Table_with_5M_rows"
a = datetime.now()
with cursor.execute(tsql):
b = datetime.now()
c = b - a
for row in cursor:
print (''Sum:'', str(row[0]))
print (''QueryTime:'', c.microseconds, ''µs'')
'
END
GO
156239 µs
0 µs

３． In Database Analytics をさわってみよう

そのまえに： Standard Edition でも使えるの？
▌Machine Learning Services は Standard Edition でも使えます！
Enterprise Edition 比較で機能差は無し。
• （抜粋） Standard Edition has all the capabilities of in-database analytics included with Enterprise Edition,
except for resource governance. Performance and scale is also limited: the data that can be processed must fit in
server memory, and processing is limited to a single compute thread, even when using the RevoScaleR functions.
スレッド数やリソースのスケーラビリティに制約有り。

そのまえに：ML Services 制限事項（SQL17RC2時点）
▌プラットフォームは SQL Server on Windows のみ
SQL Server on Linux は今時点未サポート
Azure SQL Database や Azure SQL Data Warehouse では未サポート
▌Python言語は SQL Server 2017 でサポート
R言語は SQL Server 2016 でサポート
▌AlwaysOn による可用性構成は Availability Group のみサポート
Failover Cluster Instance は未サポート

In Database Analytics セットアップ
１．SQL Server Database Engine Services と
SQL Server Machine Learning Services のインストール
２．外部スクリプト実行機能の有効化
（EXEC sp_configure 'external scripts enabled', 1;）
３．SQL Server の再起動

SQL Server 2016 の R Services
が改名してMachine Learning
Services となっている

▌Machine Learning Services
Python/RをSQL Serverに統合した In
Database な実行環境を提供
• RC2時点でWindowsのみ
▌Machine Learning Server
スケーラブルなPython/Rの実行環境を
提供
• SQL Serverとは直接かかわりがない
– Windows版はSQL Serverのライセンスによっ
て提供される
• Windows/Linuxに対応
こっち（Machine
Learning Server）
は別物

補足：Python/R バージョン（SQL Server 2017 RC2時点）
▌Python：version 3.5.2
Anaconda 4.3 がインストールされる
• Continuum Analytics社が提供するPythonディストリビューション
Python HOME
• C:¥Program Files¥Microsoft SQL Server¥MSSQL14.MSSQLSERVER¥PYTHON_SERVICES
▌R：version 3.3.3
Microrosft R がインストールされる
• Revolution Analytics社（2015年Microsoft社が買収）が提供するRディストリビューション
R HOME
• C:¥Program Files¥Microsoft SQL Server¥MSSQL14.MSSQLSERVER¥R_SERVICES

Demo：Python バージョン確認（SQL Server 2017 RC2時点）

Demo：R バージョン確認（SQL Server 2017 RC2時点）

In Database Analytics 設定
ログインユーザへの外部スクリプト実行権限の付与
GRANT EXECUTE ANY EXTERNAL SCRIPT TO [ユーザ名]
外部スクリプトワーカの実行ユーザへのログイン許可
CREATE LOGIN [マシン名¥SQLRUserGroup] FROM WINDOWS
外部スクリプトワーカプールサイズの変更（既定値は20）
Configuration Manager->Launchpadサービス->詳細設定->外部ユーザの数を変更
Launchpad Servicesのサービスアカウントの権限設定
SeIncreaseQuotaPrivilege、SeChangeNotifyPrivilege、SeAssignPrimaryTokenPrivilege、SeServiceLogonRight が必要

詳細：In Database Analytics 設定
▌外部スクリプトワーカ
ログイン許可
• Launcherサービスによって起動される外部ス
クリプトを処理するプロセスは
SQLRUserGroupメンバアカウントのセキュ
リティコンテキストで動作する。
– このグループとメンバはML Servicesのインストー
ルの過程でインスタンスごとに作成される。
• 既定ではこのメンバに対しSQL Serverへのロ
グインは許可されていないため、外部スクリ
プト内でWindows認証によってログインした
い場合はログイン許可が必要。
プールサイズ変更
• Launcherサービスによって起動される外部ス
クリプトプロセスの同時実行上限はプールサ
イズで決定される。既定値２０。

CREATE PROCEDURE [dbo].[remote_query_proc]
AS
BEGIN
@language = N'Python'
, @script = N'
import pyodbc
conn = pyodbc.connect(''DRIVER={ODBC Driver 13 for SQL Server};SERVER=.;Trusted_Connection=yes;'')
cursor = conn.cursor()
with cursor.execute("SELECT @@VERSION"):
row = cursor.fetchone()
while row:
print (row[0])
row = cursor.fetchone()
'
SELECT @@VERSION
END
スクリプトはSQLRUserGroupメンバアカウント
のセキュリティコンテキストで動作するため、ス
クリプト内でSQL ServerへWindows認証で接続
する場合はSQLRUserGroupメンバアカウントに
SQL Serverへの権限が必要。
スクリプトの外側は従来通り、ログインしている
ユーザのコンテキストで処理される。

▌Launchpad Servicesのサービスアカウントの権限設定
サービスアカウントを既定（NT Service¥MSSQLLaunchpad）から変更する場合は、そ
のアカウントに対して以下の権限設定が必要
• プロセスのメモリクォータの増加（ SeIncreaseQuotaPrivilege ）
• 走査チェックのバイパス（ SeChangeNotifyPrivilege ）
• プロセスレベルトークンの置き換え（ SeAssignPrimaryTokenPrivilege ）
• サービスとしてログオン（ SeServiceLogonRight ）
ファイル名を指定して実行
->gpedit.msc
->コンピューターの構成
->Windows の設定
->セキュリティの設定
->ローカルポリシー
->ユーザー権利の割り当て

In Database Analytics 運用
リソースガバナによる外部スクリプト実行のリソース制御
CREATE EXTERNAL RESOURCE POOL
ML Servicesのモニタリング＆トラブルシューティング＆チューニング
DMV、Perfmon、XEvents、ExtensibilityLog、カスタムレポート、言語側のProfiler
Python/Rパッケージの管理
インストール/アンインストール、ロールによる権限管理、スコープ設定、同期（≒パッケージ移行）
Machine Learning Services のアップデート
SQL Server のパッチ（SP、CU）によってアップデート

Demo：Python/Rインストール済みパッケージの確認

サンプルコード
Qiita（ID：qio9o9）と GitHUB（ID:gho9o9）で公開

サンプル１
▌シナリオ
あるスキーレンタル事業者のレンタルデータ（月日、曜日、祝日、天気、降雪量など）を
もとに将来のレンタル数の予測を行います。
▌ポイント
シンプルなサンプルです。
まずはPythonの開発環境でモデルトレーニング（scikit-learn×線形回帰アルゴリズム）と
スコアリングを実装し、これとまったく同じ処理を SQL Server にデプロイする方法を学
びIn Database Analyticsを実践します。
http://qiita.com/qio9o9/items/9cb8db69b9d61a332b8f

サンプル２
▌シナリオ
ニューヨークのタクシー事業者の乗車デ
ータ（時刻、距離、ピックアップ場所な
ど）をもとに特定の乗車においてチップ
が得られるかどうかを予測を行います。
▌ポイント
In Database Analytics の開発ライフサ
イクルを体感するようにチュートリアル
が構成されています。
同じシナリオのサンプルコードを
Python、Rの両言語で用意しています。
scikit-learnとRevoScaleそれぞれでロ
ジスティック回帰モデルをトレーニング
します。
モデルの
デプロイ
モデルの
オペレー
ション
探索と
可視化
特徴抽
出
トレー
ニング
テスト
ETL
http://qiita.com/qio9o9/items/2a521f5ac8afe39e1721

サンプル３
▌シナリオ
ローンデータをモデル化し、貸付金利を上昇させた場合の貸倒償却度合の変化について
What-If分析を行います。
▌ポイント
In Database Analyticsの真価を体感できるようにチュートリアルが構成されています。
PowerBIによる可視化を含んだサンプルです。
RevoScaleRでディシジョンフォレストモデルをトレーニングします。
In-memory TableColumn Store Power BI
Predict
（parallel）
VisualizeTrain
R
loan Data
Import
http://qiita.com/qio9o9/items/50f57412737502258a1f

４．おさらい
In-Database Analytics
＝ SQL Server ＋ Python/R ＋ GPU

▌生産性
 データのエクスポート、インポートが不要。
 データの前処理、後処理にSQLが使える。pandasやnumpyでゴリゴリとスクリプトを書く必要はない。
▌機密性
 データが外に出ない。DB内で各種セキュリティ機能（アクセス制御、暗号化、監査など）で利用可能。
 学習モデルの利用（≒外部スクリプトの呼び出し）も容易に権限制御可能。
▌性能性
 データがプロセッサに隣接するため低レイテンシー。
 DBが持つ各種性能機能（カラムストア、インメモリ、データ圧縮、並列処理）が利用可能。
▌可用性
 AlwaysOn AG によってAI実行基盤のクラスタ構成が容易。
▌親和性
 上記をDBAのスキルで実装可能≒信頼性、保守性、連携性、拡張性が高い。
 Python/Rをそのままデプロイでき、アプリへの組込みもSQL文を実行するだけ。

今後の講演予定
▌Microsoft社 × NEC 共催セミナー
 タイトル
• 今準備しよう！実践できるAIをご紹介
～AIで注目されるディープラーニングの事例やデモをご紹介～
 日時
• 2017年10月5日(木) 14:00～16:15
 会場
• NECイノベーションワールド
– 東京都港区港南2-16-1（品川イーストワンタワー7F）
 備考
• 参加費無料
• 定員60名
 詳細およびお申込み
• http://jpn.nec.com/event/171005bdg/index.html
▌Microsoft Tech Summit 2017
 タイトル（仮）
• SQL Server 2017 で実現される AI システムモデルの
ご紹介
 日時
• 2017年11月8日(水)～9日(木)
 会場
• ウェスティンホテル東京
– 東京都目黒区三田１丁目４ー１
 詳細およびお申込み
• https://www.microsoft.com/ja-jp/events/techsummit/2017/

Data Scientists Love SQL Server

Data Scientists Love SQL Server

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Data Scientists Love SQL Server

Similar to Data Scientists Love SQL Server (20)

More from Tomoyuki Oota

More from Tomoyuki Oota (6)

Data Scientists Love SQL Server