Azure Data Lakeservice
Big Data as a Services
無限にデータをストア・管理
Row Data を保存
高スループット、低いレイテンシの分析ジョ
ブ
セキュリティ、アクセスコントロール
Azure Data Lake store
HDInsight & Azure Data Lake Analytics
26.
多くの SQL &.NET DEVELOPERS
宣言型言語の SQL と
逐次実行型である C# のパワーを融合
構造化、一部構造化、非構造化データの融合
全てのデータに分散クエリの実施
U-SQL
Big Data のための新しい言語
• オブジェクト認識 (タグ)
•顔認識、感情認識
• JOIN処理 – 幸せな人は誰なのか?
REFERENCE ASSEMBLY ImageCommon;
REFERENCE ASSEMBLY FaceSdk;
REFERENCE ASSEMBLY ImageEmotion;
REFERENCE ASSEMBLY ImageTagging;
@objects =
PROCESS MegaFaceView
PRODUCE FileName, NumObjects int, Tags string
READONLY FileName
USING new
Cognition.Vision.ImageTagger();
@tags =
SELECT FileName, T.Tag
FROM @objects
CROSS APPLY
EXPLODE(SqlArray.Create(Tags.Split(';')))
AS T(Tag)
WHERE T.Tag.ToString().Contains("dog") OR
T.Tag.ToString().Contains("cat");
@emotion_raw =
PROCESS MegaFaceView
PRODUCE FileName string, NumFaces int, Emotion string
READONLY FileName
USING new Cognition.Vision.EmotionAnalyzer();
@emotion =
SELECT FileName, T.Emotion
FROM @emotion_raw
CROSS APPLY
EXPLODE(SqlArray.Create(Emotion.Split(';')))
AS T(Emotion);
@correlation =
SELECT T.FileName, Emotion, Tag
FROM @emotion AS E
INNER JOIN
@tags AS T
ON E.FileName == T.FileName;
Images
Objects Emotions
filter
join
aggregate
R & Pythonベースの
AI の ストアドプロシージャ
MicrosoftML Library の組み込み
Graph モデルのサポートによる
より複雑な関係を分析
クエリ 処理の最適化による
比類なき パフォーマンス
AI を組み込んだ最初の商用データベース
SQL Server
2017
35.
• SQL Server,CNTK & R/Python – それぞれの強い部分を連携させた
エンタープライズ グレードの AI アプリケーション
• データを移動させる必要がないため、セキュリティと効率化が向上
• GPU による、処理能力の向上
Featurization
classifier model
での スコアリング
Web App
Diagnosis: 35% certainty
Python / R で実装した ストアドプロシージャ ストアド
プロシージャ
の
呼び出し
Model table,
Features table,
New Images table
SQL Server
36.
execute sp_execute_external_script
@language =N'R'
, @script = N'
x <- as.matrix(InputDataSet);
y <- array(dim1:dim2);
OutputDataSet <- as.data.frame(x %*% y);'
, @input_data_1 = N'SELECT [Col1] from MyData;'
, @params = N'@dim1 int, @dim2 int'
, @dim1 = 12, @dim2 = 15
WITH RESULT SETS (([Col1] int, [Col2] int, [Col3] int, [Col4] int));
‘R’ もしくは ‘Python’
R file や Python file の
読み込みも
入力データ。 T-SQL SELECT も使
えるスクリプト用のパラメーター。”OUTPUT” もサポー
ト。
トレーニング済みのモデルには varbinary(max) を
使用
Result set のバインド(Optional)
STDOUT や STDERR と一緒に
メッセージ文字列も
R dataframe もしくは
Python Pandas dataframe
37.
launchpad.exe
sp_execute_external_script
sqlservr.exe
Named pipe
それぞれの SQLインスタ
ンスがlaumchpad.exe を持
つ
SQLOS
XEvent
MSSQLSERVER Service MSSQLLAUNCHPAD Service
“何を” そして “どう”
“実行” するか
“launcher”
Bxlserver.exe
sqlsatellite.dll
Bxlserver.exe
sqlsatellite.dll
Windows Satellite
Process
sqlsatellite.dll
Run your “query”