データコピー・データ連携を担う Azure Data Factory 徹底解説

1. Session ID: DAT007
Microsoft Tech Summit
2016/11/1
本情報の内容（添付文書、リンク先などを含む）は、Microsoft Tech Summit 開催日（2016年11月1－2日）時点のものであり、予告なく変更される場合があります。

7. オンプレのファイルサーバー、
SQL Server/Oracle/DB2/MySQL/PostgreSQL/Teradata
AWS/Salesforce ⇒ Azure

8. お客様数 利用時間

9.  データコピー、変換、スケジュール設定は
JSON フォーマットで定義
 スケジュールは「単一実行 (バッチ実行)」か
「定期サイクル実行 (常駐サービス)」
 Azure だけでなく他社製品・サービス、
汎用的なデータソースやプロトコルに対応
 GUI ウィザードによる処理作成
GUI 画面での処理実行、監視、管理

11. ⇒ OS インストール、パッチ適用不要
⇒ 常駐アプリの実装・メンテナンス不要
ジョブ スケジューラーとは併存

14. Azure Table
Storage
(Web ログ
レコード)
Data Factory
HDInsight
(Web ログを
ファイルにして
バッチ処理で集計)
SQL Database
(集計データを
DB テーブル
に格納)
Power BI

15. 社内システム
Data
Management
Gateway
SQL Database
Data Warehouse
Blob Storage
Table Storage

16. Amazon Redshift
Amazon S3
Blob Storage
Table Storage
SQL Database
Data Warehouse
Machine
Learning

17. • その名の通り、データコピーを GUI ウィザードで構成可能
• ウィザード構成に従って JSON 定義で生成される
• 1 つの画面で処理の流れ、実行状態を把握可能
• ジョブの再実行、一時停止
• Data Factory の全てのコンポーネントをコードで管理
• 独自に作成した処理を Data Factory 処理として実行

19. Microsoft Tech Summit

20. Azure ストレージ (Blob/Table)
Azure SQL DB, DW, SQL Server
Oracle, DB2, MySQL, PostgreSQL
Sybase, Teradata, DocDB, MongoDB
Cassandra
HDFS, Azure Data Lake
Salesforce, Amazon S3/Redshift
OData, ODBC, ファイルサーバー, FTP
Web ページ内の HTML Table

22. Microsoft Tech Summit

24. Microsoft Tech Summit

25. GET リクエスト
https://management.azure.com/subscriptions/<SubscriptionID>/resourcegroups
/<ResourceGroupName>/providers/Microsoft.DataFactory/datafactories/<DataFactoryName>
/datapipelines/<PipelineName>?api-version=<Api-Version>

28. JSON定義 JSON定義 JSON定義
データコピー ウィザード
Azure ポータル、REST API 等
Data Factory
の範囲
ユーザー管理の
範囲

29. 『日本のデータセンターで
動かせないの？』
東日本、東南アジア、オーストラリア東部
オーストラリア東南部、インド中部 など

30. 東日本 東日本
東日本 西日本
西日本 東日本
東南アジア 西日本
東日本
東日本
東日本
東日本
東南アジア西日本 東南アジア

32. 入出力データソースとの接続設定
- 接続先URL、認証情報、
入出力データ定義
- コピーする対象ファイル名、パス
- コピーするデータのテーブル名、列定義
処理内容 (コピー/処理実行) の定義
- 実行スケジュール (間隔)、リトライ回数
- 実行する Azure ML API や Spark ジョブ
- 実行するストアドプロシージャー

33. JSON JSON
JSON JSON
JSON JSON
JSON JSONJSON
データリンク | データセット | パイプライン

34. Hive クエリー、Pig スクリプト
MapReduce ジョブを実行
※ Hadoop MR、Spark ジョブともに実行可
Azure ML の API 呼出しをバッチ
実行可能。
再学習処理の定期実行を自動化
SQL データベースへのストアド、
Data Lake Analytics クエリー
(U-SQL) を実行
任意のプログラム (.NET/R等) を実行

35. 実行間隔、並列実行数
リトライ回数、コミット件数等
各データソース間の処理時間
オンプレミスとのセキュアな
接続を行うための専用アプリ

36. 最短の実行間隔は「15分」
⇒ Data Factory は
『バッチシナリオ』に特化

37. 最大並列数は「32」
並列コピーはインプットが
ファイルの場合のみ
(Blob/Data Lake/Amazon S3/
オンプレ ファイルシステム/HDFS )
並列の単位はファイル。
⇒ 並列度を上げるために
ファイルを複数用意する

38. Azure オンプレ
Blob
(GRS)
Table SQL DB
(P11)
SQL DW *1
(6000DW)
Data
Lake
SQL
Server
ファイル
システム
Azure
Blob (GRS) 17 0.1 2 1250 16 11 129
Table (Single) 1.3 0.4 1 - 1 1 -
SQL DB(P11) 4 0.1 4 3 4 14 -
SQL DW
(2000DWU)
4 0.2 3 3 3 11 -
Data Lake 13 0.1 1 10 16 10 43
オン
プレ
SQL Server 7 0.2 7 7 7 - -
ファイル
システム
103 0.2 6 102 160 - -
https://azure.microsoft.com/documentation/articles/data-factory-copy-activity-performance/

39. 社内システム
Data
Management
Gateway
SQL Database
Data Warehouse
Blob Storage
Table Storage

41. 社内システム
Data
Management
Gateway
HTTPSプロキシ

46. ご清聴ありがとうございました