https://satonaoki.wordpress.com/2017/03/27/spark-azure-hdinsight/ https://docs.com/satonaoki/7841/azure-deep-dive-spark-azure-hdinsight-2017-03-27 https://www.slideshare.net/satonaoki/20170327azuredeepdivehdinsightspark

1. 本イベントの資料
https://aka.ms/add201703
※本セッションでお伝えする内容は 2017/3/27 時点の情報です。

10. 参考リンク： https://www.openhub.net/

12. ディスクから
読み込み
ディスクへ
書き込み
ディスクから
読み込み
ディスクへ
書き込み
HDFS HDFS HDFS

13. 140
120
100
80
40
20
0
60
Hadoop
Spark
100 GB のデータを、100ノードで
線形回帰分析を行った時の比較

14. Cassandra クラスター
レプリケーション
Japan
Asia
Pacific
Australia
North
America
Europe,
Middle East
& Africa
South
America India
✓ スマホ・タブレットから、毎月 16 億セッション
✓ 2千万以上 のサブスクライバー
✓ 3千万以上 の Outlook が、iOS / Android で動作
https://spark-summit.org/east-
2016/events/using-spark-to-power-
the-office-365-delve-organization-
analytics/

15. MLlib /
SparkML
GraphX

20. ✓ マイクロソフトのサポート付き SLA 99.9%
✓ HDP (Hortonworks Data Platform) がベース
✓ Azureとの連携部分を強化
Hortonworksとマイクロソフトが協業し、Sparkをマネージドサービスとして提供

21. 2016年4月
Spark 1.6.0
(Linux)
Spark 1.3.1 (Windows)
正式リリース
プレビュー
リリース

24. 設計 構築 開発 テスト
設計 構築 開発 テスト

26. 設計 構築 開発 テスト
設計
開
発
テスト
プラグインを活用した
開発により
納期の短縮化が可能

28. ZookeeperZookeeperZookeeper マスター
ノード
ヘッド
ノード
ワーカー
ノード
BLOB ストレージ
ヘッドノードは2重化がデフォルト
デフォルトのストレージとして使用
(I/F が HDFS)
ワーカー
ノード
ワーカー
ノード ノード追加はポータルから簡単に可能

29. BLOB ストレージ
ワーカーノード BLOB ストレージは Azure の
各サービスが使用するため、
他サービスとの親和性が良く
ツールも豊富
Spark を削除しても、BLOB の
データは全て残る。次回 Spark
デプロイ時に再利用も可能
hadoop コマンドも利用可能

30. Azure Data Lake Store
ワーカー
ノード
ワーカー
ノード
ワーカー
ノード

33. ワーカー
ノード
Livy
外部
アプリ
ワーカー
ノード
ワーカー
ノード

34. Cloudera とマイクロソフトの
OSS プロジェクト
http://livy.io/

35. •
•
•
•
REST I/F の仕様はこちら
https://msdn.microsoft.com/ja-jp/library/mt613023.aspx