Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)

535 views

Published on

https://satonaoki.wordpress.com/2017/03/27/spark-azure-hdinsight/

https://docs.com/satonaoki/7841/azure-deep-dive-spark-azure-hdinsight-2017-03-27

https://www.slideshare.net/satonaoki/20170327azuredeepdivehdinsightspark

Published in: Software

[Azure Deep Dive] Spark と Azure HDInsight によるビッグ データ分析入門 (2017/03/27)

  1. 1. 本イベントの資料 https://aka.ms/add201703 ※本セッションでお伝えする内容は 2017/3/27 時点の情報です。
  2. 2. 参考リンク: https://www.openhub.net/
  3. 3. ディスクから 読み込み ディスクへ 書き込み ディスクから 読み込み ディスクへ 書き込み HDFS HDFS HDFS
  4. 4. 140 120 100 80 40 20 0 60 Hadoop Spark 100 GB のデータを、100ノードで 線形回帰分析を行った時の比較
  5. 5. Cassandra クラスター レプリケーション Japan Asia Pacific Australia North America Europe, Middle East & Africa South America India ✓ スマホ・タブレットから、毎月 16 億セッション ✓ 2千万以上 のサブスクライバー ✓ 3千万以上 の Outlook が、iOS / Android で動作 https://spark-summit.org/east- 2016/events/using-spark-to-power- the-office-365-delve-organization- analytics/
  6. 6. MLlib / SparkML GraphX
  7. 7. ✓ マイクロソフトのサポート付き SLA 99.9% ✓ HDP (Hortonworks Data Platform) がベース ✓ Azureとの連携部分を強化 Hortonworksとマイクロソフトが協業し、Sparkをマネージドサービスとして提供
  8. 8. 2016年4月 Spark 1.6.0 (Linux) Spark 1.3.1 (Windows) 正式リリース プレビュー リリース
  9. 9. 設計 構築 開発 テスト 設計 構築 開発 テスト
  10. 10. 設計 構築 開発 テスト 設計 開 発 テスト プラグインを活用した 開発により 納期の短縮化が可能
  11. 11. ZookeeperZookeeperZookeeper マスター ノード ヘッド ノード ワーカー ノード BLOB ストレージ ヘッドノードは2重化がデフォルト デフォルトのストレージとして使用 (I/F が HDFS) ワーカー ノード ワーカー ノード ノード追加はポータルから簡単に可能
  12. 12. BLOB ストレージ ワーカーノード BLOB ストレージは Azure の 各サービスが使用するため、 他サービスとの親和性が良く ツールも豊富 Spark を削除しても、BLOB の データは全て残る。次回 Spark デプロイ時に再利用も可能 hadoop コマンドも利用可能
  13. 13. Azure Data Lake Store ワーカー ノード ワーカー ノード ワーカー ノード
  14. 14. ワーカー ノード Livy 外部 アプリ ワーカー ノード ワーカー ノード
  15. 15. Cloudera とマイクロソフトの OSS プロジェクト http://livy.io/
  16. 16. • • • • REST I/F の仕様はこちら https://msdn.microsoft.com/ja-jp/library/mt613023.aspx

×