Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

平成最後の1月ですし、Databricksでもやってみましょうか

379 views

Published on

平成最後の1月ですし、Databricksでもやってみましょうか
#azuretechlove
2019年 01/23(水)
Azure Tech Lab #1 ~よう知らんけど~

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

平成最後の1月ですし、Databricksでもやってみましょうか

  1. 1. 平成最後の1月ですし、 databricksでも やってみましょうか Azure Tech Lab #1 株式会社PLAN-B システム開発本部 テック&データラボ 技術統括 Microsoft MVP for AI 得上 竜一(@tottokug)
  2. 2. Azureに最適化・統合されたspark環境 Azure Databricksとは
  3. 3. インメモリでの 高速処理 便利なコンポーネントが 付属しているため あらゆるユースケースに 対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  4. 4. WEBから利用可能 インフラの管理不要 スケールアップ・アウト が無停止で可能 Notebookにより インタラクティブに 分析・開発可能 多彩なデータソース Clusters Jobs Notebooks Data Databricksとは Apache SparkのPaaS
  5. 5. DEMO
  6. 6. クラスター立ち上げDEMO
  7. 7. テーブル作成DEMO
  8. 8. Notebook DEMO
  9. 9. インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ + = お支払い Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金
  10. 10. ※2018/09 時点の情報 Azure Databricksの価格 DBU料金はワークロードで違う DBU ※ 1 時間あたりの処理能力の単位 データ エンジニアリング ジョブ スケジューラ等によって実行される場合 自動起動のバッチ処理など データ分析 アドホック コマンドなどのインタラクティブな機 能がクラスターで実行される場合
  11. 11. インスタンス VMの料金 DBUの料金 例)データサイエンティストが分析のためNotebookを利用 業務時間中(10:00〜18:00)のみ起動 月にD3インスタンスを4台×8時間×20営業日の場合 ※Standardレベル、データ分析ワークロード 35.40円 × 4台 × 160時間 = 22,656円/月 33.60円 × 4台 × 160時間 = 21,504円/月 44,160円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
  12. 12. インスタンス VMの料金 DBUの料金 例)日時のETL処理をジョブスケジューラによって定期実行 月にD3インスタンスを4台×2時間×30日の場合 ※Standardレベル、データ エンジニアリングワークロード 35.40円 × 4台 × 60時間 = 8,496円/月 16.80円 × 4台 × 60時間 = 4,032円/月 12,528円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
  13. 13. 詳細版はこちら //aka.ms/databricksjp
  14. 14. Azure Machine Learning Serviceとの連携
  15. 15. Azure Machine Learning サービスの概要
  16. 16. Azureに最適化・統合されたspark環境 Azure Databricksとは

×