Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Azure Machine Learning サービスと
Azure Databricks で実現するカスタム AI ワークフロー
~データ準備からトレーニング、デプロイまで~
佐藤 直生 (Neo)
日本マイクロソフト株式会社
パートナー事業...
https://twitter.com/satonaoki
https://satonaoki.wordpress.com
http://aka.ms/weeklyazure
スピーカー
https://shop.nikkeibp.co.jp/
front/commodity/0000/P53850/
書籍「Azureテクノロジ入門 2019」
https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA21
セッション概要
https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA03
https://www.microsoft.com/ja-jp/events/techsummit...
#mstsjp18 #DA21
Azure Cognitive Services
Azure Bot Service
Azure Cognitive Search Azure Databricks
Azure Machine Learning
Azure AI インフラストラ...
Azure における機械学習 (ML)
オンプレミス クラウド エッジ
Vision Language Search
Azure Machine Learning
ONNX
Speech
人気の高いフレームワーク
高度なディープ ラーニング (...
生産性の高い機械学習サービス
データ サイエンス/開発チームを支援
個々のデータ サイエンティスト
デスクトップ ソリューションで十分
散発的なコンピューティングのニーズのために、
クラウドが必要
データ サイエンス/データ エンジニアリング ...
Azure Databricks
高速、簡単、共同作業可能な Apache Spark ベースのアナリティクス プラットフォーム
これらの機能をサポート
RBAC (ロール ベースのアクセス制御)
簡単な自動スケール
共同作業
エンタープライズ...
Azure Databricks
ファースト パーティの Azure PaaS サービスとして提供
Azure Databricks
マネージド
サービス
エンタープライズ
セキュリティ
データ サービス
連携
Spark SQL
Spark
...
Azure Databricks: Ignite 2018 での発表
Azure Active Directory
条件付きアクセスによる
アクセス 制御
東日本、西日本
リージョンで
利用可能に!
14日間の無料試用版
を提供
(Premiu...
Azure Machine Learning サービス
エンド ツー エンド、スケーラブル、信頼できるプラットフォーム
データ サイエンスの生産性を向上
実験の効率を改善
モデルをあらゆる場所に
デプロイ、管理
これらの機能をサポート
GPU ...
Azure
Databricks
Data Science
VM
オープンな機械学習・ディープ ラーニングのフレームワーク
最新テクノロジをそのまま利用可能
TensorFlow KerasPyTorch ONNS
クラウド エッジ
機械学習/...
Azure Machine Learning: Ignite 2018 での発表
Azure Data
Factory
Azure Import/Export
service
Azure SDKAzure CLI
Cognitive ServicesBot service
Azure Search Azure Data Ca...
Azure Data
Factory
Azure Import/Export
service
Azure SDKAzure CLI
Cognitive ServicesBot service
Azure Search Azure Data Ca...
ソリューション シナリオ
SQL
モダン データ ウェアハウス
「(ビッグ データを含む)
すべてのデータをデータ
ウェアハウスに統合したい」
アドバンスト アナリティクス
「顧客離反を
予測したい」
リアルタイム アナリティクス
「デバイスか...
アドバンスト アナリティクスのリファレンス アーキテクチャ
バッチ データ
ストリーミング データ
モデル/提供インジェスト 格納 準備/トレーニング
インテリ
ジェント
アプリ
Power BI
Azure
Analysis
Services...
アドバンスト アナリティクスのリファレンス アーキテクチャ
Azure Data
Lake Storage
Azure
Storage
HDInsightAzure Databricks
Azure ML ML Server
モデル トレーニン...
• 正しい/間違ったソリューションがあるわけではない。
最適なソリューションがあるだけ
• Microsoft は特定のソリューションを推奨し、
お客様のシナリオを基にカスタマイズ
• お客様の超え、製品/サービスの成熟度が、
推奨ソリューショ...
準備/トレーニング
データを収集、準備 モデルをトレーニング、評価
A
B
C
運用化、管理
Azure Databricks
Azure Data Factory
Azure Databricks
Azure Databricks
Azure...
デモ: シナリオ
フライト
遅延データ
(CSV ファイル)
空港の
天候データ
(CSV ファイル)
Azure
Blob Storage
Azure
Data Factory
Azure Databricks
(Spark SQL)
地図上での
遅延予測の
...
(1) データの収集、準備
大規模データのすべてを収集、準備
インジェスト
Azure Data
Factory
格納
Azure Blob
Storage
理解、変換
Azure
Databricks
オープン ソース技術を活用
チーム内で共同作業
バッチで 機械学習 ...
Azure Data Factory
巨大なデータを確実に移動、結合、コピー
フライト
遅延データ
(CSV ファイル)
空港の
天候データ
(CSV ファイル)
Azure
Blob Storage
Azure
Data Factory
Azure Databricks
(Spark SQL)
地図上での
遅延予測の
...
Data Factory で、月に1回、オンプレミスのファイルを Blob Storageにコピー
ソース (オンプレミス) の設定
ターゲット (Blob Storage) の設定
Blob Storage にコピーされたファイル
Azure Databricks ノートブック
Azure Databricks ノートブック
Azure Databricks でのデータ準備
Azure Notebooks: 無料の Jupyter ノートブック サービス
フライト
遅延データ
(CSV ファイル)
空港の
天候データ
(CSV ファイル)
Azure
Blob Storage
Azure
Data Factory
Azure Databricks
(Spark SQL)
地図上での
遅延予測の
...
デモ: データ準備
Spark SQL でフライト遅延の元データを確認
SparkRで、欠損値のある行を削除、既存列を変換して新規列を追加、不要列を削除
フライト遅延の新しいビューを確認
天候の元データを確認
PySpark で、既存列を変換して新規列を追加、例外値を置換、データ型を修正
天候データの新しいビューを確認
フライト遅延データ、天候データを結合
結合されたフライト遅延/天候データを確認
(2) モデルのトレーニング、評価
機械学習 (ML) モデルをトレーニング、評価
簡単にスケール アップ/アウト
サーバーレス インフラストラクチャ上で
自動スケール
コモディティ ハードウェアを活用
最適なアルゴリズムを決定
モデルを最適化するために、ハイパー
パラメーターを...
Spark MLlib
Azure Databricks
Azure インフラ
ストラクチャ
Azure Databricks/Azure Machine Learning 連携
✓ モデルのトレーニング
✓ モデルの評価
✓ トレーニング履歴管理
✓ モデル管理
Azure Databricks
Azure Machine
Learn...
データ セット
目標設定
学習の一貫性
出力入力
並列処理で学習を実行
コンピューティング リソースを管理
最適なモデルを選択
Optimized model
Azure Machine Learning: 自動機械学習
Azure Machine Learning: 自動機械学習
Azure Machine Learning: ハイパー パラメーター チューニング
ディープ ラーニング モデルを構築、デプロイ
Azure ML
スケール アウト クラスター
Azure
Databricks
ノートブック
スケール アウト クラスター
Azure
Batch AI
Caffe2
CNTK
Keras
Ten...
ディープ ラーニング サービス/フレームワークを活用
好みのディープ ラーニング フレームワークを活用
Azure Databricks
最速の Spark エンジンで処理を高速化
Azure サービスとネイティブに統合
エンタープライズ級の ...
Deep Learning on Azure Databricks
Databricks Runtime for ML を選択
複数 GPU での分散学習フレームワーク Spark を GPU クラスターとして利用可能
Horovod Horo...
フライト
遅延データ
(CSV ファイル)
空港の
天候データ
(CSV ファイル)
Azure
Blob Storage
Azure
Data Factory
Azure Databricks
(Spark SQL)
地図上での
遅延予測の
...
デモ: 機械学習モデル
データ準備の完了したフライト遅延/天候データを確認
ラベル (15分以上遅延したかどうかを表す DepDel15) のサンプル数を確認、調整
文字列の列 (空港名など) に対して特徴ベクトルを作成し、
すべての数値列、特徴ベクトルをアセンブル
教師データをトレーニング データ/テスト データに分割
Spark MLlib の Decision Tree アルゴリズムで、
トレーニング データを使ってトレーニング
生成されたモデルで、テスト データを使って予測
テスト データを使った予測結果を評価
ハイパー パラメーター チューニング、クロス検証を実施
モデルを評価し、予測値 (prediction) と正解 (label) を比較
Spark ノートブックから Azure ML に実験 (トレーニング) の実行履歴を送信
Spark ノートブックから Azure ML に実験 (トレーニング) の実行履歴を送信
Spark ノートブックから Azure ML に実験 (トレーニング) の実行履歴を送信
Azure Portal で実験の履歴を確認
(3) モデルの運用化、管理
モデルを簡単に運用化、管理
最適なモデルを識別、選択
モデルのテレメトリを捕捉
API でモデルを再トレーニング
あらゆる場所にモデルをデプロイ
コンテナーにスケール アウト
Azure IoT Edge に
インテリジェンスを注入
数分でモデ...
フライト
遅延データ
(CSV ファイル)
空港の
天候データ
(CSV ファイル)
Azure
Blob Storage
Azure
Data Factory
Azure Databricks
(Spark SQL)
地図上での
遅延予測の
...
デモ: 機械学習の運用化
デモ: 機械学習の運用化
Spark MLlib の ML モデルを Azure ML に登録
Azure ML に登録された ML モデル
スコア (推論/予測) を行う Python スクリプトを作成
環境設定、ACI (Container Instances) 構成
登録済みの ML モデルを ACI にデプロイ
Azure ML で Docker コンテナー イメージ を確認
ACR (Container Registry) に登録された Docker コンテナー イメージ
Azure ML で ACI へのデプロイを確認
ACI にデプロイされた Docker コンテナー
ACI にデプロイされた Docker コンテナー
コンテナー上で動作する Web サービスを呼び出し、ML モデルで予測
フライト
遅延データ
(CSV ファイル)
空港の
天候データ
(CSV ファイル)
Azure
Blob Storage
Azure
Data Factory
Azure Databricks
(Spark SQL)
地図上での
遅延予測の
...
Data Factoryで Blob Storage へのアップロード後に
Databricks ノートブックを実行
Data Factory から呼び出されるノートブックで、Blob Storage上のファイル、
ML モデルを使い、バッチ型で予測
デモ: 視覚化、レポート作成
機械学習/AI の選択肢
どのエンジンを使いたいか?
デプロイのターゲット
どのエクスペリエンスを
希望するか?
独自構築か、
事前トレーニング
済みモデルか?
Microsoft ML & AI 製品群
独自構築
Azure ML
コード フ...
まとめ
Information
「Ask The Speaker」
各ブレイクアウトセッション終了後の休憩時間に、
登壇したスピーカーに直接ご質問いただけるコーナーを
B2F 「Ask The Speaker」 Room に用意
しています。セッション...
セッションアンケートにご協力ください。
公式イベントアプリで、「Microsoft Tech Summit 2018 参加者アンケート(必須)」と
「各セッションアンケート( 5 つ以上)」、合わせて 6 つ以上のアンケートにご回答ください。
...
© 2018 Microsoft Corporation. All rights reserved.
本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~
Upcoming SlideShare
Loading in …5
×

[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~

619 views

Published on

[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~
https://satonaoki.wordpress.com/2018/11/08/mstsjp18-azure-ml-databricks/

Published in: Software
  • Be the first to comment

  • Be the first to like this

[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~

  1. 1. Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~ 佐藤 直生 (Neo) 日本マイクロソフト株式会社 パートナー事業本部 Azureテクノロジスト DA21
  2. 2. https://twitter.com/satonaoki https://satonaoki.wordpress.com http://aka.ms/weeklyazure スピーカー
  3. 3. https://shop.nikkeibp.co.jp/ front/commodity/0000/P53850/ 書籍「Azureテクノロジ入門 2019」
  4. 4. https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA21 セッション概要
  5. 5. https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA03 https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA01 https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA20 https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#DA10 https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#AC51 https://www.microsoft.com/ja-jp/events/techsummit/2018/session.aspx#AC52 関連セッション
  6. 6. #mstsjp18 #DA21
  7. 7. Azure Cognitive Services Azure Bot Service Azure Cognitive Search Azure Databricks Azure Machine Learning Azure AI インフラストラクチャ ナレッジ マイニングAI アプリ & エージェント 機械学習 (ML) Azure AI
  8. 8. Azure における機械学習 (ML) オンプレミス クラウド エッジ Vision Language Search Azure Machine Learning ONNX Speech 人気の高いフレームワーク 高度なディープ ラーニング (DL) ソリューションを構築 生産性の高いサービス データ サイエンス/開発チームを支援 柔軟なデプロイ インテリジェント クラウド/エッジでモデルをデプロイ、管理 高度な事前トレーニング済みモデル ソリューション開発を簡素化 強力なインフラストラクチャ 深層学習を高速化 Keras CPU GPU FPGA Azure Databricks Data Science VM TensorFlowPyTorch
  9. 9. 生産性の高い機械学習サービス データ サイエンス/開発チームを支援 個々のデータ サイエンティスト デスクトップ ソリューションで十分 散発的なコンピューティングのニーズのために、 クラウドが必要 データ サイエンス/データ エンジニアリング チーム デスクトップ ソリューションでは不十分 統一されたビッグ データ/機械学習ソリューションが 必要 Data Science VMAzure Machine LearningAzure Databricks +
  10. 10. Azure Databricks 高速、簡単、共同作業可能な Apache Spark ベースのアナリティクス プラットフォーム これらの機能をサポート RBAC (ロール ベースのアクセス制御) 簡単な自動スケール 共同作業 エンタープライズ級の SLA 最高のノートブック 単純なジョブ スケジューリング Azure サービス群とシームレスに統合 生産性を向上 セキュアで信頼できるクラウド上に構築 制限なしにスケール
  11. 11. Azure Databricks ファースト パーティの Azure PaaS サービスとして提供 Azure Databricks マネージド サービス エンタープライズ セキュリティ データ サービス 連携 Spark SQL Spark Streaming MLlib GraphX Spark Core API PythonSQLR Scala Java
  12. 12. Azure Databricks: Ignite 2018 での発表 Azure Active Directory 条件付きアクセスによる アクセス 制御 東日本、西日本 リージョンで 利用可能に! 14日間の無料試用版 を提供 (Premium レベル)
  13. 13. Azure Machine Learning サービス エンド ツー エンド、スケーラブル、信頼できるプラットフォーム データ サイエンスの生産性を向上 実験の効率を改善 モデルをあらゆる場所に デプロイ、管理 これらの機能をサポート GPU 対応の VM 大規模、低レイテンシの予測 人気の高い Python IDE との統合 RBAC (ロール ベースのアクセス制御) モデルのバージョン管理 自動化されたモデルの再トレーニング Azure サービス群とシームレスに統合
  14. 14. Azure Databricks Data Science VM オープンな機械学習・ディープ ラーニングのフレームワーク 最新テクノロジをそのまま利用可能 TensorFlow KerasPyTorch ONNS クラウド エッジ 機械学習/ディープ ラーニングをビジネスで利用するためのサービス あらゆる分析要件に対応し、ライフサイクルを効率的に実行 学習・推論のための最新のチップ データ容量やモデルに制限されない高速化の実現 柔軟なモデル適用環境を提供 クラウドからエッジまで幅広くサポート Azure Machine Learning サービス データ準備 モデル構築 モデル適用 監視 Batch AI scikit-learn
  15. 15. Azure Machine Learning: Ignite 2018 での発表
  16. 16. Azure Data Factory Azure Import/Export service Azure SDKAzure CLI Cognitive ServicesBot service Azure Search Azure Data Catalog Azure ExpressRoute Azure network security groups Azure Functions Visual StudioOperations Management Suite Azure Active Directory Azure key management service Azure Blob Storage Azure Data Lake Storage Azure IoT Hub Azure Event Hubs Kafka on Azure HDInsight Azure SQL Data WarehouseAzure SQL DB Azure Cosmos DB Azure Analysis Services Power BI Azure Data Lake Analytics Azure HDInsight Azure Databricks Azure HDInsight Azure Databricks Azure Stream Analytics Azure ML Azure Databricks ML Server Azure のデータ関連サービス
  17. 17. Azure Data Factory Azure Import/Export service Azure SDKAzure CLI Cognitive ServicesBot service Azure Search Azure Data Catalog Azure ExpressRoute Azure network security groups Azure Functions Visual StudioOperations Management Suite Azure Active Directory Azure key management service Azure Blob Storage Azure Data Lake Store Azure IoT Hub Azure Event Hubs Kafka on Azure HDInsight Azure SQL Data WarehouseAzure SQL DB Azure Cosmos DB Azure Analysis Services Power BI Azure Data Lake Analytics Azure HDInsight Azure Databricks Azure HDInsight Azure Databricks Azure Stream Analytics Azure ML Azure Databricks ML Server Azure のビッグ データ関連サービス
  18. 18. ソリューション シナリオ SQL モダン データ ウェアハウス 「(ビッグ データを含む) すべてのデータをデータ ウェアハウスに統合したい」 アドバンスト アナリティクス 「顧客離反を 予測したい」 リアルタイム アナリティクス 「デバイスからリアル タイムに洞察を得たい」
  19. 19. アドバンスト アナリティクスのリファレンス アーキテクチャ バッチ データ ストリーミング データ モデル/提供インジェスト 格納 準備/トレーニング インテリ ジェント アプリ Power BI Azure Analysis Services Azure SQL Data Warehouse Azure Cosmos DB Azure Blob StorageAzure Data Factory Azure HDInsight (Apache Kafka) データ サイエンス/AI データ エンジニアリング Azure Databricks
  20. 20. アドバンスト アナリティクスのリファレンス アーキテクチャ Azure Data Lake Storage Azure Storage HDInsightAzure Databricks Azure ML ML Server モデル トレーニング 長期ストレージ データ処理 Azure Data Lake Analytics Azure ML Studio SQL Server (DB 内 ML) Azure Databricks (Spark ML) Data Science VM Cosmos DB 提供ストレージ SQL Database SQL Data Warehouse Azure Analysis Services Cosmos DB Batch AI SQL Database Azure Data Factory オーケストレーション Azure Kubernetes Service (AKS) トレーニング済みモデルのホスト SQL Server (DB 内 ML) センサー/IoT (非構造化) ログ、ファイル、 メディア (非構造化) ビジネス/ カスタム アプリ (構造化) アプリケーション Power BI ダッシュボード
  21. 21. • 正しい/間違ったソリューションがあるわけではない。 最適なソリューションがあるだけ • Microsoft は特定のソリューションを推奨し、 お客様のシナリオを基にカスタマイズ • お客様の超え、製品/サービスの成熟度が、 推奨ソリューションに影響を与える • 価格、パフォーマンス、使いやすさ、エコシステムを考慮 • すべては流動的。これらの要因や新リリースによって、 今日の推奨ソリューションが、明日には最適では なくなることも… 注意すべき点
  22. 22. 準備/トレーニング データを収集、準備 モデルをトレーニング、評価 A B C 運用化、管理 Azure Databricks Azure Data Factory Azure Databricks Azure Databricks Azure Machie Learning
  23. 23. デモ: シナリオ
  24. 24. フライト 遅延データ (CSV ファイル) 空港の 天候データ (CSV ファイル) Azure Blob Storage Azure Data Factory Azure Databricks (Spark SQL) 地図上での 遅延予測の 視覚化 フライト遅延 Web ポータル サード パーティ API 空港の天候予測 コンテナー化された AI サービス フライト遅延予測 ML モデルを作成、 トレーニング、エクスポート Azure Machine Learning サービス トレーニング済みの ML モデルを格納、運用化 ML モデルを運用化 データを Blob Storage にコピー バッチ スコアリングのために、 Databricks ノートブックを実行 統合ランタイム オンプレミス データを Azure Storage に移動
  25. 25. (1) データの収集、準備
  26. 26. 大規模データのすべてを収集、準備 インジェスト Azure Data Factory 格納 Azure Blob Storage 理解、変換 Azure Databricks オープン ソース技術を活用 チーム内で共同作業 バッチで 機械学習 (ML) を利用 好みの言語に組み込まれている スケール アウト トポロジを活用 コンピューティングとストレージを 別々にスケール すべてのデータ ソースを統合 ハイブリッド パイプラインを作成 コーディングなしでオーケストレーション 最高のアナリティクス 機能を活用 制限なしにスケール あらゆるソースからの データに接続
  27. 27. Azure Data Factory 巨大なデータを確実に移動、結合、コピー
  28. 28. フライト 遅延データ (CSV ファイル) 空港の 天候データ (CSV ファイル) Azure Blob Storage Azure Data Factory Azure Databricks (Spark SQL) 地図上での 遅延予測の 視覚化 フライト遅延 Web ポータル サード パーティ API 空港の天候予測 コンテナー化された AI サービス フライト遅延予測 ML モデルを作成、 トレーニング、エクスポート Azure Machine Learning サービス トレーニング済みの ML モデルを格納、運用化 ML モデルを運用化 データを Blob Storage にコピー バッチ スコアリングのために、 Databricks ノートブックを実行 統合ランタイム オンプレミス データを Azure Storage に移動
  29. 29. Data Factory で、月に1回、オンプレミスのファイルを Blob Storageにコピー
  30. 30. ソース (オンプレミス) の設定
  31. 31. ターゲット (Blob Storage) の設定
  32. 32. Blob Storage にコピーされたファイル
  33. 33. Azure Databricks ノートブック
  34. 34. Azure Databricks ノートブック
  35. 35. Azure Databricks でのデータ準備
  36. 36. Azure Notebooks: 無料の Jupyter ノートブック サービス
  37. 37. フライト 遅延データ (CSV ファイル) 空港の 天候データ (CSV ファイル) Azure Blob Storage Azure Data Factory Azure Databricks (Spark SQL) 地図上での 遅延予測の 視覚化 フライト遅延 Web ポータル サード パーティ API 空港の天候予測 コンテナー化された AI サービス フライト遅延予測 ML モデルを作成、 トレーニング、エクスポート Azure Machine Learning サービス トレーニング済みの ML モデルを格納、運用化 ML モデルを運用化 データを Blob Storage にコピー バッチ スコアリングのために、 Databricks ノートブックを実行 統合ランタイム オンプレミス データを Azure Storage に移動
  38. 38. デモ: データ準備
  39. 39. Spark SQL でフライト遅延の元データを確認
  40. 40. SparkRで、欠損値のある行を削除、既存列を変換して新規列を追加、不要列を削除
  41. 41. フライト遅延の新しいビューを確認
  42. 42. 天候の元データを確認
  43. 43. PySpark で、既存列を変換して新規列を追加、例外値を置換、データ型を修正
  44. 44. 天候データの新しいビューを確認
  45. 45. フライト遅延データ、天候データを結合
  46. 46. 結合されたフライト遅延/天候データを確認
  47. 47. (2) モデルのトレーニング、評価
  48. 48. 機械学習 (ML) モデルをトレーニング、評価 簡単にスケール アップ/アウト サーバーレス インフラストラクチャ上で 自動スケール コモディティ ハードウェアを活用 最適なアルゴリズムを決定 モデルを最適化するために、ハイパー パラメーターをチューニング アジャイル環境で迅速にプロトタイプ 対話型ワークスペースで共同作業 実績あるモデルのライブラリにアクセス ジョブ実行を自動化 コンピューティング リソースを スケール 自分のデータに対する 適切なモデルを迅速に決定モデル開発を簡素化 モデル管理 Azure ML 管理 スケール アウト クラスター インフラストラクチャ Azure Databricks 機械学習 ツール Azure Databricks
  49. 49. Spark MLlib Azure Databricks Azure インフラ ストラクチャ
  50. 50. Azure Databricks/Azure Machine Learning 連携 ✓ モデルのトレーニング ✓ モデルの評価 ✓ トレーニング履歴管理 ✓ モデル管理 Azure Databricks Azure Machine Learning サービス Azure Kubernetes Service (AKS)/ Azure Container Instance (ACI) Docker Azure IoT Edge IoT Edge
  51. 51. データ セット 目標設定 学習の一貫性 出力入力 並列処理で学習を実行 コンピューティング リソースを管理 最適なモデルを選択 Optimized model Azure Machine Learning: 自動機械学習
  52. 52. Azure Machine Learning: 自動機械学習
  53. 53. Azure Machine Learning: ハイパー パラメーター チューニング
  54. 54. ディープ ラーニング モデルを構築、デプロイ Azure ML スケール アウト クラスター Azure Databricks ノートブック スケール アウト クラスター Azure Batch AI Caffe2 CNTK Keras TensorFlow ニーズに合わせて VM を選択 GPU ベースの VM を使って処理 並列に実験を実行 リソースを自動プロビジョニング 人気の高いディープ ラーニング フレームワークを活用 好みの言語で開発 あらゆる環境でコンピュー ティング リソースをスケール 適切なモデルを迅速に 評価、識別AI 開発を合理化 Azure Databricks
  55. 55. ディープ ラーニング サービス/フレームワークを活用 好みのディープ ラーニング フレームワークを活用 Azure Databricks 最速の Spark エンジンで処理を高速化 Azure サービスとネイティブに統合 エンタープライズ級の Azure セキュリティを活用 Azure Machine Learning 実験の効率を改善 AI をエッジに持ち込む あらゆる場所にモデルをデプロイ、管理 TensorFlow Cognitive Toolkit (CNTK) PyTorch Scikit-Learn ONNX Caffe2 MXNet Chainer
  56. 56. Deep Learning on Azure Databricks Databricks Runtime for ML を選択 複数 GPU での分散学習フレームワーク Spark を GPU クラスターとして利用可能 Horovod Horovod Estimator API
  57. 57. フライト 遅延データ (CSV ファイル) 空港の 天候データ (CSV ファイル) Azure Blob Storage Azure Data Factory Azure Databricks (Spark SQL) 地図上での 遅延予測の 視覚化 フライト遅延 Web ポータル サード パーティ API 空港の天候予測 コンテナー化された AI サービス フライト遅延予測 ML モデルを作成、 トレーニング、エクスポート Azure Machine Learning サービス トレーニング済みの ML モデルを格納、運用化 ML モデルを運用化 データを Blob Storage にコピー バッチ スコアリングのために、 Databricks ノートブックを実行 統合ランタイム オンプレミス データを Azure Storage に移動
  58. 58. デモ: 機械学習モデル
  59. 59. データ準備の完了したフライト遅延/天候データを確認
  60. 60. ラベル (15分以上遅延したかどうかを表す DepDel15) のサンプル数を確認、調整
  61. 61. 文字列の列 (空港名など) に対して特徴ベクトルを作成し、 すべての数値列、特徴ベクトルをアセンブル
  62. 62. 教師データをトレーニング データ/テスト データに分割
  63. 63. Spark MLlib の Decision Tree アルゴリズムで、 トレーニング データを使ってトレーニング
  64. 64. 生成されたモデルで、テスト データを使って予測
  65. 65. テスト データを使った予測結果を評価
  66. 66. ハイパー パラメーター チューニング、クロス検証を実施
  67. 67. モデルを評価し、予測値 (prediction) と正解 (label) を比較
  68. 68. Spark ノートブックから Azure ML に実験 (トレーニング) の実行履歴を送信
  69. 69. Spark ノートブックから Azure ML に実験 (トレーニング) の実行履歴を送信
  70. 70. Spark ノートブックから Azure ML に実験 (トレーニング) の実行履歴を送信
  71. 71. Azure Portal で実験の履歴を確認
  72. 72. (3) モデルの運用化、管理
  73. 73. モデルを簡単に運用化、管理 最適なモデルを識別、選択 モデルのテレメトリを捕捉 API でモデルを再トレーニング あらゆる場所にモデルをデプロイ コンテナーにスケール アウト Azure IoT Edge に インテリジェンスを注入 数分でモデルを構築、デプロイ サーバーレス インフラストラクチャで 迅速にイテレーション 簡単に環境を変更 モデルのパフォーマンスを 積極的に管理 データに近い場所に モデルをデプロイモデルを迅速に提供 モデルをトレーニング、評価 Azure Databricks モデル管理、実験、実行履歴 Azure ML コンテナー AKS ACI Azure IoT Edge
  74. 74. フライト 遅延データ (CSV ファイル) 空港の 天候データ (CSV ファイル) Azure Blob Storage Azure Data Factory Azure Databricks (Spark SQL) 地図上での 遅延予測の 視覚化 フライト遅延 Web ポータル サード パーティ API 空港の天候予測 コンテナー化された AI サービス フライト遅延予測 ML モデルを作成、 トレーニング、エクスポート Azure Machine Learning サービス トレーニング済みの ML モデルを格納、運用化 ML モデルを運用化 データを Blob Storage にコピー バッチ スコアリングのために、 Databricks ノートブックを実行 統合ランタイム オンプレミス データを Azure Storage に移動
  75. 75. デモ: 機械学習の運用化
  76. 76. デモ: 機械学習の運用化
  77. 77. Spark MLlib の ML モデルを Azure ML に登録
  78. 78. Azure ML に登録された ML モデル
  79. 79. スコア (推論/予測) を行う Python スクリプトを作成
  80. 80. 環境設定、ACI (Container Instances) 構成
  81. 81. 登録済みの ML モデルを ACI にデプロイ
  82. 82. Azure ML で Docker コンテナー イメージ を確認
  83. 83. ACR (Container Registry) に登録された Docker コンテナー イメージ
  84. 84. Azure ML で ACI へのデプロイを確認
  85. 85. ACI にデプロイされた Docker コンテナー
  86. 86. ACI にデプロイされた Docker コンテナー
  87. 87. コンテナー上で動作する Web サービスを呼び出し、ML モデルで予測
  88. 88. フライト 遅延データ (CSV ファイル) 空港の 天候データ (CSV ファイル) Azure Blob Storage Azure Data Factory Azure Databricks (Spark SQL) 地図上での 遅延予測の 視覚化 フライト遅延 Web ポータル サード パーティ API 空港の天候予測 コンテナー化された AI サービス フライト遅延予測 ML モデルを作成、 トレーニング、エクスポート Azure Machine Learning サービス トレーニング済みの ML モデルを格納、運用化 ML モデルを運用化 データを Blob Storage にコピー バッチ スコアリングのために、 Databricks ノートブックを実行 統合ランタイム オンプレミス データを Azure Storage に移動
  89. 89. Data Factoryで Blob Storage へのアップロード後に Databricks ノートブックを実行
  90. 90. Data Factory から呼び出されるノートブックで、Blob Storage上のファイル、 ML モデルを使い、バッチ型で予測
  91. 91. デモ: 視覚化、レポート作成
  92. 92. 機械学習/AI の選択肢 どのエンジンを使いたいか? デプロイのターゲット どのエクスペリエンスを 希望するか? 独自構築か、 事前トレーニング 済みモデルか? Microsoft ML & AI 製品群 独自構築 Azure ML コード ファースト (オンプレミス) ML Server オンプレミス Hadoop SQL Server (クラウド) BYOT SQL Server Hadoop Azure Batch AI DSVM Spark ビジュアル ツール Azure ML Studio 利用 Cognitive Services、 Bot Service Spark MLlib、 SparkR、SparklyR ノートブック ジョブ Azure Databricks Spark いつ何を使うか
  93. 93. まとめ
  94. 94. Information 「Ask The Speaker」 各ブレイクアウトセッション終了後の休憩時間に、 登壇したスピーカーに直接ご質問いただけるコーナーを B2F 「Ask The Speaker」 Room に用意 しています。セッション内容のより深い理解のため、 ぜひお役立てください。 (※ハンズオンラーニング、シアターセッション、ビジネストラック 及び 一部のセッションを除きます) EXPO AREA 1 EXPO AREA 2 Room A
  95. 95. セッションアンケートにご協力ください。 公式イベントアプリで、「Microsoft Tech Summit 2018 参加者アンケート(必須)」と 「各セッションアンケート( 5 つ以上)」、合わせて 6 つ以上のアンケートにご回答ください。 もれなくオリジナルグッズを贈呈いたします。 Information Twitter のご案内 本セッションに関するご質問やご感想は、 #mstsjp18 と セッション ID の ハッシュタグで、ご投稿をお願いします。 #mstsjp18
  96. 96. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。

×