Download to read offline
![SELECT
TOP 100 *
FROM
OPENROWSET(
BULK 'https://<storage>/path/to/files/*.parquet’,
FORMAT = 'Parquet’
) AS [r]
Data Lake SQL on-demand Client](https://image.slidesharecdn.com/20200219brainpaddoorsmicrosoft-dahatakepublic-200216140759/75/BrainPad-Doors-A-1-Microsoft-Data-and-AI-6-2048.jpg)
Uploaded byDaiyu Hatakeyama
BrainPad - Doors - A-1 - Microsoft Data and AI
システムの一部として、AI を組み込む際に、大きな課題となっているのは、Data の扱いです。ツールの出来る事はまだ少ないのですが、その中でも2020年2月時点の Azure のBig Data x Machine Learning の Platform の方向性を取り扱います。
More Related Content
![[Developers Festa Sapporo 2018] Azure AI ～Microsoft AzureでのAI開発のイマ～](https://cdn.slidesharecdn.com/ss_thumbnails/20181117devfestasapporoazureaipublic-181119035506-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to BrainPad - Doors - A-1 - Microsoft Data and AI
![[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...](https://cdn.slidesharecdn.com/ss_thumbnails/20181107techsummitazuremldatabricks-181108015121-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Japan Tech summit 2017] MAI 003](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfmai003-171116035458-thumbnail.jpg?width=640&height=640&fit=bounds)
More from Daiyu Hatakeyama
BrainPad - Doors - A-1 - Microsoft Data and AI
- 1. 畠山 大有 |Daiyu Hatakeyama | @dahatake Architect && Software Engineer && Applied Data Scientist (目指している) Microsoft Japan Data と Machine Learning の蜜 月 - 収束する Tool 達 -
- 2. Data ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process ManagementTools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015
- 3.
- 4. データ分析のための無制限のデータウェアハウス Store Azure DataLake Storage SQL Analytics Runtimes Synapse Studio Unified experience Integration Management Monitoring Security Cloud data SaaS data On-premises data Devices data Azure Synapse Analytics Power BI
- 5. Azure Open Source AnalyticsAzureAnalytics Best of open source + Azure for end-to-end analytics HDInsight Enterprise-grade service for open source analytics Ingest Azure Data Factory Prep Azure Databricks Explore Azure Data Explorer Streaming Azure Stream Analytics IoT Azure IoT Hub Share Azure Data Share Store Azure Data Lake Storage Hadoop Spark Kafka Azure Synapse Azure HDInsight
- 6. SELECT TOP 100 * FROM OPENROWSET( BULK'https://<storage>/path/to/files/*.parquet’, FORMAT = 'Parquet’ ) AS [r] Data Lake SQL on-demand Client
- 7. Azure Cloud Services Compute(Container) / Storage Python & R SDK データの加工 モデルの学習 モデルの管理 モデルの展開と追跡
- 8. Azure Machine Learning Develop YourOwn Model 20 https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/technology-choices/data-science-and-machine-learning https://medium.com/microsoftazure/9-advanced-tips-for-production-machine-learning-6bbdebf49a6f Use Pre-trained Model 80 Azure Cognitive Services
- 9.
- 10.
- 12.
- 13.
- 14. User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration &Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “HyperDrive” Logging for Visualize
- 15. User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration &Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “HyperDrive” Logging for Visualize
- 16. User inputs Feature engineering Algorithm selection Hyperparameter tuning Model Leaderboard Dataset Configuration &Constraints 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% Rank Model Score 1 95% 2 76% 3 53% … Data Clearing Model Explanation GPU GPU Job Management Container Packaging VM Auto scale Ensemble Learning “HyperDrive” Logging for Visualize
- 17. トレーニング ターゲット AutoMLHyperparameter Turning ローカル Yes リモート VM Yes Yes Azure Machine Learning Compute Yes Yes Azure Databricks Yes Azure HDInsight Azure Data Lake Analytics Azure Batch https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-compute-target
- 18.
- 19.
- 21. Open Source RepoLink Azure ML Notebook Examples Azure Machine Learning 公式サンプルコード https://aka.ms/ml-notebooks BERT Large 自然言語モデル BERT のサンプルコード http://aka.ms/azure-bert Microsoft Recommenders レコメンデーション サンプルコード http://aka.ms/recommenders LightGBM LightGBM トップページ https://aka.ms/lightgbm Natural Language Recipies 自然言語 サンプルコード https://aka.ms/nlp-recipes ONNX ONNX トップページ https://aka.ms/onnx ONNX RT ONNX Runtimeトップページ https://aka.ms/onnx-rt Kubeflow & MLOps Kubeflow + Azure ML + DevOps サンプル コード https://aka.ms/kubeflow-and-mlops Azure Open Datasets Azure Open Datasets Webページ https://aka.ms/azure-open-datasets Azure ML Free Trial Azure フリートライアル https://aka.ms/amlfree Azure ML Docs Azure Machine Learning ドキュメント https://aka.ms/azureml-ja-docs
- 22. 会員数 4,150 名 全国6 都市で 36 回イベント開催 福岡 大阪 広島 名古屋 東京 札幌 オンライン・オフライン含めた 機械学習教育講座の全国での推進 機械学習 SI エコシステム日本最大の AI コミュニティ https://dllab.connpass.com/
- 23. Step-by-Step Learning Achievementsスムーズな学習環境 無料 日本語対応 ブラウザーのみ。ハンズオン環境 も含めて ダウンロード可能なサンプルコード Product/Service, 技術レベル, job role, などに応じたガイダンス Videos, チュートリアル, ハンズオン スキルアップを促す ユーザー プロファイル毎に カスタマイズ www.microsoft.com/learn
- 24.
- 25.
Editor's Notes
- #13 Microsoft Envision 2016