Azure AI
~Microsoft AzureでのAI開発のイマ~
佐藤 直生 (Neo) | @satonaoki
日本マイクロソフト株式会社
Azureテクノロジスト
Perception Cognition
https://www.youtube.com/watch?v=Duw-C6prVkE
https://www.youtube.com/watch?v=Qs3eTiTdrPs
AI で自動化が期待されるビジネスの例
Vision Analysis
Decision
making
Analysis
Decision
making
Speech
Language
Learning
AI が人々の助けになる
AnalysisVision
Vision
Knowledge
LanguageSpeech
Azure Cognitive Services
Azure Bot Service
Azure Cognitive Search
Azure Databricks
Azure Machine Learning
Azure AI Infrastructure
Knowledge miningAI apps & agents Machine learning
Azure AI
Azure Cognitive Services
Azure Bot Service
Azure Cognitive Search
Azure Databricks
Azure Machine Learning
Azure AI Infrastructure
Knowledge miningAI apps & agents Machine learning
Azure AI
Bot Service
Microsoft で学習させ公開している
pre-trained AI
容易なカスタマイズ
多様なプログラミング言語のサポート
テンプレートベースの多様な言語での開発
多様な Bot Skill の接続先のサポート
Vision Speech Language Search
…
14
AI
Capabilities
Bot Features:
Personality
Dialogs
Language Model
ナレッジ
ソース
Manuals
(PDF)
Data Sources
General
Knowledge
Azure Bot Service +
Cognitive Services
LOB Apps
Enterprise stores
Language
Understanding
Speech
Vision
QnA
Type Speak
Tap
ユーザー
デバイス
Channels
Azure Bot
Services
Adaptive
Cards
16
画像 動画 音声
Machine Learning
Serverless を使った イケている サービス
データ入力が変わる (かもしれない)
データAI
Azure Cognitive Services
Azure Bot Service
Azure Cognitive Search
Azure Databricks
Azure Machine Learning
Azure AI Infrastructure
Knowledge miningAI apps & agents Machine learning
Azure AI
companies
Google
Microsoft
Facebook
record-id companies
1 [
“v02”,
“v01”,
“v05”
]
メタデータ化 | 構造化データ
自然言語処理 (NLP) は大変…
Deep Learning は、2012年に
Googleの研究者によって
飛躍的に技術向上しました。
その後Microsoftや
Facebookなどの企業も
本格参入。
2015年から写真の識別など
幾つかの分野でMicrosoftが
人と同程度のModelを
開発しました。
Deep Learning がもたらしたもの
Text (OCR)
“(1) Validate enrichment pipeline”
Deep Learning がもたらしたもの
Tags
“throwing”, “ball”, “girl”, “grass”,
“basketball”
Caption
“A girl throwing a ball”
Entities
Persons
“Anita Christiansen”,
“Conrad Nuber”,
Locations
“Bothell”, “Woodinville”
Organization
“Litware Insurance Corp.”
Deep Learning がもたらしたもの
Documents Cognitive skills Fully text-searchable
rich index
Knowledge mining with Azure Search
文書・画像 Cognitive skills 一括テキスト検索と絞り
込み
28
Cognitive Servicesと連携し、文書や画像から情報を抽出し検索が可能
従来では、人がタグ情報などを準備していた部分が、AIにより自動抽出
29
Recommendation <- 行動履歴
Dataset = 要
特徴を増やすことで、
解析や
機械学習に
利用
Machine Learning で、Feature 抽出
Surface は
品川で買えるみたい!
XXX店は
いつも混んでいて嫌
Azure Cognitive Services
Azure Bot Service
Azure Cognitive Search
Azure Databricks
Azure Machine Learning
Azure AI Infrastructure
Knowledge miningAI apps & agents Machine learning
Azure AI
機械学習の作業
1. 課題の特定
2. データの取得と加工
3. モデルの設計
4. モデルの学習5. モデルの
テストと評価 a. 初期化
b. データセットからミニバッチデータ取得
c. 損失(差分)を計算d. 最適化: 損失(差分)の最小化
e. 重みづけの更新
y =Wx + b
loss = |desired – actual outcome|δ
6. 展開と推論
トレーニング済みのモデル
ビジネスロジックにMLをアタッチ
Azure Databricks VMs
Deep Learning Framework
Deep Learning モデルの作成 TensorFlow KerasPytorch
Azure
Machine Learning
LanguageSpeech
…
SearchVision
On-premises Cloud Edge
生産性の高いサービス
データサイエンティストと開発チームの生産性を上げる
パワフルな Compute
Deep Learning の学習と推論の加速
柔軟な推論環境の選択肢
Cloud と Edge へのモデル展開と管理
Machine Learning on Azure
Chainer
Databricks Platform
Azure Databricks
(Unified Analytics Platform)
PaaS による
ゼロメンテナンス
エンタープライズ
セキュリティ
クラウドに最適化
されたエンジン
他の Azure サービス
との統合
独自のコラボレーション
Databricks Notebook
Microsoft 1st Party
商用サポート
Azure
36
Databricks Platform
37
38
Azure Machine Learning Studio
Azure Machine Learning は、未来を予測し「自立的」に判断するアプリケーションをコードを書かずに素早く開発でき、
それを稼働させるスケーラブルなプラットフォームである
ブラウザだけで開始できる
Azure サブスクリプションにログインすれば、ブラ
ウザだけで開発が可能。
誰とでも、どこからでも、簡単に共有が可能
オープンで優れた統合環境
“R” や “Python” で利用される数百ものアルゴ
リズムやパッケージを利用可能。
Xbox や Bing で養われた優れたアルゴリズムを
利用可能。
ソリューションを数分で展開できる
1クリックで学習が完了したモデルをWeb サー
ビスとして即時ディプロイ。あらゆる場所からス
ケーラブルに利用可能。
世界への展開
グローバルな Azure Machine Learning
Marketplace を介して、ソリューションを販売可
能
• 使い慣れたフレームワークを利用可能
• 様々な実行環境
• ローカルPC / GPU VM / Azure Batch AI / Azure
Kubernetes Services / Databricks ..
• 実行履歴/モデルの管理
• Azure ML Python SDK
• Pythonから、AML Servicesを利用
• 機械学習の自動化
• Automated ML
• 機械学習のモデル選択/ハイパーパラメータのチューニング
Azure Machine Learning Services
様 々 な 革 新 的 な 技 術 を 利 用
使 い 慣 れ た ツ ー ル の 利 用
使 い 慣 れ た フ レ ー ム ワ ー ク / ラ イ ブ ラ リ の 利 用
39
Automated Machine Learning
Hyper parameter tuning
Distributed Deep Learning
New FPGA-powered models
Python SDK
Azure Notebook 連携
Services
Schema
モデル
スキーマ ファイル
(Option)
推論実行
コード
推論環境の全体像
Azure Kubernetes Services
Azure Machine Learning Services
今回は、どの Feature (列) が有効なの?
次のボーナス2018/12
Source: http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
今回は、どの アルゴリズム が効く?
Mileage
Condition
Car brand
Year of make
Regulations
…
Parameter 1
Parameter 2
Parameter 3
Parameter 4
…
Gradient Boosted
Nearest Neighbors
SVM
Bayesian Regression
LGBM
…
Mileage Gradient Boosted Criterion
Loss
Min Samples Split
Min Samples Leaf
Others Model
Which algorithm? Which parameters?Which features?
Car brand
Year of make
モデルの開発には、多くの 試行錯誤 が必要…
Criterion
Loss
Min Samples Split
Min Samples Leaf
Others
N Neighbors
Weights
Metric
P
Others
Which algorithm? Which parameters?Which features?
Mileage
Condition
Car brand
Year of make
Regulations
…
Gradient Boosted
Nearest Neighbors
SVM
Bayesian Regression
LGBM
…
Nearest Neighbors
Model
繰り返し
Gradient BoostedMileage
Car brand
Year of make
Car brand
Year of make
Condition
Mileage
Condition
Car brand
Year of make
Regulations
…
Gradient Boosted
Nearest Neighbors
SVM
Bayesian Regression
LGBM
…
Gradient Boosted
SVM
Bayesian Regression
LGBM
Nearest Neighbors
Which algorithm? Which parameters?Which features?
繰り返し
Regulations
Condition
Mileage
Car brand
Year of make
データセット
目標設定
学習の一貫性
出力入力
学習を並列処理
Compute リソース管理
ベストなモデルの選択
Optimized model
Automated Machine Learning
“Volume”
膨大
“Velocity”
スピード
“Variety”
多様性
社内の
資産
サーチや
ソーシャル
オープン
データ
コラボ可視化
Big Data の構成要素
STORE &
EXPLORESensors and IoT
(unstructured)
Files (unstructured)
Media (unstructured)
Logs (unstructured)
Business/custom apps
(structured)
Power BIAzure Analysis
Services
Real-time Apps
Cosmos DB
INGEST PREP & TRAIN
MODEL & SERVE
STORE
Azure Data Lake Storage Gen2
SQL Data Warehouse
(Polybase)
Azure Databricks
Cosmos DB
Azure Data Explorer
Azure SQL
Data Warehouse
Azure Data Explorer
Azure Databricks
Azure Machine Learning
Azure Data Factory
Data Lake as “Product”
Sensors and IoT
(unstructured)
Azure IoT Hub Kafka
Azure Operational Data Services
Azure Cosmos DB: マルチ モデル/マルチ API
• キー/バリュー
• ドキュメント
• グラフ
• SQL (DocumentDB)
• MongoDB
• Azure Table Storage
• Gremlin グラフ
Delivery Service Refund Service
Notification Service
Azure Functions + Azure Cosmos DB
インタラクティブ クエリ
巨大なデータセットへの
高速クエリ実行
テラバイト級に数分で
スケール
ストリーム、ファイル など
多様なデータ をサポート
交通渋滞
予測
○○線
運行情報
△ △線
運行情報
イベント
開催情報
TV番組
情報
物流
車両情報
道路工事
情報
空調負荷
予測
販売計画
混雑予測
駅員・警
備計画
空調制御
計画
故障予知
集荷予測
天候情報
保守計画
売上予測
混雑予測
有機的に相互作用する社会
交通渋滞
予測
○○線
運行情報
イベント
開催情報
TV番組
情報
物流
車両情報
道路工事
情報
空調負荷
予測
販売計画
空調制御
計画
故障予知
集荷予測
天候情報
保守計画
売上予測
混雑予測
△ △線
運行情報
混雑予測
駅員・警
備計画
有機的に相互作用する社会
https://www.youtube.com/watch?v=y-IBE4k-ZU0
© 2018 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a
commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation.
MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

[Developers Festa Sapporo 2018] Azure AI ~Microsoft AzureでのAI開発のイマ~