This material was presented at the "ALGYAN" on August 20, 2022. https://algyan.connpass.com/event/254935/

1. Azure Custom Vision 入門編

2. • Entity recognition
• Sentiment analysis
• QnA Maker
• Conversational language
understanding
• Translator etc…
• Computer Vision
• Custom Vision
• Face API
• Speech to Text
• Text to Speech
• Speech Translation
• Speaker Recognition
• Anomaly Detector
• Content Moderator
• Personalizer
エンジン
• GPT-3シリーズ
• Codexシリーズ
• 埋め込みシリーズ

3. Computer Vision のアプリケーション
Taxi
bus
car
Cyclist
Cyclist
bus
bus
car
cyclist
A person with a dog on a street The Toronto Dominion Bank

4. Computer Vison って？
一般には、画像解析を指します。
よくある
機械学習
Computer
Vision
dataset
画像
・数値(1, 2, 3, …)を予測
・確率(0～1)を予測
:
・”犬”の写真
・“トラが端っこに写っ
ている”
:

5. Microsoft の Computer Vison？
大まかに2つあります：
Computer
Vision
API
Custom
Vision
Services
画像
・”犬と猫”が写ってる
・”Satyaだ”
・(手書き
の)”Soccer”[OCR]
:
・”犬”の確率が70%
・”端っこに虎っぽい
(=80%)物体が写って
る”
画像

6. Microsoft の Computer Vison？
大まかに2つあります：
Computer
Vision
API
Custom
Vision
Services
画像
・”犬と猫”が写ってる
・”Satyaだ”
・(手書き
の)”Soccer”[OCR]
:
・”犬”の確率が70%
・”端っこに虎っぽい
(=80%)物体が写って
る”
画像
今日の話は主にこれ

7. Microsoft の Computer Vison の 大事な点
大まかに2つあります：
Computer
Vision
API
Custom
Vision
Services
画像
・”犬と猫”が写ってる
・”Satyaだ”
・(手書き
の)”Soccer”[OCR]
:
・”犬”の確率が70%
・”端っこに虎っぽい
(=80%)物体が写って
る”
画像
こっちはカスタマイズできる
Presetモノ利用のみ

8. 画像をアップロードしてタグ付けを行う
だけで、画像識別モデルを自動生成
1.アップロード 2. タグ付けして
トレーニング
3. 評価
Custom Vision

9. Image Classification
(画像分類)
Object Detection
(物体検出)
Custom Vision
 転移学習や画像加工の技術が採用されており、少ない量のデータから学習可能
 モデルは、エクスポートして、TensorFlow for Android / CoreML for iOS11 / ONNX for
Windows ML, Android, and iOS / Docker container for Windows, Linux, or ARM
architecture / OpenVino で利用可能

10. Custom Vision プロジェクトのドメイン選択
 利用シナリオに最も近いモデルドメインを選択可能
 compact ドメインで生成されたモデルは、ローカルで実行するためにエクスポート可
能で、エッジデバイスでのリアルタイム推論の制約に最適化されている
Image Classification
(画像分類)
Object Detection
(オブジェクト検出)

11. Custom Vision Performance
例
Custom Vision
モデルによる予測
犬 犬以外
正解
犬 90 10
犬以外 20 30
Recall
Precision

12. エッジ デバイスで利用可能な Custom Vision
例: Custom Vision for Azure IoT Edge
Custom Vision
https://www.customvision.ai/
Docker コンテナとし
て
IoT Edge で活用可能！
Export

13. AI + IoT リファレンスアーキテクチャ
データ加
工
モデルデプロ
イ
リアルタイムア
ラート
分析結果
バッチ
リアルタ
イム
モデルデプロイ
もの
Things
洞察
Insights
行動/カイゼン
Actions

14. AI + IoT 構成例
バッチ
リアルタ
イム
もの
Things
洞察
Insights
行動/カイゼン
Actions
IoT Hub Stream
Analytics
Data Lake
Storage
Power BI
Service Bus Logic Apps Teams
Azure Percept DK
Custom
Vision
モデルデプ
ロイ
画像解析
結果送信
デバイス管理
作成した
モデルを
各エッジ
に配布
画像AIモデル
の学習
可視化
通知
Serverless
SQL Pool
Synapse Analytics
データ加
工・分析
IoT Edge

15. AI + IoT 構成例
バッチ
リアルタ
イム
もの
Things
洞察
Insights
行動/カイゼン
Actions
IoT Hub Stream
Analytics
Data Lake
Storage
Power BI
Service Bus Logic Apps Teams
Azure Percept DK
Custom
Vision
モデルデプ
ロイ
画像解析
結果送信
デバイス管理
作成した
モデルを
各エッジ
に配布
画像AIモデル
の学習
可視化
通知
Serverless
SQL Pool
Synapse Analytics
データ加
工・分析
IoT Edge
AI をローカル
処理すること
で、
• 処理遅延
• 通信コスト
• プライバシー
• ネットワーク
トラブル
などを回避可能
データの収集、加工、可視化をクラウドで行
うことで、
• （遠隔地）監視および管理
• 複数デバイスからのデータマージ
• 膨大な計算能力およびストレージによる分析、AI
再学習
などを実現可能

16. Custom Vison 機能 x 実装方式早見表
クラウド バッチ
リアル
タイム
画像分類
物体検出
エッジ
CPU
エッジ
GPU
クラウド
ビジネス・
業務適用

17. 目的に合わせた選択肢
Azure
Machine Learning
Cognitive Service

18. Developer
resources