Cognitive Services updates summary in Microsoft Build 2018

1. Microsoft
Build 2018
Update - Cognitive Services 編
2018-05
Cogbot #14

2. ABOUT ME
横浜 篤
よこはま あつし
Using…
C#, ASP.NET, Azure, Cognitive Services, Bot Framework….
開発者募集しています♪
C#er ♪
Cogbot
コミュニティ
@BEACH_SIDE
http://beachside.hatenablog.com/
BEACHSIDE BLOG
株式会社アイティーブレーン
Edge Technology and Projects 部
部長

3. 本日のゴール
Cognitive Services に触れてみたいという
モチベーションアップ！
WARNING 2018年5月末時点ノ情報デスWARNING
Build 2018 で発表されたアップデート情報をシェアし…

4. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
はじめに
Cognitive Services の全体像をおさらい

5. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト

6. Cognitive Services と Microsoft AI Platform の位置づけ
Cognitive Toolkit
(CNTK)
Azure
Machine Learning
Service
EASY TO USE FLEXIBLE and PROFESSIONAL
Pre-Trained Models and Algorithms Libraries and Framework
Cognitive Services

7. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
1. VISION

8. VISION - Computer Vision
Computer Vision とは…
• 画像にタグ付け
• 画像にキャプション付け
• OCR
Build 2018 アップデート
• OCR - 認識精度向上
• OCR - 手書き文字の認識精度向上
• キャプションの多言語化（英語、日本語、ポルトガル語、簡体字中国語）

9. VISION - Computer Vision > サンプル 1
新旧の OCR で
手書き文字を比較

10. VISION - Computer Vision > サンプル 1
旧 OCR
一箇所しか認識できない（黄色い箇所）
しかも誤認識
新 OCR
すべて正しく認識（黄色い箇所）

11. VISION - Computer Vision > サンプル 2
新旧の OCR で
斜めの看板を比較

12. VISION - Computer Vision > サンプル 2
旧 OCR
なにも認識できず…
新 OCR
すべて正しく認識（黄色い箇所）

13. VISION - Custom Vision
Custom Vision とは…
• 画像を数枚アップロードして、独自の画像分類器を作成
• 学習モデルを REST API で呼び出し
• 学習モデルを iOS, Android にエクスポートしてローカル実行
Build 2018 アップデート
• Object Detection 機能が追加！
• 5000 画像の学習は、~15 分程度
• 学習モデルを ONNX と Container へエクスポート可能に（画像分類のみ）

14. Object Detection
DEMO

15. Vision – Video Indexer
Video Indexer とは…
• 動画をアップロードすると、Index を付けてくれる
• 20以上の機能が組み込まれている
Build 2018 アップデート
• Azure サブスクリプションとして Azure Portal から購入可能に
• 気づかない細かい機能追加もあった（かも？）
• Emotion Sensing / Logos Identify / Live Analytics とか今後追加か?

16. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
2. SPEECH

17. SPEECH - Speech Service として統合
Build 2018 アップデート
• 統合して一つのサービスに（サブスクリプションキー取得もひとつに）
• Speech to Text
• Text to Speech
• Speech Translation
• Custom Speech
• Custom Voice
• 単一のポータルで管理可能
• 課金体系もシンプルに（1つのキーで管理）
• SDK も統一

18. SPEECH - Speech Service > Speech to Text
Speech to Text とは…
• 音声データをテキストへ
Build 2018 アップデート
• Custom Speech との統合
• 言語モデルのカスタマイズ：特定のボキャブラリーや会話スタイル
• 音響モデルのカスタマイズ：バックグラウンド・ノイズ
• 28 言語・ロケール
• Real time Transcription
• Batch Processing

19. SPEECH - Speech Service > Text to Speech
Text to Speech とは…
• テキストを音声データへ
Build 2018 アップデート
• 80 の汎用ボイス、48 の言語・ロケール
• Custom Voice によってカスタムのボイスフォント作成
（英語、中国語のみ、他言語は coming soon…）

20. SPEECH - Speech Service > Speech Translation
Speech Translation とは…
• 音声を翻訳
Build 2018 アップデート
• API version: V3 ( ≒ Translator Hub のNMT版+αの機能）
• バイリンガル辞書によるカスタマイズが可能
• 音声翻訳
• 一度の API コールで複数言語の翻訳可能
• JSON

21. SPEECH - Speech Service > SDK
Build 2018 アップデート
• SDK の GOALs は オンライン / オフライン / インタラクティブ / バッチ
• Speech Service として統合し、あらゆるシナリオに対応
• Speech to Text
• Speech to Intent
• Speech Translation
• Single-shot and Continuous
• Custom Keyword Spotter invocation
• マルチプラットフォーム対応（現状は Win 10, Linux, Android。iOS, OSXは Coming soon…）
• マルチなプログラム言語対応（現状は、C#, C++, C, Java）
• Speech Device SDK（private preview） で Edge デバイスでの利用可能に

22. SPEECH - Speech Service > Speech Device SDK 対応のデバイス

23. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
3. LANGUAGE

24. LANGUAGE – Language Understanding (LUIS)
Language Understanding とは…
• 自然言語を理解し、Intent と Entity へ
Build 2018 アップデート
• 他との統合、SDK で簡単に呼び出し
• Speech, Sentiment (Text Analytics), 多言語へ翻訳
• コア機能のアップデート
• Patterns template
• Regex entity
• Key phrase entity
• エンタープライズ・グレード
• GA（一般提供）開始により、SLAサポート、マルチ料金 Tier のサポート
• GDPR & ISO 対応
• 12 言語 & 13 リージョン

25. LANGUAGE – Text Analytics
Text Analytics とは…
• テキストからネガティブ/ポジティブ分析、キーフレーズ抽出
Build 2018 アップデート
• Named Entity Recognition と Entity Linking (英語のみ）

26. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
4. KNOWLEDGE

27. KNOWLEDGE – QnA Maker
QnA Maker とは…
• 質問と回答のペアからボットを作成
Build 2018 アップデート
• GA (一般提供）になりデータストア と Runtime はユーザー側で管理
• App Service / Azure Searchでホスト、スケール可能に
• データプライバシーとコンプライアンス
• 多言語対応
• Azure Search の言語アナライザー：Knowledge Base 作成時に自動検出
• Metadata サポート
• チャットログ & 分析
• Application Insights にチャットログを保存

28. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
5. SEARCH

29. SEARCH – Bing Visual Search
Build 2018 アップデート
• 初登場
• Search Similar Image / Product
• 画像に写っているオブジェクトを検出し、類似の画像（風景とか）や、類似の製品を表示
• Recognize Poplar Entities
• 有名人、モニュメント、花、動物、芸術作品などを識別、料理のレシピも
• Visual Search Developer Platform (alpha)

30. SEARCH – その他
Build 2018 アップデート
• Bing Custom Search の機能追加
• ドメイン上の画像全体の検索をサポート
• カスタムのオートサジェスト等
• Bing Statistics-add-in: Bing API のメトリクスが取得可能に
• Bing SDK がGA
• C#, Java, Node.js, Python

31. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
6. その他

32. Build 2018 – その他
• Azure Search Cognitive Search
• new Microsoft Translator feature for Android
• オフラインでも翻訳機能を利用可能
• Labs で新しいプロジェクトが増加

33. Video Indexer
Custom Vision
Computer Vision
Face
Content Moderator
Text Analytics
Speaker Recognition
Speech to Text Bing Web Search
Bing Visual Search
Bing Custom Search
Bing Entity Search
Bing Video Search
Bing News Search
Bing Image Search
Bing Autosuggest
QnA Maker
Custom DecisionTranslator Text
Bing Spell Check
Content Moderator
Language
Understanding
Text to Speech
Speech Translation
13 のプロジェクト
おわりに

34. アップデート ≒ 進化 はまだまだ続く…
• “AI” というバズワードは、より実用的に、より身近になっていく
• 機械学習の高度な知識がなくても利用できるスキルが増えくる
• 知っているだけでよりインテリジェントなアプリが開発できる
Let’s try Cognitive Services !

35. … .. . ..
Thank you !!
Cogbot #14