decode19 AI01 Everyday AI 時代の人工知能使いこなし ～Cognitive Services を効果的に利用するための基礎知識

1. de:code 2019 AI01
"Everyday AI" 時代の人工知能使いこなし
～ Cognitive Services を効果的に利用するための基礎知識
日本マイクロソフト株式会社
クラウド&ソリューション事業本部 テクニカルエバンジェリスト
大森 彩子

2. このセッションの目的とゴール
目的
ゴール

3. Agenda

4. 男性×1
女性×1
年齢は自分と
同じくらい
(30歳前後?)

5. Vision
Speech
Decision Language
Web search

6. Vision
Speech
Decision
Personalizer
Anomaly Detector
Content Moderator
Neural Text-to-Speech
Custom
transcription
Speech transcription
Text-to-Speech
Conversation transcription
capability
Custom Vision
Form Recognizer
Face
Video Indexer
Ink Recognizer
Computer
Vision
Language
Bing Spell Check
Content
Moderator
Language
Understanding
QnA Maker
Text Analytics
Translator Text
Web search
Bing Web Search
Bing Custom Search
Bing
Video Search
Bing Image Search
Bing
Local Business
Search
Bing Visual Search
Bing Entity Search
Bing News Search
Bing Autosuggest

7. Cognitive Services の特徴

8. 25+
Cognitive Services
1.3M
Developers on
Cognitive Services
60K
Customer
deployments
Cognitive Services が注力していること
信頼性
66+ certifications (SOC, ISO, HIPAA/BAA,
HITRUST PCI & FedRAMP compliance)
エンタープライズ向け 17 GA / 25 regions worldwide
生産性
Any language, any developer,
any skill level

9. 20182017
1M+
developers
22services in
GA & growing
2018
Full
compliance
by end of GDPR
Compliance Today
Full
“Custom”
Services
“For Edge”
Services
20162015
Project-Base Debut!

10. 20182017
“Custom”
Services
“For Edge”
Services
20162015
Project-Base Debut!
2019
Business Data Analytics
“Companion” Services

11. What’s new in BUILD 2019
Anomaly Detector, Personalizer
Form Recognizer
Anomaly Detector, Form Recognizer, Speech to Text, Text to Speech

12. microsoft.com/Cognitive
Azure Cognitive Services
人間の認知 (Cognitive) 機能の一部を Web API として利用できる “AI パーツ”

13. microsoft.com/Cognitive
Azure Cognitive Services
Gesture
EventTracking
LocalInsights
AcademicKnowledge
EntityLinking
KnowledgeExploration
AnswerSearch
URLPreview
Conversation Learner
Personality Chat
CustomDecision
BingSpellCheck
Language
Understanding
TextAnalytics
TranslatorText
QnAMaker
WebSearch
EntitySearch
ImageSearch
NewsSearch
VideoSearch
VisualSearch
LocalBusiness
Search
CustomSearch
Autosuggest
ComputerVision
Face
VideoIndexer
CustomVision
InkRecognizer
FormRecognizer
ContentModerator
AnomalyDetector
Personalizer
SpeechServices
SpeakerRecognition
Speech-to-Text
Text-to-Speech
SpeechTranslation

14. microsoft.com/Cognitive
Azure Cognitive Services
Gesture
EventTracking
LocalInsights
AcademicKnowledge
EntityLinking
KnowledgeExploration
AnswerSearch
URLPreview
Conversation Learner
Personality Chat
CustomDecision
BingSpellCheck
Language
Understanding
TextAnalytics
TranslatorText
QnAMaker
WebSearch
EntitySearch
ImageSearch
NewsSearch
VideoSearch
VisualSearch
LocalBusiness
Search
CustomSearch
Autosuggest
ComputerVision
Face
VideoIndexer
CustomVision
InkRecognizer
FormRecognizer
ContentModerator
AnomalyDetector
Personalizer
SpeechServices
SpeakerRecognition
Speech-to-Text
Text-to-Speech
SpeechTranslation
New!
Updated!

15. Cognitive Services ができること
Vision
視覚
Speech
音声
Language
言語
Search
検索
Decision
決定

16. Cognitive Services - Decision
Vision
視覚
Speech
音声
Language
言語
Search
検索
Decision
決定

17. Anomaly Detector
時系列データ
入力
適切なモデルを
自動選択＆推論
分析データ応答
(異常判定,予測値)

18. Anomaly Detector

19. Anomaly Detector

20. Anomaly Detector

21. Anomaly Detector

22. Demo
Anomaly Detector
https://docs.microsoft.com/en-us/azure/cognitive-services/anomaly-
detector/tutorials/batch-anomaly-detection-powerbi

23. Personalizer

24. Personalizer
Hello
？
👍

25. Cognitive Services - Vision
Vision
視覚
Speech
音声
Language
言語
Search
検索
Decision
決定

26. 誰でもすぐ使える
Cognitive Services
デモアプリ
https://www.microsoft.com/store/
apps/9nblggh5qd84
https://github.com/Microsoft/Cognitive-
Samples-IntelligentKiosk

27. Demo
Intelligent Kiosk
https://www.microsoft.com/store/ apps/9nblggh5qd84

28. Cognitive Services 活用事例
Read My World
Microsoft Garage : Read My World
https://www.microsoft.com/en-
us/garage/profiles/read-my-world/

29. Form Recognizer

30. Ink Recognizer

31. Ink Recognizer

32. Ink Recognizer

33. Ink Recognizer

34. Ink Recognizer

35. Demo
Ink Recognizer
https://github.com/Azure-Samples/cognitive-services-REST-api-
samples/tree/master/javascript/InkRecognition/javascript-app

36. Cognitive Services - Speech
Vision
視覚
Speech
音声
Language
言語
Search
検索
Decision
決定

37. Speech
Conversation Transcription
話者判別＋Speech-to-Text

38. Demo
Speech - Conversation Transcription
https://azure.microsoft.com/ja-jp/services/cognitive-
services/speech-services/

39. Cognitive Services 採用事例
オムロン株式会社 様 “Coaching-AI”
AI09 : DAY2 (5月30日) 10:50 - 11:40
そのコーチングを ”見える化” するソリューション
「Coaching AI」〜 オムロン株式会社における現場
の現場による現場の課題を解決するための AI 利用

40. Cognitive Services - Language
Vision
視覚
Speech
音声
Language
言語
Search
検索
Decision
決定

41. LanguageUnderstanding(LUIS)
Intent, Entity, Utterance 入力、設定
→分析モデルを自動作成、API 公開
• Intent : 意図、目的
• Entity : エンティティ
• Utterance : Intent および Entity を含み、
学習データとなる例文

42. LanguageUnderstanding(LUIS)

43. LanguageUnderstanding(LUIS)
文章の複雑さ
判別要素

44. LanguageUnderstanding(LUIS)
• Intent : 意図、目的
• Entity : エンティティ
• Utterance :
Intent および Entity
を含み、学習データと
なる例文

45. LanguageUnderstanding(LUIS)
• Intent : 意図、目的
• Entity : エンティティ
• Utterance :
Intent および Entity
を含み、学習データと
なる例文

46. Demo
Language Understanding (LUIS)
https://www.luis.ai

47. LanguageUnderstanding(LUIS)

48. LanguageUnderstanding(LUIS)

49. LanguageUnderstanding(LUIS)

50. LanguageUnderstanding(LUIS)

51. LanguageUnderstanding(LUIS)
Utterance Intent Entity
Type Name Value Synonym
(default) None --
ヘルプ Help --
使い方 Help --
経費を精算したい HowTo List ServiceName Expense 経費
出張申請の方法は？ HowTo BizTrip 出張
出勤表はどのようにすればいいですか HowTo WorkingTime 出勤表
勤怠表の書き方を教えてください HowTo WorkingTime 勤怠表
大阪支店の会議室を予約したい HowTo MeetingRoom 会議室
Simple Place -- 大阪

52. {
“query”: “次の横浜対巨人戦はいつ",
"topScoringIntent": {
"intent": "FindGame", "score": 0.999999
},
"entities": [
{
"entity": "次",
"type": "Relative",
"startIndex": 0, "endIndex": 0,
"resolution": { "values": [ "Next" ] }
},
{
"entity": "横浜",
"type": "Team",
"startIndex": 2, "endIndex": 3,
"resolution": { "values": [ "BayStars"] },
"role": "Home"
},
:
LanguageUnderstanding(LUIS)

53. LanguageUnderstanding(LUIS)
When are they playing Madrid?
Team:AwayTeam -> Barcelona
{
"query": "When are they playing Madrid",
"externalentities": [
{
"entityName": "Team",
"startIndex": 9,
"entityLength": 4,
"resolution": [ "Barcelona" ]
}
]
}
POST Request
{
"query": “When are Barca playing Liverpool in the champions league",
"dynamicLists": [
{
"listEntityName": “Team",
"requestLists": [
{
"name": “Champions League Teams",
"canonicalForm": “Liverpool",
"synonyms": [ “Livpool”, “LFC”, “Liverpool FC”, “Kopites” ]
},
{
"name": “Champions League Teams",
"canonicalForm": “Tottenham",
"synonyms": [ “Spurs”, “Hotspurs”, “Tottnam”, “Tottenham FC” ]
},
:
POST Request

54. Cognitive Services 採用事例
La Liga - Virtual Assistant
S
Skype
Custom content
Statistics & rankings
Line-ups & squads
Summary videos (DRM & advertising)
Personal notifications
Name disambiguation
GDPR compliant
Multi-channel
Multi-competition
Multi-season
Worldwide broadcasting
Custom content
Statistics & rankings
Line-ups & squads
Summary videos (DRM & advertising)
Personal notifications
Name disambiguation
Multi-competition
Multi-season
Worldwide broadcasting

55. Cognitive Services 採用事例
La Liga - Virtual Assistant: face recognition game

56. Windows App
iOS App
Android App
Bot Intelligence
Bot Live Data
Data & Cache
Reporting
Bot Logic, UX, Connectors
SkypeS
Telegram
Slack
Teams
Facebook
Messenger
Cortana
Alexa
Channels
Voice ImageText
Inputs
Logging and Telemetry
App
Insights
Logs
Bot
Service
Bot Security
Bot Key Secrets
Power BI
App Service
(Logic, UX, …)
Language
Understanding
Content
Moderator
Text
Analytics
Bing
Spell Check
Sports
Data Cache
Sports
Data
Match
Subscribers
Bot Data Seeders
LaLiga DSPLaLiga Hub LaLiga Fantasy
LaLiga Fantasy
Fantasy API
LaLiga Hub
LaLiga Hub API
Bot Scheduled Tasks
Data Loader
Updater Matches
Live Events
Digital Sports Platform
LaLiga DSP API Event Hub
Cosmos DB
Cognitive Services 採用事例
La Liga - Virtual Assistant: Architecture
QnA Maker
Face API Speech
Web
Google Assistant

57. QnA Maker
FAQ
PDF
Context Q A
電源および
充電
バッテリー
レベルを
確認する
バッテリー レベルは、ロック
画面またはデスクトップから
確認できます。
バッテリー
を長持ち
させる
Surface.com の「Surface
のバッテリーと電源」を参照
してください。
: : :
電源はどうなってる?
バッテリーレベルを確認する
バッテリーを長持ちさせる
Surface.com の「Surface
のバッテリーと電源」を参照
してください。
Surface のバッテリー
を長持ちさせるには?

58. Demo
QnA Maker
https://qnamaker.ai

59. QnA Maker

60. Cognitive Services - Search
Vision
視覚
Speech
音声
Language
言語
Search
検索
Decision
決定

61. Bing | Web Search

62. Bing Search
NGS approach から構想されたモデル (index builder &
searcher) で、Connectivity を強化するために k近傍法
で構築された RNG、および 高次元ベクトルにおける距離
のバウンド推定を是正するために Balanced k-means
trees を使用
最初に空間分割 Tree から RNG での検索をスタートする
項目を決定、Tree および Graph の検索を繰り返して行う

63. まとめ

64. Agenda

65. What’s new in BUILD 2019
Anomaly Detector, Personalizer
Form Recognizer
Anomaly Detector, Form Recognizer, Speech to Text, Text to Speech

66. 20182017
“Custom”
Services
“For Edge”
Services
20162015
Project-Base Debut!
2019
Business Data Analytics
“Companion” Services
データ分析をより簡単に
ビジネスに即時利用

67. Cognitive Services がご提供する価値

68. #早く面白いことやったヤツが優勝

69. © 2018 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。
© 2019 Microsoft Corporation. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。