DEV-020_Bot Framework & Cognitive Services ～自動応答ソリューション開発に挑戦～

1. ROOM
B
DEV-020

2. 自己紹介
3
ジニアス平井（平井 昌人）
日本マイクロソフト株式会社
マイクロソフトテクノロジーセンター
テクノロジーソリューションプロフェッショナル
masato.hirai.52
@GeniusHirai
0x34 歳、横浜市在住。類い稀なプログラミン
グ能力とデザインセンスを持った異色エンジニ
ア。1993年に開発言語のサポートエンジニア
としてマイクロソフトに入社。現在はマイクロ
ソフトテクノロジーセンターでデータベース、
アプリ開発、IoT 領域の技術担当として活躍。
社歴は長いものの権限とお金をまったく持って
いないという技術オタクである。
masath
@microsoft.com
{
"anger":0.0000000,
"contempt":0.0000000,
"disgust":0.0000000,
"fear":0.0000000,
"happiness":0.6400000,
"neutral":0.3600000,
"sadness":0.0000000,
"surprise":0.0000000
}Happiness 64%
34

3. Session Menu
Bot Framework Overview
Make a bot
What is Cognitive Services
How to use in your apps

5. Microsoft Bot Framework
6

6. Bot コネクター
7

7. Skype へ登録
8

8. ルールベースの自然言語解析
9

10. Microsoft Cognitive Services
Project Oxford という開発コード名で画像認識、音声認識、テキスト認識など
ディープ ラーニング手法による大きなコンピューティングパワーを必要とする
処理を Azure の API サービス（Web API）として公開
現在、Bing API 関連も統合されてクラウドでの”認識サービス”として提供
※ 2016年3月 US //Build/ イベントでアナウンス
• Microsoft Cognitive Services Home
• https://www.microsoft.com/cognitive-services/
• Introducing the Seeing AI app （動画）
• https://www.youtube.com/watch?
v=R2mC-NUAmMk
11

11. Cognitive Services を利用した話題のサイト
• How-Old.net • What-Dog.net • CaptionBot
12
http://how-old.net/# https://www.what-dog.net/# https://www.captionbot.ai/

12. Cognitive Services API 一覧
13
Vision Speech Language Knowledge Search
Computer
Vision
Face
Emotion
Video
Bing Speech
Custom
Recognition
Intelligent
Service
(CRIS)
Speaker
Recognition
Bing Spell
Check
Language
Understandin
g Intelligent
Service
(LUIS)
Linguistic
Analysis
Academic
Knowledge
Entity Linking
Intelligence
Service
Knowledge
Exploration
Service
Recommendat
ions
Bing
Autosuggest
Bing Image
Search
Bing News
Search
Bing Video
Search
Bing Web
Search

13. Project Oxford
14
画像認識、音声認識、テキスト認識など、ディープ ラーニング手法による大きな
コンピューティングパワーを必要とする処理を Azure の API Service として提供

14. Computer Vision APIs - Analyze an image
• 86 Category
• people_crowd
• animal_dog
• food_bread
15

15. Computer Vision APIs - Analyze an image
• Dominant color
• Foreground, Background, Colors
• 12 color names
• Accent color
• Black & White
• true / false
• Image Type
• 0 Non-clipart
• 1 ambiguous
• 2 normal-clipart
• 3 good-clipart
• Line drawing type
• true / false
16
Foreground Background Colors Accent
Black Black White #BC6F0F
Black White
White,
Black,
Green
#CAA501
Black & White
True False
Image Type
good-clipart Non-clipart
Line drawing type
True False

16. Computer Vision APIs - Analyze an image
• faces
• faceRectangle：座標（矩形）
• gender：性別
• age：年齢
• adult
• isAdultContent
• isRacyContent
17
"adult":
{
"isAdultContent": true,
"isRacyContent": tue,
"adultScore": 0.8524786829948425,
"racyScore": 0.9641820192337036
}
[
{
"age":29,
"gender":"Female",
"faceRectangle": {"left":447,"top":195,"width":162,"height":162}
},
{
"age":11,
"gender":“Female",
"faceRectangle":{"left":355,"top":87,"width":143,"height":143}
}
]

17. Computer Vision APIs - Get Thumbnail
• 画像を色々なサイズにサムネイルする
• 正方形、ワイド、スマホスクリーン
• 制限
• JPEG, PNG, GIF, BMP.
• 入力画像：4MB 以下
• 指定サイズ：50 x 50 以上
18

18. Computer Vision APIs - OCR
• OCR 分析結果
• textAngle
• orientation
• language
• regions
• lines
• words
• boundingBox
• text
• 入力イメージ
• フォーマット：JPEG, PNG, GIF, BMP
• サイズ：4MB 以下
• 40 x 40 ～ 3200 x 3200 pixels
• 100 M pixels 以下
• 対応言語
• Chinese Simplified, Chinese Traditional,
Czech, Danish, Dutch, English, Finnish,
French, German, Greek, Hungarian,
Italian, Japanese, Korean, Norwegian,
Polish, Portuguese, Russian, Spanish,
Swedish, Turkish
19

19. Video API
• Face Detection and Tracking
• 顔認識（同時 64人）
• 24x24～2048x2048 ピクセル
• MP4, MOV, WMV 形式
• 100MB 以下
• Motion Detection
• 動体検知
• Stabilization
• 手ぶれ補正
20

20. Cognitive Services API の利用方法
• REST API でのアクセス
• データは JSON 形式で通信は HTTP(S) : GET/POST
• プラットフォームや開発言語を問わない
21

21. API の利用方法 STEP1（Free）
• Microsoft アカウントで Sign-in して API キーを入手（各サービスごと）
22

22. API の利用方法 STEP2（Free）
• 対象のサービスの API Reference を参照
• 各言語でのコード記述例があるのでそれを利用
23

23. API の利用方法 STEP3（Free）
• イメージの渡し方は２つ
• サービスからアクセス可能な場所に画像を配置してその画像の URL 文字列を渡す
• ContentType を application/octet-stream か multipart/form-data にしてバイナリで渡す
• 戻り値の処理
• 解析されたデータは JSON 形式（文字列）で戻る
• データのスキーマは 各サービスの API Reference で確認しておく
• エラー処理
• POST 後の HTTP ステータスコードで確認
• Response 400：InvalidImageUrl, InvalidImageFormat, InvalidImageSize,
NotSupportedVisualFeature, NotSupportedImage
• Response 415：InvalidMediaType
• Response 500：FailedToProcess, Timeout, InternalServerError
24

24. Microsoft Cognitive Services Privacy Statement
25
Microsoft Cognitive Services は、専門的な機械学習およびナレッジ サービスです。お客様は、
Microsoft Cognitive Services プレビュー条件のパート B、C、D および Microsoft のプライバシーに
関する声明に規定する使用、プライバシー、データ、セキュリティその他の条件に従って使用する
ことができます。Microsoft Cognitive Services プレビュー条件のこれらのパートに詳細を規定する
とおり、お客様は、マイクロソフトの製品およびサービスを改善するためにマイクロソフトが顧客
データを使用することを許可するものとします。たとえば、マイクロソフトは、お客様またはお客
様のエンド ユーザーが本サービスにおいて提供したコンテンツに基づいて、マイクロソフトの基本
的なアルゴリズムおよびモデルを順次改善することがあります。これらのサービスでは、お客様は
顧客データにアクセスしたり顧客データを抽出したりすることはできません。また、マイクロソフ
トは、これらのサービスで受け取った顧客データを削除する義務を負いません。お客様は、14 歳未
満の子どもが使用する、またはこのような子どもを対象とした顧客アプリケーションに関連してこ
れらのサービスを使用することはできません。
• https://azure.microsoft.com/ja-jp/support/legal/preview-supplemental-terms/
• https://go.microsoft.com/fwlink/?LinkId=533207&clcid=0x411
• https://go.microsoft.com/fwlink/?LinkId=521839&clcid=0x411

25. Thanks for Attending !

26. アンケートにご協力ください。
●アンケートに 上記の Session ID のブレイクアウトセッションに
チェックを入れて下さい。
●アンケートはお帰りの際に、受付でご提出ください。
マイクロソフトスペシャルグッズと引換えさせていただきます。

27. ROOM B
Ask the Speaker のご案内
●本セッションの詳細は、EXPO 会場内
『Ask the Speaker』コーナー
Room B カウンタにてご説明させて
いただきます。是非、お立ち寄りください。
Ask the Speaker
EXPO会場MAP