Download to read offline
![Computer Vision APIs - Analyze an image
• faces
• faceRectangle：座標（矩形）
• gender：性別
• age：年齢
• adult
• isAdultContent
• isRacyContent
17
"adult":
{
"isAdultContent": true,
"isRacyContent": tue,
"adultScore": 0.8524786829948425,
"racyScore": 0.9641820192337036
}
[
{
"age":29,
"gender":"Female",
"faceRectangle": {"left":447,"top":195,"width":162,"height":162}
},
{
"age":11,
"gender":“Female",
"faceRectangle":{"left":355,"top":87,"width":143,"height":143}
}
]](https://image.slidesharecdn.com/dev-020botframeworkcognitiveservices-171222082816/85/DEV-020_Bot-Framework-Cognitive-Services-16-320.jpg)
![[ビッグデータオールスターズ] クラウドサービス最新情報 機械学習/AIでこんなことまでできるんです! (Microsoft編)](https://cdn.slidesharecdn.com/ss_thumbnails/20161218dotsbigdataazureai-161218054508-thumbnail.jpg?width=640&height=640&fit=bounds)
DEV-020_Bot Framework & Cognitive Services ～自動応答ソリューション開発に挑戦～
- 1.
- 2. 自己紹介 3 ジニアス平井（平井 昌人） 日本マイクロソフト株式会社 マイクロソフトテクノロジーセンター テクノロジーソリューションプロフェッショナル masato.hirai.52 @GeniusHirai 0x34 歳、横浜市在住。類い稀なプログラミン グ能力とデザインセンスを持った異色エンジニ ア。1993年に開発言語のサポートエンジニア としてマイクロソフトに入社。現在はマイクロ ソフトテクノロジーセンターでデータベース、 アプリ開発、IoT領域の技術担当として活躍。 社歴は長いものの権限とお金をまったく持って いないという技術オタクである。 masath @microsoft.com { "anger":0.0000000, "contempt":0.0000000, "disgust":0.0000000, "fear":0.0000000, "happiness":0.6400000, "neutral":0.3600000, "sadness":0.0000000, "surprise":0.0000000 }Happiness 64% 34
- 3. Session Menu Bot FrameworkOverview Make a bot What is Cognitive Services How to use in your apps
- 5.
- 6.
- 7.
- 8.
- 10. Microsoft Cognitive Services ProjectOxford という開発コード名で画像認識、音声認識、テキスト認識など ディープ ラーニング手法による大きなコンピューティングパワーを必要とする 処理を Azure の API サービス（Web API）として公開 現在、Bing API 関連も統合されてクラウドでの”認識サービス”として提供 ※ 2016年3月 US //Build/ イベントでアナウンス • Microsoft Cognitive Services Home • https://www.microsoft.com/cognitive-services/ • Introducing the Seeing AI app （動画） • https://www.youtube.com/watch? v=R2mC-NUAmMk 11
- 11. Cognitive Services を利用した話題のサイト •How-Old.net • What-Dog.net • CaptionBot 12 http://how-old.net/# https://www.what-dog.net/# https://www.captionbot.ai/
- 12. Cognitive Services API一覧 13 Vision Speech Language Knowledge Search Computer Vision Face Emotion Video Bing Speech Custom Recognition Intelligent Service (CRIS) Speaker Recognition Bing Spell Check Language Understandin g Intelligent Service (LUIS) Linguistic Analysis Academic Knowledge Entity Linking Intelligence Service Knowledge Exploration Service Recommendat ions Bing Autosuggest Bing Image Search Bing News Search Bing Video Search Bing Web Search
- 13. Project Oxford 14 画像認識、音声認識、テキスト認識など、ディープ ラーニング手法による大きな コンピューティングパワーを必要とする処理をAzure の API Service として提供
- 14. Computer Vision APIs- Analyze an image • 86 Category • people_crowd • animal_dog • food_bread 15
- 15. Computer Vision APIs- Analyze an image • Dominant color • Foreground, Background, Colors • 12 color names • Accent color • Black & White • true / false • Image Type • 0 Non-clipart • 1 ambiguous • 2 normal-clipart • 3 good-clipart • Line drawing type • true / false 16 Foreground Background Colors Accent Black Black White #BC6F0F Black White White, Black, Green #CAA501 Black & White True False Image Type good-clipart Non-clipart Line drawing type True False
- 16. Computer Vision APIs- Analyze an image • faces • faceRectangle：座標（矩形） • gender：性別 • age：年齢 • adult • isAdultContent • isRacyContent 17 "adult": { "isAdultContent": true, "isRacyContent": tue, "adultScore": 0.8524786829948425, "racyScore": 0.9641820192337036 } [ { "age":29, "gender":"Female", "faceRectangle": {"left":447,"top":195,"width":162,"height":162} }, { "age":11, "gender":“Female", "faceRectangle":{"left":355,"top":87,"width":143,"height":143} } ]
- 17. Computer Vision APIs- Get Thumbnail • 画像を色々なサイズにサムネイルする • 正方形、ワイド、スマホスクリーン • 制限 • JPEG, PNG, GIF, BMP. • 入力画像：4MB 以下 • 指定サイズ：50 x 50 以上 18
- 18. Computer Vision APIs- OCR • OCR 分析結果 • textAngle • orientation • language • regions • lines • words • boundingBox • text • 入力イメージ • フォーマット：JPEG, PNG, GIF, BMP • サイズ：4MB 以下 • 40 x 40 ～ 3200 x 3200 pixels • 100 M pixels 以下 • 対応言語 • Chinese Simplified, Chinese Traditional, Czech, Danish, Dutch, English, Finnish, French, German, Greek, Hungarian, Italian, Japanese, Korean, Norwegian, Polish, Portuguese, Russian, Spanish, Swedish, Turkish 19
- 19. Video API • FaceDetection and Tracking • 顔認識（同時 64人） • 24x24～2048x2048 ピクセル • MP4, MOV, WMV 形式 • 100MB 以下 • Motion Detection • 動体検知 • Stabilization • 手ぶれ補正 20
- 20. Cognitive Services APIの利用方法 • REST API でのアクセス • データは JSON 形式で通信は HTTP(S) : GET/POST • プラットフォームや開発言語を問わない 21
- 21. API の利用方法 STEP1（Free） •Microsoft アカウントで Sign-in して API キーを入手（各サービスごと） 22
- 22. API の利用方法 STEP2（Free） •対象のサービスの API Reference を参照 • 各言語でのコード記述例があるのでそれを利用 23
- 23. API の利用方法 STEP3（Free） •イメージの渡し方は２つ • サービスからアクセス可能な場所に画像を配置してその画像の URL 文字列を渡す • ContentType を application/octet-stream か multipart/form-data にしてバイナリで渡す • 戻り値の処理 • 解析されたデータは JSON 形式（文字列）で戻る • データのスキーマは 各サービスの API Reference で確認しておく • エラー処理 • POST 後の HTTP ステータスコードで確認 • Response 400：InvalidImageUrl, InvalidImageFormat, InvalidImageSize, NotSupportedVisualFeature, NotSupportedImage • Response 415：InvalidMediaType • Response 500：FailedToProcess, Timeout, InternalServerError 24
- 24. Microsoft Cognitive ServicesPrivacy Statement 25 Microsoft Cognitive Services は、専門的な機械学習およびナレッジ サービスです。お客様は、 Microsoft Cognitive Services プレビュー条件のパート B、C、D および Microsoft のプライバシーに 関する声明に規定する使用、プライバシー、データ、セキュリティその他の条件に従って使用する ことができます。Microsoft Cognitive Services プレビュー条件のこれらのパートに詳細を規定する とおり、お客様は、マイクロソフトの製品およびサービスを改善するためにマイクロソフトが顧客 データを使用することを許可するものとします。たとえば、マイクロソフトは、お客様またはお客 様のエンド ユーザーが本サービスにおいて提供したコンテンツに基づいて、マイクロソフトの基本 的なアルゴリズムおよびモデルを順次改善することがあります。これらのサービスでは、お客様は 顧客データにアクセスしたり顧客データを抽出したりすることはできません。また、マイクロソフ トは、これらのサービスで受け取った顧客データを削除する義務を負いません。お客様は、14 歳未 満の子どもが使用する、またはこのような子どもを対象とした顧客アプリケーションに関連してこ れらのサービスを使用することはできません。 • https://azure.microsoft.com/ja-jp/support/legal/preview-supplemental-terms/ • https://go.microsoft.com/fwlink/?LinkId=533207&clcid=0x411 • https://go.microsoft.com/fwlink/?LinkId=521839&clcid=0x411
- 25.
- 26. アンケートにご協力ください。 ●アンケートに 上記の SessionID のブレイクアウトセッションに チェックを入れて下さい。 ●アンケートはお帰りの際に、受付でご提出ください。 マイクロソフトスペシャルグッズと引換えさせていただきます。
- 27. ROOM B Ask theSpeaker のご案内 ●本セッションの詳細は、EXPO 会場内 『Ask the Speaker』コーナー Room B カウンタにてご説明させて いただきます。是非、お立ち寄りください。 Ask the Speaker EXPO会場MAP