Microsoft Cognitive Services のLUIS と BotFramwork のお話です。（2017年3月時点）

1. publish version
2017-03-25
BotFramework と
LUIS を使ったアプリの開発
- LUISの紹介を中心に -
横浜 篤

2. ABOUT ME
@BEACH_SIDE
横浜 篤
よこはま あつし
http://beachside.hatenablog.com/
Using…
C#, ASP.NET, Azure, Machine Learning, Xamarin ….
開発者募集しています♪
C#er ♪
Cogbot
コミュニティ
BEACHSIDE BLOG

3. 2017年3月24日時点の情報となります。
ご注意ください。

4. 本セッションでお伝えしたいこと
本日は、ほぼLUISの話です。
 「LUIS、家に帰ったらやってみようかな」
 「Bot Framework で開発、楽しそう」
という気持ちを少し感じて頂けたら幸いです( *• ̀ω•́)‫و‬ ｸﾞｯ

5. 1. Microsoft Cognitive Services
とは
2. LUIS
3. Bot Frameworkでの開発
における余談
Agenda

6. Microsoft Cognitive Services
とは
Give your apps a human side
1.

7. Microsoft Cognitive Serviceの概要
 Web API 経由で利用できる”人口知能のパーツ”
 5カテゴリーのAPI群
Vision Speech Language
Knowledge Search
公式ドキュメント：Microsoft Cognitive Services : https://www.microsoft.com/cognitive-services/

8. Vision
Video API
動画の分析、編集、処理
Emotion API
感情認識を使用してユー
ザー エクスペリエンスを
パーソナライズ
Face API
写真に含まれる顔の検出、
分析、グループ化、タグ付
Computer Vision API
画像から意思決定に役立つ
情報を抽出
顔、画像、感情認識などのスマートな洞察を返すことにより、コンテンツを自動で
モデレートし、アプリケーションをさらにパーソナライズする画像処理アルゴリズ
ムのAPI群
Content Moderator
画像、テキスト、ビデオを
自動モデレート

9. Speech
Bing Speech API
音声をテキストへ、またそ
のテキストを再び音声に変
換し、ユーザーの意図を理
解
Speaker Recognition API
音声を使用して個々の話者
を識別および認証
Custom Recognition
Intelligent Service
話し方、背景ノイズ、ボ
キャブラリといった音声認
識の障壁を打開
音声言語を処理するAPI群

10. Language
Bing Spell
Check API
アプリでのスペ
ルミスを検出し
て修正
Web Language
Model API
Web 規模のデー
タで学習した予
測言語モデルを
活用
Linguistic Analysis
API
言語解析で複雑
なテキストを簡
単に解析
Language
Understanding
Intelligent Service
(LUIS)
ユーザーが入力
したコマンドを
アプリケーショ
ンが理解できる
ようにします
アプリケーションが自然言語を処理し、センチメントとトピックを評価して、
ユーザーの欲しいものを認識する方法を学習できるようにするAPI群
Translator Text
API
シンプルな REST
API 呼び出しで
自動テキスト翻
訳を簡単に実行
Text Analytics
API
センチメントと
トピックを簡単
に評価して、
ユーザーが求め
るものを理解

11. Knowledge
Academic
Knowledge API
Microsoft Academic
Graph の豊富な教育的
コンテンツを利用
Recommendations
API
顧客が欲しい品物を予
測して推奨
Knowledge
Exploration Service
構造化データの対話
型検索
Entity Linking
Service
人々、場所、および出
来事の知識を文脈から
拡張
合理的なレコメンデーションやセマンティック検索などのタスクを行うことができ
るように、複雑な情報とデータをマッピングするためのAPI群
QnA Maker
質問＆回答のリスト、
または FAQ のような
Web サイトから、
Q&A を生成

12. Search
Bing Web
Search API
ウェブ、画像、動画
ニュースの検索API
Bing Video
Search API
より高度な動画検索
やメタデータの取得
Bing Autosuggest
API
アプリにインテリジェン
トな自動提案機能を追加
Bing Image
Search API
より高度な画像検索
やメタデータの取得
Bing News
Search API
より高度なニュース
検索やメタデータの
取得
Bing 検索のAPI群

13. Cognitive Servicesの事例
リアルタイム身元確認により
セキュリティリスクの
予測・予防・減少

14. Cognitive Servicesの事例
表情から感情や集中度合いを
認識し運転の危険予知

15. Cognitive Servicesの料金体系
Free ～。従量課金が中心。
検証 やちょっとした開発で使うのくらいならFreeの範囲で可能（個人差あり）
詳細 は、使う際にサイトにて確認
Microsoft アカウントやAzureのアカウントは必要だったりする
Azure のサイトでの価格詳細：https://azure.microsoft.com/ja-jp/pricing/details/cognitive-services/
Cognitive Services サイトの価格詳細：https://www.microsoft.com/cognitive-services/en-us/pricing

16. 数行のコードを追加するだけ
でWebAPIにアクセスして利
用可能
幅広い開発言語やプラット
フォームに対応
多様なAPIを利用できます
Microsoft Research、Bingや
Azure Machine Learningのエ
キスパートによって構築
ドキュメント、サンプルコー
ドやコミュニティのサポート
Easy Flexible Tested
GET A
KEY

17. LUIS
Language Understanding Intelligent Service
Add conversational intelligence to your apps.
2.

18. LUISができること
文章の ”意図” を判断し、”エンティティ” を抽出
Intent
【キーワード】
Entity
【キーワード】

19. LUISがすること – 例 1 …の前にチャットボットがしたいこと(LUISは誰だ？！）
明日の品川の天気は？
お天気のAPIのサービスで検索をしよう
明日の品川の天気は晴れだよ！
「天気予報調べたい」
「明日」「品川」ってことか

20. LUISがすること – 例 1 …の前にチャットボットがしたいこと(LUISは誰だ？！）
明日の品川の天気は？
お天気のAPIのサービスで検索をしよう
「天気予報調べたい」
「明日」「品川」ってことか
LUIS
明日の品川の天気は晴れだよ！

21. LUISがすること – 例 1
明日の品川の天気は？
Intent : “天気予報を検索”
Entity (日にち)：「明日」
Entity (場所) ：「品川」
LUIS

22. LUIS
LUISがすること – 例 2
今日、品川から池袋に帰る終電は？
Intent : “電車の時刻検索”
Entity (日にち) ： 「今日」
Entity (出発駅) ：「品川」
Entity (到着駅) ：「池袋」
Entity (時刻) ：「終電」

23. LUISを開発するということは…
 「Intent」と「Entity」を適切に定義する
 文章を入力して学習させる
次の2点がメイン
テストしたり学習しなおしたり
デプロイしたりとかもあるけど。
GUIで全部できるよ。
LUIS？
LUIS？

24. 開発したLUISを使うには…
LUIS へのアクセスは Web API 経由
Web API からのレスポンスはJSONフォーマット
C#のライブラリもあるので
外部（チャットボットなど）からの
アクセスも容易だよ

25. DEMO
LUISを作ってみよう

26. DEMO
PublishとWebAPIを使ったアクセス
Phrase Listの活用

27. Build a great conversationalist.
Bot Frameworkでの開発
における余談
3.

28. チャットボット ( + LUIS) の基本構成って…
LUIS
2.
LUISで言語を理解
3.
必要に応じてデータ
を取得するために各
種APIをコール
△※◆〇…
1.
Channelを介して応答
WebAPI
with BotFramework
余談

29. チャットボット ( + LUIS) の構成のサンプル事例
LUIS
△※◆〇…
1.
Channelを介して応答
2.
LUISで言語を理解
WebAPI
with BotFramework
Office 365
Machine Learning
3
条件に応じてデータ取得、機械学習
余談

30. Bot Framework Emulator あります
 エミュレーターがGithubで公開
 Mac、Linux、Windowsで動作
 リクエスト/レスポンスのJSONの確認や、ActionCardなど*1の表示確認ができる
 Document :
 https://docs.botframework.com/en-us/tools/bot-framework-emulator/
 https://github.com/microsoft/botframework-emulator/wiki/Getting-Started
余談
*1 詳しくは「Attachments, Cards and Actions」: https://docs.botframework.com/en-us/tools/bot-framework-emulator/

31. 今後もいろいろな機能が増えると…
 日本語対応していない機能もいくつかあるので、今後より
便利になると（個人的に）思っています
 Prebuild Entity
 文章のスペル構成
など…
余談

32. まとめ

33. 本日のまとめ
 「LUIS、家に帰ったらやってみようかな」
無料で開始できるよ！GUIでポチポチやって試せるよ！
 「Bot Framework で開発、楽しそう」
ちょっとコード書いてエミュレーターでさっと試せるよ！
いかがでしょうか( *• ̀ω•́)‫و‬ ｸﾞｸﾞｸﾞｯ

34. What to do next…
Learn more! and Let’s Develop
Bot Framework
https://dev.botframework.com/
Learn more! and Let’s Try
Cognitive Services
microsoft.com/cognitive-services
… .. . ..

35. 開発に役立つ
と個人的に思っている
参考資料
• Microsoft BotFramework
https://dev.botframework.com/
• Cognitive Services
https://www.microsoft.com/cognitive-services
• Docs.com - 大森彩子さん（マイクロソフト）
https://docs.com/ayako-omori
コミュニティ
• Cogbot Facebook グループ
https://www.facebook.com/groups/cogbot/?ref=bookmarks
• Connpass - Cogbot コミュニティ（勉強会情報）
https://cogbot.connpass.com/

36. What to do next >> Cogbot コミュニティより宣伝
Cogbotハッカソン開催
4 / 8（土）～ 4 / 9（日）日本マイクロソフト：品川グランドセントラルタワー （ここ）
アイデアソン →ハッカソンの流れで開発
 詳しくは、サイトにて： https://cogbot.connpass.com/event/53016/

37. Thank you.
2017-03-25 .NETラボ勉強会