Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
publish version
2017-03-25
BotFramework と
LUIS を使ったアプリの開発
- LUISの紹介を中心に -
横浜 篤
ABOUT ME
@BEACH_SIDE
横浜 篤
よこはま あつし
http://beachside.hatenablog.com/
Using…
C#, ASP.NET, Azure, Machine Learning, Xamarin …...
2017年3月24日時点の情報となります。
ご注意ください。
本セッションでお伝えしたいこと
本日は、ほぼLUISの話です。
 「LUIS、家に帰ったらやってみようかな」
 「Bot Framework で開発、楽しそう」
という気持ちを少し感じて頂けたら幸いです( *• ̀ω•́)‫و‬ グッ
1. Microsoft Cognitive Services
とは
2. LUIS
3. Bot Frameworkでの開発
における余談
Agenda
Microsoft Cognitive Services
とは
Give your apps a human side
1.
Microsoft Cognitive Serviceの概要
 Web API 経由で利用できる”人口知能のパーツ”
 5カテゴリーのAPI群
Vision Speech Language
Knowledge Search
公式ドキュメント...
Vision
Video API
動画の分析、編集、処理
Emotion API
感情認識を使用してユー
ザー エクスペリエンスを
パーソナライズ
Face API
写真に含まれる顔の検出、
分析、グループ化、タグ付
Computer Visi...
Speech
Bing Speech API
音声をテキストへ、またそ
のテキストを再び音声に変
換し、ユーザーの意図を理
解
Speaker Recognition API
音声を使用して個々の話者
を識別および認証
Custom Recog...
Language
Bing Spell
Check API
アプリでのスペ
ルミスを検出し
て修正
Web Language
Model API
Web 規模のデー
タで学習した予
測言語モデルを
活用
Linguistic Analysis
...
Knowledge
Academic
Knowledge API
Microsoft Academic
Graph の豊富な教育的
コンテンツを利用
Recommendations
API
顧客が欲しい品物を予
測して推奨
Knowledge
...
Search
Bing Web
Search API
ウェブ、画像、動画
ニュースの検索API
Bing Video
Search API
より高度な動画検索
やメタデータの取得
Bing Autosuggest
API
アプリにインテリジェン...
Cognitive Servicesの事例
リアルタイム身元確認により
セキュリティリスクの
予測・予防・減少
Cognitive Servicesの事例
表情から感情や集中度合いを
認識し運転の危険予知
Cognitive Servicesの料金体系
Free ~。従量課金が中心。
検証 やちょっとした開発で使うのくらいならFreeの範囲で可能(個人差あり)
詳細 は、使う際にサイトにて確認
Microsoft アカウントやAzureの...
数行のコードを追加するだけ
でWebAPIにアクセスして利
用可能
幅広い開発言語やプラット
フォームに対応
多様なAPIを利用できます
Microsoft Research、Bingや
Azure Machine Learningのエ
キスパ...
LUIS
Language Understanding Intelligent Service
Add conversational intelligence to your apps.
2.
LUISができること
文章の ”意図” を判断し、”エンティティ” を抽出
Intent
【キーワード】
Entity
【キーワード】
LUISがすること – 例 1 …の前にチャットボットがしたいこと(LUISは誰だ?!)
明日の品川の天気は?
お天気のAPIのサービスで検索をしよう
明日の品川の天気は晴れだよ!
「天気予報調べたい」
「明日」「品川」ってことか
LUISがすること – 例 1 …の前にチャットボットがしたいこと(LUISは誰だ?!)
明日の品川の天気は?
お天気のAPIのサービスで検索をしよう
「天気予報調べたい」
「明日」「品川」ってことか
LUIS
明日の品川の天気は晴れだよ!
LUISがすること – 例 1
明日の品川の天気は?
Intent : “天気予報を検索”
Entity (日にち):「明日」
Entity (場所) :「品川」
LUIS
LUIS
LUISがすること – 例 2
今日、品川から池袋に帰る終電は?
Intent : “電車の時刻検索”
Entity (日にち) : 「今日」
Entity (出発駅) :「品川」
Entity (到着駅) :「池袋」
Entity ...
LUISを開発するということは…
 「Intent」と「Entity」を適切に定義する
 文章を入力して学習させる
次の2点がメイン
テストしたり学習しなおしたり
デプロイしたりとかもあるけど。
GUIで全部できるよ。
LUIS?
LUIS?
開発したLUISを使うには…
LUIS へのアクセスは Web API 経由
Web API からのレスポンスはJSONフォーマット
C#のライブラリもあるので
外部(チャットボットなど)からの
アクセスも容易だよ
DEMO
LUISを作ってみよう
DEMO
PublishとWebAPIを使ったアクセス
Phrase Listの活用
Build a great conversationalist.
Bot Frameworkでの開発
における余談
3.
チャットボット ( + LUIS) の基本構成って…
LUIS
2.
LUISで言語を理解
3.
必要に応じてデータ
を取得するために各
種APIをコール
△※◆〇…
1.
Channelを介して応答
WebAPI
with BotFramew...
チャットボット ( + LUIS) の構成のサンプル事例
LUIS
△※◆〇…
1.
Channelを介して応答
2.
LUISで言語を理解
WebAPI
with BotFramework
Office 365
Machine Learnin...
Bot Framework Emulator あります
 エミュレーターがGithubで公開
 Mac、Linux、Windowsで動作
 リクエスト/レスポンスのJSONの確認や、ActionCardなど*1の表示確認ができる
 Do...
今後もいろいろな機能が増えると…
 日本語対応していない機能もいくつかあるので、今後より
便利になると(個人的に)思っています
 Prebuild Entity
 文章のスペル構成
など…
余談
まとめ
本日のまとめ
 「LUIS、家に帰ったらやってみようかな」
無料で開始できるよ!GUIでポチポチやって試せるよ!
 「Bot Framework で開発、楽しそう」
ちょっとコード書いてエミュレーターでさっと試せるよ!
いかがでしょうか( ...
What to do next…
Learn more! and Let’s Develop
Bot Framework
https://dev.botframework.com/
Learn more! and Let’s Try
Cogni...
開発に役立つ
と個人的に思っている
参考資料
• Microsoft BotFramework
https://dev.botframework.com/
• Cognitive Services
https://www.microsoft.c...
What to do next >> Cogbot コミュニティより宣伝
Cogbotハッカソン開催
4 / 8(土)~ 4 / 9(日)日本マイクロソフト:品川グランドセントラルタワー (ここ)
アイデアソン →ハッカソンの流れで開発
...
Thank you.
2017-03-25 .NETラボ勉強会
Upcoming SlideShare
Loading in …5
×

BotFramework と LUIS を使ったアプリの開発

1,021 views

Published on

Microsoft Cognitive Services のLUIS と BotFramwork のお話です。(2017年3月時点)

Published in: Technology
  • Be the first to comment

BotFramework と LUIS を使ったアプリの開発

  1. 1. publish version 2017-03-25 BotFramework と LUIS を使ったアプリの開発 - LUISの紹介を中心に - 横浜 篤
  2. 2. ABOUT ME @BEACH_SIDE 横浜 篤 よこはま あつし http://beachside.hatenablog.com/ Using… C#, ASP.NET, Azure, Machine Learning, Xamarin …. 開発者募集しています♪ C#er ♪ Cogbot コミュニティ BEACHSIDE BLOG
  3. 3. 2017年3月24日時点の情報となります。 ご注意ください。
  4. 4. 本セッションでお伝えしたいこと 本日は、ほぼLUISの話です。  「LUIS、家に帰ったらやってみようかな」  「Bot Framework で開発、楽しそう」 という気持ちを少し感じて頂けたら幸いです( *• ̀ω•́)‫و‬ グッ
  5. 5. 1. Microsoft Cognitive Services とは 2. LUIS 3. Bot Frameworkでの開発 における余談 Agenda
  6. 6. Microsoft Cognitive Services とは Give your apps a human side 1.
  7. 7. Microsoft Cognitive Serviceの概要  Web API 経由で利用できる”人口知能のパーツ”  5カテゴリーのAPI群 Vision Speech Language Knowledge Search 公式ドキュメント:Microsoft Cognitive Services : https://www.microsoft.com/cognitive-services/
  8. 8. Vision Video API 動画の分析、編集、処理 Emotion API 感情認識を使用してユー ザー エクスペリエンスを パーソナライズ Face API 写真に含まれる顔の検出、 分析、グループ化、タグ付 Computer Vision API 画像から意思決定に役立つ 情報を抽出 顔、画像、感情認識などのスマートな洞察を返すことにより、コンテンツを自動で モデレートし、アプリケーションをさらにパーソナライズする画像処理アルゴリズ ムのAPI群 Content Moderator 画像、テキスト、ビデオを 自動モデレート
  9. 9. Speech Bing Speech API 音声をテキストへ、またそ のテキストを再び音声に変 換し、ユーザーの意図を理 解 Speaker Recognition API 音声を使用して個々の話者 を識別および認証 Custom Recognition Intelligent Service 話し方、背景ノイズ、ボ キャブラリといった音声認 識の障壁を打開 音声言語を処理するAPI群
  10. 10. Language Bing Spell Check API アプリでのスペ ルミスを検出し て修正 Web Language Model API Web 規模のデー タで学習した予 測言語モデルを 活用 Linguistic Analysis API 言語解析で複雑 なテキストを簡 単に解析 Language Understanding Intelligent Service (LUIS) ユーザーが入力 したコマンドを アプリケーショ ンが理解できる ようにします アプリケーションが自然言語を処理し、センチメントとトピックを評価して、 ユーザーの欲しいものを認識する方法を学習できるようにするAPI群 Translator Text API シンプルな REST API 呼び出しで 自動テキスト翻 訳を簡単に実行 Text Analytics API センチメントと トピックを簡単 に評価して、 ユーザーが求め るものを理解
  11. 11. Knowledge Academic Knowledge API Microsoft Academic Graph の豊富な教育的 コンテンツを利用 Recommendations API 顧客が欲しい品物を予 測して推奨 Knowledge Exploration Service 構造化データの対話 型検索 Entity Linking Service 人々、場所、および出 来事の知識を文脈から 拡張 合理的なレコメンデーションやセマンティック検索などのタスクを行うことができ るように、複雑な情報とデータをマッピングするためのAPI群 QnA Maker 質問&回答のリスト、 または FAQ のような Web サイトから、 Q&A を生成
  12. 12. Search Bing Web Search API ウェブ、画像、動画 ニュースの検索API Bing Video Search API より高度な動画検索 やメタデータの取得 Bing Autosuggest API アプリにインテリジェン トな自動提案機能を追加 Bing Image Search API より高度な画像検索 やメタデータの取得 Bing News Search API より高度なニュース 検索やメタデータの 取得 Bing 検索のAPI群
  13. 13. Cognitive Servicesの事例 リアルタイム身元確認により セキュリティリスクの 予測・予防・減少
  14. 14. Cognitive Servicesの事例 表情から感情や集中度合いを 認識し運転の危険予知
  15. 15. Cognitive Servicesの料金体系 Free ~。従量課金が中心。 検証 やちょっとした開発で使うのくらいならFreeの範囲で可能(個人差あり) 詳細 は、使う際にサイトにて確認 Microsoft アカウントやAzureのアカウントは必要だったりする Azure のサイトでの価格詳細:https://azure.microsoft.com/ja-jp/pricing/details/cognitive-services/ Cognitive Services サイトの価格詳細:https://www.microsoft.com/cognitive-services/en-us/pricing
  16. 16. 数行のコードを追加するだけ でWebAPIにアクセスして利 用可能 幅広い開発言語やプラット フォームに対応 多様なAPIを利用できます Microsoft Research、Bingや Azure Machine Learningのエ キスパートによって構築 ドキュメント、サンプルコー ドやコミュニティのサポート Easy Flexible Tested GET A KEY
  17. 17. LUIS Language Understanding Intelligent Service Add conversational intelligence to your apps. 2.
  18. 18. LUISができること 文章の ”意図” を判断し、”エンティティ” を抽出 Intent 【キーワード】 Entity 【キーワード】
  19. 19. LUISがすること – 例 1 …の前にチャットボットがしたいこと(LUISは誰だ?!) 明日の品川の天気は? お天気のAPIのサービスで検索をしよう 明日の品川の天気は晴れだよ! 「天気予報調べたい」 「明日」「品川」ってことか
  20. 20. LUISがすること – 例 1 …の前にチャットボットがしたいこと(LUISは誰だ?!) 明日の品川の天気は? お天気のAPIのサービスで検索をしよう 「天気予報調べたい」 「明日」「品川」ってことか LUIS 明日の品川の天気は晴れだよ!
  21. 21. LUISがすること – 例 1 明日の品川の天気は? Intent : “天気予報を検索” Entity (日にち):「明日」 Entity (場所) :「品川」 LUIS
  22. 22. LUIS LUISがすること – 例 2 今日、品川から池袋に帰る終電は? Intent : “電車の時刻検索” Entity (日にち) : 「今日」 Entity (出発駅) :「品川」 Entity (到着駅) :「池袋」 Entity (時刻) :「終電」
  23. 23. LUISを開発するということは…  「Intent」と「Entity」を適切に定義する  文章を入力して学習させる 次の2点がメイン テストしたり学習しなおしたり デプロイしたりとかもあるけど。 GUIで全部できるよ。 LUIS? LUIS?
  24. 24. 開発したLUISを使うには… LUIS へのアクセスは Web API 経由 Web API からのレスポンスはJSONフォーマット C#のライブラリもあるので 外部(チャットボットなど)からの アクセスも容易だよ
  25. 25. DEMO LUISを作ってみよう
  26. 26. DEMO PublishとWebAPIを使ったアクセス Phrase Listの活用
  27. 27. Build a great conversationalist. Bot Frameworkでの開発 における余談 3.
  28. 28. チャットボット ( + LUIS) の基本構成って… LUIS 2. LUISで言語を理解 3. 必要に応じてデータ を取得するために各 種APIをコール △※◆〇… 1. Channelを介して応答 WebAPI with BotFramework 余談
  29. 29. チャットボット ( + LUIS) の構成のサンプル事例 LUIS △※◆〇… 1. Channelを介して応答 2. LUISで言語を理解 WebAPI with BotFramework Office 365 Machine Learning 3 条件に応じてデータ取得、機械学習 余談
  30. 30. Bot Framework Emulator あります  エミュレーターがGithubで公開  Mac、Linux、Windowsで動作  リクエスト/レスポンスのJSONの確認や、ActionCardなど*1の表示確認ができる  Document :  https://docs.botframework.com/en-us/tools/bot-framework-emulator/  https://github.com/microsoft/botframework-emulator/wiki/Getting-Started 余談 *1 詳しくは「Attachments, Cards and Actions」: https://docs.botframework.com/en-us/tools/bot-framework-emulator/
  31. 31. 今後もいろいろな機能が増えると…  日本語対応していない機能もいくつかあるので、今後より 便利になると(個人的に)思っています  Prebuild Entity  文章のスペル構成 など… 余談
  32. 32. まとめ
  33. 33. 本日のまとめ  「LUIS、家に帰ったらやってみようかな」 無料で開始できるよ!GUIでポチポチやって試せるよ!  「Bot Framework で開発、楽しそう」 ちょっとコード書いてエミュレーターでさっと試せるよ! いかがでしょうか( *• ̀ω•́)‫و‬ グググッ
  34. 34. What to do next… Learn more! and Let’s Develop Bot Framework https://dev.botframework.com/ Learn more! and Let’s Try Cognitive Services microsoft.com/cognitive-services … .. . ..
  35. 35. 開発に役立つ と個人的に思っている 参考資料 • Microsoft BotFramework https://dev.botframework.com/ • Cognitive Services https://www.microsoft.com/cognitive-services • Docs.com - 大森彩子さん(マイクロソフト) https://docs.com/ayako-omori コミュニティ • Cogbot Facebook グループ https://www.facebook.com/groups/cogbot/?ref=bookmarks • Connpass - Cogbot コミュニティ(勉強会情報) https://cogbot.connpass.com/
  36. 36. What to do next >> Cogbot コミュニティより宣伝 Cogbotハッカソン開催 4 / 8(土)~ 4 / 9(日)日本マイクロソフト:品川グランドセントラルタワー (ここ) アイデアソン →ハッカソンの流れで開発  詳しくは、サイトにて: https://cogbot.connpass.com/event/53016/
  37. 37. Thank you. 2017-03-25 .NETラボ勉強会

×