Language Understanding Intelligent Service (LUIS) offers a fast and effective way of adding language understanding to applications. It is not only C# but also Java can available. In this article, I explained the basic of LUIS and the adoption story by NAVITIME. NAVITIME already use the LUIS on their production environment. And he explained the best practice to use the LUIS.

1. ナビタイムも導入！！
ボットで始発・終電案内から観光ガイドまで
Java でも日本語自然言語処理をカンタンに利用可能
Microsoft LUIS!!

3. ナビタイムジャパンの目指すナビゲーション
安心・安全な移動の支援
一人ひとりの限られた時間の中に、より有益な時間を生みだす

4. サービス概要

5. サービス概要

6. デモ

7. LINE bot

8. Travel bot

9. © 2017 Microsoft Corporation. All rights reserved.

10. Java の開発者ならば
JSR はご存知ですよね？！

11. じゃぁJSR 924 は？

13. リクエストの処理フロー
LUIS
Bot
クライアント

14. クライアントからのメッセージ
処理を Web アプリで実装
(HTTPS が必須)

15. POST
※ メッセージを受け取ったらただちに ACCEPTED を返却

16. LUIS
自然言語処理
つまり人間の言葉を理解可能
そしてアプリと対話が可能

17. https://****.microsoft.com/luis/v2.0/apps/*****?
subscription-key=***************&timezoneOffset=0&
q=[Botで受け取ったメッセージを貼付(任意文字列)]
LUIS で外部接続用の URL を作成

18. https://****/***&***q=jsr236を翻訳して

19. 命令のための想定リクエストをまとめた物
Intent
• 155の日本語
• jsr236を訳して
• jsr199の日本語
• 299を訳して
• jsr236を翻訳して覚えさせる(JSR-Translate)

20. Intent : 入力された文章を意図ごとに分類

21. Entities : 文章内の単語の分類

22. Entities : 文章内の単語の分類

23. デモ・アプリ用に作成した Entities のリスト

24. 検索では、大量の覚えさせが必要
１個づつ登録は大変

25. JSON ファイルで一括登録が可能

26. https://****/***&***q=jsr236を翻訳して

27. Microsoft Java
Let’s Enjoy !!

29. NavitimeがLUISを使う理由

30. 提供している chat bot

31. 提供している chat bot
フルスクラッチ
+
LUIS
+
オンプレ
bot Framework
+
LUIS
+
Azure Service

32. 提供している chat bot
bot Framework
+
LUIS
+
Azure Service
フルスクラッチ
+
LUIS
+
オンプレ

33. システム構成：LINE bot リリース当初

34. システム構成：LINE bot リリース当初

35. システム構成：LINE bot リリース当初
課題：意図抽出できなかった表現を定期的にどう追加するか
・◯◯駅から△△駅に行きたい
・◇◇駅から✕✕駅の終電
・このサービスについて
・運行情報について
・時刻表について知りたい
・他に何を教えてくれるの？
・ありがとう
自然言語の入力例 意図抽出
乗換検索
使い方・ヘルプ
不明

36. システム構成：LINE bot リリース当初
課題：意図抽出できなかった表現を定期的にどう追加するか
・◯◯駅から△△駅に行きたい
・◇◇駅から✕✕駅の終電
・このサービスについて
・運行情報について
・時刻表について知りたい
・他に何を教えてくれるの？
・ありがとう
自然言語の入力例 意図抽出
乗換検索
使い方・ヘルプ
不明
表現揺れ等に対応するため
doc2vec/fastTextの導入を検討

37. クラス分類評価
“駅名A”から”駅名B”まで“駅名A”から”駅名B”まで
“路線名”の時刻表
課題：入力を正しくクラス分類できるか？

38. クラス分類評価: 結果
入力文字
doc2vec fastText LUIS
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
“駅名”から
“駅名”まで
返事_いいえ 0.15
機能_乗換案内_
逆ルート
0.03
時刻表 機能_要望 0.16
機能_乗換案内_
逆ルート
0.04
“路線名”の
時刻表
機能_乗換案内_
逆ルート
0.16 機能_乗換案内 0.04
運行情報 機能_乗換案内_入 0.13
機能_乗換案内_
逆ルート
0.04

39. クラス分類評価: 結果
入力文字
doc2vec fastText LUIS
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
“駅名”から
“駅名”まで
返事_いいえ 0.15
機能_乗換案内_
逆ルート
0.03
時刻表 機能_要望 0.16
機能_乗換案内_
逆ルート
0.04
“路線名”の
時刻表
機能_乗換案内_
逆ルート
0.16 機能_乗換案内 0.04
運行情報 機能_乗換案内_入 0.13
機能_乗換案内_
逆ルート
0.04
学習＆チューニングが必要

40. 試しにLUISを使ってみる

42. クラス分類評価: 結果
入力文字
doc2vec fastText LUIS
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
“駅名”から
“駅名”まで
返事_いいえ 0.15
機能_乗換案内_
逆ルート
0.03 機能_乗換案内 1.0
時刻表 機能_要望 0.16
機能_乗換案内_
逆ルート
0.04 機能_時刻表 1.0
“路線名”の
時刻表
機能_乗換案内_
逆ルート
0.16 機能_乗換案内 0.04 機能_時刻表 1.0
運行情報 機能_乗換案内_入 0.13
機能_乗換案内_
逆ルート
0.04 機能_運行情報 1.0

43. クラス分類評価: 結果
入力文字
doc2vec fastText LUIS
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
分類結果 スコア
(1.00)
“駅名”から
“駅名”まで
返事_いいえ 0.15
機能_乗換案内_
逆ルート
0.03 機能_乗換案内 1.0
時刻表 機能_要望 0.16
機能_乗換案内_
逆ルート
0.04 機能_時刻表 1.0
“路線名”の
時刻表
機能_乗換案内_
逆ルート
0.16 機能_乗換案内 0.04 機能_時刻表 1.0
運行情報 機能_乗換案内_入 0.13
機能_乗換案内_
逆ルート
0.04 機能_運行情報 1.0
チューニング無しで実用レベルの品質

44. システム構成： LUISの導入

45. LINE bot 表現揺れデモ

46. LUISは、いいことずくめ?

47. 気をつけるところ
「公開前用」「公開用」で学習モデルが異なる為、
Publishしたら結果が違う!ということも…
「Enable published model」をチェックしておくと、
この現象は防ぐことができる

48. チューニングポイント その①

49. チューニングポイント その①
"ひらがな"のみの入力に弱い

50. チューニングポイント その②

51. チューニングポイント その②
佐野のわたし駅/塔のへつり駅/歓遊舎ひこさん駅
→「佐野」「塔」「歓遊舎」までしか
Entityとして認識されない

52. チューニングポイント その②
佐野のわたし駅/塔のへつり駅/歓遊舎ひこさん駅
→「佐野」「塔」「歓遊舎」までしか
Entityとして認識されない
"漢字+ひらがな"の特殊な駅名単語に弱い

53. 対策
ひらがなのみの入力、
特殊な駅名
ナビタイム技術でEntity抽出を補助

54. NAVITIME × AI

55. なぜAIを導入?
移動における課題
乗るべき電車が知りたい
バスに乗りたい
なるべく安く
混んでるのがやだな‥
乗換少なく
在来線だけで行きたい
歩きを少なく
電車遅れてる‥

56. 従来のアプローチ
検索条件 ルート表示順
様々なニーズやシーンに応えるため
多くの検索条件を準備しているが
項目が多く使いこなせない課題がある

57. AIでの課題解決アプローチ
移動における課題 AI

58. AIでの課題解決アプローチ: 対話からユーザの課題を引き出す
相手の要求に応え
コミュニケーションを
成立させる
相手の要求の本質を
自然な会話から引き出す
（シナリオ判定）
相手の意図を理解し
取るべき行動を判断する
（意図的解釈）
COMMUNICATION
CONVERSATION
COGNITIVE

59. アプリUI Chat UI
対話型のUIを有するLINE bot

60. AI活用: 旅行の場合
English
突然雨が
降ったら
電車/バスに
乗り遅れ
クレジットカード
使えるかな
英語メニュー
あるかな
旅行中の不安事は
バックグラウンド、ユーザーによって異なる

61. AI活用による｢旅行｣スタイルの変化
旅行体験の向上による
旅行スタイルの変化
パーソナライズされた情報提供をする事で
ユーザーは旅行を楽しむ事に集中

62. AI活用による｢移動｣スタイルの変化
提案された情報から選ぶ自ら検索して情報を探す
フィーチャーフォン スマートフォン スマートウォッチ スマートグラス
AI活用
時代の流れに対応した情報提案型ナビゲーション
時代の流れ

63. AI活用による｢移動｣スタイルの変化
リラックス
海
和食
伊豆温泉はどう？
AI
AIを活用した情報提案型ナビゲーション

64. AI活用による｢移動｣スタイルの変化

65. © 2017 Microsoft Corporation. All rights reserved.

66. Bot – LUIS - Translater Util Lib
https://github.com/yoshioterada/

67. JSR Sample Bot with LUIS
https://github.com/yoshioterada/java-jsr-bot-MSA

68. JSR Search on Payara Micro with MySQL
https://github.com/yoshioterada/

69. 新しい UI としての Bot ご活用ください !!
LUIS
Bot
クライアント

70. Microsoft Java
Let’s Enjoy !!

71. ナビタイムも導入！！
ボットで始発・終電案内から観光ガイドまで
Java でも日本語自然言語処理をカンタンに利用可能
Microsoft LUIS!!