20161124_04_LUIS x Pepper -自然言語解析を活用した介護施設でのコミュニケーションの検証-

1. 山田 耕平
イサナドットネット株式会社
Cognitive Services × Pepper
介護施設における概念実証

2. proprietary to isana.net, inc.
Robotics HealthCare Conversation UI
ロボアプリパートナー（Basic）
with Microsoft Azure 認定
Intelligence
Microsoftのコグニティブサービスを活用
isana.netの取り組み 2
LUISFace API

3. proprietary to isana.net, inc.
ロボット活用の背景 3
少子高齢社会
人材不足
技術の発展
ロボットの導入へ

4. proprietary to isana.net, inc.
まごころタウン静岡 4

5. proprietary to isana.net, inc.
介護事業者の課題 5
介護人材の不足
毎朝のバイタルチェックなど記録作業が多い
利用者の満足度を測る方法がない
職員の負担を軽減したい
サービスを向上したい

6. proprietary to isana.net, inc.
田中さん
ペッパー、おはよう！
顔認証
田中さん
私、魚料理が大好きなの！
意図：料理が食べたい
内容：魚
田中さんは、魚が好きなんですね！
僕が、スタッフに伝えておきますよ！
自然言語処理
顔を識別
意図と内容を理解
Cognitive Servicesを活用したコミュニケーション 6
田中さん！
おはようございます！
人に応じた個別の対応
人に紐付いたデータ取得・蓄積・フィードバック
より人に近いコミュニケーションの実現
会話内容を分類して蓄積

7. proprietary to isana.net, inc.
Cognitive Servicesを活用したバイタルデータの記録 7
田中さん！
これから健康チェックをやりますよー
。
それでは、お願いしまーす！
それじゃあ、ペッパーくんおねがいね〜
測定
~~~~~~~~~~~~~~~~~~~~~~
3
5
%
2
9
%
1
1
%
1
0
%
8
%
7
%
田中さん
記録

8. proprietary to isana.net, inc.
ユーザー
個別の会話
データ取得
スタッフ
ユーザーごとの
バイタルデータ・声
LUISFace API
顔認証 自然言語解析 自動応答
Azure Bot Service
Power BI
全体構成 8
医療機器・センサー

9. proprietary to isana.net, inc.
田中さん！こんにちは！
Face API 9
できること
顔の登録
顔の認識
顔の認証
登録
田中さん
認証
Face API
年齢
性別
笑顔度

10. proprietary to isana.net, inc.
Face API 10
テストコンソール

11. proprietary to isana.net, inc.
Face API 11
Pepperでの成功率UPのための実装
登録・認証時のよびかけ
断続的なAPIコール
田中さん
僕の顔を見つめてください！

12. proprietary to isana.net, inc.
「昨日のお昼ご飯は、マグロが出て嬉しかったわ」
IntentEntity
「嬉しい」「食事」
LUIS 12
できること
文章がどのIntent（意図）にあたるかを振り分ける
文中の単語がどのEntity（対象）にあたるかを振り分ける

13. proprietary to isana.net, inc.
LUIS 13
Intentの設定 UI
アクションの設定が可能に

14. proprietary to isana.net, inc.
LUIS 14
学習 UI
文章にIntent・Entityのラベル付け

15. proprietary to isana.net, inc.
LUIS 15
今回学習させたIntents (全20Intent)
楽しい
嫌だ
安心する
腹が立つ
〜したい
・・・
氏名: 田中さん
12月3日 (水)
体温: 36.5℃
お客様の声:
[〜したい]
・うどんをもう少しやわらかくしてほしいな。。
[楽しい]
・レクでみんなで目標を達成できて楽しかったわ
12月10日 (水)
体温: 36.1℃
お客様の声:
感情を可視化
業務改善を支援

16. proprietary to isana.net, inc.
LUIS 16
Pepperでの会話
Speech To Text => Dialog
聞き取り文字列の連結
適切なあいづち

17. proprietary to isana.net, inc.
LUIS 17
Pre-built Entities (日本語版非対応)
数や気温など凡用的なEntityを使用可能

18. proprietary to isana.net, inc.
Cognitive Servicesの予想利用料金 18
LUIS => ¥689/月
Face API => ¥2,754/月
300回/日 × 30日 = 9,000回/月
9,000回 × 2 = 18,000トランザクション/月
18,000トランザクション × ¥153/1,000トランザクション = ¥2,754/月
※Standardプラン：¥153/1,000 トランザクション
※認証時には、認識と認証双方をやる必要がある
(2016年11月24日時点)
300回/日 × 30日 = 9,000回/月
9,000トランザクション × ¥76.50/1,000トランザクション = ¥689/月
※Basicプラン：¥76.50/1,000 トランザクション
(2016年11月24日時点)

19. proprietary to isana.net, inc.
利用の様子① 19

20. proprietary to isana.net, inc.
利用の様子② 20

21. proprietary to isana.net, inc.
11月18日の毎日新聞記事 21
記事の内容を抜粋
ペッパーが
「お困りのことがあったらぼくに言ってください
」と元気な声で話すと、高齢者らは
「ありがとね」と笑顔で手を握るなど
会話を楽しんでいた。
執行役員 木瀬さんのコメント
「普段職員が行っていることをペッパーができ
るようになれば、現場の効率化につながる。
集めたデータをもとにサービスの向上につなげ
たい」

22. proprietary to isana.net, inc.
今後の課題 22
LUISに対しての学習量の増加
セットアップの簡略化・メリットの明確化
アプリケーションの改善点
以前の記録を参照して会話に活かす仕組みの構築
LUISのモデルの増加