Downloaded 69 times
ニンニンPepperアプリ概要と技術説明
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. 生活リズムを整える • 朝起きる、日めくりカレンダー、曜日確認など変わらずに日常生 活ができる。 • 認知症高齢者がPepperと暮らして、生活リズムを自然に整える。 7 日めくりカレンダー曜日確認時間や予定の提示 ©2015 ninninpepper.com DEMO：目覚まし
- 8. 離れて暮らす家族と想いを繋ぐ • Pepperが音声や写真を送受信して、高齢者と離れて暮らすご家 族を繋ぐことができる。 • 高齢者の孤独感を緩和すると共に、外部と繋ぐことで認知症予 防に効果がある。 8 家族の音声や写真高齢者の写真撮影 家族へメール送信 © 2015 ninninpepper.com TABLET：メール
- 9.
- 10. 日常会話を通じて認知症予防 • Pepperが高齢者との会話の中で、日常の曜日や身近な家族について確認する。 • Pepperが高齢に昔の話などを、頷き(傾聴)やおうむ返ししながら聞くことができる。 •介護者はリモコンを利用してPepperを操作して、高齢者の好きな話などができる。 • 高齢者は、Pepperと会話を楽しめることで、孤独感もなく、認知症予防の効果もある。 10 高齢者への声掛け 高齢者好みの写真表示 頷きやおうむ返し 音声認識でデータ蓄積 キーワード抽出 © 2015 ninninpepper.com
- 11. 見守り • Pepperが監視モードで、日常生活に変化があると知らせることができる。 • 宅内や施設内の他のセンサーの情報を見て、Pepperが対応や連絡することができる。 •日常会話履歴が介護者へ送信され、高齢者の状況を把握できる。 • 会話キーワードや高齢者の反応速度から、高齢者の状態を推測できる。 • 離れて暮らす家族は遠隔ちからPepperを操作して、高齢者に通知＆呼びかけできる。 11 音声認識でデータ蓄積 キーワード リモコン © 2015 ninninpepper.com
- 12. 連携カスタマイズ • 介護者がWebなどで、会話コンテンツ作成など高齢者向けにカスタマイズできる。 • 将来的に、介護システムと連携させ、高齢者のアセスメント情報を見ることもできる。 •Pepperが、介護システムや地域連携システムに繋がり、高齢者情報をレポートしたり、 逆にPepperに伝言やリモートから操作することもできる。 12© 2015 ninninpepper.com
- 13. クラウドAIやBigData分析 • PepperはクラウドAI（IBM watsonなど）と連携する予定であり、 将来的にPepperを通じて、医療や介護分野のAI研究が可能となる。 •Pepperが収集した会話履歴などのデータをBigData分析に活用する ことで、将来的には、高齢者の認知症や疾病の早期発見も可能にな る。 13© 2015 ninninpepper.com
- 14.
- 15. 15 リモコン外部画面 本体ディスプレイ Pepperの本体 会話の実行 動き, 撮影, 音楽… 会話スクリプト 会話と画面 の連動 会話の流れ NAOqiOS ALDialog Dialog Web browser Framework (Modules) OS ALSpeechReco. ALMemory Application (NinNinPepper) QiMessaging HTML& JavaScript Android Python … Speech Reco. Choice Say 会話・動き・画面表示を一体化した実装 © 2015 ninninpepper.com
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. 22 ・高精度で任意の言葉を認識可能 ・応答するまでに時間がかかる ・人間発話してからイベント発生 までに（数百ms？）遅延ある ・録音データをGoogle Speechに 投げて、認識結果を取得する ・SpeechDetectedイベントで 会話の開始と終了を検知する API イベントできること Speech Reco. SpeechDetected 人間が何か喋ったことを検知する WordRecognized Pepperが聞き取った言葉と信頼度を取得する Dialog Dialog/LastInput Pepperがちゃんと聞き取れた言葉を取得する Dialog/Answered Pepperから喋った言葉を取得する Dialog/NotSpeaking 人間が黙っていることの検知する イベントやWeb APIで独自実装する Google Speech API Event © 2015 ninninpepper.com DEMO：傾聴
- 23.
- 24.
- 25.
- 26. 26 画面操作から会話や動きを制御する 機能を会話として表示 画面タップで機能呼び出し 入力した言葉 を話す 本体ディスプレイから制御 リモコンから制御 © 2015ninninpepper.com DEMO：日常会話
- 27. 今後の研究開発 • 音声認識や会話機能 – 高齢者向けに音声認識のチューニング –クラウドAIを利用して自然な会話の実現（を目指す） • 服薬支援機能 – Pepper向け薬カレンダーや薬箱のデザイン – ソフトウェアと連動して服薬支援の実現 • カスタマイズ機能 – 介護者の使い易いカスタマイズUIの実装 – 機械学習を利用したカスタマイズの自動化 • その他 – 認知症予防機能（脳トレなど）の実装 – 高齢者を喜ばせる機能（レクなど）の実装 27© 2015 ninninpepper.com
- 28.
Editor's Notes
- #4 アプリ開発を始まる前の企画段階
- #6 アプリの設計段階 ユーザのニーズを適した技術で満たすのは必要 …. 一言言いますと、Pepperはコミュニケーションロボットです。
- #7 そして、コミュニケーションを中心に… みなさん色々アイディアを出し合って…
- #16 QiMessagingはwebブラウザの中で、JavaScriptバインディングを提供する。ロボット向けのHTML5アプリも作成可能になる。 QiMessagingライブラリは非同期通信として設計されている。jQueryに似ていて、ほとんどのメソッドはコールバックでとして実装されている。 Socket.IOを利用して、ロボットとブラウザの間での双方向通信を実現する。 WebSocketは基本的にHTTPと同じ、ただ一回接続したら、コネクションをずっと維持しているだけだ。
- #20 ChoiceとSpeechRecoとDialogをちゃんと終わらせていないと、実行時にエラーが出る。 エラーを抑止するためにStop ASRを追加している
- #22 Choice ・質問から認識までの一連を簡単に実装できる Dialog ・Pepperから質問するのは実装困難である A Proposal rule triggers a specific robot output without any user output beforehand. どういう条件、どういう順番でProposalを実行するか、制御は難しい 外部のモジュールの呼び出しは難しい
- #25 Local Module : Simply use the name of the module. Remote Module : Use the name of the module, and the IP and port of a broker. QiMessaging : イベント駆動 QiMessagingからALMemoryだけでなく、他のmoduleも制御可能、図では一部だけを示す