Downloaded 11 times
Uploaded byMasahiro Ide
HoloLensハンズオン キャラと音声対話をしてみよう！
作成するアプリのイメージはこちら https://twitter.com/decchi/status/861004216839446533/video/1 2017/10/4に開催したTech-Circle HoloLensハンズオン キャラと音声対話をしてみよう！のハンズオン資料です。
HoloLensハンズオン キャラと音声対話をしてみよう！
- 1.
- 2. 自己紹介 氏名：井出 将弘 所属：TIS 株式会社戦略技術センター Twitter&Qiita：@decchi 元々は今は亡きGoogle TangoからARに興味を持ち、Mikulusの体験 から本格的にAR/MR/VRの世界にのめりこむ。 現在はＭＲ対話エージェント（今日のハンズオンで作るもの）を中心に 研究開発をしています。
- 3.
- 4. ハンズオンを始める前に コマンドプロントでクローンした OrenoYome_Hands_Onのプロジェクトに移動し、 ①git fetch originmaster ②git reset --hard origin/master で最新を取得してください。
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27. 音声対話の実装⑥ 音声認識の実装についてはQiita記事の「音声をテキス トに変換する（Speech to Text）」の項にまとめています ので参照してください。その後ConversationManager のStep1のコメントの下に実装してきましょう。実装する 内容は以下の通りです。（次ページに実装の答えあり） ①m_DictationRecognizerの変数にインスタンスを設定 ②m_DictationRecognizerにDictationResultのイベントを設定 ③DictationResultのイベントに以下の処理を追加 ③－１inputTextField.textに音声認識したテキストを設定 ③－２ GetReplyメソッドをStartCoroutineで起動し、引数に音声認識 したテキストを渡す。 ④ m_DictationRecognizer.Start()で音声認識を開始する。
- 28. 音声対話の実装⑦ 答え public void Initialize() { //Step1音声認識の実装 m_DictationRecognizer = new DictationRecognizer(); m_DictationRecognizer.DictationResult += (text, confidence) => { inputTextField.text = text; //通信するためのメソッドはCoroutineで呼び出します。 StartCoroutine(GetReply(text)); }; m_DictationRecognizer.Start(); XPic.gameObject.SetActive(false); }
- 29. 音声対話の実装⑧ 次にStep2として対話システムと連携します。 Qiita記 事の「対話サービスに発話内容を送信する」の項にまと めていますので参照してください。 Step2の実装はあらかじめ用意したエージェントを利用します。 ConversationManager のStep2のコメントの箇所についてエージェントの キーを設定します。 (setkey here)のところを入れ替えます。 今回のハンズオンのキーは以下を使用します。 6e69b55263ca4831aec888e3a1c97a4b ※キーは2017/10/4現在の値なので、今後変更されている可能性がありま す。ご了承ください。
- 30. 音声対話の実装⑨ 答え //Step2 対話エージェントの設定 request.SetRequestHeader("Authorization", "Bearer6e69b55263ca4831aec888e3a1c97a4b");
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40. リップシンクの実装⑥ 設定が終わったら OVRLipSyncContextMorphTargetのスクリプトを EditScriptで開き、Update()をLateUpdate()に変更 します。 void Update () { if((lipsyncContext!= null) && (skinnedMeshRenderer != null)) void LateUpdate () { if((lipsyncContext != null) && (skinnedMeshRenderer != null))
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48. 参考リンク集 ◆Holoの嫁と会話するためのステップバイステップ https://qiita.com/decchi/items/f4766d6f45da0e59639b ◆HoloLensで実現する動的経路探索 https://qiita.com/morio36/items/d75228d2ccdb9c24574b ◆【Unite 2017 Tokyo】VRMAGIC！ ～キャラクターに命を吹き込んだこの4年 間の記録～ https://www.slideshare.net/Unite2017Tokyo/unite-2017-tokyovr- magic4