UnityでJuliusを使った音声認識をする

1. Unityで音声認識
9/7 金沢Unity勉強会

2. 自己紹介
Twitter
はまやん @hamayanhamayan

3. 目指すのは…

4. 転載元：http://www.jp.playstation.com/software/title/scps15039.html

5. リオ
音声のみで指示を出す

6. 良いところ

7. ＜ 歩け

8. ＜ 歩け
分かったわ ＞

9. ＜ 行け

10. ＜ 行け
行けって
どこに行けば
いいの？
＞

11. ＜ 机に行け

12. ＜ 机に行け
分かったわ ＞

13. ＜ 机に行け
分かったわ ＞
ちょっとした文もいける

14. 目標は
短い文を使った
音声認識ゲーム

15. Julius-Client-For-Unityhttps://github.com/SavantCat/Julius-Client-for-Unity

16. 音声認識ライブラリ（ソフトウェア）
Julius
をUnity向けにラップしたスクリプト
Julius-Client-For-Unity

17. Julius-Client-For-Unity
を使うには

18. GitHubより
https://github.com/SavantCat/Julius-Client-for-Unity

19. これを
実行する

20. Assets
↓
Julius
↓
Scene
↓
julius.unity
サンプルは

21. 「した」と発音すると

23. 「したうえ」と発音すると

25. Assets → Julius →
辞書は
Core
↓
model
↓
lang_m
↓
commnd.htkdic

26. <s> [] silB
</s> [。] silE
コマンド+名詞 [コマンド] k o m a N d o
シンクロ+名詞 [シンクロ] sh i N k u r o
シンクロスタート [シンクロスタート] sh i N k u r o s u t a: t o
スタート+名詞 [スタート] s u t a: t o
おはよう+感動詞 [おはよう] o h a y o:
こんにちは+感動詞 [こんにちは] k o N n i ch i w a
さようなら+感動詞 [さようなら] s a y o: n a r a
右+名詞 [右] m i g i
左+名詞 [左] h i d a r i
上+名詞 [上] u e
下+名詞 [下] sh i t a
前+名詞 [前] m a e
後ろ+名詞 [後ろ] u sh i r o
commnd
13単語が登録されている

27. 書式
単語表記 [出力文字列] 音素列
参考:http://shower.human.waseda.ac.jp/~m-kouki/pukiwiki_public/24.html

28. commndファイルと同じフォルダの
bccwj.60k.htkdic

29. bccwj.60k.htkdic
約64,000単語

30. 「かんどう」と発音すると

32. 「じゅうどう」と発音すると

36. 30回やって、すべて失敗

37. 「柔道」と表示させたい

38. 「授業」
「重度」
「ジュドー」
よく出てきたのが…
これをcommndから消す

39. 「じゅうどう」と発音すると

41. ヒット率を上げるためには
発音が似ているのは避けて作る

42. 実際にゲームを作るとどうなるか

43. 主人公はもちろん…

45. Unityちゃん
無料で使えるキャラクター
http://unity-chan.com/

46. ゲームジャンルは「脱出系」

47. 「脱出系」とは
閉じ込められた主人公が部屋を脱出するために、
家具や装置などを調べて、
脱出のカギとなるものを探したり
時には謎解きをしたりするもの

48. 「脱出系」の理由
昔はFLASH
今はスマホ
で流行っているゲーム体系

49. 「脱出系」の理由
脱出系は謎解きがメイン

50. 音声認識は
無限のコマンド
を用意できる

51. 例えば

52. ＜ イスに何かできそう…

53. ＜ 「イスを押せ」

54. ＜ 「イスの下」

55. 音声認識は
無限のコマンド
を用意できる

56. ＜ 山手線ゲーム

57. ＜ 山手線ゲーム
やりましょう ＞

58. ＜ シャワーを浴びろ

59. ＜ シャワーを浴びろ
親切で言ってるとは
思えないんだけど ＞

60. ＜ シャワーを浴びろ
親切で言ってるとは
思えないんだけど ＞
こういうレスポンスにより
没入感が上がり
感動を与える

61. ゲームの操作
Space ：カメラ切替
音声 ：指示

63. Spaceキーでカメラ変更

64. 「赤い椅子」と指示

65. 「探せ」と指示

66. 「真ん中の椅子」と指示

67. 「押せ」と指示

68. 本当は…
鍵を3つ取ってゴールする

69. 本当は…
「探せ・押せ」のアニメーション

70. http://artist-
3d.com/free_3d_models/
dnm/model_disp.php?uid
=455&count=count
使用モデル
http://www.sharecg.co
m/v/66203/view/5/3D
-Model/Skeleton-Keys

71. 使用モデル

72. まとめ
音声認識を組み込むのは簡単

73. まとめ
無理やりではなく
音声認識メインのゲームもアリ

74. 究極には
Unityちゃんと会話したい！