Unityのオンライン勉強会『Roppongi.unity#9』にて"翻訳VR作ってみた"というタイトルで発表しました

2. 登壇者：KENTO
Twitter : @okprogramming
仕事 : XR関連のR＆D
Twitter : @Up_frontier

3. 作ったものの仕組み
What is your favorite food?
あなたの好きな
食べ物は何ですか
音声認識API
(モジュール置換)
翻訳API
(モジュール置換)

4. 話すこと
・音声認識比較
・翻訳API比較
・マルチ対応Tips

5. ・音声認識比較
・翻訳API比較
・マルチ対応Tips

6. 音声認識比較
名前 精度 速度 備考
Cloud SpeechToText 高い やや遅い Googleの提供するWebAPI
Watson
Speech to Text
やや低い やや速い IMBの提供するWebAPI
Speech Recognizer
(Android)
× × そのままでは使用できず。
Android Speech TTS
(Asset)※
高い 速い
オフラインでも使用可能。
対応言語が少ない。
(日本語未対応)
※Kaldi Speech Recognition Toolkitを使用しているようです → https://github.com/kaldi-asr/kaldi

7. 検証結果、導入方法
https://qiita.com/OKsaiyowa/items/6d9b4115b2945aecb495
https://qiita.com/OKsaiyowa/items/59805da08d0da1e392e8
https://qiita.com/OKsaiyowa/items/8da381e0c247dc5594fa

8. ・音声認識比較
・翻訳API比較
・マルチ対応Tips

9. 翻訳API比較
名前 精度 備考
DeepL かなり高い DeepLの提供するWebAPI
Cloud Translation 高い Googleの提供するWebAPI
Microsoft Translator 高い
Microsoftの提供する
WebAPI

10. It's important not to sweat the small stuff.
(訳)小さなことでくよくよしないことが大切ですよね。

11. (訳)小さなことでくよくよしないことが大切ですよね。

12. He said that that that that that
boy used in the sentence was wrong.
(訳) 彼はあの少年があの文章で使ったあのthatは
間違っていると言った

13. (訳) 彼はあの少年があの文章で使ったあのthatは間違っていると言った

14. 翻訳APIについて
https://qiita.com/OKsaiyowa/items/cec1e201e0eff5408f6c
https://qiita.com/OKsaiyowa/items/b6873ca171d325828f61
https://qiita.com/OKsaiyowa/items/c3b6799c91b26317b4be

15. ・音声認識比較
・翻訳API比較
・マルチ対応Tips

16. ボイスチャット
【実用例】
・多民族同士のコミュニケーションの円滑化
・外国人講師によるオンライン英会話における最終手段
・Photon Voice 2を利用
→ 導入は超簡単！

17. Photon Voice 2 導入手順
① アセットストアからインポート
② IDを取得し、PhotonServerSettingsに入力

18. Photon Voice 2 導入手順
③ HierarchyにPhotonVoiceNetworkとRecorderを
アタッチしたオブジェクトを作成

19. 音声認識とボイスチャットの併用
音声認識機能で
UnityのMicrophoneAPIを使用中
ボイスチャットにはPhotonの
MicrophoneAPIを使用する

20. Photon Voice 2 導入手順
④ 生成するアバターに
SpeakerとPhotonVoiceViewをアタッチ

21. DLL関連でエラー
・ライブラリ間で同名のDLLが多数存在
→ 削除して1つにすればOK

22. 参考リンク
【Unity 2017 から 2018 への移行】
https://tech.drecom.co.jp/upgrade-unity-from-2017-to-2018/
【Android Speech TTS】
https://assetstore.unity.com/packages/tools/integration/android-speech-tts-
45168?aid=1011l7N9K&utm_source=aff
【ゴガクル】
https://gogakuru.com/english/phrase/25845?refererFlow=enSearchTagResult&co
ndTagID=12715&condLang=English&orderPhrase=3