UNIBOOL LT大会(http://peatix.com/event/173495#_=_)で登壇させていただいたときの資料です。HoloLens向けアプリを作る方法、アプリ開発に活用できそうな、CortanaとUnityの連携方法について解説しています。

1. HoloLensのアプリ開発環境構築方法と、
MR体験例のご紹介
2016/7/23 Riftup (@WheetTweet)

2. 自己紹介
・VR/ARアプリ開発者
・VRメディア PANORAで寄稿あり
・勉強のため、Unityのアセットを調べて
ブログに書いてます。
・日本初？のUnity
Certified Developer
@WheetTweet

3. HoloMagicians
HoloLensの日本初コミュニティです。
体験会や勉強会を不定期に開催しています。
http://holomagicians.azurewebsites.net

4. VR 代表作(MRは勉強中)
スパイダーマン風体感ゲーム
(2014 OculusShare登録)
VR向けUI体験
（2014/5電撃PlayStation 掲載)
シューティングゲーム(2014/6 OcuFes)
VR向けWebブラウザ体験
(2015/9 OC2、2015/10 DCExpo)

5. 本日お話させていただくこと
1. UNIBOOK5に執筆したダイジェスト
2. UNIBOOK5からのアップデート

6. 1. UNIBOOK5に執筆したダイジェスト

7. HoloLensとは
Microsoftが2016年初旬に発売したMixed Reality
体験ができるスマートグラス

8. HoloLensとは
実世界にCGを重ね合わせてみることができます。
空間認識がこれまでにないほど正確で速いです
https://www.microsoft.com/
microsoft-hololens/en-us
https://developer.microsoft.com/ja-jp/windows/
holographic/hololens_shell_overview

9. HoloLensとは
$3,000
2016年7月現在では、開発者キットのみ
日本での発売は未定
(2016/5 de:codeにてMS社員の講演で確認)

10. HoloLensのアプリ
開発者キットなので、最低限のアプリしか
入ってません
アプリがないなら作ろう！
http://www.ac-illust.com/main/search_result.php?page=1&word=残念
&mode=&cid=&word_id=&order=1&format=all&creator=&nq=&orientation=all&crtsec=all&pp=70

11. HoloLensのアプリ
追加したい場合、方法は二つ
（１） Windows Storeから購入
（２） 自分で作る
本日のお題

12. HoloLensのアプリ
作る方法は２つ
(1) Visual Studioを使ってUWPを作る
(2) Unityで作る
MicrosoftもUnityを推奨！

13. まずは環境構築

14. HoloLensアプリ開発向け環境構築
必要なもの：Windows Desktop PC
(Windows10推奨。8.1や7でもよいが、使えない
機能があるとのこと。Macは不可)
詳細はこちら
https://developer.microsoft.com/ja-jp/windows/holographic/install_the_tools
補足：Windows 10を入れたParallel DesktopでWindows 10 Mobileの
デプロイは成功した。BootCampなら基本問題ないはず(未確認)

15. HoloLensアプリ開発向け環境構築
Emulatorの場合、Windows10Pro限定。
かつ、スペックの高いPCが必要
64bit CPU、メモリ8GB以上、Hyper-Vサポート
詳細はこちら
https://developer.microsoft.com/ja-jp/windows/holographic/install_the_tools

16. HoloLensアプリ開発向け環境構築
構築手順
1. Visual Studio 2015 Update3
「カスタム」を選択しUWP用のツールを選択
2. HoloLens Emulator(実機がある場合不要)
3. HoloLens用のUnity
指示に従ってインストールすればOK
詳細はこちら
https://developer.microsoft.com/ja-jp/windows/holographic/install_the_tools

17. エミュレータを使うとできること
基本的な見え方の確認
自分で作った
アプリケーションの
動作確認

18. ここまでがUNIBOOK5の内容

19. 2. UNIBOOK5からのアップデート

20. HoloLensで魔法を使う方法を考えてみた
http://www.ibtimes.co.uk/hololens-microsoft-shows-off-mixed-reality-game-project-x-ray-1522746

21. 魔法といえば、、
呪文の詠唱で魔法力を高めたり
呪文の詠唱で自分の周囲に
エフェクトがついたり
まずはHoloLensで音声を使えるようにすべき
http://www60.atwiki.jp/mbanext/pages/46.html
http://handofcat.blog.fc2.com/blog-entry-57.html

22. Windows10で音声といえばCortana
CortanaとUnityを連携できれば、魔法を
使う、を再現可能！

23. CortanaとUnityを連携させる方法は？
http://matome.naver.jp/odai/2139881598212551601/2139881790813952303

24. CortanaとUnityを連携させる方法は？
公式、およびAsset Storeにはなさそう、、

25. CortanaとUnityを連携させる方法は？
https://digitalerr0r.wordpress.com/2015/10/21/voice-activating-your-windows-10-games-using-speech-synthesis-voice-recognition-and-cortana/
MS社員の方のブログで発見！感謝！

26. このブログで紹介されている内容
https://digitalerr0r.wordpress.com/2015/10/21/voice-activating-your-windows-10-games-using-speech-synthesis-voice-recognition-and-cortana/
Unityで定義した文章をCortanaの認識対象に
するサンプルコード
Unity Cortona

27. 日本語環境でうまく動かなかったので、、
http://magicbullet.hatenablog.jp/entry/Unity_Cortana2
認識対象の文章を変える方法、HoloLens向けに
ビルドする方法を追加して、ブログに掲載済み

28. Unity Cortona
のみだった。
Unity Cortona
が必要。
この方法は、
呪文を唱えた結果、魔法を出すには、

29. 色々試行錯誤しましたが、

30. 最終的にVisual Studioで作った
コードからUnityの関数を呼び出すことに成功
ソースコード一式のzip： https://1drv.ms/u/s!AIq6rsyH7lzvgolg
VoiceSpeech.csの一部
http://magicbullet.hatenablog.jp/entry/Unity_Cortana3
解説したブログ

31. この仕組みを使ってやってみたこと

32. “Fire”で火の玉を出して、”Go”でターゲットに
当てるデモを作成
(ソースコード付きでブログに公開中)。
http://magicbullet.hatenablog.jp/entry/Unity_Cortana3

33. でも、呪文はもっと長い文章を
読んでいるような、、
http://mentalinnovation.com/plus/whymerits/

34. そこで、長い文章が認識できる
か実験してみました。

35. 「なまむぎ なまごめ なまたまご」の認識に成功
長い呪文詠唱でも安心！

36. HoloLensのDeveloper サイトには
Unityを音声で制御する仕組みが公開
https://developer.microsoft.com/en-us/windows/holographic/holograms_101#chapter_4_-_voice
簡単に使えるけどHoloLens専用

37. 今回の仕組みは、UWP対応していれば
なんでもOK
HoloLens
Meta2
Windows 10 MobileRift , others

38. まとめと今後の予定
・HoloLensのアプリ開発環境構築の方法を紹介
10月開催のDigital Contents Expo@日本科学未来館に
コンテンツを出展(おそらくMeta2を使用)
・HoloLensで魔法を使うゲームを作るために、
音声認識の機能、音声認識をUnityで使う方法を紹介
[まとめ]
[今後の予定]