Tokyo HoloLens Meetup vol.2で発表した内容です。

1. Unityで始めるHoloLensアプリ開発
ViRD／能代 和哉
Tokyo HoloLens Meetup vol. 2 (2017/03/25)

2. 自己紹介
能代 和哉 (@noshipu)
株式会社ViRD／CEO／http://vird.co.jp/product
Unity歴は数年、HoloLens歴は2か月のVR開発者
ENGLISH BIRD、HoloGiraffeというアプリをリリースしてます
“のしメモ”というブログでたまにHoloLensネタも書いてます
http://noshipu.hateblo.jp/

3. UnityとHoloToolkit
UnityとHoloToolkit-Unityを使用した話をします。
◆ HoloToolkitとは
HoloLensの開発を簡略化してくれるツールです。
Microsoftが開発しており、github上で公開されています。
https://github.com/Microsoft/HoloToolkit-Unity
HoloToolkit-Unityは、HoloToolkitのUnity版です。
今回はUnityを使用するので、HoloToolkit-Unity (以下HoloToolkit)の話になります。

4. 今日話すこと
・HoloToolkitを使ったUnityアプリの開発事例
・1からHoloToolkitを使ってUnityアプリを作る
・HoloLens開発Tips

5. HoloToolkitを使い始める
・何ができるかを知る
Demoシーンがあるので、それらを実行してできることを把握する。
どんな機能があるのかを網羅するのにはREADMEがいいかも。
Utilitiesに便利なスクリプトや使いやすいシェーダーが結構ある。
・HoloToolkitの中を知りたい
HoloToolkitの中身やもっと低レイヤーの部分を詳しく把握したい場合はコードを追うか、
公式のチュートリアルの Academyをやってみることをおすすめ。
・現状のリリースバージョンはv1.5.5.0
HoloToolkitはまだまだ破壊的な変更が入り、
最新のリリースバージョンもmasterブランチから結構遅れているので、更新する際は要注意。

6. HoloToolkitに用意されている機能
HoloToolkit
Audio
Sharing
Gaze
Camera
Input
World
Anchor
Spatial
Mapping
TextTo
Speech
Tagalong
Direction
Indicator
Window
Occlusion
Spatial
Understanding
Cursor
Build
Hand
Draggable

7. HoloToolkitに用意されている機能
HoloToolkit
Audio
Sharing
Gaze
Camera
World
Anchor
Spatial
Mapping
Direction
Indicator
Spatial
Understanding
Input
TextTo
Speech
Tagalong
Window
Occlusion
Cursor
Build
Hand
Draggable
他にも色々…

8. HoloToolkitを使ったアプリの開発事例

9. HoloToolkitを使って
どんなアプリを作ってどの機能を使っているかご紹介

12. ◆ アプリ内容／配信リンク先
SELECTが言えないユーザーのための発音トレーニングゲーム！
ゲーム内容のイメージとしては、RoboRaid x 英語の発音
HoloToolkit-Unityで使っている機能 どこで使っているか
Gesture Input UIの操作
Voice Input 音声判定で使用
TextToSpeech 音声の答え合わせで使用
Spatial Mapping プレイエリアや壁の検出に使用
Auto Direction Indicator リザルト時にメニューを見失った時用

13. ENGLISH BIRDのMRゲームの設計
現実空間から、ちょうどいい場所を自動で検出するのは難しい
→ プレイスペースを最初にユーザーに設置させる(RoboRaid式)
・表示したときに埋めたくないUI操作部分のスペースをあらかじめ予約できる
・プレイヤーがどこからスタートなのか把握できる

14. ENGLISH BIRDのMRゲームの設計
大きいオブジェクトを出すと全貌が見えない
→ キャラクターを小さくさせる
・視野角の中に収まる範囲で小さく。
ただ、英語の文字が見えるぐらいに。
・小さいとかわいい

15. ENGLISH BIRDのMRゲームの設計
DirectionIndicator(スマブラの画面外に行くとでるやつ) は逆効果になることも
→ 大量に出すモノに使わない。出現する場所をわかるように。
HoloToolkitに視線誘導も入っているが
数が多いと邪魔になってしまう
目の前に張り付くタイプ
・HeadsUpDirectionc.cs
カーソルに張り付くタイプ
・AutoDirectionIndicator.cs

18. ◆ アプリ内容／配信リンク先
キリンをどこでも召喚できるアプリ
他に召喚したいキャラクターのコラボ募集中！
HoloToolkitで使っている機能 どこで使っているか
Gesture Input AirTap、UIの操作
Spatial Mapping 地面と天井の検出に使用

19. HoloGiraffeのMRアプリの設計
プレイエリアを最初に提示する
→ 召喚する前に床にプレイエリアを確保する
・見え方がおかしくなることはあるので、
プレイヤー側で工夫してもらう
プレイエリアを確保

20. HoloGiraffeのMRアプリの設計
大きいオブジェクト出してる！！さっきと言ってること違う！
→ 3Dプリンタ転送召喚で暫定解決
・視点が転送部分にいく
・いきなり表示よりも全体をつかみやすい
視線が誘導される

21. HoloGiraffeのMRアプリの設計
天井に穴が開くという”オチ”を見せたい
→ これも3Dプリンタ転送召喚で解決
・視点が転送部分にいく
・頭どうなるのだろうという期待感を演出
視
線
が
誘
導
され
る
わくわく

22. VR/MRでコンテンツを作る時に思っていること
・プレイヤーの視線をコントロールする
演劇やマジックのようにプレイヤーの視線を自然にコントロールできると良い！
360度どこでも見れるから「どこでも見て欲しい」ではなく、
360度どこでも見れるから「コンテンツに没入させたい」を意識する。
・柔軟な開発が大事
新しい表現や、体験を作る時は机上で考えるより、実装してみてダメかどうか判断した
ほうがよいことが結構ある。(実装して、やっぱりない方がいいとか)
変化に柔軟でユーザーライクな決断ができる開発が大事。
色々やってみているとイノベーションが生まれるので楽しい。

23. 1からHoloToolkitを使ってUnityアプリを作る

24. HoloLens初期セットアップ
１．Unityで新規プロジェクト作成
２．HoloToolkit-Unity-v1.5.5.0.unitypackageをインポート
３．HoloLens用の設定を反映
[HoloToolkit]->[Configure]->[Apply HoloLens Project Settings]->[Apply]を実行
４．HoloLensのカメラプレハブ[HoloLensCamera]を配置
５．ビルド or リモートで接続してUnityで実行する
基本的なセットアップはこんな感じ。
後は仕様に沿って必要なプレハブやコンポーネントを持ってきたり、Unityのコード書いたり。DEMOシーンでスク
リプトやPrefabの使い方を把握しておく。
HoloToolkitだけでは足りないネイティブな処理があればプラグインを書いたり、Assetをダウンロードする。

25. 参考に：空のUnityプロジェクトからCubeをドラッグするまで

26. HoloLens開発Tips

27. HoloLens開発Tips
・DebugモードビルドだとFPSが落ちる
全体的にFPSが遅い場合はDebugになっていないか確認してReleaseでビルドすること。
・Remoteでは動いていたのにビルドすると〇〇が動かない
権限問題の可能性が高い。
マイク、ネットワーク通信、Spatial Mapping、カメラ周りが該当。
動いていないときは[HoloToolkit]->[Configure]->[Apply HoloLens Capability Settings]を確認。
・AssetStoreでプラグインを購入するときは要注意
AssetStoreで販売しているプラグインをWindows対応だけを見て購入してはダメ。
WindowsStoreApp10または、UWPのサポートがあるかを確認してから購入した方が良い。
・デバッグメッセージをTextToSpeechでしゃべらせると便利
ログを見ながらHoloLensで動作確認したり、表示するのもめんどくさいのでしゃべらせると結構楽になることも。

28. HoloLens開発Tips
・Unityでのアプリの作り方を知りたい人はVRSamplesがおすすめ
Unity社の公式のVRチュートリアルプロジェクト。
VR開発のデザインパターンが学べてHoloLens開発にも使える。
◆ HoloLensで使えそうな便利なスクリプト
・ObjectPool.cs
オブジェクトの生成、破棄がおもいので、
このスクリプトでオブジェクトをプールして表示、非表示を管理できる。
・UIFade.cs
UIのフェードインフェードアウトが簡単にできるので便利。
・SelectionSlider.cs / SelectionRadial.cs
UIのゲージが溜まる演出で便利。

29. HoloToolkitすごい便利！
Unityすごい便利！
HoloLensの開発楽しい！
UnityとHoloToolkitを使ってHoloLens開発を始めましょう！
まとめ

30. そこで、３Dモデリングが障壁になっている人へ

31. 最後に宣伝
OculusStoreでMakeboxというVR3Dモデリングアプリをリリースしています。
簡単にボクセルの3Dモデルを作成できるツールです！
・Unityで使える！
出力データをUnityにインポートすることができます。
ENGLISH BIRDでもアルファベットの3Dモデル作成で利用しています。
・HoloLens向けにモデリングライブ配信できる機能も開発中！
テスト配信も先日実施しました！
https://atnd.org/events/86672
またちょこちょこ配信します！