UnityによるAR/VR/MR 開発体験講座

1. UnityによるAR/VR/MR 開発体験講座石井勇一 2018/1

5. 使用しているソフトウェアについてソフトウェア名バージョン Unity 2017.2.1f1 2017.3.0f3(ARCore) Visual Studio 2017(15.5.2) PC Windows 10 Fall Creators Update(2017/10) Copyright(C) 2018 . All Rights Reserved石井勇一 5 本資料は2017/12/23時点の情報を元に作成されています（一部2018/1/11の情報も含まれています)。実際に使用するときはツールのバージョンなどが変わっている恐れがあります。

10. VR(Virtual Reality)とは • 日本語で「実質現実」 • 良くある間違い「仮想現実」 • 「五感を刺激し、さも実際にその空間にいるかのような体験ができる」ことの総称 • HMD(Head Mount Display)=VRではない • 現在市販されているVR機器の多くがHMD(視覚)、ヘッドフォン (聴覚)のみで、一部のハイエンド機器がハンドコントローラー(触覚)もサポートしている • 嗅覚、味覚は業務用に一部のメーカーがリリースしている • メジャーなHMDはOculus社の「Rift」(通称CV1)、HTC社の「Vive」など Copyright(C) 2018 . All Rights Reserved石井勇一 10

11. AR(Augmented Reality)とは • 「拡張現実」、と訳されることが多い • 人が知覚する現実環境をコンピュータにより拡張する技術、およびコンピュータにより拡張された現実環境そのものを指す言葉。 • VRとの一番の違いは「現実環境をコンピュータにより拡張」する点。 • VR：環境も含めて基本的にすべてCGや音響、触覚デバイスなどで実現する • AR：現実にある物を認識して、そこにコンピューターで処理した結果を付加する • 現在はスマートフォン(Phab 2 Pro、ZenFone AR、iPhone6s以降の iOS11(ARKit))が主流 • 操作はタッチパネルによるものが多い Copyright(C) 2018 . All Rights Reserved石井勇一 11

13. ARの紹介 • Google ARCore発表。 • http://japanese.engadget.com/2017/08/29/google-arcore- sdk/ • Tango終了 • Google retires the Tango brand as its smartphone AR ambitions move wider • http://tcrn.ch/2wGkV3L • Google、「Project Tango」の終了を正式発表「ARCore」開発者プレビュー2公開 http://www.itmedia.co.jp/news/articles/1712/18/news052.ht ml Copyright(C) 2018 . All Rights Reserved石井勇一 13

14. MR(Mixed Reality)とは • AR/VRなどを包含した用語(書籍「バーチャルリアリティ学」より) • Microsoft社が発売しているHoloLensは複合現実(MR)と紹介している。 • HoloLens • 独立型専用PCでWindows10を搭載 • 複数のカメラとソフトウェアによる高度な空間認識 • ヘッドフォンを搭載し空間音響によるリアルな音響効果 • ハンドジェスチャーによる操作 • 高価(開発版が338,000円、法人向け558,000円) Copyright(C) 2018 . All Rights Reserved石井勇一 14

18. Unityとは • マルチプラットフォーム対応 • Windows/Mac/Linuxなどのデスクトップ • iOS/Androidなどのスマートフォン • WebGLによるマルチプラットフォーム向け出力 • PS4, WiiU, XBOX One,Switchなどのコンシューマー機 • SteanVR, Oculus Rift, Gear VR, PlayStation VR, HololensなどのVR/ARプラットフォーム • 強力なエディタ内蔵 • 物理ベースシェーディングによるリアルな映像 • 高度なメモリープロファイリング • 直観的なUIツール • 強力なアニメーション技術 Copyright(C) 2018 . All Rights Reserved石井勇一 18

19. Unityとは • アニメーション • リターゲット可能なアニメーション • ランタイムでアニメーションのウェイトを完全制御 • アニメーションのプレイバックからのイベントコール • 洗練されたステートマシンの階層と遷移 • 顔のアニメーションのためのブレンドシェイプ • グラフィックス • Enlightenによるリアルタイムグローバルイルミネーション(GI) • 物理ベースシェーディング • 反射プローブ • カーブとグラディエント駆動型モジュラーパーティクルシステム • 直観的なUIツール Copyright(C) 2018 . All Rights Reserved石井勇一 19

20. Unityとは • 最適化 • 高度なメモリープロファイリング • Umbraによるオクルージョンカリング • アセットバンドル • Level Of Detail(LOD)対応 • ビルドサイズ削減 • マルチスレッド化したジョブシステム • オーディオ • リアルタイムのミキシングとマスタリング • 階層化されたミキサー、スナップショットとプリセットの音響効果 Copyright(C) 2018 . All Rights Reserved石井勇一 20

21. Unityとは • 2Dと3Dの物理挙動 • Box2Dでエフェクター、関節、コライダーを包括的に扱う • NVIDIA® PhysX® 3.3 • スクリプティング • C#、JavaScript • 高度に自動化された経路探索とナビゲーションメッシュを備えた AI機能 • バージョン管理 • Perforce と Plastic SCMに完全対応 • gitやSVNなどへも対応可能 Copyright(C) 2018 . All Rights Reserved石井勇一 21

24. 3.プラットフォーム別VR/AR/MRアプリ開発の流れ • 新規プロジェクトを作成 • プラットフォームの切り替え • Project SettingsのPlayer Settings • Unity5.6 : Virtual Reality Supportedを設定 • Unity2017.x : XR Settingsを設定 • PlayまたはBuild & Run(Main Cameraがそのまま HMDやスマフォのカメラになる) Copyright(C) 2018 . All Rights Reserved石井勇一 24

25. 4. xRアプリケーション開発演習 • VR • SteamVR(Vive)アプリケーション(Windows: PC) • Riftアプリケーション(Windows: PC) • WinMRアプリケーション(UWP: PC) • Gear VRアプリケーション(Android: Galaxy S8+) • Daydreamアプリケーション(Android: ZenFone AR) • AR • ARCoreアプリケーション(Android: Galaxy S8) • MR • HoloLensアプリケーション(UWP: HoloLens) Copyright(C) 2018 . All Rights Reserved石井勇一 25

27. SteamVR(Vive)アプリケーション (Windows: PC) • Viveソフトウェア • https://www.vive.com/jp/setup/ • SteamVR Plugin(1.2.2) • https://assetstore.unity.com/packages/tools/steamvr- plugin-32647 • https://github.com/ValveSoftware/steamvr_unity_plugin/ tree/master • Unity5.4.0f1以上に対応 Copyright(C) 2018 . All Rights Reserved石井勇一 27

28. Riftアプリケーション (Windows: PC) • Oculusソフトウェア • https://www.oculus.com/setup/ • Unity • 対応バージョン一覧 • https://developer.oculus.com/documentation/unity/latest/concepts/un ity-sdk-version-compatibility/ • Oculus Utilities for Unity(基本パッケージ) • Oculus Avatar SDK(Touch用) • Oculus Platform SDK(Touchおよびアバター用) • https://developer.oculus.com/downloads/unity/ Copyright(C) 2018 . All Rights Reserved石井勇一 28

29. WinMRアプリケーション (UWP: PC) • Visual Studio 2017(15.5.2) • 追加で以下の機能を選択 • Universal Windows Platform • Game Development with Unity • Windows 10 SDK 10.0.16299 SDK(ARM、Intelなど全てインストール推奨) • Unity2017.2.1f1 • Mixed RealityToolkit-Unity • https://github.com/Microsoft/MixedRealityToolkit-Unity • Windows 10 Fall Creators Update必須 Copyright(C) 2018 . All Rights Reserved石井勇一 29

30. Gear VRアプリケーション(Android: Galaxy S8+) • Unity5.6以上。2017.2も対応 • Oculus Utilities for Unity(基本パッケージ) • https://developer.oculus.com/downloads/unity/ • Android Studio • https://developer.android.com/studio/index.html • Android SDK Version 5.0 (API Level 21)以上 • Android Build Tools, 25.0.1以上 Copyright(C) 2018 . All Rights Reserved石井勇一 30

31. Daydreamアプリケーション (Android: ZenFone AR) • Google VR SDK for Unity (GVR SDK for Unity v1.120.0) • https://github.com/googlevr/gvr-unity-sdk/releases • Unity 5.6以上。 • Android Studio 2.3.3以上 • https://developer.android.com/studio/index.html • Android SDK Version 7.1(API Level 25)以上 Copyright(C) 2018 . All Rights Reserved石井勇一 31

33. ARCoreアプリケーション(Android: Galaxy S8) • Unity 2017.2.x以上 • ARCore Service app • ARCore Unity SDK • https://developers.google.com/ar/develop/downloads • Android Studio • https://developer.android.com/studio/index.html • Android SDK Version 7.0(API Level 24)以上 Copyright(C) 2018 . All Rights Reserved石井勇一 33

35. HoloLensアプリケーション(UWP: HoloLens) • Visual Studio 2017(15.5.2) • 追加で以下の機能を選択 • Universal Windows Platform • Game Development with Unity • Windows 10 SDK 10.0.16299 SDK(ARM、Intelなど全てインストール推奨) • Unity2017.2.1f1 • Mixed RealityToolkit-Unity • https://github.com/Microsoft/MixedRealityToolkit-Unity • Windows 10 Fall Creators Update必須 Copyright(C) 2018 . All Rights Reserved石井勇一 35

38. 参考 Androidの開発者モードの設定 • 「開発者モード」の有効化 • Androidの「設定」を起動 • 「端末情報」を開き、「ビルド番号」を７回タップ • USBデバッグの有効化 • 「設定」 –「開発者向けオプション」を開く • 最上部の「ON」を選択 • 「USBデバッグ」をオンに設定 • ＡｎｄｒｏｉｄをUSBケーブルでPCに接続 • 初回接続時はUSBドライバの読み込みに時間が掛かります。 • 次に端末の認証が必要です。 Copyright(C) 2018 . All Rights Reserved石井勇一 38

39. 参考 Androidの開発者モードの設定 • AndroidをUSBケーブルでPCに接続 • 接続後、コマンドプロンプトにて以下のコマンドを実行 • もし以下の様に「unauthorized」と表示されたら、S6の USBケーブルを一度付け直します。すると、S6の画面に「このPCを信頼しますか？」と表示されるので、「信頼」ボタンを押してください。 Copyright(C) 2018 . All Rights Reserved石井勇一 39 adb devices List of devices attached 1ab234c56d78de9f unauthorized このままでは開発できません。

41. 参考 Androidのビルドができない • Unable to list target platforms. When I try to build to Andriod on Mac • https://answers.unity.com/questions/1320634/unable-to-list- target-platforms-when-i-try-to-buil.html • not finding android sdk (Unity) • https://stackoverflow.com/questions/42538433/not-finding- android-sdk-unity • UnityのAndroidビルドができなくなった時の対処法 • https://qiita.com/niusounds/items/bcbeee622b2114b4016e Copyright(C) 2018 . All Rights Reserved石井勇一 41

42. 参考 Unityの設定 • 設定をするため新規プロジェクトを作成または既存のプロジェクトを開いてください(設定は一度だけです)。 • [Edit]-[Preferences...]を実行 • External ToolsのAndroidのSDK、JDK、NDKをそれぞれ設定します。設定例を以下に示します。 Copyright(C) 2018 . All Rights Reserved石井勇一 42

45. SteamVR(Vive) • Unity2017.2.1f1を起動 • 新規プロジェクトの作成 • Asset Storeから「SteamVR Plugin」を検索してインポート • APIのアップデート要求があるので、「I Made a Backup., Go Ahead!」ボタンを押す • SteamVR Settingsダイアログが出るので「Accept All」ボタンを押す • 「You made the right choice!(正しい選択をしましたね)」とでるので「OK」ボタンを押す Copyright(C) 2018 . All Rights Reserved石井勇一 45

46. SteamVR(Vive) • Assets/SteamVR/Scenes/exampleシーンを開く • Playボタンを押す • その他のシーンファイル • Assets/SteamVR/Extras/SteamVR_TestThrow • Assets/SteamVR/InteractionSystem/samples/Scenes/Inte ractions_Example Copyright(C) 2018 . All Rights Reserved石井勇一 46

47. SteamVR(Vive) • 新規シーンから作成するための方法 • Main Cameraを削除 • Assets/SteamVR/Prefabs/[CameraRig]をHierarchyにドラッグ • HMD(Camera)、Viveコントローラなどを含む主要プレハブ • Assets/SteamVR/Prefabs/[SteamVR]をHierarchyにドラッグ • 座位や立位の切り替え機能などを提供 Copyright(C) 2018 . All Rights Reserved石井勇一 47

49. Oculus Rift • Unity2017.2.1f1を起動 • 新規プロジェクトの作成 • OculusUtilities.unitypackageをインポート • APIのアップデート要求があるので、「I Made a Backup., Go Ahead!」ボタンを押す • Update Oculus Utilites Pluginダイアログが出る(Unity内蔵のプラグインのバージョンは1.14.1なので古い)ので「Yes」ボタンを押す • Restart Unityダイアログが出るので「Restart」ボタンを押して Unityを再起動する Copyright(C) 2018 . All Rights Reserved石井勇一 49

50. Oculus Rift • <続き> • OvrAvatar.unitypackageをインポート • APIのアップデート要求があるので、「I Made a Backup., Go Ahead!」ボタンを押す • <シェーダーコンパイルにとても時間が掛かる> • OculusPlatform.unitypackageをインポート • Unityに「Tools」「Oculus Avatars」「Oculus Platform」メニューが増えます。 Copyright(C) 2018 . All Rights Reserved石井勇一 50

51. Oculus Rift • <続き> • App IDの入力 • Oculus Avatars > Edit Configurationを実行 • Oculus Rift App IDにApp IDを入力 • Oculus Platform > Edit Settingsを実行 • Oculus Rift App IDにApp IDを入力 • App IDはOculus VR社のサイトで開発者としてアカウントを登録し、アプリケーションを仮登録すると得られるIDになります。 • このIDを登録することでTouchコントローラーやアバターが表示されます。 Copyright(C) 2018 . All Rights Reserved石井勇一 51

53. Oculus Rift • Assets/OvrAvatar/Samplesの下にいくつかサンプルシーンがあるのでそれを実行 • Controllers: 手とTouch Controllerを表示 • GripPoses: 手が表示されるだけ • LocalAvatar: 目の前に自分のアバターが表示される • RemoteLoopback: 相互接続テスト用(事前準備が必要) Copyright(C) 2018 . All Rights Reserved石井勇一 53

56. Oculus Rift • その他のサンプルは別のUnityパッケージとして配布されています。 • 新規にプロジェクトを作り直して以下のパッケージをインポートし直してください。 • OculusSampleFramework_1.21.0.unitypackage • https://developer.oculus.com/documentation/unity/latest /concepts/unity-sampleframework-release-1-21/ Copyright(C) 2018 . All Rights Reserved石井勇一 56

58. Windows Mixed Reality • Unity 2017.2.1f1をUnity2017.2.1p1起動 • 新規プロジェクトを作成 • File > Build Settingsを実行 • Universal Windows Platformを選択し、次のページのように設定し、「Switch Platform]ボタンを押す Copyright(C) 2018 . All Rights Reserved石井勇一 58

61. Windows Mixed Reality • [Player Settings]ボタンを押す • Other SettingsのScripting Backend .NETに変更 • 基本パッケージをインポート • HoloToolkit-Unity-2017.2.1.0.unitypackage • サンプルパッケージをインポート • HoloToolkit-Unity-Examples-2017.2.1.0.unitypackage Copyright(C) 2018 . All Rights Reserved石井勇一 61

62. Windows Mixed Reality • Assets/HoloToolkit-Examples/Input/Scenes/の MotionControllerTestシーンを開く • Build Settingsを閉じていたら再び開く(File > Build Settings) • [Add Open Scenes]ボタンをしてビルド対象のシーンを追加 Copyright(C) 2018 . All Rights Reserved石井勇一 62

67. Gear VR • Unity2017.2.1f1を起動 • 新規プロジェクトの作成 • OculusUtilities.unitypackageをインポート • APIのアップデート要求があるので、「I Made a Backup., Go Ahead!」ボタンを押す • Update Oculus Utilites Pluginダイアログが出る(Unity内蔵のプラグインのバージョンは1.14.1なので古い)ので「Yes」ボタンを押す • Restart Unityダイアログが出るので「Restart」ボタンを押して Unityを再起動する Copyright(C) 2018 . All Rights Reserved石井勇一 67

69. Gear VR • [Player Settings]ボタンを押す • XR Settingsの「Virtual Reality Supported」をチェックする • 右下の「＋」ボタン押して「Oculus」を選択 • Stereo Rendering Methodを「Multi Pass」に変更 Copyright(C) 2018 . All Rights Reserved石井勇一 69

72. Gear VR • osigファイルの作成 • osigファイルとはOculus Signature Fileのことで、本来はサムスンがデジタル署名したアプリのみ実行可能なGear VRアプリを開発者が自分の端末上で評価させるための一時的なファイルのことです。 • osigファイルはOculus VR社のページで作成できます(要 Oculus Account) • https://dashboard.oculus.com/tools/osig-generator/ Copyright(C) 2018 . All Rights Reserved石井勇一 72

74. Gear VR • osigファイルの作成 • S6/S6 EdgeをUSBケーブルでPCに接続 • 接続後、コマンドプロンプトにて以下のコマンドを実行 • 以下のような表示が出ます。 • この例では「ce0551e7」がDevice IDです(実際は異なります) 。 Copyright(C) 2018 . All Rights Reserved石井勇一 74 adb devices List of devices attached ce0551e7 device

75. Gear VR • ブラウザで https://dashboard.oculus.com/tools/osig-generator/ を開く • log inする(要Oculus Account) • 先ほど入手したDevice IDを入力し、「ファイルをダウンロード」ボタンを押す • ファイル名は「oculussig_{device id}」となります。 • ファイルを Assets/Plugins/Android/assets/ にコピーします。 • 最後のファイルコピーを忘れると、Gear VRで実行時にセキュリティ例外でアプリケーションが終了します。 Copyright(C) 2018 . All Rights Reserved石井勇一 75

78. Gear VR • 参考 • https://developer.oculus.com/documentation/unity/latest /concepts/unity-mobileprep/ • https://developer.oculus.com/documentation/unity/latest /concepts/unity-build-android/#unity-build-android Copyright(C) 2018 . All Rights Reserved石井勇一 78

79. Gear VR • <続き> • OvrAvatar.unitypackageをインポート • APIのアップデート要求があるので、「I Made a Backup., Go Ahead!」ボタンを押す • <シェーダーコンパイルにとても時間が掛かる> • OculusPlatform.unitypackageをインポート • Unityに「Tools」「Oculus Avatars」「Oculus Platform」メニューが増えます。 Copyright(C) 2018 . All Rights Reserved石井勇一 79

80. Gear VR • <続き> • App IDの入力 • Oculus Avatars > Edit Configurationを実行 • Oculus Gear VR App IDにApp IDを入力 • Oculus Platform > Edit Settingsを実行 • Oculus Gear VR App IDにApp IDを入力 • App IDはOculus社のサイトで開発者としてアカウントを登録し、アプリケーションを仮登録すると得られるIDになります。 • このIDを登録することでコントローラーやアバターが表示されます。 Copyright(C) 2018 . All Rights Reserved石井勇一 80

82. Daydream • Unity2017.2.1f1を起動 • 新規プロジェクトの作成 • GoogleVRForUnity_ v1.110.0.unitypackageをインポート • APIのアップデート要求があるので、「I Made a Backup., Go Ahead!」ボタンを押す • Assets/GoogleVR/Demos/Scenes/GVRDemoシーンを開く Copyright(C) 2018 . All Rights Reserved石井勇一 82

83. Daydream • File > Build Settingsを開く • [Add Open Scenes]ボタンを押してGVRDemoをビルド対象にする • Androidを選択し、[Switch Platform]ボタンを押す • [Player Settings]ボタンを押す • 次ページを参照し設定をする Copyright(C) 2018 . All Rights Reserved石井勇一 83

84. Daydream • Other Settings • Package Name: Androidのパッケージ名ルールに適合する文字列 • Minimum API Level: Android 7.0以上 • Target API Level: Android 7.0 または 7.1 • XR Settings • Virtual Reality Supportedをチェック • Virtual Reality SDKsの右下の「＋」ボタンをして「Daydream」を追加 Copyright(C) 2018 . All Rights Reserved石井勇一 84

85. Daydream • Build Settingsダイアログに戻って「Build & Run」でビルドと実行をする。apkファイル名は適当につけてください。 • しばらくするとAndroid端末側にアプリがインストールされてDaydream Viewerに入れるように促される画面が出るはずです。 • 操作はコントローラとの組み合わせで行います。 Copyright(C) 2018 . All Rights Reserved石井勇一 85

86. Daydream • Unityのプレイモードでもある程度操作ができます。 • Assets/GoogleVR/Prefabs/GvrEditorEmulatorプレハブ • 頭の操作 • Alt+マウス移動: 頭の回転 • Ctrl+マウス移動: 頭の傾き • コントロールの操作 • Shift+マウス移動: コントローラの傾き • Shift+マウス左: コントローラのタッチパッドのクリック • Shift+マウス右: コントローラのHomeボタン(Recenter) • Shift+Control+マウス移動: コントローラのタッチパッド上でのスワイプ操作 Copyright(C) 2018 . All Rights Reserved石井勇一 86

87. Daydream • Instant Preview • 頭の向きやコントローラの値をAndroidから直接Unityに転送し、プレイモードで使えるようにする • https://developers.google.com/vr/tools/instant-preview • GVRパッケージに含まれている InstantPreview プレハブをHierarchyにドロップ • パラメーターを調整(上記サイト参照) • このシーンをビルド対象にしてapkを作成しインストール • USB経由でもWi-Fi経由でも利用できますが、Wi-Fiはストリーミング映像の配信のため通信帯域不足により映像が乱れることがあります。 • GVRDemoシーンにはこのプレハブが含まれているので、インストールがうまくいっているならそのまま利用できるはずです。 Copyright(C) 2018 . All Rights Reserved石井勇一 87

89. ARCore • ARCore特有の事前準備としてARCoreサービスのインストールが必要です(一度だけその端末にインストールするだけで良い) • ARCoreサービスを下記のページからダウンロード • https://developers.google.com/ar/develop/downloads Copyright(C) 2018 . All Rights Reserved石井勇一 89

91. ARCore • Unity2017.3.0f3を起動 • 新プロジェクトを作成 • arcore-unity-sdk-preview2.unitypackageをインポート • Assets/GoogleARCore/HelloARExample/Scenes/ HelloARシーンを開く • File > Build Settingsを実行 Copyright(C) 2018 . All Rights Reserved石井勇一 91

92. ARCore • Androidを選択し、[Switch Platform]を実行 • [Add Open Scenes]ボタンを押してビルドシーンを追加 • [Player Settings]ボタンをして次のページの内容に従って変更 • 変更後、[Build&Run]で実行。Gear VRやDaydream のようなプレイモードによる実行などは無いため毎回Build&Runが必要。 Copyright(C) 2018 . All Rights Reserved石井勇一 92

93. ARCoreのPlayer Settings • Other Settings • Multithreaded Rendering: Off • Package Name: com.example.helloAR のようなAndroid パッケージ名のルールに則った文字列を指定 • Minimum API Level: Android 7.0以上 • Target API Level: Android 7.0 または 7.1 • XR Settings • ARCore Supported: On Copyright(C) 2018 . All Rights Reserved石井勇一 93

97. HoloLens • [Player Settings]ボタンを押す • Other SettingsのScripting Backend .NETに変更 • 基本パッケージをインポート • HoloToolkit-Unity-2017.2.1.0.unitypackage • サンプルパッケージをインポート • HoloToolkit-Unity-Examples-2017.2.1.0.unitypackage Copyright(C) 2018 . All Rights Reserved石井勇一 97

98. HoloLens • Assets/HoloToolkit-Examples/Input/Scenes/の SelectedObjectKeywordsシーンを開く • Build Settingsを閉じていたら再び開く(File > Build Settings) • [Add Open Scenes]ボタンをしてビルド対象のシーンを追加 Copyright(C) 2018 . All Rights Reserved石井勇一 98

103. VRTK • UnityによるVRアプリ開発を加速させるライブラリ • Version 3.2.1(2017/12/23現在) • Github • https://github.com/thestonefox/VRTK/releases • Asset Store • https://www.assetstore.unity3d.com/jp/#!/content/64131 Copyright(C) 2018 . All Rights Reserved石井勇一 103

104. VRTK • 元々はVive専用だったがメジャーアップデート時にOculusにも対応。さらに他のVRへの対応できるような拡張性を有している Copyright(C) 2018 . All Rights Reserved石井勇一 104 Supported SDK Download Link VR Simulator Included SteamVR SteamVR Plugin Oculus Oculus Utilities *Ximmerse Ximmerse Unity SDK *Daydream Google VR SDK for Unity *experimental 引用: https://github.com/thestonefox/VRTK

105. VRTKの基本的な使い方 • 参照元: http://chocolattips.hatenablog.com/entry/2017/03/01/000000 • SteamVR(Vive)用にセットアップする場合 • SteamVR Plugin • Oculus Rift用にセットアップする場合 • Oculus Utilities for Unity 5 • Oculus Avatar SDK • Oculus Platform SDK • 上記のパッケージをインポート • VRTKパッケージをインポート Copyright(C) 2018 . All Rights Reserved石井勇一 105

107. VRTKの基本的な使い方 • HierarchyのVRTK_SDK_ManagerにVRTK_SDK Managerコンポーネントを追加 • 以下の二つのプレハブをVRTK_SDK_Managerの子として追加 • Assets/VRTK/Examples/ExampleResources/Prefabs/ SDKSetups • Assets/VRTK/Prefabs/SDKSetupSwitcher Copyright(C) 2018 . All Rights Reserved石井勇一 107

113. VRTKの基本的な使い方 • ポインタ • Viveの場合はタップボタン、Touchの場合はジョイスティックを押したときポインタを出す • HierarchyのVRTK_Controller > Leftに以下のコンポーネントを追加 • VRTK_ControllerEvents • VRTK_Pointer • VRTK_Straight Pointer Renderer • VRTK_PointerのPointer RendererにVRTK_Straight Pointer Rendererを設定 • HierarchyのVRTK_Controller > Rightも同様に設定 Copyright(C) 2018 . All Rights Reserved石井勇一 113

115. VRTKの基本的な使い方 • 掴む • Left / Rightに以下のコンポーネントを追加 • VRTK_InteractGrab • VRTK_InteractTouch • Cubeを2つ作成して、一つはScale(0.1, 0.1, 0.1)にして上に乗せる(次ページ参照) • セットアップするのは上の乗せたCubeです Copyright(C) 2018 . All Rights Reserved石井勇一 115

117. VRTKの基本的な使い方 • 掴む • Cubeに以下のコンポーネントを追加 • RigidBody • VRTK_InteractableObject • VRTK_Fiexed Join Grab Attach • VRTK_InteractableObjectの設定 • Is Grabbableをチェック • Grab Attach Mechanic ScriptにVRTK_Fiexed Join Grab Attachを設定 Copyright(C) 2018 . All Rights Reserved石井勇一 117

118. VRTKの基本的な使い方 • 別の手で掴む • Cubeに以下のコンポーネントを追加 • VRTK_Swap Controller Grab Action • VRTK_InteractableObjectの設定 • Secondary Grab Action ScriptにVRTK_Swap Controller Grab Actionを設定 Copyright(C) 2018 . All Rights Reserved石井勇一 118

119. 参考 • Android API Levelとは • https://developer.android.com/guide/topics/manifest/use s-sdk-element.html#ApiLevels • ARInterface（ARCoreとARKitの抽象化) https://blogs.unity3d.com/jp/2017/11/01/experim enting-with-multiplayer-arcore-and-arkit-jump-in- with-sample-code/ Copyright(C) 2018 . All Rights Reserved石井勇一 119

123. Oculus Riftベストプラクティスの熟読 • ベストプラクティスガイド日本語版 • http://static.oculus.com/documentation/pdfs/ja-jp/intro- vr/latest/bp.pdf • ベストプラクティスガイド英語版 • https://developer.oculus.com/design/latest/concepts/boo k-bp/ • https://forums.oculus.com/developer/discussion/49451/ best-practices-for-vr-development Copyright(C) 2018 . All Rights Reserved石井勇一 123

126. 設計上の考慮事項 • 開始シーンの設計 • ヘッドトラッキングは常に維持する • 起動画面は最短の時間で表示する • 進行状況が分かるようなアニメーションを用意する • シーンの切り替えはフェードを使用して移行する Copyright(C) 2018 . All Rights Reserved石井勇一 126 引用：https://developer.oculus.com/documentation/game-engines/latest/concepts/unity-mobile-performance-intro/

127. ベストプラクティス(1) • バッチフレンドリに：マテリアルは共有化し、可能な限りテクスチャはアトラス化して使用する • ライトマップ、静的ジオメトリを優先する • キャラクタや移動物体のために動的ライティングの代わりにライトプローブを優先する • テクスチャには多くの情報をベイクします。例えば、鏡面反射(refections)、アンビエントオクルージョン(ambient occlusion) • レンダリングパス数は最小限度にとどめる。動的ライトは使わない、Post Effectは使わない、バッファを使用しない(Shader)、 GrabPassを使用しない(Shader)、などなど Copyright(C) 2018 . All Rights Reserved石井勇一 127

128. ベストプラクティス(2) • アルファテスト/ピクセル透過は避ける。アルファテストは高負荷のオーバーヘッドが発生します。可能ならばアルファブレンドで代替してください。 • 最小限度のアルファブレンド透過処理を維持する。 • テクスチャ圧縮を使用してください。ASTCがお勧めです。 • [Player Settings]のResolution and Presentationパネルの"Disable Depth and Stencil"をチェックする Copyright(C) 2018 . All Rights Reserved石井勇一 128

130. 一般的なCPUの最適化(2) • シーンで使用するゲームオブジェクトやコンポーネントの合計数に気を付ける(数が多くなればなるほどCPUを消費する) • ゲームデータやオブジェクトの効率化。 • 実際にUpdate()またはFixedUpdate()で計算する GameObjectの数を最小限に抑える。 • 必要が無い限り物理シミュレータは減らすか削除する • 頻繁に再利用するGameObjectは新しくオブジェクトを生成する代わりにオブジェクトプールを使うべき Copyright(C) 2018 . All Rights Reserved石井勇一 130

131. 一般的なCPUの最適化(3) • プールされたAudioSoucesに対するPlayOneShotで音を出すとき、 GameObjectを割り当てサウンドが鳴り終わったあとにdestroyする • 可能な限り高負荷な数学的操作を避けてください。 • 頻繁に利用するコンポーネントはキャッシュし、フレーム毎に検索しないようにする • Unityのプロファイラを使用する • 高負荷なコードを認識し、必要なら最適化する • フレーム毎に発生しているガベージコレクションの割り当てを認識し排除する • 通常プレイ中における性能のスパイク(定期的/不定期的に瞬間的に高負荷になる現象)を認識し排除する Copyright(C) 2018 . All Rights Reserved石井勇一 131

133. レンダリングの最適化の一般事項 • ドローコールは低い状態を維持する(Unity5からは SetPassに指標が変わっています) • テクスチャの使用量と帯域幅に注意する • ジオメトリの複雑さを最小限度に維持する • fill rate(テクセル描画速度(1 秒あたりにテクスチャー割り当て・陰影付けのできる立体表面要素の数)に注意する。 Copyright(C) 2018 . All Rights Reserved石井勇一 133

134. 3. ARアプリケーションにおける注意点 • Human Interface Guidelines by Apple • https://developer.apple.com/ios/human-interface- guidelines/technologies/augmented-reality/ • 抜粋は次のスライド Copyright(C) 2018 . All Rights Reserved石井勇一 134

135. 3. ARアプリケーションにおける注意点 • エクスペリエンスの設計(一部抜粋) • ディスプレイ全体を使用すること • 現実的なオブジェクトを配置するときは説得力を持たせる • ARに最適ではない環境で利用されることも考慮 • ユーザの快適さに注意(同じ姿勢を強要してはいけない) • アプリがユーザに動くことを推奨するときは、徐々に行うこと • ユーザーの安全に注意する • 音響によるフィードバックは効果的 • 可能な限り、ヒントを分かりやすく提示(文字ではなく3次元に回転するインジケーターとか) • 文字を表示する時は、親しみやすい用語を使用しましょう Copyright(C) 2018 . All Rights Reserved石井勇一 135

136. 4. MRアプリケーションにおける注意点 • デザインガイドライン(英語) • https://developer.microsoft.com/ja-jp/windows/mixed- reality/design • UWP アプリ設計の概要(日本語) • https://docs.microsoft.com/ja- jp/windows/uwp/layout/design-and-ui-intro Copyright(C) 2018 . All Rights Reserved石井勇一 136

138. Tokyo HoloLens Meetup vol.1 より • HoloLensの特性を的確にとらえた秀逸な資料 • 広告目線から見たHoloLens - 坪倉輝明 • https://www.slideshare.net/teruakitsubokura/hololens- 71685824 Copyright(C) 2018 . All Rights Reserved石井勇一 138

143. Unityにおけるネットワーク連携 • マルチプレイヤーゲームのネットワーク状態を管理 • 標準のNetworkManager • https://docs.unity3d.com/ja/current/Manual/UNetUsingH LAPI.html • Photon Cloud • https://www.photonengine.com/ja-JP/Photon • モノビット Engine • http://www.monobitengine.com/ Copyright(C) 2018 . All Rights Reserved石井勇一 143

147. サードパーティ製ネットワークミドルウェア • モノビット Engine: VR VOICE CHAT 2.0 • http://www.monobitengine.com/vrvc/ • Photon Cloud: True Sync • https://doc.photonengine.com/ja- jp/truesync/current/tutorial/tstutorial-part1-download- install Copyright(C) 2018 . All Rights Reserved石井勇一 147

149. HoloLens • Sharing • HoloLens x HoloLens • https://developer.microsoft.com/en-us/windows/mixed- reality/holograms_240 • HoloLens x Immersive headsets • https://developer.microsoft.com/en-us/windows/mixed- reality/mixed_reality_250 Copyright(C) 2018 . All Rights Reserved石井勇一 149

152. 4. 事例集 • Microsoft HoloLensを装着したPepperが自動走行。 ANAが宮崎空港で自走を含めた案内業務の実地検証開始 • http://travel.watch.impress.co.jp/docs/news/1044482.html • ドワンゴ、N高入学式にHoloLensを使用 1対多人数シェア機能「DAHLES（ダレス）」開発 • http://panora.tokyo/24080/ • 吉永崇さん (Takashi Yoshinaga) • https://twitter.com/Tks_Yoshinaga/status/928711064992096 256 Copyright(C) 2018 . All Rights Reserved石井勇一 152

153. お問い合わせ • 株式会社シーディングソフテック石井勇一 • E-mail: yuichi.ishii@seedingsoftech.jp • Home Page: http://seedingsoftech.jp/ • 個人的なお問い合わせ • Twitter: @z_zabaglione • Home Page: http://zabaglione.info/ • 本資料をシーディングソフテックの書面による事前許可なく本資料を複製、再製、改変、発表、アップロード、掲示、転送、配布することを禁じます。 • プログラムコードは個人・商用利用ともに一切の制限もなくロイヤリティフリーでご利用可能です。 • 画像、音声、3Dモデルデータなどのリソース類は原著者の利用許諾に従ってご利用ください。 Copyright(C) 2018 . All Rights Reserved石井勇一 153

UnityによるAR/VR/MR 開発体験講座

You are reading a preview.

Check these out next

UnityによるAR/VR/MR 開発体験講座

More Related Content

Slideshows for you (20)

Similar to UnityによるAR/VR/MR 開発体験講座 (20)

More from Yuichi Ishii (16)

Recently uploaded (20)