More Related Content
Similar to 20190615HoloLensMeetup
Similar to 20190615HoloLensMeetup (20)
Recently uploaded
Recently uploaded (14)
20190615HoloLensMeetup
- 1. HoloLens 2 Development 株式会社ホロラボ 2019年6月15日 加藤 広務 Tokyo HoloLens ミートアップ vol.15
- 2. 自己紹介 • • • 2
- 3. アジェンダ • 会社紹介 • Mixed Reality Dev Days • HoloLens 2の概要 • HoloLens 1とHoloLens 2の同異点 • HoloLens 2の開発環境 • HoloLens 1のアプリをHoloLens 2に移植する • HoloLens 2アプリの新規開発方法(Unity / UE4) 3
- 5. 会社紹介
- 6. 会社紹介 株式会社ホロラボ 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム／アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 16名 Web https://hololab.co.jp/ 6
- 8. mixpace のフロー • 3D CAD/BIMデータを簡単にMRで活用 8
- 9. Mixed Reality Dev Days
- 10. Mixed Reality Dev Days • 2019/5/2~3マイクロソフトにより開催された開発者イベ ント@Redmond • 世界中から約400人の開発者が参加 10 https://docs.microsoft.com/en-us/windows/mixed-reality/mr-dev-days
- 11. Mixed Reality Dev Days • HoloLens 2 や Azure Kinect, また Azure などの様々 なテクニカルセッションとハンズオンが行われた 11
- 12. Mixed Reality Dev Days • ハンズオン開発風景 12
- 13. HoloLens 2 概要
- 14. ハードウェアスペック(1/2) 14 区分 項目 概要 ディスプレイ 光学 シースルーディスプレイ 解像度 2k 3:2 密度 2.5k ラジアン以上 (light points per radian) レンダリング 3次元で目の位置を追跡して最適化する センサー ヘッドトラッキング アイトラッキング Depth Azure Kinect センサー IMU 加速度、ジャイロ、地磁気 カメラ 静止画: 8M, 動画: 1080p30 音声 マイク 5チャンネル スピーカー 空間
- 15. ハードウェアスペック(2/2) 15 区分 項目 概要 人間の理解 ハンドトラッキング 両手の関節に対応、ダイレクトマニピュレーション アイトラッキング リアルタイムトラッキング 音声 音声コマンド 環境理解 6DoFトラッキング ワールドスケールの位置追跡 Spatial mapping リアルタイムに環境メッシュを作成する Mixed reality capture コンピューター SoC Qualcomm Snapdragon 850 Compute Platform HPU 第2世代 holographic processing unit WiFi 802.11ac 2x2 Bluetooth 5.0 USB USB Type-C
- 16. 細かい話 • フリップアップはハードウェア的にその状態を認識しない • USB-Cポートはホスト機能を持っている • USB機器をHoloLens 2内で認識する 16
- 17. HoloLens 1 とHoloLens 2 の同異点
- 18. 視野角 18
- 19. 装着 19
- 20. ゲイズ(Gaze) • HoloLens 1 • Gaze(といっても頭の向き、Head Gaze) • HoloLens 2 • Head Gaze → アプリ内では引き続き使用可能 • Hand Rays → OSの操作含めて一番多く使用する • Eye Gaze → アイトラッキングが可能になったため本来の意味のもの 20
- 21. ジェスチャー • HoloLens 1 • GazeとAirTapによる選択 • HoloLens 2 • Push → 近くの操作(Near Interaction) • Point and commit → 遠くの操作(Far Interaction) 21
- 22. ブルーム(Bloom) • HoloLens 1でスタートメニューを呼び出すBloomは、 ハンドジェスチャーの追加に伴って廃止 • HoloLens 2では手首に指をあてることでスタートメニューが表示 される 22
- 23. HoloLens 2 の開発環境
- 24. 開発環境 24 Unity 2018 Unity 2019 Unity Unity 2018.4.x Unity 2019以降 Visual Studio Visual Studio 2017以降 Visual Studio 2017以降 Windows SDK 18362 18362 サポート環境 ARM ARM, ARM64 バックエンド .NET, IL2CPP IL2CPP ネットワーク UNET --- MRTK MRTK v2 MRTK v2
- 25. 開発環境選定の方針 • Unity 2019を使う必要がある場合を除いて、 Unity 2018で環境を作るほうが良い • Unity 2019の場合、Unityからの出力がIL2CPPのみと なるので、ビルド時間およびデバッグ時間が長くなる 25
- 26. HoloLens 1 のアプリを HoloLens 2 に移植する
- 28. ポイント • CPUがARMに変わったので、DLLを使っている場合は ARM用にビルドを確認する • マネージドかつAnyCPUでビルドされているDLLの場合はそのまま使用可能 • HTKからMRTK v2への移植は(現状では)結構大変 • (現状では) UI/UXについてHL1とは別で考えたほうが良 いと考えている • 視野角、ハンドトラッキング、アイトラッキング、性能などハードウェア的な機能が大きく変わ るため 28
- 29. 現状の注意点 • VuforiaがUWPのARMに対応していないのでARMビル ド時にエラーになる（Vuforia側の対応待ち） • HL1のアプリをそのままHL2用にビルドした場合、Head GazeがHand Raysに変わる • ソフトウェア側の対応で戻すことも可能 29
- 30. DLLのHoloLens 2対応について 30 if else if else if else
- 31. ハードウェアの違いについて 31 HoloLens 1 HoloLens 2 CPU X86 ARM アプリ使用可能メモリ量 900MB 2048MB
- 32. アーキテクチャの判別 • 下記コードでアプリがビルドされたアーキテクチャの判別が 可能 32 var 値 ターゲット 備考 X86 HoloLens 1 Arm HoloLens 2 Arm64 HoloLens 2 OSやSDKのバージョンが古い場合、「12」という数値で返る https://docs.microsoft.com/en-us/uwp/api/windows.system.processorarchitecture ProcessorArchitecturere列挙体
- 33. 移植の戦略 33
- 35. 移植含めたアプリの考慮事項 • HL1とHL 2でアプリを共通にするか • HL1ベースでそのままARMビルドしてHL2で動作させる • 同じプロジェクトでHL1とHL2それぞれの特徴にあったアプリにする • HL1とHL2でUnityプロジェクトを共有するか • 操作系をHL1のままにするのであれば、プロジェクトの共通化は可能 (x86かARMビルドかの差) • 操作系をHL1とHL2で分けるのであれば、プロジェクトごと分けたほうが安全 (と現状では考えている) 35
- 36. ポーティング参考サイト • Porting Guide • Bringing the Periodic Table of the Elements app to HoloLens 2 with MRTK v2 36 https://microsoft.github.io/MixedRealityToolkit- Unity/Documentation/HTKToMRTKPortingGuide.html https://medium.com/@dongyoonpark/bringing-the-periodic-table- of-the-elements-app-to-hololens-2-with-mrtk-v2- a6e3d8362158?postPublishedType=repub
- 39. Unity
- 40. 注意事項 • 本資料の内容はMRTK(後述)のバージョンとして Microsoft Mixed Reality Toolkit v2.0.0 RC2 を基にしています • 正式リリース版では変更される可能性があります 40 • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0-RC2 は以降 MRTK Foundation と表記 • Microsoft.MixedReality.Toolkit.Unity.Examples-v2.0.0-RC2 は以降 MRTK Examples と表記
- 41. Mixed Reality Toolkit • Mixed Reality Toolkit(以降MRTK)はMicrosoftが Githubで公開しているオープンソースプロジェクト • Unity上でMRアプリ開発を加速するための基本的なコ ンポーネントと機能のセットを提供する 41 https://github.com/microsoft/MixedRealityToolkit-Unity
- 42. MRTK ロードマップ • 現在公開されている最新のバージョンは Microsoft Mixed Reality Toolkit v2.0.0 RC2.1 • 正式リリースは2019年7月予定 42 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap ・まだPre-releaseの段階
- 43. MRTK ロードマップ • MRTK v2 RC1 • HoloLens 2 をサポート • API規約確定 (以降破壊的変更は発生しない) • MRTK v2 RC2 • UXのアップデート • MRTK v2 Release • 正式リリース • HoloLens1/2, WMR, OpenVRをサポート 43 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap
- 44. 開発環境 • MRTK v2ではUnity 2018.4.xが推奨されている(Unity 2019ではない)点に注意が必要 • ARM64でビルドする場合はUnity 2019以降が必要 44
- 45. HoloLens 2 emulator • エミュレータのダウンロード • https://docs.microsoft.com/en-us/windows/mixed-reality/using-the-hololens- emulator の HoloLens 2 Emulator and holographic project templates からイン ストーラをダウンロードして実行することでEmulatorを利用可能 • エミュレータでの動作はARMではなくx86なので本番環境とは異なる点に注 意 45 https://docs.microsoft.com/en-us/windows/mixed-reality/using-the-hololens-emulator
- 46. Hyper-Vの有効化 • HoloLens 2 emulator を 利用するにはHyper-Vを 有効化する必要がある 46 https://docs.microsoft.com/ja-jp/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v
- 47. HoloLens 2 emulatorの実行 • エミュレータの実行 • UWPのプロジェクトファイルの実行環境からHoloLens 2 Emulatorを選択する • デバッグ -> デバッグの開始でエミュレータが起動する 47
- 48. HoloLens 2 emulatorの実行 • コマンドラインによるエミュレータの起動 • なお、ハードスペックによって3Dアプリが動作しない場合があるようです 48 https://qiita.com/miyaura/items/d3e0768ece174eb2e613
- 49. HoloLens 2 emulatorの実行 • エミュレータの実行 • 初回起動時は以下確認ダイアログが表示され、配置エラーになる 49
- 51. HoloLens 2 emulatorの操作 51 操作 マウス＆キーボード Xboxコントローラ 前後左右への移動 W,A,S,Dキー 左スティック カメラの移動 マウスドラッグ, カーソルキー 右スティック エアタップ 右クリック, エンターキー Aボタン ブルーム/システムジェスチャー Windowsキー, F2キー Bボタン スクロールのための手の動き Altキーとマウス右ボタンを押しながら マウスを上下に移動 右トリガーとAボタンを押しながら 右スティックを上下に移動 手の動きと回転(HoloLens 2 Emulator のみ) Altキーを押しながらマウスを上下左右に移 動(手を動かす),カーソルキーとQ / Eキー(回 転,傾き) LBまたはRBを押しながら左スティック(手を 前後左右に動かす), 右スティック(回転),方 向パッド上下(手を上げ下げ)
- 52. MRTKの特徴 • MRTK FoundationはアプリケーションがMixed Realityプラ ットフォーム間で共通の機能を利用できるようにする一連の パッケージ • MRTK Foundationは以下で構成される • Core Package : 必須のコンポーネント • Platform Providers : 様々なデバイスを利用可能にするためのコンポー ネント • System Services : コアパッケージで定義されているMRTKのシステム サービスインターフェイスのデフォルト実装が含まれている • Feature Assets : Unityアセットおよびスクリプトとして提供される関 連機能の集まり 52 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Packaging/MRTK_Packages.html
- 53. MRTKの特徴 • MRTK Foundation および MRTK Examplesインポート 後のProjectの状態 53 Feature Assets 一般的にはSDK(および一部のServices)を 利用するだけでアプリケーションを構築可能 Core Package Platform Providers System Services 様々なサンプル
- 54. MRTK Examples
- 65. MRTK Examples • Glb-Loading-Demo • Glbファイルの読み込みサンプル • ネットワークからの動的読み込み • Gltf-Loading-Demo • Gltfファイルの読み込みサンプル • ローカルファイルの動的読み込み 65 Gltf https://raw.githubusercontent.com/KhronosGroup/glTF-Sample- Models/master/2.0/BoomBox/glTF-Binary/BoomBox.glb ¥GltfModels¥Lantern¥glTF¥Lantern.gltf
- 73. MRTK Examples • InputActionsExample 73 Input RC2で追加 以下のカスタムプロファイルを作成している • Input Actions profiles • Controller Mapping profile • Speech Commands profile • Gestures profile
- 89. アプリ実装の基本
- 90. アプリ実装 • Unityでプロジェクトを新規作成 • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0- RC2.unitypackage インポート • メニューの Mixed Reality Toolkit -> Add to Scene and Configure… を選択 90
- 91. アプリ実装 • プロファイル選択画面が表示された場合(新規でシーンを作成した場 合)は DefaultMixedRealityToolkitConfigurationProfile を選択 (プロファイルについては後述) 91
- 92. アプリ実装 • Build Settingsにて Universal Windows Platform を選択し Switch Platform ボタンを押下する 92
- 94. ビルド • Build Settings の Buildボタンを押下でビルドを開始する • この際、エラーが表示されるがビルドは成功しておりUWP用のプロジェク トが生成される 94 参考： Unity UWP Build: Reference Rewriter found some errors#3939 https://github.com/microsoft/MixedRealityToolkit- Unity/issues/3939 Unityのバグにより起こるエラーのようですが、無視しても 問題ないと記載されています
- 95. ビルド • Windows 10 SDK (10.0.18362.0)がインストールされていない場合、 エラーが表示されビルドは失敗する 95
- 96. プロファイル
- 97. プロファイル • MRTKはProfileで設定を構築していく • 参考：Mixed Reality Toolkit configuration guide 97 ←プロファイル設定
- 98. プロファイル • デフォルトプロファイル（編集不可）が準備されている • コピーしてカスタムプロファイルを作成していく • 新規で作成することも可能 98
- 99. プロファイル • プロファイルは継承関係を辿るとScriptableObjectから派生し たものであることが分かる • 設定内容はassetファイルとして保存されるため一度構築する ことで再利用も可能 99 継承関係 ScriptableObject └ BaseMixedRealityProfile └ MixedRealityToolkitConfigurationProfile
- 100. 主要なプロファイル • Camera Profile • Input System Profile • Boundary Visualization Profile • Spatial Awareness System Profile • Diagnostics Profile 100
- 101. Camera Profile • カメラの設定を行う • HoloLensにおける設定は Transparent Display Settings • Opaque Display Settingsは VRデバイス用の設定 101
- 102. InputSystem Profile • インプットに関する設定を行う • InputSystem Profile配下には、さらに細分化されたカテゴリに分類さ れている 102
- 103. InputSystem Profile 103 Pointers Input Actions 入力とアクションの紐づけ設定ポインタの設定 Input Data Providers データ提供の設定
- 104. InputSystem Profile 104 Controller Mapping コントローラマッピングの設定 コントローラ視覚化の設定
- 105. InputSystem Profile 105 Gestures Speech Commands Hand Tracking Profile ジェスチャーの設定 音声コマンドの設定 ハンドトラッキングの設定 利用したい音声コマンド とキーボードショートカット、 アクションを登録
- 107. Spatial Awareness Profile • 環境認識の設定を行う • 環境認識を行うかどうか、メッシュ の更新間隔、マテリアルの設定 等が可能 107
- 108. Diagnostics Profile • 診断システム視覚化の設定 を行う • 診断システムは開発時に利 用することが推奨されている が、製品版では無効化する よう注意が必要 108
- 109. ハンドトラッキング・アイトラッキング実装
- 110. ハンドトラッキング実装 • 掌(Palm)の位置を取得する実装例 • ジョイントは enum TrackedHandJoint で定義されている 110
- 111. アイトラッキング実装 • 目の位置、方向を取得するための準備 • Input System Profile の Windows Mixed Reality Eye Gaze Provider ->Typeを WindowsMixedRealityEyeGazeDataProviderにする 111 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_BasicSetup.html
- 112. アイトラッキング実装 • Main CameraのインスペクタでGaze Providerの Prefer Eye Trackingにチェックを入れる • UWPプロジェクトのPackage.appxmanifestを開き「視線入 力」の機能にチェックを付ける 112
- 113. アイトラッキング実装 • Unity Editor上でアイトラッキングの動作確認を行う場合は、 Simulate Eye Positionにチェックを入れる必要がある • MRTK Configuration Profile → Input System Profile → Data Providers → Input Simulation Service 113
- 115. 参考：Eye-gaze デザインガイドライン 1. 目の視線入力 != 頭の視線入力 • 高速だが不規則な目の動きが入力タスクに合っているかどうかを検討する • ユーザーの視線入力に何か (カーソルなど) を直接に取り付けるのは避ける 2. 目の視線入力と他の入力を組み合わせる 3. 視線追跡入力の繊細なフィードバック 4. 入力としての不自然な目の動きを強制しない 5. 不正確さを考慮に入れる • 操作する対象として十分大きいターゲットを用意する等 115 https://docs.microsoft.com/en-us/windows/mixed-reality/eye-tracking#eye-gaze-design-guidelines
- 116. 参考：Build セッション 116 Intro to Building Apps for HoloLens 2 Using Unity and Mixed Reality Toolkit https://mybuild.techcommunity.microsoft.com/sessions/77094?source=sessions#top-anchor
- 117. 参考：公式チュートリアル 117 MR Learning ベースのモジュールのプロジェクトの初期化と最初のアプリケーション https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch1 MR Learning ベースのモジュールのユーザー インターフェイスでは、手 Tracking、および現実ツールキットの構成を混在 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch2 動的なコンテンツの配置とソルバー MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch3 MR Learning ベースのモジュールの 3D オブジェクトの相互作用 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch4 入力を高度な MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch5 MR Learning ベース モジュール - 旧暦モジュール アセンブリ サンプル エクスペリエンス https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch6
- 118. 参考：非公式チュートリアル 118 MR Learning Base Module で学ぶHoloLens 2アプリ開発 その１ 動作確認 https://www.tattichan.work/entry/learningmodule1 MR Learning Base Module で学ぶHoloLens 2アプリ開発 その２ UIとハンドトラッキング https://www.tattichan.work/entry/learningmodule2 MR Learning Base Module で学ぶHoloLens 2アプリ開発 その３ 動的なコンテンツ配置とソルバー https://www.tattichan.work/entry/learningmodule3 MR Learning Base Module で学ぶHoloLens 2アプリ開発 その４ 3Dオブジェクトインタラクション https://www.tattichan.work/entry/learningmodule4 MR Learning Base Module で学ぶHoloLens 2アプリ開発 その５ 高度な入力 https://www.tattichan.work/entry/learningmodule5
- 120. Unreal Engine 4
- 123. Streaming • HoloLensにHolographic Remoting Playerをインストール • PluginsでMicrosoft Windows Mixed Realityを有効にする • Project Settings のPlatformsで Windows Mixed Realityを選択し、 HoloLensのIPアドレスを入力し Connectする 123 https://docs.unrealengine.com/en-US/Platforms/AR/HoloLens/QuickStart/index.html
- 125. エンジンビルド準備 • EpicGamesのGitHubからUnrealEgineのdev-vr- hololens2ブランチをクローンする 125 https://github.com/EpicGames/UnrealEngine/tree/dev-vr-hololens2 （READMEに書かれている）必要環境 • Microsoft HoloLens 2 HMD • Windows Insider Account • Microsoft Windows 10 Insider Preview Build (version 18317 or later) • Windows Insider Preview SDK (version 190501 or later) • Visual Studio 2017 (with current updates) 動作確認できた環境 Visual Studio 2017
- 126. エンジンビルド準備 • Visual Studio 2017のインストール • 「C++によるゲーム開発」にチェックを入れる • 個別コンポーネントの「Unreal Engine のインストーラー」 「Nuget パッケージマネージャー」にチェックを入れる 126 https://github.com/EpicGames/UnrealEngine (言語は英語がいいようですが後から変更できます）
- 130. エンジンビルド • Visual Studio で UE4.sln を読み込む • ソリューションの構成を「Development Editor」、ソリューション プラットフォームを「Win64」に設定する 130
- 131. エンジンビルド • (保存フォルダ)¥Engine¥Source¥Runtime¥Core¥Public¥Misc¥Char.h の以 下のコメント部を削除 • これをしないと UNREAL EDITOR のパッケージ作成の際にエラーが出る 131 UATHelper: Packaging (HoloLens):(保存フォル ダ)¥unrealengine-dev-vr- hololens2¥engine¥source¥runtime¥core¥public¥Misc/Char.h: error C4819: The file contains a character that cannot be represented in the current code page (932). Save the file in Unicode format to prevent data loss /** * Avoid sign extension problems with signed characters smaller than int * * E.g. 'Ö' - 'A' is negative since the char 'Ö' (0xD6) is negative and gets * sign-extended to the 32-bit int 0xFFFFFFD6 before subtraction happens. * * Mainly needed for subtraction and addition. */ エラー内容 削除する部分
- 132. エンジンビルド • ソリューションエクスプローラで UE4 を右クリックし Buildを選択 する（ビルドには数十分かかる） 132
- 134. エンジンビルド • ソリューションエクスプローラで UE4 を右クリックし Set As StartUp Project を選択する • F5(デバッグ有り)もしくは Ctrl+F5(デバッグ無し)で UNREAL EDITOR 4.23.0 が起動する 134
- 136. サンプルプロジェクト • 以下サイトサンプルプロジェクトへのリンクがあるため取得 してzipを展開する • HoloLens2Example.uproject を UNREAL EDITOR で開く 136 https://www.unrealengine.com/ja/blog/unreal-engine-4-support- for-hololens-2-released-in-early-access?lang=ja
- 137. サンプルプロジェクト • なお言語を English にしておかないと、パッケージ作成の ログメッセージが文字化けします（パッケージの作成自体 はできた） 137
- 139. サンプルプロジェクト • メニュー 「Edit」 - 「Plugins」を選択する 139
- 140. サンプルプロジェクト • HoloLens の Enabled にチェックが入っていることを確認する 140
- 141. サンプルプロジェクト • Microsoft Windows Mixed Reality の Enabled にチェック が入っていることを確認する 141
- 142. サンプルプロジェクト • メニュー 「Edit」 - 「Project Settings…」を選択する 142
- 143. サンプルプロジェクト • Signing Certificate の Generate new を選択する • Create Private Key Password で OK→はい を選択する 143
- 145. サンプルプロジェクト • Publisher の Company Name, Company Distinguished Nameに CN=NoPublisher を入力する 145
- 146. サンプルプロジェクト • メニュー 「File」 - 「Package Project」 - 「HoloLens」を 選択する 146
- 148. サンプルプロジェクト • HoloLens 2 Emulater 右上の Open Device Potal ボタンを 選択する 148
- 149. サンプルプロジェクト • Device Potal が立ち上がるため Views -> Apps を選択し、 「ファイルを選択」から HoloLens2Example.appxbundle を選 択し Install ボタンを押す 149
- 150. サンプルプロジェクト • Installed apps から HoloLens2Example を選択し、 Start ボタンを押すとアプリが起動する 150
- 151. サンプルプロジェクト実行 151
- 152. サンプルプロジェクト実行 • UNREAL EDITOR で実行し、キーボードのキーを（適当 に）押すとボタンや3Dモデルが表示される 152
- 153. 参考：Build セッション 153 https://mybuild.techcommunity.microsoft.com/sessions/77095?source=TechCommunity#top-anchor Intro to Building Mixed Reality Apps with Unreal Engine 4
- 154. HoloLens 2 が待てないあなたに！ • LeapMotionInputForMRTK (@tarukosu 作) 154 https://github.com/HoloLabInc/LeapMotionInputForMRTK • HoloLens 1 + Leap Motion でハンド操作による入力ができる • アタッチメントのCADデータも公開されている（CADデータは @ogacyo 作）