Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

HoloLens RS4

2,100 views

Published on

4/17 HoloLens RS4 Preview公開記念勉強会!@アカツキ で登壇した内容です。(一部動画がSlideShareの仕様上動きませんので、必要に応じてDLしてください。)
https://hololens.connpass.com/event/83943/

Published in: Engineering
  • Be the first to comment

HoloLens RS4

  1. 1. HoloLens RS4
  2. 2. Shinya Tachihara - ホロラボ のプログラマです - “デコシノニッキ”でブログ書いています - HoloPlanisphere 買ってほしいな (200円) デコシ(@Ash_Yin)
  3. 3. HoloLab.Inc 所在地:東京都品川区西五反田 資本金:2,000,000円 設立日:2017年1月18日 創業者:5名 従業員:13名
  4. 4. ・ 共同研究 ・ VR/ARの技術調査 研究 ・ 受託開発 ・ 研究開発 ・ コンサルティング 開発 ・ 講演 ・ セミナー ・ トレーニング 普及活動 業務内容
  5. 5. HoloLens RS4
  6. 6. だいたいブログに書いちゃった すまぬ…
  7. 7. HoloLens Spring Creators Update ( Red Stone 4 ) ・ RS4: 3/28 に公開された Preview 版のOS (ver 1803) ・ 機能の追加や改善がされた
  8. 8. HoloLens Spring Creators Update ( Red Stone 4 ) 間のバージョンはスキップされ,PCのInsider Preview と同じ 名称 リリース日 バージョン OS ビルド コードネーム Anniversary Update 2016/8/2 1607 10.0.14393 Redstone 1 Creators Update 2017/4/11 1703 10.0.15063 Redstone 2 Fall Creators Update 2017/10/17 1709 10.0.16299 Redstone 3 Spring Creators Update 2018/??/?? 18xx 10.0.17xxx Redstone 4
  9. 9. Install RS4
  10. 10. Install Preview Build 事前準備: HoloLens の Insider Preview Build 受け入れ態勢を作る 1. Settingsを開く 2. Update & Securityを選択 3. Get Insider Preview buildsを選択 4. Get Started を選択 5. 再起動
  11. 11. Install Preview Build 事前準備: HoloLens の Insider Preview Build 受け入れ態勢を作る 十分に充電する ( 最低25%必要ですが、アプデ最中に下回るとこけます )
  12. 12. Install Preview Build 1. Windows Device Recovery Tool (WDRT) (https://aka.ms/wdrt) 2. RS4 package (https://aka.ms/hololenspreviewdownload) 事前準備:リカバリーツールとOSのパッケージをDLする
  13. 13. Install Preview Build USBでHoloLensをつなぐ
  14. 14. Manual package selection からDLしたpackageを指定してInstall Install Preview Build
  15. 15. 覚悟が試されます Install Preview Build
  16. 16. 気長に待ちます Install Preview Build
  17. 17. 成功です。 懐かしのセットアップをやり直しましょう(ツライ Install Preview Build
  18. 18. What’s new
  19. 19. APIGesture Spatial Mapping Machine LearningResearch ModeWebVR/AR Update contents 3D App Launcher
  20. 20. General
  21. 21. Auto-placement of 2D and 3D content on launch: 従来:「立ち上げ→Adjust→配置」 RS4:「立ち上げると即配置される」 自動配置
  22. 22. 2D app horizontal resize with reflow: 2Dタイルを縦横に引き延ばせるようになった (Twitterがはかどる) 水平/垂直方向のリサイズ
  23. 23. Expanded voice command support: “Go to Start” - StartMenuを立ち上げる/ Immersive App を終了 “Move this” - AdjustModeにする “Select” など音声認識率の向上
  24. 24. Updated Holograms and Photos apps: HologramsとPhotoがアップデート( クリフハウスと同じ )
  25. 25. Improved mixed reality capture: 音量調節 UP/DOWN の3秒同時長押しで、録画モードになります 3秒同時長押し (同時長押しで、スクショ撮れるのは前からだよ…)
  26. 26. Limited Mode: 長時間トラッキングロス状態が続くと, 従来: Limited Mode に移行するか確認ダイアログがでる RS4: 自動でLimited Modeへ移行 (復帰可能であれば自動解除する)
  27. 27. Consolidated spaces: 配置済みのHologramsを消す (以前はSpacesにある項目だった) Settings > System > Holograms > Remove nearby holograms Settings > System > Holograms > Remove all holograms:
  28. 28. Improved audio immersion: 空間音響が 改善されたらしい
  29. 29. MTP (Media Transfer Protocol) support: PCのFile ExplorerからHoloLensのライブラリにアクセスできるように なった
  30. 30. Gesture
  31. 31. ジェスチャーで操作 できるんですよ~両手使えないの? よくある質問
  32. 32. Fluid app manipulation: 移動、拡縮、回転がAdjustモードにしなくてもできるようになった 移動 回転拡縮 Two hand manipulation: 片方の指を立てた状態で Manipulation 両手でManipulation 両手でManipulation
  33. 33. 両手の入力を取得できるぞ!
  34. 34. 両手の入力を取得できるぞ! かと思うじゃん?
  35. 35. そう甘くはない 右手左手を判定できる様になった訳ではない。 InteractionSource.handednessは右手か左手返すUnity API 残念なお知らせ
  36. 36. MRDesignLabs (2017/07)ではこれら機能は公開されていたが, それがOSレベルで実装された (操作方法もだいたい同じ) https://github.com/Microsoft/MRDesignLabs_Unity_LunarModule 両手操作は別に新しくない: https://qiita.com/miyaura/items/d44e50f4cb422fdf0500
  37. 37. 両手使えないの? 標準では使えるのに? 標準UIでできることがアプリでも 同様に求められる? 想定されるケース
  38. 38. Mixed Reality Toolkit : 最新のMRTKに両手操作が統合された とはいえ、“操作の自由度”は”開発の難しさ”に直結するので大変… ExampleのTwoHandManipulationTest
  39. 39. Motion Controller : ペアリングしてHomeボタン,トリガ入力は取得できます ( 位置は取れません )
  40. 40. Spatial Mapping
  41. 41. Spatial mapping improvements : より綺麗に早く生成され,パフォーマンスがよくなった Unity上でも綺麗に、Mapが生成されている 気がする? (Tri 500)
  42. 42. Spatial mapping improvements :
  43. 43. Spatial mapping improvements : お布団 壁 スムーズになっている?
  44. 44. Spatial mapping improvements :
  45. 45. API
  46. 46. Automatic selection of focus point based on depth buffer : ・Depth Bufferを利用してFocus point を自動的に設定する。 ・Unity2017.3より。 Focus Point って?
  47. 47. • Virtualオブジェクトを安定化させる単一平面 • 自動的に選択・実行されるがフォーカスポイントを選択するこ とで制御も可能 • 適切に設定しないとオブジェクトがブレるなどの原因になる Stabilization Plane : http://littlewing.hatenablog.com/entry/2017/11/14/221648 皆さん設定してますか?
  48. 48. • 安定化平面の位置、姿勢はUnityAPIからマニュアルで指定 • MRTKでは、InputManager PrefabにアタッチされているStabilization Plane Modifierが制御を担っている Stabilization Plane : •TagertObjectを指定する •GazeHitで位置を指定する •位置を固定する Stabilization Plane Modifier の制御法 は3パターン
  49. 49. Automatic selection of focus point based on depth buffer : Enable Depth Bufferはこれを自動化する Edit > Project Settings > Player > Universal Windows Platform tab > XR Settings 24-bit depth 16-bit depth を選択できる
  50. 50. Holographic reprojection modes : ・Positional reprojection (位置再投影) を切れる ・360度動画向け ・Unity2017.3より利用可能 2018ではうごきませんでしたー。ご報告お待ちしております。 (HoloLensでそもそも360動画系はあまりやらないのでどうなんだろう…)
  51. 51. HoloLens, Immersive, 2Dのどれでコンテンツが 再生されているかを自動で判断する Unityでは既に”HolographicSettings.IsDisplayOpaque”で, 処理の書き分けができていたが,DirectXでもできるように なった App tailoring APIs :
  52. 52. Research Mode
  53. 53. ・Low-levelのセンサーデータにアクセスできるようになる ・パフォーマンスとバッテリーへ影響 ・ストアアプリには非対応 Research Mode:
  54. 54. ・ 環境トラッキングカメラ(×4) : Spatial MapとHead Tracking用。 ・近距離IRカメラ(×1) :30fpsで動作。Hand Tracking 用。 ・ 遠距離IRカメラ(×1) :1fpsで動作。Spatial Mapping用。 ・ IR-reflectivity stream:深度計算用。近距離IRImageとDepth情報 Research Mode:
  55. 55. Research Mode: https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates masterではなくfeature branch にして,Streamer (UWP) を実行する 使い所が難しい…
  56. 56. WebVR/AR
  57. 57. WebVR/AR : • ウェブブラウザ上でVRデバイスを認識するために用いられる JavascriptのAPIのこと • Immersive Headset では先行してこの機能が使えていた
  58. 58. WebVR/AR : HoloLensでも一部 (ThreeJS/BabylonJS) のWebVRコンテンツが動かせる (SketchfabやA-Frame(ThreeJSベース)は動かなかった) BabylonJS動かしたもの ThreeJS動かしたもの 所感:ThreeJSのほうがサクサク動く?
  59. 59. htmlファイルを開いてローカルでも実行できます (クリックで飛べます) WebVR/AR :
  60. 60. File Explorer: ローカルで実行するためには、RS4より追加されたFileExplorerを利用 (動作不安定 よくフリーズします)
  61. 61. コツは必要なファイルはExplorerの一番上に置くこと 面倒な場合はファイルを送れば一番上に置かれます WebVR/AR :
  62. 62. WebVR/AR : https://github.com/mrdoob/three.js/blob/master/examples/webvr_cubes.html 透過処理を忘れずに…
  63. 63. WebVR/AR : https://medium.com/@ykobayashi/mozilla%E3%81%AEwebar%E3 %81%AF%E4%BD%95%E3%81%8C%E5%87%84%E3%81%84%E3%8 1%AE%E3%81%8B%E5%80%8B%E4%BA%BA%E7%9A%84%E3%81% AB%E3%81%BE%E3%81%A8%E3%82%81%E3%81%A6%E3%81%BF %E3%81%9F-362586334eb1 (一部抜粋) “Web ARの1番のメリットはユーザーはアプリを 入れる必要がないということです。ユーザーは 指定されたURLにQRコードなどでアクセスすれ ば ARを体験できるわけです。このカジュアルさ はやはりWebの従来のサービス同様にWebの強み です。”
  64. 64. WebVR : https://www.microsoft.com/en-us/store/p/qr- code-for-windows-10/9nblggh5m02g
  65. 65. WebVR/AR : 「アプリを作りたい」というより、まず「モデルがどう見えるか」 単にモデルを見るために、環境構築してゲームエンジンに、モデル を組み込んで、プログラムを書いて、ビルドしてHoloLensで動かす… というのは大変な場合が多い WebVR/ARはそういったハードルを乗り越える1つの可能性
  66. 66. 3D App Launcher
  67. 67. HoloLens発売以降ずっと その作り方が不明だったこいつ
  68. 68. 昨年10月頃 Immersive Headsetでは 作り方が公開された HoloLensェ…
  69. 69. HoloLensでもRoboRaidのように3Dのアプリランチャーを設定できるようになった 3D app launcher :
  70. 70. 3D app launcher : 制限有 • .glb であること (glTFのバイナリ) • 10k Triangles以下であること • Texture サイズが4096*4096より小さいこと • WindowsMRAssetConverterで最適化されていること (と書いてありますが、しなくても大丈夫です)
  71. 71. 3D app launcher : BlenderにImportして モデルを調整する Blenderから.glbで Exportする C# Projectの Assetに入れる スクリプトを 修正する 大まかな流れ
  72. 72. 3D app launcher : LTで誰か話しそうな雰囲気なので譲ります
  73. 73. 3D app launcher : 独自の3Dアイコンはアプリの魅力をぐっと高める
  74. 74. 3D app launcher : 3Dモデル難しそうという人は… ペイント3Dでも作れます モデルの調整はBlenderで必要ですが…
  75. 75. Machine Learning
  76. 76. Windows.AI.MachineLearning https://docs.microsoft.com/en- us/windows/uwp/machine-learning/ Insider Preview Buildで公開された学習済み の機械学習モデルを,ローカルで評価する ためのプラットフォーム ネットワーク環境のないオフライン状態で 利用できる HoloLensでも動きます
  77. 77. Windows.AI.MachineLearning HoloLens × Cognitive Services HoloLens だけで完結
  78. 78. Windows.AI.MachineLearning HoloLens × Cognitive Services HoloLens だけで完結 といってもパフォーマンスはやっぱりよくない どこまでをローカルでできるか?? オンラインで動作させる必要性??
  79. 79. Windows.AI.MachineLearning HoloLens × Cognitive Services HoloLens だけで完結 といってもパフォーマンスはやっぱりよくない どこまでをローカルでできるか?? オンラインで動作させる必要性??
  80. 80. Windows.AI.MachineLearning HoloLens2の伏線
  81. 81. Windows.AI.MachineLearning AI AR/VR IoT
  82. 82. まとめ RS4では、 • UI/UXが改善されたので、開発側もよく考えよう • WebVR/ARで可能性が広がった • Windows ML でAI * IoT * MR の話が増えそう

×