Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

RoomAlive - HoloLensに向けていまできること

1,840 views

Published on

HoloLensのおさらいと、RoomAlive Toolkitを試してみたおはなし

Published in: Technology
  • Be the first to comment

RoomAlive - HoloLensに向けていまできること

  1. 1. RoomAlive - HoloLensに向けていまできること 蜜葉 優
  2. 2. • H.N. :蜜葉 優 [@mitsuba yu] • UX Designer / Interaction Developer • Keynoteの表紙はいつも自分で撮影 • 今回はホワイトホースのオーロラ • 最近のお仕事はWPFとStoreApps(!UWP) • Microsoft MVP for Windows Development • http://c-mitsuba.hatenablog.com profile
  3. 3. いま一番さわってみたいものといえば
  4. 4. 今日はKinectとプロジェクタを使って AR的なことをやってみます。
  5. 5. その前段階の技術として、 今日はRoomAliveを紹介します。
  6. 6. • HoloLensおさらい • RoomAliveとは • DEMO • 開発環境とか agenda
  7. 7. HoloLens
  8. 8. • メニューがでてくる • 部屋の形状を認識できる • ブラウザとか3Dオブジェクトを、ホログラム 的に表示できる • オブジェクトは部屋のどの位置に表示されて いるか記憶されている • 回りこむと、オブジェクトの裏側が見える HoloLens おさらい
  9. 9. RoomAlive
  10. 10. RoomAlive
  11. 11. ね、ほろれんずみたいでしょう?
  12. 12. • MS Researchが開発してる • Kinectで部屋の形状を認識して、  いい感じに複数のプロジェクタで 部屋中を投影する
  貴族向けプロジェクションマッピング技術
  (ただし1プロジェクタでも可) • Magical Experiences Enabled by Scalable, Adaptive Projector-Camera Units • https://www.youtube.com/watch?v=ILb5ExBzHqw RoomAliveとは
  13. 13. • ちなみに全身となった
 illumiRoomは2013年に 発表されてる。 • ディスプレイにプロジェ クタを向けて、画面外に もゲームを投影する技術 • HoloLensが来年に DeveloperKitが出るので ほぼ3年越し。 • (プロジェクタで遊んだらいいやん (とは言わない約束 • (雰囲気大事
  14. 14. とりあえずやってみよう DEMO
  15. 15. • ソフトウェア • Kinect for Windows v2 SDK -> 公開されてる • RoomAlive Toolkit ->GitHubで公開されてる • ハードウェア • Kinect v2 ->先週買ってきた • プロジェクタ -> ご家庭のものでOK • GPU付きの速いぱそこん ->べるびゅで仕入れ! 開発環境
  16. 16. • 部屋の片付け -> これが一番大変 • プロジェクターとKinectをマッピングしたい面  に投射 • この時平面にマッピングしようとするとエラーに なる!!! • パソコンの画面設定は拡張モードにする RoomSetup
  17. 17. • KinectServer.exeを管理者権限で起動 • Socketで深度とか返してくれる • ProjecterServer.exeを管理者権限で起動 • たぶん画面情報取得してる • CalibrateEnsemble.exeでcalibration.xmlを生成 • XMLを環境に合わせて、微妙に書き換える • Calibrationする CalibrationSetup
  18. 18. • Calibrationしたら、いろんな素材を書き出して、 使う。 • XMLの保存もわすれずに。 CalibrationSetup
  19. 19. • マッピング情報が設定できてるはず、、なので、もう Kinectは必要ない。 • 別のトラッキングにKinectを使える • Calibrationすると、マッピング情報のXML以外に、 Kinectを照射したオブジェクトとテクスチャが一緒に保存 される。 • ProjectionMappingSample.exeをcalibration.xmlのファイ ルパスを引数に実行 Calibrationできた!
  20. 20. 出来上がったファイルを見てみよう
  21. 21. 出来上がったファイルを使って、サ ンプルを動かしてみよう
  22. 22. これだけだとあれなので、 生成したオブジェクトとテクスチャ を使ってみよう 時間があれば。。。
  23. 23. • RoomAlive toolkitはプロジェクションマッピングツール • プロジェクションマッピングに必要な様々なリソースを 作成できる。 • 点群plyファイル • 面のついたobjファイルとテクスチャ • RGBカメラで撮った画像ファイル jpg ttf • 深度センサで作成したモノクロ画像ファイル • マッピングのコンフィグが書かれたXML まとめ
  24. 24. • RoomAlive toolkitのサンプルはSharpDXでできてる
 けど、素材を使っていろんな方法で開発できる • 例えばUnityとかで、コンフィグのxmlを使って、パース が設定されるようなカメラを作成すれば、簡単にマッピ ング可能 • 他にも、できた3Dモデルを、実世界に投影して輪郭だけ 動かしたりもできそう。 • 素材作りは簡単、実装はそこそこ、環境作りが一番大変 まとめ

×