Immersal で広がる Magic Leap の拡張範囲
•0 likes•375 views
Report
Share
Download to read offline
Magic Leap Meetup vol.2 で発表したものになります。
More Related Content
Recently uploaded
Recently uploaded(11)
Featured
Featured(20)
Immersal で広がる Magic Leap の拡張範囲
- 1. 1 Immersal で広がる Magic Leap の 拡張範囲 Nisho Matsushita | HoloLab Inc. | Magic Leap Ambassador | 2020.12.17 ARヒノボル @liketableteninu
- 3. The Immersal SDK lets you map large, real-world spaces and then augment them with digital content. These environments and scenarios can then be experienced by anyone on an AR-capable mobile device or with glasses. Map Augment Experience https://immersal.com/ より引用 3
- 4. Immersal でできること ● 現実空間のスキャン（マッピング） ○ 広い屋外の空間でもスキャンができる（上限はある） ○ マッピング用アプリがストアで公開されている ● コンテンツの配置 ○ スキャンした空間のメッシュがダウンロードできる ○ メッシュを参照しつつコンテンツの配置、アプリ制作ができる ● 自己位置推定 ○ スキャンした空間内で自分のデバイスの位置情報を推定できる ○ これによって他のデバイスの位置やコンテンツが正しく表示される ○ スマホだけではなく、グラス型デバイスにも対応している 4
- 5. Immersal SDK の2つの API Immersal’s Cloud Service スキャン 済みマップ ①ここは どこ？ ②自己位置 AR端末 Immersal’s Cloud Service スキャン 済みマップ ③自己位置 AR端末 ①マップ 欲しい ②マップ Core Plugin API REST API 5
- 6. Immersal SDK の2つの API Immersal’s Cloud Service スキャン 済みマップ ①ここは どこ？ ②自己位置 AR端末 Immersal’s Cloud Service スキャン 済みマップ ③自己位置 AR端末 ①マップ 欲しい ②マップ Core Plugin API REST API 6 On-device Localization On-server Localization
- 7. Immersal SDK の2つの API Immersal’s Cloud Service スキャン 済みマップ ①ここは どこ？ ②自己位置 AR端末 Immersal’s Cloud Service スキャン 済みマップ ③自己位置 AR端末 ①マップ 欲しい ②マップ Core Plugin API REST API Magic Leap は REST API のみ対応 7
- 8. 8 使い方入門 02
- 9. マップ作成 9
- 10. Mapper App ● スキャンしたい場所の写真を色々な方向から 接続的に撮影する ● 対象物によって最適な撮影方法が異なる ● 詳細は公式ドキュメントで ● 作成したマップをサーバにアップロードできる 10 撮影の良い例悪い例
- 12. サーバで生成された空間メッシュ
- 13. コンテンツ配置 13
- 14. Unity プロジェクトで空間可視化 ● git に magic leap 用のサンプルプロジェクトが用意されている ○ 導入手順は過去に公開した ブログ参照 ● ダウンロードした点群や空間メッシュは共通の原点が既に設定されている 14
- 16. 自己位置推定 16
- 17. 自己位置推定の流れ 1. 端末のカメラ画像をサーバに送信 2. サーバが端末のマップ内位置を特定 3. 端末にマップ内位置を送信 4. 端末とマップの位置関係に基づき、端末内の マップを再配置 5. 正しい位置にコンテンツが表示される 17 Immersal’s Cloud Service スキャン 済みマップ ①ここは どこ？ ②自己位置 AR端末 REST API
- 20. 地球上での 位置・方角 20
- 21. 地球上での位置の取得方法 21 Y Z X 地球中心・地球固定座標系（ ECEF） / 緯度、経度、高度（WGS84） Z X Y マップ座標系 PosMapToEcef PosEcefToWgs84 なお公開されている SDK では CorePlugin API の関数しか用意されていない → ML で利用不可 Immersal から C# スクリプトを直接貰えたので、それを使えば可能に。ブログに公開します。
- 22. 地球上での方角の取得方法 Z X Y マップ座標系 Y Z X 地球中心・地球固定座標系（ ECEF） / 緯度、経度、高度（WGS84） CompassHeading こちらも位置同様 ML では利用できないため、マップ座標系でのデバイスの向きを方角に変換するス クリプトを後程公開します。 デバイスの向き デバイスの方角
- 24. Google Maps Platform Gaming Solution Google Mapのデータで現実世界を舞台にしたゲームを作成できる開発ツール ● できること ○ 世界中の3D化された建物、道路、ランドマーク、公園、川などのデータを利用できる ○ 3Dデータの Material は変更可
- 25. Immersal と GMP を組み合わせる理由 建物のオクルージョン
- 26. Immersal と GMP を組み合わせる理由
- 27. Immersal と GMP を組み合わせる理由 オクルージョンなし 前に出てきてしまう
- 28. Immersal と GMP を組み合わせる理由 オクルージョンあり 建物に隠れる！
- 29. Immersal と GMP の組み合わせ方 ● GMP で3Dデータを表示させるには、緯度経度と範囲情報が必要 ● Immersal でスキャンした空間には緯度経度が紐づいている(※)ため、その値を利 用する。範囲は適当に ● ※ GPS は数m単位でのずれが発生してしまうので、そもそもスキャン時に紐づいた 緯度経度はずれている。空間原点と緯度経度をずれなく表示させるためには別途 オフセットが必要
- 31. まとめ 1. Immersal によってスキャンした空間でのコンテンツ配置や自己位置推定 が容易になり、屋外も拡張対象に 2. 地球上での自己位置も把握できるため、GMP と組み合わせることで、 Magic Leap の拡張範囲が身近から世界へ
- 32. 32 THANK YOU
- 33. 33 Q&A
- 34. 34 自己位置推定詳細 補足
- 35. Immersal で登場する座標系 35 Y Z X Z X Y マップ座標系 空間に紐づいたコンテンツを 配置するために必要 Z X Y カメラ座標系 カメラから正しく見えるように するために必要 地球中心・地球固定座標系（ ECEF） / 緯度、経度、高度（WGS84） 地球上での位置や方角が取 得できる
- 36. 正しくコンテンツを表示するためには マップ座標系 コンテンツ配置時 Z X Y 現実の空間 空間の スキャンデータとコ ンテンツ カメラ座標系 Z X Y コンテンツ表示 自己位置推定前 位置関係？
- 43. ブログ