xTechゆるっとLTでの登壇資料

1. Project HoloBox
xTechゆるっとLT vol.2

2. 自己紹介
氏名：吉永崇(Takashi Yoshinaga)
所属：スチームパンクデジタル / ISIT
仕事：AR技術の活用に関するR&D
コミュニティ：ARコンテンツ作成勉強会
Twitter: #AR_Fukuoka

3. HoloBox
[概要]
 iPadを用いた擬似3Dディ
スプレイ
 ヘッドトラッキングによ
る視点の同期
 複数のiPadの利用で横か
らの覗き込みも実現
[Motivation]
 ただの趣味
 既存の裸眼立体視ディス
プレイで足りない事や
新しい表現を試したい！

4. 技術的な要素
 ヘッドトラッキング
(頭の位置の追跡)
 頭の位置をiPad内の表示に
リアルタイムに反映
 複数デバイス同期のための
通信 (今回は割愛)

5. Head Tracking
 HoloLens2を使用。
HoloLens：
装着するだけでAR表示される
CGを好きな位置や向きから観
察できるデバイス。
 つまり頭の位置や向きを
リアルタイムにとれる！
 ついでにハンドトラッキング
もあるので手を使った操作も
HoloBoxに追加可能。
 ちなみにiPad内のCGを閲覧す
るだけならiPadのインカメを
使った顔追跡でもOK。
Image: Microsoft

6. 擬似3D表現：視点と表示の連動
 3D表現をコンピュータで行う際、
視点の設定を行っている。
 HoloLensの位置をCG表示の
ための視点の位置として、
頭部位置と表示を連動させる。
 Unity Editorで検証してみる
 カメラの位置と表示が連動
 Boxを追加してみると箱の内部
を覗いている感が出ない

7. 問題点とアイディア
 カメラが移動するとBoxが画角からフレームアウトする事が問題の原因
 頭部(=カメラ)の位置に応じて画角を変更して常にBox前面にフィットさせる

8. Result

9. 応用例①：Volumetric Photo Frame

10. 応用例②： Volumetric Video

11. こちらにまとめています
https://twitter.com/i/events/1332951386019938306
動画リンク

12. 物理的なデバイスの動きとも連動できたら面白そう
電子工作系の方からのアイディア募集中！
今後

13.  iPadと擬似3D表現を組み合わせたHoloBoxを開発
 意外と楽しい！エンジニアカフェにいる時はほぼ体験できます！
 Heinekenさんスポンサーお待ちしています
まとめ