2021年10月22日に開催されたLT会での発表資料

1. iPad LiDARで
エンジニアカフェを3Dスキャン
xTechゆるっとLT

2. 自己紹介
氏名：吉永崇(Takashi Yoshinaga)
仕事：ARの基礎・応用技術に関するR&D
- 医療/土木応用や遠隔コミュニケーション
- 3D計測やモーションキャプチャ開発
ほか : 趣味で何かしらAR的なものを作る
Twitter: @Taka_Yoshinaga

3.  赤外線を飛ばして実物体から反射
して返ってくるまでの時間などを
用いて奥行きを計測する技術
 Kinectのようにセンサの前の構造物
の形状を点群(Point Cloud)で取得
 従来はPCとセンサをケーブル等で
接続する必要があり、気軽にスキャ
ンできるものではなかった
ところが・・・
 iPadやiPhoneに搭載されたことで手
軽にPointCloud取得が可能に！
 しかも端末の位置・姿勢もわかる
LiDAR センサ
参考記事： htps://aru47.hatenablog.com/entry/2020/04/05/230350
3Dスキャナを作ろう！

4. 開発環境
 Unity 2020
 ARFoundation
 ARKit
[参考]
 ARFoundation 公式サンプル
https://github.com/Unity-Technologies/arfoundation-samples

5. プロトタイプ開発
 Point Cloudと端末の位置・姿
勢を合わせたハンディ3Dス
キャナは比較的
簡単に実現できた。
※多少のノイズはある
 これをベースにより広い
エリアのスキャンをできるよ
うにする。
https://twitter.com/Taka_Yoshinaga/status/1295579826892320770?
s=20

6. System Configuration
[実現したいこと]
 iPadがクラッシュしてもデータを残す
 スキャン結果を即座に他のAR/VRアプリに共有
Server
表示デバイス
データをサーバーで管理

7. エンジニアカフェのスキャン
https://twitter.com/Taka_Yoshinaga/status/1278261007186419712?s
=20

8. High Confidence Depthでノイズ対策
Depth (Point Cloud)だけでなく各点に対する計測の信頼度も3段階で得られる。
サーバーにはConfidence Mapも一緒に送り、可視化の際には最も信頼度
の高いPoint Cloud(=青いピクセルに対応)のみ表示に用いた。

9. 比較
スキャン対象の輪郭周辺のノイズなどが除外され、綺麗なデータが得られる。
無視される領域については様々な視点での撮影で補えるので無問題
All Point Cloud High Confidence

10. １F,2F,外のスキャン
https://twitter.com/Taka_Yoshinaga/status/1311985507673370624?s
=20

11. HoloLens 2にも対応
https://twitter.com/Taka_Yoshinaga/status/1297034708270817280?s
=20

12. Further Work
HoloLens2にも
Depthセンサあるよね？

13. HoloLens2で歩きスキャン
https://youtu.be/TbfqO0vuEVk

14. まとめ
 iPadやiPhoneにLiDARが搭載されRGB-Dセンシングが身近に
 3次元的な位置・姿勢もわかるため3Dスキャンが容易
 点群を外部に送ることで表示はつよつよPCに任せられる
 建物のスキャンをすると壁や天井の厚さを見られて面白い
 Unityサンプル(通信以外)をGitHubで公開中！