夏のxR自由研究発表祭【すたみと#3 特別編】 https://standalone-vr.connpass.com/event/143354/ @kotauchisunsun

1. Photogrammetry on Cloud
@kotauchisunsun

2. 自己紹介
● 名前：
○ @kotauchisunsun
● 所属：
○ サーバーサイドエンジニア
○ 今年7月にXR転職
● 趣味：
○ ボルダリング
○ 技術記事の執筆

3. 最近の活動
● FaceVTuberの開発
○ 誰でも簡単にVTuberになれるWebアプリ
(2018/3公開)
● VTuber関連ビジネスや経済圏に関する講演
● KotauchiTrackerCalibratorの開発
○ オープンソースの10点トラッキングシステム
○ Qiitaで導入記事
● VTuberのお手伝い・VTuberシステムの監修
● Qiitaでフォトグラメトリの記事の執筆
○ Photogrammetry on Docker
～ サーバー屋さんもXRしたい ～

4. みなさんPhotogrammetryしてますか？

5. ● 写真から3Dモデルを生成する技術
● 物体を様々な方向から撮影した写真をコ
ンピューターで解析し、3Dモデルを作成
する技術。
● フィギュアのような小さなものから、建
築や都市といった大きなものまで3Dモデ
ル化可能。
Photogrammetryとは？
龍 lilea
@lileaLab
Discont
@VR_landscape

6. Photogrammetryのハードル
● Photogrammetryのソフトはお金がかかる．
→ 無料で使えるオープンソースのPhotogrammetryのソフトもある．
● Photogrammetryには時間がかかる．
→ GPU対応して，高速化しているソフトもある．
● VRエンジニア / VRアーティストは忙しい．
→ VRChatやったりBeatSaberやったりVirtualCastやったり，GPUはいつも忙しい．
● GPUの増設にはお金がかかる．
→ 解決が難しい

7. 他人のGPUでPhotogrammetryしたい！！

8. GoogleColabでPhotogrammetryする．

9. Google Colabとは
● Google Colab
○ Googleが公開している機械学習用のGPU環境
○ ブラウザから使える
○ 無料
● スペック
○ Ubuntu 18.04
○ 2vCPU @ 2.2GHz
○ 13GB RAM
○ 360GB Storage
○ GPU NVIDIA Tesla T4 16GB または Tesla K80 12GB
参考:【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory

10. MeshRoom
● OSSのPhotogrammetryソフト
● AliceVision社が開発
● NVidiaのGPUが必須
● Windows, Linux版が公開
● 無料

11. GoogleColab x MeshRoomの仕組み
2. 画像データのダウンロード
1. MeshRoomのインストール
3. MeshRoomでPhotogrammetry
4. GoogleDriveへ3Dモデルアップロード

12. 実際の操作風景

13. 実際にPhotogrammetryした例
画像サイズ 3,024 x 4,032
(iPhone Xのカメラ画質)
画像数 41
処理時間 1時間20分
総頂点数 95万
総ポリゴン数 190万

14. Colab上での画像の枚数と処理時間の関係
5枚程度のものなら約10分

15. Google Colab/MeshRoomの制限
● セッションが切れると全部データが飛ぶ(90分間の猶予有り)
● 連続稼働は12時間まで．
● TPUは使えない
○ MeshRoomがTPU非対応で，途中で強制終了．

16. まとめ
● Google ColabでMeshRoomが動く．
● 実際にMeshRoomでPhotogrammetryやってみた．
● Google Colabだと無料でGPUが使える．
● 5,6枚の画像だと10分以内に3Dモデル生成が完了．
● Google Colabで実行できるジョブは12時間未満に限る．
● MeshRoomでTPUは使えない．
● 後日，Colab用のファイルの公開と，Qiitaの記事公開します．
完全無料のクラウドGPU環境でフォトグラメトリ出来るよ！！