Tango関連の小ネタ・事例など

1. Tango勉強会資料
2017/8/29
@yamaB

2. 自己紹介
山本義治 / twitter: haltyt @yamaB / mail: haltyt@gmail.com
趣味: ロードバイク/旅/読書/メディアアート
◆経歴
2000〜
IT系ベンチャー/Webエンジニア/主にサーバーサイド/LAMP
メール配信、SNS、広告配信システム→大手広告代理店・メーカーへシステム販売
2011〜
フリーランス/起業@沖縄・東京
キュレーションメディア/ADネットワーク/位置情報スマホアプリ/アプリ効果測定ツール/MVNOキャリア決済システム
Objective-C/nodejs/MongoDB/Scala/Spark/AWS
2014〜
ComputerVision/ディープラーニング
画像検索エンジン/画像フィルターアプリ開発/ビッグデータ分析
Swift/Python/OpenCV/Caffe/Chainer/Tensorflow
2017〜
XR/HoloLens/VIVE/GoogleTango
研究開発/プロトタイピング
C#/Unity

3. RTAB-MAPはすごい
・RTAB-MAP
・カナダの大学がメンテナンスしているOSS
・Tangoの機能を使わずに独自SLAM、LoopClosure、ADF
・PointCloudからメッシュへの自動オプティマイズ
・PointSizeは1cm〜
・sketchfabへの自動アップロード
・但しメモリ消費は激しい。
・サンプルモデル

4. SpatialDisco
・TangoのPointCloudのシェーダーで遊ぼう
・個人の体験が環境に作用する楽しさ
・TangoDynamicMesh+PointCloud+3DReconstruction
・100万頂点ぐらいで10FPSぐらいは動く。
・ADFと実消費メモリ容量の比較
・デモ

5. クロマキー合成
・コスプレ合成カメラ
コスプレSNSアプリ「コスらぼ」2.5次元研究所プロジェクト
・VIVE Tracker+グリーンバック
＜Tangoを使う利点＞
・Depth情報を利用した背景切り取り
・高解像度カメラ1600万画素
・モーショントラッキング機能を利用した手ブレ補正。動画撮影に最適。
・UnityのWebCamTextureとTangoVideoOverlayの併用はできない。
・モーショントラッキングとDepthのみならWebCamTexture利用可。
・OnTangoImageAvailableEventHandler→何もしなければ30fpsぐらい
・Depthセンサーのフレームレートは5fps

6. クロスプラットフォーム共有
空間認識 空間共有
Tango AreaLearning ADF
ARKit VisualOdemetry ✕
GPS+マーカー画像認識で擬似共有?
HoloLens SpatialMapping WorldAnchorStore
クロスプラットフォーム共有のシナリオ
＜屋内＞
・空間座標系のキャリブレーションさえ行えばオブジェクト共有は可能（UNET、Photon、クラウド...）
＜屋外＞
・GPSジオフェンシングで特定エリアに入ったら空間情報(ADF、WorldAnchor)ダウンロード
→看板などマーカー画像認識でキャリブレーション→オブジェクトダウンロード→空間座標に配置

7. AR市場とTangoの方向性
★普及台数による違いは大きい
ARKit…コンシューマー用途（ゲーム、コミュニケーション、検索エンジン）
Tango…産業用途（ロボット、不動産、ナビゲーション、デジタルサイネージ、
インスタレーション）
OkeruAR/アイデアクラウド snipAR/ワントゥーテン
不動産 エンターテイメント デジタルサイネージ
イメージソース

8. 最近気になっているARサービス
・VPS→謎？？
・AR Shopping
ARKit＋ナビゲーション
・Mirage
屋外ARKit。Appleの元社員が作ったARアプリ。ポストセカイカメラ?
GPSと画像認識で座標共有してるっぽい。
・MazeAR
屋外ARKit。赤外線を使わないので日光に強い。
最近TangoがARKitのニュースに埋もれてる。。