Title:Dynamic Time-of-Flight Author(s):Schober, M. and Adam, A. and Yair, O. and Mazor, S. and Nowozin, S. Book Title:The IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017)

1. CVPR2017 論文紹介
Dynamic Time-of-Flight
2017/9/18
@TETSU5902

2. 紹介論文
 タイトル： Dynamic Time-of-Flight
 著者
 Michael Schober(Max Planck Institute)
 Amit Adam(Microsoft AIT, Israel)
 Omer Yair(Microsoft AIT, Israel)
 Shai Mazor(Microsoft AIT, Israel)
 Sebastian Nowozin(Microsoft Research UK)

3. Time of Flight(TOF)とは
（直接TOF）
（間接TOF）
https://ir.lib.shizuoka.ac.jp/bitstream/10297/8744/1/K0849.pdf
Velodyne
Kinect v2
三次元（距離）画像を取得するための一手法
http://www.mariofrank.net/3dcameras.html

4. Time of Flight(TOF)とは
計測装置から発した光（一般にIR光）が被写体で反射し，再び計測装置まで戻って
くるまでの時間を「何らかの方法」で求めることにより測距する方法
https://www.adcom-media.co.jp/sp-iss/2015/10/21/21767/4/
http://www.optex.co.jp/tech/sensor/3d.html
①直接法
光が帰ってくるまでの時間を実測
○：距離ばらつき小，外乱につよい
✕：回路規模大きいため多画素化難
（もしくはミラー等の駆動部が必要）
②間接法
電荷蓄積量の比から距離を算出
○：多画素化容易
✕：距離ばらつき大，外乱弱い
ゲート1
ゲート2
電荷蓄積量の比
から距離を算出
一般的なイメージセンサの
電荷蓄積部分を増やす

5. 本論文の要旨
 目的：カメラ/被写体が動くシーンでの間接TOF距離ばらつき改善
 既存手法とその課題
1. 時系列フィルタ w/MEMC，IR輝度を用いたジョイントフィルタリング
→処理速度が遅い（0.7~10sec/frame） [21,24,29]
2. RGB画像のセグメンテーション情報を使う
→RGB画像が追加で必要[37]
3. Depth画像に対する処理（ICP等で位置合わせしてrefinement）
→低反射体に使えない（ RAW IRの画素値が低くdepthが出ない）[30,31,32]

6. 本論文の要旨
 本論文のcontribution
1. Depthになる前のRAW IR出力（各露光を画像として出力）に対する時間方向の確率モデルを
定式化
2. 回帰木を使い提案手法の高速化（30fps, 0.033sec/frame），省メモリ化を達成
3. 露光タイミングを(参照フレーム数=2)の場合で最適化
4. 上記を実装し評価→depth精度が改善することを確認
これ

7. 定式化（1フレームの場合, prev work）
𝑅:RAW IR 画像, 𝐶: レスポンス関数, 𝐴: 環境光
t:深度, ρ:反射率, λ:環境光レベル, d(t):距離に応じた減衰関数
ρ 𝐶(t)
ρλ 𝐴
ここの数はHWで変わる
（本論文では4つ）

8. 定式化（1フレームの場合, prev work）
 確率モデル
t:デプス, ρ:反射率, λ:環境光レベル

9. 定式化（1フレームの場合, prev work）
 マルチパスのモデル化
光源から発した光が別の物体に反射して戻ってくる
問題のモデル化
ここまで1フレームモデル

10. 定式化（複数フレームの場合）
ω：ブレンド率．R(s)とR(s+1)の差分が大きい場合1に近づく
=1フレームに倒す．
差分が小さい場合ω=0に近づく．Qとは何か？
1フレームの場合
（さっきの）
時間方向
こいつをどうする？
→動きボケ対策としてこう定式化
t:デプス, ρ:反射率, λ:環境光レベル

11. 定式化（複数フレームの場合）
 Qをどうするか
→RGB-DのSLAM benchmark[39]からカメラ
モーション(R,T)の確率分布を求める
→更にその分布に従って，著者自前の
TOF Simulatorのカメラを動かす
→ の組をひたすらサンプリング(10.6Mペア)してQを推定
 結果
それっぽくなった
（t:デプス, ρ:反射率, λ:環境光レベル）

12. 定式化（複数フレームの場合）
赤枠が出来たのでMCMCで解く
→リアルタイム動作はちょっとつらい…

13. 回帰木を用いた高速化
 R(1:S)と，そこから推定したt(S)のペアを，オフラインのMCMCで
（またもや）たくさん集めて学習
→回帰木の深さを16にするとMCMCと同等の精度になった
 スループット
深さ16のときで8*10^6 pixels/s→VGAでほぼ26fps
（ちょっと足りない）

14. 露光タイミング最適化
 （若干唐突だが）これまでの結果を用いて露光タイミングSnを
フレームごとに最適化する
 露光delay δとwidth wを最適化
毎回同じタイミングで露光
するのは適切か？

15. 露光タイミング最適化
 最適化方針
ちょっとここのお気持ちが理解しきれなかった…
θのGroundTruth（左）と推定
結果（右）の誤差が最小と
なるよう露光タイミング最適化

16. 露光タイミング最適化
 使用HWは1フレームあたり4露光
→2フレーム分の8露光を最適化
 結果：こうなった
（実線が1フレーム目，破線が2フレーム目）

17. 評価
 露光タイミング最適化の効果
→SinglPath,TwoPathともに最適化した方がばらつき小

18. 評価
 Simulator上のシーンでの評価
simulator上でカメラノイズ含めたシミュレーションを実施し，各手法を
評価
→全体的に2F-TP-sp（2frame使用，two-Pathモデル，後処理で空間
フィルタ）が一番error小&ばらつき小
 空間フィルタないと後ろ2つが1Fとくらべてトントンor負(ry

19. 評価
 定性評価：2F-TPの方がエラー減少

20. 評価
 最後にビデオ

21. 所感
1. 理論も抑えつつ，全体的にはパワープレイ
2. （論文にはならんが）ブレンド率ωの求め方が性能上重要では
→記載なし…
3. 既存手法速度遅い問題はハード化すれば解決するのでは？
というかここらへんの処理はハード化前提では…
4. 既存手法との精度比較なし．
モデル化しきったところが評価されている？
5. 提案モデルの拡張で外光対策，TOF同士の干渉対策を何とかできない？

22. おわり