知識があんまりないときに作ったやつで、ミスが多いと思う

1. 単眼カメラで深度予測
(論文と手法の紹介)
システムデザイン工学科 新B3
北村俊徳
@syuntoku14

2. とりあえず自己紹介
• システムデザイン工学科（今年で3年生）
• ロボット技術研究会
• KCS ClassAI
• 理工学部體育會剣道部
• Mira Robotics（バ先）
• 夏にUCのどこかに留学予定
• Twitter: @syuntoku14

3. やろうと思った動機
• Lidarは高い
• Kinectは光に弱い（Time of Flight 方式のレーザーセンサ）
• 画像による予測を補強に使えないか？（詳しくはちょっと言え
ないけど）
慶應にも似たような研究をしているところがあるらしい
Depth Interpolation via Smooth Surface Segmentation Using
Tangent Planes Based on the Superpixels of a Color Image
（2013）
青木研究室かな？

4. 単眼カメラから深度予測って？
• 単眼カメラから物体までの距
離情報を予測すること
• 深度測定は普通KinectやLidar、
ステレオマッチングなどを使
う

5. 大まかな手法
• 局所的な処理と全体的な処
理を行う（右図みたいなイ
メージ）
局所的な処理→精度の向上
全体的な処理→局所的な処理
のフォロー（相対的な深度）
（例：空などは全体を見ない
と把握できない）

6. （超）古典的な手法
Learning depth from single
monocular images(2006)
• MRF(Marcov Random Field)
を利用して深度を予測している
（MRFで隣接するパッチに対す
る関係を計算）
• 直近以外の情報も得るため、
色々な大きさのパッチを使う
• フィルタは自分で設定（Law’s
masksなど）

7. Marcov Random Fieldをちょっと説明
ノイズ除去の例
• Pr 𝑤1…𝑁 𝑥1…𝑁 =
Pr 𝑥 𝑛 𝑤 𝑛 Pr 𝑤1…𝑁
Pr 𝑥1…𝑁
• 尤度:
・Pr 𝑥 𝑛 𝑤 𝑛 = 0 = 𝐵𝑒𝑟𝑛 𝑥 𝑛
[𝜌]
・Pr 𝑥 𝑛 𝑤 𝑛 = 1 = 𝐵𝑒𝑟𝑛 𝑥 𝑛
[1 − 𝜌]
• 事前分布: MRF(smoothness)
MAP推定をグラフカットで行う

8. ディープラーニングを使った手法
• Depth Map Prediction from a Single Image using a Multi-
Scale Deep Network(2014)
• 最初に全体の深度予測
(Coarse network)
• 次にLocalな深度予測
(Fine network)

9. Scale-Invariant Error
• 画素同士の関係も損失関数に組み込む
𝐷 𝑦, 𝑦∗
=
1
2𝑛
𝑖=1
𝑛
log 𝑦𝑖 − 𝑙𝑜𝑔𝑦𝑖
∗
+ 𝛼 𝑦, 𝑦∗ 2
𝛼 𝑦, 𝑦∗ =
1
𝑛
𝑖
(𝑙𝑜𝑔𝑦𝑖
∗
− 𝑙𝑜𝑔𝑦𝑖)
変形して
𝐷 𝑦, 𝑦∗ =
1
2𝑛2
𝑖,𝑗
𝑙𝑜𝑔𝑦𝑖 − 𝑙𝑜𝑔𝑦𝑗 − 𝑙𝑜𝑔𝑦𝑖
∗
− 𝑙𝑜𝑔𝑦𝑗
∗
2
教師データと予測データのそれぞれの相対深度が近いと損失が少ない

10. CRFを使った手法
• Learning Depth from Single Monocular Images Using Deep
Convolutional Neural Fields(2015)
• CRFの解析解が直接求まるっぽい。
（正規化定数Zを解析的に求められるっぽい）
• CRFのUnaryとPairwise項をCNNで学習しているらしい。
UnaryとPairwise項→MAP推定の際に出てくる二つの項のこと
𝑤1…𝑁 = 𝑎𝑟𝑔𝑚𝑖𝑛 𝑤1…𝑁
[
𝑛=1
𝑁
𝑈 𝑛 𝑤 𝑛 +
𝑚,𝑛 ∈𝐶
𝑃 𝑚,𝑛 𝑤 𝑚, 𝑤 𝑛 ]

11. CRFとは？ Superpixelとは？
• MRFではPairwise項が隣接するw同士によるもの
𝑚,𝑛 ∈𝐶
𝑃𝑚,𝑛 𝑤 𝑚, 𝑤 𝑛
• CRFではPairwise項に観測xが入っている
𝑑
𝜉[𝑤, 𝑥]
• SuperPixelは似た傾向を持つ画素をひとまとめにした領域
有名な手法：SLIC(Simple Linear Iterative Clustering)

13. 学習について
• Unary: Super PixelパッチをCNNに投げ、Zpを得る
• PairWise: 隣接するSuperPixelをFully Connected Layerに投げ、
Rpqを得る
• 学習後の推論はMAP推定で行う。

14. おわりに
• 間違っていることが多いかもしれない
• 最近は教師無し学習で頑張る人もいるみたい（読んでないけ
ど）
Unsupervised Monocular Depth Estimation with Left-Right
Consistency
• 似たようなことやってる研究室あったらちょっと見てみたさあ
る