論文「Superpixel Sampling Networks」を読んでみました

1. Superpixel Sampling Networks
学習可能なSuperpixel生成モデル
1

2. Learning Superpixels with Segmentation Aware Affinity Loss
• Superpixelを使用してSegmentationを行うために作られた手法
• （SEALと呼ばれている）
• おもな特徴
• 親和性学習のためのSegmentationのエラーを考慮したLoss関数（提案）
• アフィニティ予測用のPixel Affinity Net（提案）
• SEALはEnd to Endで学習できない
• CVPR2018
• NVIDIA
• UC Merced
2

3. Superpixel Sampling Networks
• Superpixel Sampling Network (SSN)を提案
• SSNの主な特徴
• End to Endでトレーニング可能（他のモデルと統合可能）
• 柔軟な損失関数を使用してタスク固有のスーパーピクセルを学習
• 実行時間が高速
• SEALと同じ著者
• ECCV2018
• NVIDIA
• UC Merced
3

4. SuperpixelがDeep Learningで使用されない理由
• ①CNNの畳み込み処理は規則的な格子上で行われる
➡ 不規則なセルを持つSuperpixelは計算上非効率になる
• ②既存のSuperpixelアルゴリズムは微分不可能
➡ 既存のDNと組み合わせることができない
➡DNと微分可能なSLICの組み合わせたアルゴリズムSSNを提案
4
←この問題に取り組む

5. SNNのネットワークの概要
• Deep Network ： 画像の特徴抽出
• Differentiable SLIC ： 特徴マップ、LabColor、pixel座標
をもとに反復クラスタリング
➡スーパーピクセル作成
5

6. SLICについて
• 最も単純で広く使用されている Superpixel アルゴリズムの一つ
• 主な特徴
• 実装が簡単
• 実行時間が短い
• コンパクトで均一なスーパーピクセルを生成
• 5次元の位置(xy)と色空間(Lab)をもとに実行されるk-meansクラスタリング
6

7. SLICアルゴリズム概要
① 初期化→それぞれのSuperpixelの特徴と平均位置を決める
𝐼 ： 入力、5次元( 𝑥, 𝑦, 𝐿, 𝑎, 𝑏)
② 各PixelがどのSuperpixelに特徴が似ているのかを探す
➡ Pixelとsuperpixelの特徴の距離が最小のsuperpixelにPixelを関連付け
（SSNではここを微分可能にした（Differentiable SLIC））
③ それぞれの関連付けされたPixelの特徴の平均をsuperpixelの特徴にする
（Superpixelの更新）
7

8. SLICの具体的なアルゴリズム
• 𝐼 ： 入力、5次元(𝑥, 𝑦, 𝐿, 𝑎, 𝑏)
①初期クラスタ𝑆0 ∈ ℝ 𝑚×5をサンプリング
• 画像の勾配に基づく局所的な摂動を用いてピクセル全体にわたり一様に実行
②各ピクセル𝑝をSuperpixelに割り当てる
• 各ピクセルを5次元空間内で最も近いSuperpixelに関連付ける
• 𝐻 𝑝
𝑡 = argmin
𝑖∈{0,…,𝑚−1}
𝐷(𝐼 𝑝, 𝑆𝑖
𝑡−1
)
• 𝐷 ： ユークリッド距離
③新しいSuperpixelの要素を得るためにクラスタ内のそれぞれの特徴を平均
• 𝑆𝑖
𝑡
=
1
𝑍𝑖
𝑡 𝑝|𝐻 𝑝
𝑡=𝑖 𝐼 𝑝
(特徴: 𝑥, 𝑦, 𝐿, 𝑎, 𝑏)
④②～③を収束するまで複数回繰り返す
𝑝 ： Pixelのインデックス, 𝑖 ： Superpixelのインデックス 8

9. SLICの微分可能でない部分
• Pixel-Superpixelの関係を計算するとき
②各ピクセル𝑝をSuperpixelに割り当てる
• 各ピクセルを5次元空間内で最も近いSuperpixelに関連付ける
• 𝐻 𝑝
𝑡 = argmin
𝑖∈{0,…,𝑚−1}
𝐷(𝐼 𝑝, 𝑆𝑖
𝑡−1
)
• 𝐷 ： ユークリッド距離
• SSNではこの最近傍計算を微分可能に変換した
➡ Differentiable SLIC
9

10. Differentiable SLICアルゴリズム
• 入力 𝐼 （n×5, １pixel5次元(𝑥, 𝑦, 𝐿, 𝑎, 𝑏)）
① 𝐼 をCNNに入力 ➡ 出力 𝐹 𝑛 × 𝑘
(𝑛 : ピクセル数, 𝑘 : チャネル数）
② 初期Superpixel 𝑆0 = 𝐽(𝐹) (規則的なグリッド)
③ t 回繰り返しSuperpixelを更新
1. すべてのPixelとSuperpixelの関係を算出
𝑄 𝑝𝑖
𝑡
= 𝑒
− 𝐼 𝑝−𝑆𝑖
𝑡−1
2
2. Superpixelの情報を更新（Pixel特徴の加重和）
𝑆𝑖
𝑡
=
1
𝑝 𝑄 𝑝𝑖
𝑡
𝑝=1
𝑛
𝑄 𝑝𝑖
𝑡
𝐼 𝑝
➡ ③が 行列積で計算可能 → 微分可能 10
𝐼 𝑝 ： Pixel p の特徴
𝑆𝑖
𝑡−1
： Superpixel i の特徴
𝐼 𝑝 の周囲 9 個のSuperpixelを計算
➡ 計算量削減

11. SSN(CNN)
• 最後の層以外
• フィルタサイズ ： 3 × 3
出力チャネル ： 64
• 最後の層
• フィルタサイズ ： 3 × 3
• 出力サイズ ： 𝑘 − 5 (𝑘 = 20)
• 2,4,6層目の特徴マップをConcat
• ↑ ： Bilinear Upsampling (original sizeにUpsampling)
• Concat-Conv-ReLUの後に入力 𝐼 (𝑥, 𝑦, 𝐿, 𝑎, 𝑏) を Concat
11
Concat-Conv-ReLU

12. SSNの利点
• タスク固有の損失関数を設定する
➡ タスク固有のSuperpixelを学習できる
• 例
• Semantic Labels
• Optical Flow
• Depth
12

13. タスク別Loss関数の例
• Segmentation
• Cross Entropy Loss
• Optical Flow
• L1-norm
13

14. Compactness Loss
𝐿 𝑐𝑜𝑚𝑝𝑎𝑐𝑡 = 𝐼 𝑥𝑦 − 𝐼 𝑥𝑦
2
• 各Superpixelクラスタ内が低い分散を持つようにするため
• スーパーピクセルの画素と入力画像の画素値で誤差が小さくなるように学習
• 𝐼 𝑥𝑦 ： 入力画像の
• 𝐼 𝑥𝑦
： 𝐼 𝑥𝑦
と対応するSuperpixel後のpixel値
14

15. Lossまとめ
𝐿 = 𝐿 𝑟𝑒𝑐𝑜𝑟𝑛 + 𝜆𝐿 𝑐𝑜𝑚𝑝𝑎𝑐𝑡
(𝜆 = 10−5)
• 各Superpixelクラスタ内が低い分散になり、
Segmentation結果がよくなるようなSuperpixelを学習する
15
Cross
Entropy
Compactness
Loss

16. 実験(Dataset：BSDS500)
• 各アノテーションを別々のサンプルとして使用
（複数のAnnotatorのデータがある）
• Train ： 1633
• Test ： 1063
• Validation ： 1633
• Hyper Parameter
• Batchsize ： 8
• Learning rate ： 0.0001
• Optimizer ： Adam
• Differentiable SLICの反復回数 ： 5回
16

17. 評価方法
• 生成されたSuperpixelを使用して達成可能な精度の上限
• ASA（Achievable Segmentation Accuracy）
• 各Superpixelの領域とそれに最も重複しているGTの領域との重複画素数の割合
• ASAが高い ➡ よりGTに近い領域分割ができている
• Superpixelの境界がGTの境界とどの程度一致しているか
• 境界リコール(BR)
• 境界精度(BP)
17

18. 結果の示し方
• SSN 𝑝𝑖𝑥 ： SLICアルゴリズム
• SSN 𝑑𝑒𝑒𝑝 ： SSN
• SSN𝑙𝑖𝑛𝑒𝑎𝑟 ： SSNのCNNを単一の畳み込みレイヤに置き換えた（線形変換）
（ベースライン）
18

19. ASAとBRスコア（BSD Dataset）
• 指標
• ASA ： 生成されたSuperpixelを使用して達成可能な精度の上限
• BR ： Superpixelの境界がGTの境界とどの程度一致しているか（境界リコール）
• モデル
• SSN 𝑝𝑖𝑥 ： SLICアルゴリズム
• SSN 𝑑𝑒𝑒𝑝 ： SSN
• SSN𝑙𝑖𝑛𝑒𝑎𝑟 ： SSNのCNNを単一の畳み込みレイヤに置き換えた（ベースライン）
19

20. Superpixel手法の比較
• Cityscapes
• BSDS500
20

21. Superpixel手法の比較
• PascalVOC2012
21

22. 生成結果比較
•
22

23. a
23

24. a
24

25. 実行時間比較
• 512 × 1024 cityscapes image → 1000 Superpixel
25

26. Superpixelをアルゴリズム別Segmentation結果比較
26
• SLICほとんど変わらない
➡ SLICとほとんど精度が変わらないことが確認できればいい
（SLICを学習可能なモデルにしただけだから）

27. Optical Flow
• MPI-Sintel Datasetを使用
• End Point Error(EPE)
➡ GTとセグメントの間のユークリッド距離
➡ EPEが低いほど良いFlowを表現
27