論文「Texture-Aware Superpixel Segmentation」を読んでみました

1. Texture-Aware Superpixel
Segmentation
1

2. Texture-Aware Superpixel Segmentation概要
• TextureAware SuperPixel (TASP)の特徴
• 同じパラメータで高テクスチャな画像でもそうでない画像もセグメント化できる
• Superpixel 内での特徴の分散に従って空間的な制約を調整
• Superpixel 内のテクスチャの均一性を確保
• 既存のほとんどのSuperpixel手法
• 色の関係だけしか考慮していない
• 例：CIE Lab空間の距離によってSuperpixelを生成する手法
ERS, SEEDS, SLIC, ERGC,SNIC
2

3. なぜ画像をSuperpixelにするのか
• 情報の局所的な冗長性を利用して計算上の負担を軽減
• ピクセルレベルのノイズを減らし、性能を潜在的に改善
3

4. TASPと既存のSuperpixelアルゴリズムとの比較
• 従来のSuperpixelアルゴリズムは、Pixelの空間・色特徴のトレードオフを計算
• 2つのバランスをとるために細かいパラメータ調整を要する
➡ 局所的なテクスチャをピクセル単位でグループ化に失敗しやすい
• 色の関係だけしか考慮していない
• 例：CIE Lab空間の距離によってSuperpixelを生成する手法
ERS, SEEDS, SLIC, ERGC,SNIC
• TASPは局所的な特徴の分散によって空間的な制約を自動的に調整する
• 適切にテクスチャと滑らかな領域をセグメントする
• Superpixel内でテクスチャの均一性を保証するために
パッチベースの距離に対する新しいピクセルが生成される
4

5. TASPと既存のSuperpixelアルゴリズムとの比較
• ピクセル情報だけを使用するSuperpixel手法
• テクスチャパターンからうける影響が大きい
• TASPは適切にセグメントする
5

6. SLICアルゴリズム
① 初期化→それぞれのSuperpixelの特徴と平均位置を決める
② 各PixelがどのSuperpixelに特徴が似ているのかを探す
➡ Pixelとsuperpixelの特徴の距離が最小のsuperpixelにPixelと関連付け
（TASPは距離の計算方法を改良）
③ それぞれの関連付けされたPixelの特徴の平均をsuperpixelの特徴にする
（Superpixelの更新）
6

7. SLICとの違い
• SuperpixelとPixelとの距離の求め方
• SLIC
• TASP
7
Lab色空間
の距離
Lab色空間
の距離
空間距離
（Pixel座標）
空間距離
（Pixel座標）
Superpixel内の
Texture類似度

8. SLIC空間距離𝑑 𝑠
𝑑 𝑠(𝑋 𝑝, 𝑋𝑆 𝑖
)
𝑚2
𝑠2
• 𝑚はSuperpixelの形状の規則性を設定するパラメータ
• Lab色空間とpixel座標値のユークリッド距離
➡ 画像サイズが大きいとき色より空間的な重要度が高くなる
➡ 境界をうまくとらえられなくなる
• 𝑚によって色の類似性と空間の類似性の相対的な重要度を調節する
（ 𝑚は手動で設定（固定値））
8
← 空間的類似性の重要度
← 正規化用

9. SLIC空間距離𝑑 𝑠
𝑑 𝑠(𝑋 𝑝, 𝑋𝑆 𝑖
)
𝑚2
𝑠2
• 𝑚が大きいとき
• 空間的な類似性が重要視される
• 得られるスーパーピクセルはよりコンパクトになる
• 𝑚が小さいとき
• 得られるスーパーピクセルは画像境界によりしっかりと付着する
• 規則的なサイズおよび形状ではなくなる
9
← 空間的類似性の重要度
← 正規化用

10. TASP空間距離𝑑 𝑠
𝑑 𝑠(𝑋 𝑝, 𝑋𝑆 𝑖
)
𝑚𝑖
2
𝑠2
𝑚𝑖 = 𝑚 exp(
𝜎𝑖(𝐹𝑝)2)
𝛽
)
• 𝑚𝑖をSuperpixel S𝑖 内のPixelの特徴の分散を使用して決定
➡ Superpixel S𝑖 に選ばれるPixelの範囲を決定
• 分散大きい
• 空間的類似性を重視 ➡ Superpixel 𝑆𝑖 の近くのPixelを選ぶ可能性が高くなる
• 分散小さい
• 色の類似性を重視 ➡ Superpixel 𝑆𝑖 から遠いPixelも選ぶ可能性がある 10
← Superpixel内の𝐹𝑝の分散
← Scaling Parameter（正規化用）
𝑚 = 0.1
𝛽 = 25

11. Texture Homogeneity Measure 𝑑 𝑝
𝑑 𝑃 𝑝, 𝑆𝑖 =
1
𝑁
𝑝 𝑖∈𝜅 𝑝
𝑑 𝑃 𝑝, 𝑝𝑖
𝑑 𝑃 𝑝, 𝑝𝑖 =
1
𝑛
𝐹𝑃(𝑝)
− 𝐹𝑃(𝑃 𝑖)
2
11
𝑝 ： Pixel
𝑆𝑖 ： Superpixel
𝜅 𝑝 ： 選択されたパッチの集合
𝑛 ： パッチサイズ
𝐹𝑃(𝑝)
： Pixel部分のパッチの特徴
𝐹𝑃(𝑃 𝑖)
： 選択されたパッチの中心ピクセルの特徴

12. Texture Homogeneity Measure 𝑑 𝑝
𝑑 𝑃 𝑝, 𝑝𝑖 =
1
𝑛
𝐹𝑃(𝑝)
− 𝐹𝑃(𝑃 𝑖)
2
+
𝑚𝑖
2
𝑠2 Γ(𝑋 𝑝 𝑖
, 𝑋 𝑆 𝑖
)
Γ 𝑋 𝑝 𝑖
, 𝑋𝑆 𝑖
= 2𝑠2 1 − exp −
𝑋 𝑝 𝑖
− 𝑋𝑆 𝑖 2
2
𝑠2
• 青枠はパッチ 𝑝𝑖 とSuperpixel 𝑆𝑖 の距離
• Superpixel S𝑖 から離れているパッチを不利にする
• ➡ Superpixel S𝑖 の均一なテクスチャ領域への移動を促進
12

13. 実験で使用したデータセット
• ① ストライプを合成(10枚)
• ② Brodatz Datasetを合成(100枚)
• ③ Berkeley Segmentation Dataset（200枚）
13

14. 結果
• それぞれの項の寄与度
• Superpixel手法における精度比較
14
𝑑 𝑃 𝑝, 𝑝𝑖 =
1
𝑛
𝐹𝑃(𝑝)
− 𝐹𝑃(𝑃 𝑖)
2
+
𝑚𝑖
2
𝑠2 Γ(𝑋 𝑝𝑖
, 𝑋𝑆 𝑖
)→
𝑑 𝑃 𝑝, 𝑝𝑖 =
1
𝑛
𝐹𝑃(𝑝)
− 𝐹𝑃(𝑃 𝑖)
2
→

15. 結果
• ピクセル情報だけを使用するSuperpixel手法
• テクスチャパターンからうける影響が大きい
• TASPは適切にセグメントする
15

16. 画像比較
16