1. 平滑化処理の繰り返しによる
画像セグメンテーションのための
グラフカット
†中部大学大学院 工学研究科情報工学専攻
‡カーネギーメロン大学 ロボティクス工学研究所
永橋知行†, 藤吉弘亘†, 金出武雄‡

2. 画像セグメンテーション
画像中から対象領域の抽出

3. グラフカットセグメンテーション 1
 Interactive Graph Cuts Segmentation [Y. Boykov et al，ICCV2001]
– ユーザが物体・背景の正解ラベル(seed)を入力
– Graph Cuts Algorithm によりエネルギーを最小化
物体の正解ラベル
背景の正解ラベル
各ピクセルの性質 ピクセル間の関係

4. グラフカットセグメンテーション ２
 Lazy Snapping [Y. Li et al , SIGGRAPH2004]
– 機能的なUI
– スーパーピクセルを用いた高速化
 GrabCut [C. Rother et al , SIGGRAPH2004]
– 繰り返し処理により色分布を再学習

5. グラフカットによるセグメンテーションの問題点
 グラフカットのパラメータλを変化させてもエッジが複雑な
画像では正確なセグメンテーションが困難
入力画像
lが大きい場合 lが小さい場合

6.  元画像でのセグメンテーション
 平滑化画像でのセグメンテーション
大域的なセグメンテーションから局所的なセグメンテーション
大まかなセグメンテーション
大域的情報
細かなセグメンテーション
局所的情報
→大域的情報から徐々に局所的な情報へ変化
段階的に変化

7. 提案手法:平滑化と繰り返し処理によるグラフカット
 平滑化画像を変化させながら繰り返し処理
→ 大域的なセグメンテーションから局所的なセグメンテーション
入力画像 出力結果
平滑化 Graph Cuts
sの更新
seed
物体・背景の空間的確率
物体・背景の色分布確率
の更新

8. グラフカットによるセグメンテーション
 物体と背景のラベリング問題
 エネルギー関数 の最小化
t-link n-link
：ピクセル
：近傍ピクセル
： のペナルティ関数
：近接ノード の相互関係
：ラベル（前景，背景）

9. Step1. ピクセル間のエッジコスト(n-link)の計算
Step2. {s,p}, {t, p}間のエッジコスト(t-link)の計算
Step3. min-cut / max-flow algorithmによりグラフを分割
グラフの作成(n-link)
n-links

10. n-links
s 物体
t 背景
グラフの作成(t-link)
Step1. ピクセル間のエッジコスト(n-link)の計算
Step2. {s,p}, {t, p}間のエッジコスト(t-link)の計算
Step3. min-cut / max-flow algorithmによりグラフを分割

11. グラフの作成(t-link)
n-links
s 物体
t 背景
Step1. ピクセル間のエッジコスト(n-link)の計算
Step2. {s,p}, {t, p}間のエッジコスト(t-link)の計算
Step3. min-cut / max-flow algorithmによりグラフを分割

12. n-links
s 物体
t 背景
グラフの分割
cut
Step1. ピクセル間のエッジコスト(n-link)の計算
Step2. {s,p}, {t, p}間のエッジコスト(t-link)の計算
Step3. min-cut / max-flow algorithmによりグラフを分割

13. 従来法の問題点
 設定パラメータlの影響
– λが大きい：色情報に依存した突発的な誤検出
→ n-linkの影響を大きくする必要
入力画像 lが大きい場合
各ピクセルの性質(t-link) ピクセル間の関係(n-link)

14. 従来法の問題点
 設定パラメータlの影響
– λが小さい：エッジの影響が大きくなる
→ 局所的なエッジを越えることが困難
lが小さい場合入力画像
各ピクセルの性質(t-link) ピクセル間の関係(n-link)

15.  元画像でのセグメンテーション
 平滑化画像でのセグメンテーション
平滑化とn-linkの関係
入力画像
出力結果入力画像
出力結果
低
高
n-link
n-link
低
高

16. 提案手法の流れ
Step1. seedの入力
Step2. sの初期値計算
Step3. 画像の平滑化
Step4. Graph Cuts
Step5. セグメンテーション結果から事後確率の計算
Step6. s < 1でセグメンテーション結果が変化しなくなるか，s=0となったら終了
それ以外ならばs = a・s (0 < a < 1)と更新しStep 3へ
入力画像 出力結果
平滑化 Graph Cuts
sの更新
seed
物体・背景の空間的確率
物体・背景の色分布確率
の更新

17. ガウシアンフィルタによる平滑化
s=4
s=8
・・・
s=2s=1
ダウン
サンプリング
・・・
平滑化
(s=2)
平滑化
(s=1)
平滑化
(s=2)
平滑化
(s=1)
 sの連続性を保持した平滑化

18. 物体・背景の空間的確率と色分布確率の更新
1回前の
セグメンテーション結果
物体領域
背景領域
背景の色分布
距離変換
物体の色分布
距離変換
Gaussian Mixture Model による色分布確率距離変換からの空間的確率

19. セグメンテーション例(バナナと薔薇)
s=16 s=8 s=4 出力結果

20. セグメンテーション例（魚）
s=16 s=8 s=4 出力結果

21. 従来法との比較
 GrabCut Database
(http://research.microsoft.com/vision/
cambridge/i3l/segmentation/GrabCut.htm)
 画像と正解マスク画像
 人，風景，動物等 50枚
 比較対象
– Interactive Graph Cuts
[Y. Boykov et al, “Interactive Graph Cuts for Optimal Boundary & Region
Segmentation of Objects in N-D Images”, ICCV2001]
– GrabCut
[C. Rother et al , “GrabCut: Interactive Foreground Extraction using Iterated Graph
Cuts. ”SIGGRAPH2004]

22. 比較例
入力画像 Interactive Graph Cuts GrabCut 提案手法

23. 定量的比較 １
 誤検出率により評価
約2.1% セグメンテーション精度を向上

24. 定量的比較 １
 Interactive Graph Cuts と比較して誤検出率が約2.1%の向上
入力画像 Interactive Graph Cuts 提案手法
err:2.53% err:1.14%
→ 1.39%の精度向上

25. 定量的比較 ２
 Interactive Graph Cuts の誤検出率
– 2%以下 → 成功画像
– 2%以上 → 失敗画像
成功画像 → 従来法と同程度
失敗画像 → 約4.7% セグメンテーション精度向上

26. λ の設定値による影響
 lに影響を受けない安定したセグメンテーションが可能
提案手法
Interactive Graph Cuts
入力画像
l=0.005 l=1 l=50
各ピクセルの性質(t-link) ピクセル間の関係(n-link)

27. 動画像に対するセグメンテーション例 (人)
seed (1frame) 20 frame 40 frame30 frame

28. 動画像に対するセグメンテーション例 (車両)
seed (1frame) 20 frame 40 frame30 frame

29. まとめ:平滑化処理の繰り返しによるグラフカット
 平滑化を用いた大域的なセグメンテーションから局所的な
セグメンテーション
– 空間的確率と色分布確率を用いたt-link
– 従来法で失敗した画像に対して，約4.7% セグメンテーション精度向上
– λの設定値に影響を受けない安定したセグメンテーション
– 動画像への拡張が可能