SlideShare a Scribd company logo
1 of 38
Download to read offline
-第21回 名古屋CV・PRML勉強会-




   初めてのグラフカット
                                      平川 翼
                       広島大学 大学院工学研究科	
  




                              2012/11/17	
  @	
  中部大学
グラフカットを勉強することになり…




         日本語で書いてあるし…
         GCの英語論文を読むより楽そう


         チュートリアルなんだから…
         分かりやすく書いてありそう
実際に読んでみた
l  GCの元論文を読んだり
l  SlideshareからGCのスライドを探したり




そして,ようやく
この発表は…


ü  GCを知らない人・
      使ってみたいけどよく分からない人が対象



ü  既にGCを知っている人・
      より理解を深めたい人には簡単かもしれません.



         ご了承ください
コンセプト

ü 難しいことは考えない
 •  まずは二値で…


ü 難しい数式は使わない
 •  劣モジュラ条件
 •  Quadratic Pseudo-Boolean optimization (QPBO)
 •  距離・半距離


ü まずは具体的なイメージを持つ

ü 使えるツールは何でも使う!
用途




最小切断問題 (st-mincut)



グラフカットの適用例
(セグメンテーション)
Image restoration                                  Stereo




http://www.hukgroup.com/           [Ishikawa et al., CVPR 1999]


                  Segmentation                            GrabCut




[Verbeek et al., IJCV 2010]        [Rother et al., ACM 2004]
Image restoration                                 Stereo




http://www.hukgroup.com/           [Ishikawa et al., CVPR1999]


                 Segmentation                             GrabCut




[Verbeek et al., IJCV2010]         [Rother et al., ACM2004]
用途




最小切断問題 (st-mincut)



グラフカットの適用例
(セグメンテーション)
最小切断問題 (st-mincut) ~準備~


           source
                             頂点とそれをつなぐエッジを持つ
       2            8        ようなグラフをイメージする
             2
                             1.  頂点に名前をつける
  v1                    v2
             1               2.  エッジに重みをつける
       5            4
                                有向グラフ
           target
有向グラフの形は…
有向グラフの形は…




    st-mincutの時点では
      どんな形でもOK!
最小切断問題 (st-mincut)


          source
                            sourceとtargetを基準にして,
      2            8        2つの領域に分けるように
                            境界線を引く
            2
 v1                    v2
            1

      5            4         これをst-cutという
          target
じゃあ,何が最小(min)なの?
最小切断問題 (st-mincut)


          source
                            sourceからtargetへ流れ込む
      2            8        エッジの重みの和
            2                  st-cutのコスト
 v1                    v2
            1
                             この場合は…
      5            4
                                8 + 2 + 5 = 15
          target
最小切断問題 (st-mincut)


         source                     source                     source                     source

     2            8             2            8             2            8             2            8
           2                          2                          2                          2
v1                    v2   v1                    v2   v1                    v2   v1                    v2
           1                          1                          1                          1
     5            4             5            4             5            4             5            4

         target                     target                     target                     target


          15                          7                         10                          9
                            最小!
最小切断問題 (st-mincut)


         source                     source                     source                     source

     2            8             2            8             2            8             2            8
           2                          2                          2                          2
v1                    v2   v1                    v2   v1                    v2   v1                    v2
           1                          1                          1                          1
     5            4             5            4             5            4             5            4

         target                     target                     target                     target


          15                          7                         10                          9
                            最小!
最小切断問題 (st-mincut)


         source                     source                     source                     source

     2            8             2            8             2            8             2            8
           2      コストの最も小さいst-cut
                     2    2                                                                 2
v1                    v2   v1                    v2   v1                    v2   v1                    v2
           1                          1                          1                          1
     5            4             5         st-mincut
                                            4    5                      4             5            4

         target                     target                     target                     target


          15                          7                         10                          9
                            最小!
st-mincutはどうやるの?

ü 最大流(maxflow)アルゴリズム
                 というものを用いています


ü  ただし…
     今回は説明しません


ü  なぜなら…
     コンセプトを思い出してください
コンセプト

ü 難しいことは考えない
 •  まずは二値で…


ü 難しい数式は(できるだけ)使わない
 •  劣モジュラ条件
 •  Quadratic Pseudo-Boolean optimization (QPBO)
 •  距離・半距離


ü まずは具体的なイメージを持つ

ü 使えるツールは何でも使う!
GC・st-mincutを行うツールは
             たくさん用意されています!




http://vision.csd.uwo.ca/code/   http://igraph.sourceforge.net/
グラフカットでやっているのは…

         source

     2            8
                           st-mincutによって要素が
           2
v1                    v2
                           sourceのグループなのか,
                           targetのグループなのか
           1
                           を決めているだけ
     5            4

         target
用途




最小切断問題 (st-mincut)



グラフカットの適用例
(セグメンテーション)
グラフカット   ~目的~




 前景と背景をセグメンテーションしたい!

                [Kumar et al ., ECCV 2008]
グラフカット   ~準備~


   各ピクセルが前景らしいか(背景らしいか)
      どうかのコストを持っている




 前景     前景らしい
らしくない
グラフカット   ~準備~


  近傍のピクセルとの色差(RGB, HSV…)を
      コストとして持っている




色差が      色差が
大きい      小さい
グラフカット   ~グラフの作成~

               source




               target

   sourceとtargetの頂点を追加する
グラフカット   ~エッジの重み付け~



     前景




               source→前景・target→背景
               とする




     背景
グラフカット   ~エッジの重み付け~



     前景

           背景らしい
            コスト




           前景らしい
            コスト

     背景
グラフカット   ~エッジの重み付け~



      前景




  色差のコスト



      背景
グラフカット ~segmentation~
                前景




                背景


   このグラフをst-mincutするだけ
完成!
完成!
まとめ

•  グラフカットの応用例
  –  画像復元,セグメンテーション,ステレオ,etc…


•  最小切断問題(st-mincut)
  –  GCはこれが基本であり,全てです


•  GCを用いた前景・背景セグメンテーション
  –  他にもいろいろなことができます
  –  グラフの作り方・重みの付け方は自分次第
ご清聴ありがとうございました

More Related Content

What's hot

[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方joisino
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習cvpaper. challenge
 
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用ブラックボックス最適化とその応用
ブラックボックス最適化とその応用gree_tech
 
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language SupervisionDeep Learning JP
 
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)Masahiro Suzuki
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
 
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)Takao Yamanaka
 
Triplet Loss 徹底解説
Triplet Loss 徹底解説Triplet Loss 徹底解説
Triplet Loss 徹底解説tancoro
 
「世界モデル」と関連研究について
「世界モデル」と関連研究について「世界モデル」と関連研究について
「世界モデル」と関連研究についてMasahiro Suzuki
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?Masanao Ochi
 
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data  (NeurIPS 2021) 表形式デー...[DL輪読会]Revisiting Deep Learning Models for Tabular Data  (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...Deep Learning JP
 
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算sleepy_yoshi
 
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデルKei Nakagawa
 
グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門Kawamoto_Kazuhiko
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Modelscvpaper. challenge
 
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識佑 甲野
 

What's hot (20)

[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
 
最適輸送の解き方
最適輸送の解き方最適輸送の解き方
最適輸送の解き方
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
 
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
 
ブラックボックス最適化とその応用
ブラックボックス最適化とその応用ブラックボックス最適化とその応用
ブラックボックス最適化とその応用
 
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について
 
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
 
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
 
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
 
Triplet Loss 徹底解説
Triplet Loss 徹底解説Triplet Loss 徹底解説
Triplet Loss 徹底解説
 
「世界モデル」と関連研究について
「世界モデル」と関連研究について「世界モデル」と関連研究について
「世界モデル」と関連研究について
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data  (NeurIPS 2021) 表形式デー...[DL輪読会]Revisiting Deep Learning Models for Tabular Data  (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
 
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
 
金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル金融時系列のための深層t過程回帰モデル
金融時系列のための深層t過程回帰モデル
 
グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門
 
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
 
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
 

Viewers also liked

ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...Toru Tamaki
 
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...Toru Tamaki
 
20110415 Scattering in CG and CV
20110415 Scattering in CG and CV20110415 Scattering in CG and CV
20110415 Scattering in CG and CVToru Tamaki
 
20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告Toru Tamaki
 
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科Toru Tamaki
 
20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱Toru Tamaki
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列Toru Tamaki
 
画像フィルタリング
画像フィルタリング画像フィルタリング
画像フィルタリングToru Tamaki
 
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出Toru Tamaki
 
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部Toru Tamaki
 
実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割yaju88
 
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解くshindannin
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成Yoshitaka Ushiku
 

Viewers also liked (13)

ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
ICASSP2012 Poster Estimating the spin of a table tennis ball using inverse co...
 
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
201109CVIM/PRMU Inverse Composite Alignment of a sphere under orthogonal proj...
 
20110415 Scattering in CG and CV
20110415 Scattering in CG and CV20110415 Scattering in CG and CV
20110415 Scattering in CG and CV
 
20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告20120629PRMU CVPR2012報告
20120629PRMU CVPR2012報告
 
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
広島大学工学部における医用画像処理の取り組み:放射線科,眼科,内科
 
20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱20110326 CG・CVにおける散乱
20110326 CG・CVにおける散乱
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
 
画像フィルタリング
画像フィルタリング画像フィルタリング
画像フィルタリング
 
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
20110606PRMU 2D-3Dマッチングを用いた3次元点群の時間的な剛体変化検出
 
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
SSII2012 2D&3Dレジストレーション ~画像と3次元点群の合わせ方~ 第1部
 
実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割
 
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成
 

初めてのグラフカット