Download as PDF, PPTX
![SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts32022ssiiess-220607054523-e80be8dc-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Learning to simplify fully convolutional networks for rough sketch](https://cdn.slidesharecdn.com/ss_thumbnails/learningtosimplifyfullyconvolutionalnetworksforroughsketch-161026035230-thumbnail.jpg?width=640&height=640&fit=bounds)
グラフカットによる画像背景切り取り
- 1.
- 2. 劣モジュラ関数 f(S) + f(T)≥ f(S ∪ T) + f(S ∩ T) 割とよくあり、何かと良い性質をもつ
- 3. 確率、エネルギー ある状態の「良くなさ」をエネルギーだと思う ボルツマン分布: p ∝ e−E を仮定(p: エネルギー E の確率分布) 確率を最大化したい 確率はエネルギーの減少関数
- 4. 確率、エネルギー ある状態の「良くなさ」をエネルギーだと思う ボルツマン分布: p ∝ e−E を仮定(p: エネルギー E の確率分布) 確率を最大化したい 確率はエネルギーの減少関数 ⇓ エネルギーを最小化したい
- 5. カット関数 グラフ G(V, E)が与えられたとき ce を辺 e の容量, δG(S) を S か ら出る辺の集合とすれば fcut(S) = e∈δG(S) ce
- 6.
- 7.
- 8. 劣モジュラ関数最小化 Figure: 贅沢な人 一般には O(n5EO+ n6) (O(EO) は関数の計算量)
- 9. 劣モジュラ関数最小化 Figure: 贅沢な人 一般には O(n5EO+ n6) (O(EO) は関数の計算量) 最小カットは比較的現実的な計算量の アルゴリズムが存在する稀有な例 e.g. (V, E) = (|V|, |E|) として Ford-Fulkerson O(V E2) Dinic, Goldberg-Tarjan O(V 2E) Goldberg-Tarjan with link-cut tree O(V E log V 2 E )
- 10. Markov 確率場 グラフ各頂点 viに確率変数 xi が対応し、それぞれのエネルギー への寄与は辺で結ばれた頂点にのみ依存 E(x) = i∈V θi(xi) + (i,j)∈E θij(xi, xj) + θconst
- 11. Markov 確率場 グラフ各頂点 viに確率変数 xi が対応し、それぞれのエネルギー への寄与は辺で結ばれた頂点にのみ依存 E(x) = i∈V θi(xi) + (i,j)∈E θij(xi, xj) + θconst 最小化は一般には NP 困難
- 12. Markov 確率場 グラフ各頂点 viに確率変数 xi が対応し、それぞれのエネルギー への寄与は辺で結ばれた頂点にのみ依存 E(x) = i∈V θi(xi) + (i,j)∈E θij(xi, xj) + θconst 最小化は一般には NP 困難 xi が 2 つの値のみをとる場合、最小カットに帰着可能
- 13. θ への制約 xi ∈0, 1 とすると θij(1, 0) + θij(0, 1) ≥ θij(0, 0) + θij(1, 1)
- 14. θ への制約 xi ∈0, 1 とすると θij(1, 0) + θij(0, 1) ≥ θij(0, 0) + θij(1, 1) ⇐⇒ θij(1, 0) − θij(0, 0) ≥ θij(1, 1) − θij(0, 1) ⇐⇒ θij(0, 1) − θij(0, 0) ≥ θij(1, 1) − θij(1, 0)
- 15. θ への制約 xi ∈0, 1 とすると θij(1, 0) + θij(0, 1) ≥ θij(0, 0) + θij(1, 1) ⇐⇒ θij(1, 0) − θij(0, 0) ≥ θij(1, 1) − θij(0, 1) ⇐⇒ θij(0, 1) − θij(0, 0) ≥ θij(1, 1) − θij(1, 0) 劣モジュラ性が必要
- 16. 画像切り取りから Markov 確率場へ 各頂点が各ピクセルに対応、xi:0 ならソース側、1 ならシンク側 色の遠さを切ったときのエネルギーに 高コスト ↓ 低コスト ↓ e.g. grayscale なら単純に色の差の絶対値をとる
- 17.
- 18. 内側/外側 同サイズの別画像を用いて境界を大まかに指定 新たに 2 頂点(Source/Sink) をつくり、内側境界は Source, 外 側境界は Sink にキャパシティ λ の辺を張る
- 19. 内側/外側 同サイズの別画像を用いて境界を大まかに指定 新たに 2 頂点(Source/Sink) をつくり、内側境界は Source, 外 側境界は Sink にキャパシティ λ の辺を張る λ は適当に調整
- 20. 劣モジュラ性の確認 θij(0, 0) =θij(1, 1) = 0 ≤ θij(0, 1) = θij(1, 0) なので OK.
- 21. 劣モジュラ性の確認 θij(0, 0) =θij(1, 1) = 0 ≤ θij(0, 1) = θij(1, 0) なので OK. (普通はここで劣モジュラにするため修正する手続きが必要)
- 22.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31. 原因候補 何かしらのバグ 型合わせ段階で結構潰したはず... 動き的にこれっぽい シードが悪い どこが内側/外側かを予め大まかに指定する必要がある 論文探したら結構真面目にやらないとダメっぽい？ update(8/30 9:41) :それなりに指定してもダメなのでこれで はなさそう 方法が悪い
- 32. 原因候補 何かしらのバグ 型合わせ段階で結構潰したはず... 動き的にこれっぽい シードが悪い どこが内側/外側かを予め大まかに指定する必要がある 論文探したら結構真面目にやらないとダメっぽい？ update(8/30 9:41) :それなりに指定してもダメなのでこれで はなさそう 方法が悪い 画像切り抜きを表現する劣モジュラ関数はこれだけではない
- 33. 原因候補 何かしらのバグ 型合わせ段階で結構潰したはず... 動き的にこれっぽい シードが悪い どこが内側/外側かを予め大まかに指定する必要がある 論文探したら結構真面目にやらないとダメっぽい？ update(8/30 9:41) :それなりに指定してもダメなのでこれで はなさそう 方法が悪い 画像切り抜きを表現する劣モジュラ関数はこれだけではない まだその領域には達してない
- 34.
- 35.
- 36.
- 37.