Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
関東CV勉強会 2015年7月20日 CVPR2015論文紹介
Approximate Nearest
Neighbor Fields in Video
紹介論文
❖ “Approximate Nearest Neighbor Fields in Video”!
❖ Nir Ben-Zrihem, Lihi Zelnik-Manor!
❖ CVPR 2015
論文概要
画像
大量の画像 大量の画像パッチ群
学習
Reference set
…
論文概要
利用例 (denoising)
論文概要
❖ Ring Intersection Approximate Nearest Neighbor search;
RIANN!
❖ とっても速い!
★ state-of-the-art より2桁速い.!
★ 30fps 動画をReal...
Nearest neighbor
❖ Reference points (青, 赤) に対し, query point
(緑) が最も近い点はどれか?!
❖ 近似的に求める場合はApproximate nearest
neighbor (ANN...
ANN-Field
❖ 入力画像の各パッチを, reference set にあるパッチに紐づける. !
❖ 対応は (Approximate) nearest neighbor で決定される. !
❖ この対応表 の1枚1枚をANN-Fiel...
問題
❖ Reference set はすでに持っているとして, 入力パッチに
対応する reference を高速に見つけたい.
: に対応するreference
: に対応するreference
よくでてくる記号
qx,y,t
: 時刻 t, 座標 (x, y), の画像パッチ
Frame
時系列
x
y
Reference set
…
ri
qx,y,t
Video
...
Temporal coherency
時間的に連続するフレーム間の対応するパッチは似てる
対応する reference も似ている.
❖ Hollywood2 dataset の20のvideoで確認. !
❖ Reference setはター...
❖ の reference がわかったとする. の reference
を見つけるには, 多くの場合, の周辺を探せばいい. !
❖ ただ, temporal coherency が成り立たない場合は探索範囲を広
げなくてはいけない.
ri q...
Query と reference の距離
❖ もし reference set が適切なら, と
その reference はよく似ているはず.
dist(ri, rj) dist(ri, qx,y,t)
qx,y,t
rj
先ほどと同様の条...
Find a ring
❖ 図のような円環上を探せば良い.
= · dist(ri, qx,y,t)
dist(ri, rj) dist(ri, qx,y,t)
それぞれのqueryに対し, どうやって探索範囲を定めるか?
∵
❖ 円環の厚みは...
Find a ring
❖ 図のような円環上を探せば良い.
= · dist(ri, qx,y,t)
dist(ri, rj) dist(ri, qx,y,t)
それぞれのqueryに対し, どうやって探索範囲を定めるか?
∵
❖ 円環の厚みは...
Adaptive hashing
❖ もし reference set が適切なら, とその reference は似て
る( ).!
❖ だけでなく他の reference についても成り立つでしょ.
dist(rk, rj) dist(rk...
❖ 実験では, !
★ 次の円環中心の reference は探索領域内の reference からランダムに選
ぶ. !
★ 探索領域にある reference 数が20をきるまで円環を重ねて絞っていく. !
★ 絞りきった後に残った ref...
円環領域にある点を探すために
❖ 円環領域にある点を探すために, reference set の任意の 2 reference に対
して距離を計算してソートしておく. !
❖ これによって二分探索で, 円環部分の reference を高速に...
Reference set のはなし
❖ 動画群から global reference set をつくる. !
❖ 応用例によっては, 入力動画の1フレームだけからつくった local
reference set をつくる.
Reference set をつくる
Frame
大量の画像 大量の画像パッチ
High dimensional tree !
でクラスタリング
類似のパッチがいっぱい
各クラスタのmedianを採用
Reference set
…
local...
実験
❖ Hollywood2 dataset から 20の動画をターゲットとして使う. !
❖ 各動画は200 frame, 解像度は480*640, 600*800, 768*1024.!
❖ 各動画についてANNFを作って, 重複部分は平...
応用例
❖ Realtime Video Denoising!
❖ Realtime Video Colorization!
❖ Realtime Styling Effects
どれも local reference set を使う.
Denoising
❖ 7% Gaussian ノイズ.!
❖ 1 frame だけ BM3D で denoise して local reference をつくる.
Colorization
❖ Grayscale 動画 に色を付ける. !
❖ Grayscale 動画の1 frameは手動で色を付ける or color 動画の1 frameは既
知として, これから local reference set...
Styling effect
❖ Photoshopで1frameだけ加工して, reference setを作る. !
❖ 残りのフレームはANNFから再生.
おしまい
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video
Upcoming SlideShare
Loading in …5
×

関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video

1,294 views

Published on

Published in: Engineering
  • Be the first to comment

関東Cv勉強会@20150720 approximate nearest_neighbor_fields_in_video

  1. 1. 関東CV勉強会 2015年7月20日 CVPR2015論文紹介 Approximate Nearest Neighbor Fields in Video
  2. 2. 紹介論文 ❖ “Approximate Nearest Neighbor Fields in Video”! ❖ Nir Ben-Zrihem, Lihi Zelnik-Manor! ❖ CVPR 2015
  3. 3. 論文概要 画像 大量の画像 大量の画像パッチ群 学習 Reference set …
  4. 4. 論文概要 利用例 (denoising)
  5. 5. 論文概要 ❖ Ring Intersection Approximate Nearest Neighbor search; RIANN! ❖ とっても速い! ★ state-of-the-art より2桁速い.! ★ 30fps 動画をReal-time 処理できる.! ❖ Reference set は(基本的に) global (入力画像によらない).
  6. 6. Nearest neighbor ❖ Reference points (青, 赤) に対し, query point (緑) が最も近い点はどれか?! ❖ 近似的に求める場合はApproximate nearest neighbor (ANN).
  7. 7. ANN-Field ❖ 入力画像の各パッチを, reference set にあるパッチに紐づける. ! ❖ 対応は (Approximate) nearest neighbor で決定される. ! ❖ この対応表 の1枚1枚をANN-Fieldと呼ぶ.
  8. 8. 問題 ❖ Reference set はすでに持っているとして, 入力パッチに 対応する reference を高速に見つけたい.
  9. 9. : に対応するreference : に対応するreference よくでてくる記号 qx,y,t : 時刻 t, 座標 (x, y), の画像パッチ Frame 時系列 x y Reference set … ri qx,y,t Video qx,y,t 1 rj
  10. 10. Temporal coherency 時間的に連続するフレーム間の対応するパッチは似てる 対応する reference も似ている. ❖ Hollywood2 dataset の20のvideoで確認. ! ❖ Reference setはターゲットのビデオ自身から学 習. queryとreferenceの対応は (exact) NN.! ❖ パッチサイズは8*8. ! ❖ の場合の~85%が距離1以下になった.ri = rj
  11. 11. ❖ の reference がわかったとする. の reference を見つけるには, 多くの場合, の周辺を探せばいい. ! ❖ ただ, temporal coherency が成り立たない場合は探索範囲を広 げなくてはいけない. ri qx,y,t rj qx,y,t 1 ri それぞれのqueryに対し, どうやって探索範囲を定めるか? Temporal coherency
  12. 12. Query と reference の距離 ❖ もし reference set が適切なら, と その reference はよく似ているはず. dist(ri, rj) dist(ri, qx,y,t) qx,y,t rj 先ほどと同様の条件で! 実験的に確認
  13. 13. Find a ring ❖ 図のような円環上を探せば良い. = · dist(ri, qx,y,t) dist(ri, rj) dist(ri, qx,y,t) それぞれのqueryに対し, どうやって探索範囲を定めるか? ∵ ❖ 円環の厚みは円の直径に比例させる.
  14. 14. Find a ring ❖ 図のような円環上を探せば良い. = · dist(ri, qx,y,t) dist(ri, rj) dist(ri, qx,y,t) それぞれのqueryに対し, どうやって探索範囲を定めるか? ∵ ❖ 円環の厚みは円の直径に比例させる. でもまだここらへん余分じゃない?
  15. 15. Adaptive hashing ❖ もし reference set が適切なら, とその reference は似て る( ).! ❖ だけでなく他の reference についても成り立つでしょ. dist(rk, rj) dist(rk, qx,y,t) qx,y,t rj dist(ri, rj) dist(ri, qx,y,t) dist(rk, rj) dist(rk, qx,y,t) 複数の円環の積集合部分を探索する rj
  16. 16. ❖ 実験では, ! ★ 次の円環中心の reference は探索領域内の reference からランダムに選 ぶ. ! ★ 探索領域にある reference 数が20をきるまで円環を重ねて絞っていく. ! ★ 絞りきった後に残った reference から nearest neighbor で query の reference を見つける. Ring Intersection Approximate Nearest Neighbor search (RIANN) アルゴリズム名
  17. 17. 円環領域にある点を探すために ❖ 円環領域にある点を探すために, reference set の任意の 2 reference に対 して距離を計算してソートしておく. ! ❖ これによって二分探索で, 円環部分の reference を高速に得られる. ri からの距離の小さい順に並んだリスト {ri, r2, ..., r9, r1, ...} < d +d < これで円環部分の reference を速く見つけられる.
  18. 18. Reference set のはなし ❖ 動画群から global reference set をつくる. ! ❖ 応用例によっては, 入力動画の1フレームだけからつくった local reference set をつくる.
  19. 19. Reference set をつくる Frame 大量の画像 大量の画像パッチ High dimensional tree ! でクラスタリング 類似のパッチがいっぱい 各クラスタのmedianを採用 Reference set … local reference set ! の場合は1 Frameだけ.
  20. 20. 実験 ❖ Hollywood2 dataset から 20の動画をターゲットとして使う. ! ❖ 各動画は200 frame, 解像度は480*640, 600*800, 768*1024.! ❖ 各動画についてANNFを作って, 重複部分は平均化して, フレームを再構 成. ターゲットフレームとの誤差で評価. ! ❖ パッチサイズは8*8.
  21. 21. 応用例 ❖ Realtime Video Denoising! ❖ Realtime Video Colorization! ❖ Realtime Styling Effects どれも local reference set を使う.
  22. 22. Denoising ❖ 7% Gaussian ノイズ.! ❖ 1 frame だけ BM3D で denoise して local reference をつくる.
  23. 23. Colorization ❖ Grayscale 動画 に色を付ける. ! ❖ Grayscale 動画の1 frameは手動で色を付ける or color 動画の1 frameは既 知として, これから local reference set を作る. ! ❖ 残りのフレーム部分はANNFで色づけ.
  24. 24. Styling effect ❖ Photoshopで1frameだけ加工して, reference setを作る. ! ❖ 残りのフレームはANNFから再生.
  25. 25. おしまい

×