Nowoczesne techniki wyznaczania map głębi

1. 1
Nowoczesne techniki
wyznaczania map głębi
mgr inż. Krzysztof Wegner
Katedra Telekomunikacji
Multimedialnej i Mikroelektroniki
Politechnika Poznańska
Seminarium „Przetwarzanie obrazów i multimedia”, listopad 2008

2. Plan prezentacji
 Ocena jakości (Middlebury+, MPEG)
 Poprzednie podejścia
 Ogólna idea
 Miary podobieństwa
 Algorytmy optymalizacji
 Przyszłe prace

3. Baza danych Middlebury
 Strona poświęcona algorytmom wyznaczania
map głębi
 Dostępne wielowidokowe statyczne zestawy
testowe z mapami Ground-Truth
 Ranking dokładności wyznaczania map głębi dla 4
zestawów testowych:
Tsukuba, Venus, Teddy, Cones
 Około 50 algorytmów z całego świata
 Kryterium „bad-pixels”
 http://vision.middlebury.edu/

4. Obrazy testowe Middlebury
Tsukuba Venus Teddy Cones
ObrazGłębia

5. Kryterium ‘bad-pixels’
 Klasyfikacja punktu jako błędny:
 Przekroczenie progu przez wartość bezwzględną
błędu rozbieżności
 Progi: 0.5, 0.75, … 2.0
 Względna liczba błędnych punktów
 Spłaszczenie charakteru błędów!
 Wyniki najlepszych algorytmów:
0,1% - 3%

6. Uzupełnione kryteria oceny
NBP-SAD (Normalized Bad Pixel SAD)
NBP-SSD (Normalized Bad Pixel SSD)
∑∈
−=−
pixelsbadyx
yxdyxG
pixelsbadofcount
SADNBP
,
),(),(
1
∑∈
−=−
pixelsbadyx
yxdyxG
pixelsbadofcount
SSDNBP
,
2
),(),(
1

7. MPEG - sekwencje
 10 sekwencji testowych:
 Pantomime, Champagne_tower, Dog,
Book_arrival, Leaving_laptop, Doorflowers,
Alt-Moabit, Lovebird1&2, Newspaper
 Rozdzielczość: 1024x768 ÷ 1280x960
 Ilość klatek/s: 16,67 ÷ 30 FPS
 Długość: 100 ÷ 600 ramek
 Rozstaw kamer: 3,5 cm ÷ 6,5 cm
 Ilość kamer: 12 ÷ 80 kamer

8. MPEG - sekwencje
Doorflowers Alt Moabit
Lovebird 1 Lovebird 2
Pantomime
Champagne tower
Dog
Newspaper

9. MPEG - jakość
 Porównanie poziomu PSNR syntezy widoku
z oryginalnym widokiem
 Synteza widoków SL, SR w pozycjach widoków OL, OR
 na podstawie widoków NL+D, NR+D
 Wynik syntezy (SL, SR) porównywany z oryginałami (OL, OR)

10. Poprzednie podejścia
 Bezpośrednie pasowania bloków
 Algorytm Viterbiego (1D)
 Przepływ optyczny
 Inteligentna dekwantyzacja (Mid-level
hypothesis)

11. Poprzednie podejścia
Bad-pixel vs PSNR syntesy
11

12. Ogólna idea
 Większość algorytmów
wyznaczania głębi działa
w oparciu o następujący
schemat
 Wyznaczenie kosztu pasowania
elementów sceny
 pasowanie bloków
 pasowanie segmentów
 pasowanie elementów struktury
 Optymalizacja
 Nic - WTA (Winner Takes All)
 Algorytm Viterbego
 Propagacja wierzeń - Belief Propagation
 Ciecie grafu - Graph Cut
 Przetwarzanie końcowe
 Zwiększanie precyzji mapy głębi
 Wykrywanie nie ciągłości mapy głębi

13. Miary podobieństwa obrazu
 Stosowane miary podobieństwa obrazów
 Miara SSD
 Miara SAD
 Miara GRAD
 Miara RANK
 Miara CENTUS
 Podobieństwo segmentów (kształt)
13

14. Miara RANK
 Non-parametric Local Transforms for Computing
Visual Correspondence - Ramin Zabih and John
Woodfill
 Miara oparta o nieparametryczną transformację obrazu
RANK
 Transformacja RANK przypisuje każdemu punktowi P
obrazu liczbę określającą ilość punktów w jego sąsiedztwie
N(P) które mają mniejszą od niego jasność I.
14
( ) ( ) ( ) ( ){ }PIPIPNPPR <∈= '|'
127 127 129
126 128 129
127 131 127
Przykładowy punkt P wraz z otoczeniem.
Punkty o jasności mniejszej od I(P) wytłuszczono
( ) 5=PR

15. Miara RANK
 Miarą podobieństwa dwóch punktów jest różnica pomiędzy
wartościami transformaty RANK .
 Zastosowanie transformacji RANK na obrazie Cones
15
Obraz oryginalny Transformacja RANK
obrazu oryginalnego
z otoczeniem 5x5

16. Miara CENTUS
 Non-parametric Local Transforms for Computing
Visual Correspondence - Ramin Zabih and John
Woodfill
 Miara oparta o nieparametryczną transformację obrazu
CENTUS
 Transformacja CENTUS przypisuje każdemu punktowi P
obrazu ciąg bitów reprezentujący które z punktów w jego
sąsiedztwie N(P) mają mniejszą od niego jasność I.
16
127 127 129
126 128 129
127 131 127
Przykładowy punkt P wraz z otoczeniem.
Punkty o jasności mniejszej od I(P) wytłuszczono
1 1 0 1 0 0 1 0 1 ( ) 421=PRτ

17. Miara CENTUS
 Miarą podobieństwa dwóch punktów jest odległość
hamminga pomiędzy wartościami transformaty CENTUS
 Zastosowanie transformacji CENTUS na obrazie Tsukuba
17
Obraz orginalny Transformacja CENTUS
obrazu oryginalnego
z otoczeniem 5x5

18. Miary podobieństwa obrazów
 Mapy głębi wyznaczone na postawie różnych miar
podobieństwa obrazów dla obrazka cones
18
SAD GRAD RANK CENTUS
59,180444% 55,754074% 77,143111% 61,539556%

19. Agregacja kosztu
 Agregacja kosztu bazuje na obserwacji iż pasowanie
pojedynczych punktów jest nie efektywne
 Agregacja w bokach powoduje pojawienie się artefaktów
pasowania elementów spowodowanie nieregularnymi
kształtami elementów obrazu
 Rozwiązanie:
Pasowanie elementów w miękko po segmentowanym
obrazie
19

20. Miękka segmentacja
 Obraz dzielony jest na wiele nakładających się segmentów.
 Każdy punktu należy do danego segmentu z pewną wagą
bazującą na podobieństwie analizowanych punktów.
20
( ) dc
PPPIPI
ePPW γγ
')'()(
',
−
−
−
−
=

21. Miary podobieństwa obrazów
21
SAD GRAD RANK CENTUS
33,612444% 12,795259% 41,185778% 25,473185%
SAD GRAD RANK CENTUS
59,180444% 55,754074% 77,143111% 61,539556%

22. Łączne miary podobieństwa obrazów
SAD GRAD RANK MAX(SAD,GRAD,RANK)
33,612444% 12,795259% 41,185778% 6,135704%
 Aby zwiększyć jakoś wyznaczania map głębi
zaproponowano łączne miary podobieństwa
obrazów
 Max(SAD,GRAD,RANK)
 SAD+RANK
22

23. Miary podobieństwa obrazów
 d
23
GRAD SAD RANK
SAD+RAN
K
Max(SAD,RANK,GRA
D)
WTA 13,95 38,05 47,09 12,91 6,93
BP 3,7 4,13 2,94 2,85 2,98

24. Belief Propagation
 Ogólna metoda rozwiązywania problemów
optymalizacyjnych
 Używana jest najczęściej do
 Wyznaczania map głębi
 Uzupełniania obrazów
 Generowania nowej tekstury na podstawie próbki
 Segmentacji obrazów
24

25. Belief propagation
 Na elementach strukturalnych (punkty, segmenty) obrazu
(np. lewego) rozciągana jest siatka węzłów algorytmu BP.
 Jeśli dwa elementy sąsiadują ze sobą w obrazie
odpowiadające im węzły także zostają połączone.
25

26. Belief propagation
 W każdym węźle przechowywana jest informacja o koszcie
pasowania danego elementu z obrazu lewego w pewne
potencjalne miejsce w obrazie prawym
 Koszt ten jest miarą „wierzenia” węzła iż element który
reprezentuje faktycznie pasuje w dane miejsce w drugim
obrazie
26

27. Belief propagation
 Propagacja „wierzeń” pomiędzy węzłami za
pośrednictwem dedykowanych wiadomości
Schemat bez
widoku

28. Belief propagation
 Wiadomości wyznaczane są na
podstawie:
 Modelu zmiany wierzenia
 Własnych obserwacji
 Wiadomości otrzymanych z innych
węzłów
28
( ) ( ) ( ) ( )





++= ∑ →→
i
ppsippqppq
f
qqp fmfDffVfm
p
,min
),( qppq ffV
( )pp fD
( )ppsi fm →

29.  Modele zmiany wierzenia - modele
gładkości
 Potts Model
 Model liniowy
Belief propagation
( )



≠
=
=
qp
qp
qppq
ffdla
ffdla
ffV
α
0
,
( ) [ ]γβ ,min, qpqppq ffffV −=

30. Belief propagation
 Zaproponowany przez nas model zmiany wierzeń:
 oparty o model liniowy
 uwzględnia podobieństwo punktów pomiędzy którymi
przesyłana jest wiadomość
 zbudowany na liniowej funkcji g(x) z nasyceniem
30
( ) [ ]
( )
( ) ( )[ ]aeacxg
IIg
ffffV
bx
qp
qpqppq
+⋅−−=
−=
−=
− /
1log
,min,
β
γβ
gdzie:
Ip – Jasnośc punktu p, Iq – Jasność punktu q

31. Hierarchiczny BP
 Przyśpieszenia działania
 Generalizacji wyniku
 Przetwarzanie od warstwy o najmniejszej liczbie węzłów do warstwy o
największej liczbie węzłów
31

32. Wyjście z algorytmu
 Pod koniec działania algorytmu, wyznacza się wierzenia
własne każdego węzła.
 Rozbieżność fp o najmniejszej wartości wierzenia jest
wybierana, jako wynik
32
( ) ( ) ( )∑ →+=
i
ppsippp fmfDfb
Mapa głębi dla obrazu Cones
2.313481%

33. Inne modyfikacje
 8 punktowe otoczenie
 Przetwarzanie co 2 drugiej
wiadomości w schemacie szachownicy
 Estymacja podpunktowa
33
Otoczenie
4 punktowe
Otoczenie
8 punktowe Siatka algorytmu BP

34. Graph Cuts
 Ogólna technika
 Używana w oprogramowaniu referencyjnym MPEG’a
 Na elementach strukturalnych (punkty, segmenty) obrazu
(np. lewego) rozciągany jest graf
 Jeśli dwa elementy sąsiadują ze sobą w obrazie,
odpowiadające im węzły także zostają połączone krawędzią
o wadze odpowiadającej podobieństwu tych dwóch
elementów

35. Graph Cuts
 Do grafu wstawia się pewną ilość węzłów źródłowych
reprezentujących możliwe wartości rozbieżności
 Węzły źródłowe łączone są z każdym węzłem w grafie za
pomocą krawędzi o wadze odpowiadającej kosztowi
pasowania tego elementu w dane miejsce w drugim obrazie
35

36. Graph Cuts
 Graf dzieli się na rozłączne fragmenty za pomocą cięcia
grafu w taki sposób aby każdy fragment połączony był tylko
z jednym węzłem źródłowym
 Węzeł źródłowy połączony z danym fragmentem,
reprezentuje szukaną wartością rozbieżności
36

37. Jakość map głębi - wyniki
37

38. Przyszłe prace
 Spójność czasowa
 Optymalne odległość między kamerami
 Segmentacja

39. Odległość miedzy kamerami
 Jak odległość miedzy kamerami wpływa na
jakość wyznaczonych map głębi?
39

40. Wyniki dokładność punktowa
40

41. Wyniki dokładność półpunktowa
41

42. Dziękuję za uwagę
 Pytania?

43. Technika wyznaczania Ground-Truth
 Wymaga naświetlania tekstur
o regularnym wzorze
 Kody Gray’a w poziomie i pionie

44. Inteligentna dekwantyzacja
 Założenie: na granicy poziomów kwantyzacji
występuje poziom pośredni
 Weryfikacja założenia na podstawie
resyntezy
 Rozrost analizowanego obszaru
 Wykonywanie wielokrotne pozwala na
wielokrotne zagęszczenie liczby poziomów

45. 1. Detekcja krawędzi jednostkowych

46. 2. Wartość pośrednia

47. 3. Weryfikacja przez reysteze

48. 4. Rozprzestrzenianie hipotezy

49. 5. Koniec przetwarzania

50. Inteligentna dekwantyzacja
Procent błędnych punktów względem
skwantowanej mały głębi
0,00%
20,00%
40,00%
60,00%
80,00%
100,00%
120,00%
1 2 3 4
Iteracja
Procentbłędnychpunktów

51. Inteligentna dekwantyzacja

52. Mapy głębi
 MPEG – dokument : pojęcie głębia
 Obrazek - krótko