Synteza widoków

1. 1
Synteza Widoków
Wirtualnych w systemach
Telewizji 3D
Seminarium Doktoranckie, czerwiec 2010
Krzysztof Wegner
Katedra Telekomunikacji
Multimedialnej i Mikroelektroniki
Politechnika Poznańska

2.  Tradycyjna Telewizja – pojedyńcza kamera
 Jedno miejsce obserwacji
 Telewizja 3D – system wielu kamer
 Wiele miejsc obserwacji
2
Telewizja 3D

3. System wielo kamerowy
 System kamer – Politechnika Poznańska
3

4. 4
Sekwencje wielowidokowe
 Sekwencja składa się z wielu widoków
zarejestrowanych z wielu miejsc w przestrzeni

5. 5
Sekwencje wielowidokowe
 Standardowe wielowidokowe sekwencje
testowe
 ISO/IEC MPEG 3DV – zbiór 14 sekwencji
testowych
 4 sekwencje nakręcone na Poliechnice
Pozańskiej
Widok 3Widok 1 Widok 5

6. Poznań Street
6

7. Telewizja swobodnego punktu
widzenia
 Widz może wybrać z którego miejsca chce
oglądać scenę.
 Nie tylko z miejsca z którego fizycznie
rejestrowaliśmy scenę
7

8. Mapy głębi
 Informacja o strukturze przestrzennej sceny
 Im jaśniejszy kolor tym bliższy obiekt
8

9. Poznań Street
9

10. Poznań Street
10

11. Synteza widoku wirtualnego
 Ma na celu stworzenie obrazu z wirtualnej
kamery
 Na podstawie obrazów referencyjnych
 Renderowanie
11

12. Synteza widoku wirtualnego
 1. Rekonstrukcja modelu w przestrzeni 3D
 obrazy referencyjne
 mapy głebi
12

13. Synteza widoku wirtualnego
 2. Model w przestrzeni 3D
 poprawki modelu
13

14. Synteza widoku wirtualnego
 3. Renderowanie nowego widoku
 rzutowanie modelu do nowego widoku
14

15. Synteza widoku wirtualnego
 Problemy
 Nie dokładności w mapie głębi
 Różnice w oświetleniu
 Półprzeźroczystości
 Nawigowanie
 Czas syntezy
15

16. Czas
 Renderowanie – złożone obliczeniowo
 Obliczenie pozycji w przestrzeni
 Każdy punkt opisany 7 liczbami

3 współrzędne

4 składowe koloru
 Obliczenie położenia wymaga rozwiązania
równania z macierzami 4x4
16












⋅⋅=










⋅
1
1
Z
Y
X
RAy
x
d

17. Czas - rozwiązanie
 Renderowanie
17
 Renderowanie – Homografia

18. Czas - rozwiązanie
 Renderowanie – Homografia
 Przesuwanie punktów
 Obliczenie położenia wymaga rozwiązania
równania z macierzami 3x3 (256 szczególnych
przypadków)
18










⋅=










11
Y
X
Hy
x
d

19. Czas - rozwiązanie
 Renderowanie – Homografia
 Implementacja na karcie graficznej GPGPU
 Ogromne zrównoleglenie – specjalny algorytm
19

20. Schemat zaproponowanego
rozwiązania
20

21. Poznań Street - Rotacja
21

22. Poznań Street - Zoom
22

23. Wyniki
GPU – ATI Radeon Procek - Core
i7
VSRS - Ref
Czas
przetwarzania
25 fps – 40 ms 0.5 fps – 2s 0.25 fps – 4 s
23
Wyniki jakości subiektywnej –
praca w toku

24. Dziękuje za uwagę
 Pytania?
24