Telewizja trójwymiarowa - wyzwania

1. 1
Telewizja trójwymiarowa -
wyzwania
mgr inż. Olgierd Stankiewicz
mgr inż. Krzysztof Wegner
Katedra Telekomunikacji
Multimedialnej i Mikroelektroniki
Politechnika Poznańska
Seminarium katedralne, styczeń 2010

2. Telewizja 3D
2
Telewizja 3D
Telewizja stereoskopowa Telewizja swobodnego
punktu widzenia
Synteza widoku oparta o obrazy
Image-based rendering (IBR)
Synteza widoku oparta o modele
Model-based rendering (MBR)
np. IMAX
np. MPEG np. BBC

3. Pierwsza transmisja 3D-HDTV
 Transmitowano mecz rugby miedzy Szkocją a
Anglią 8 marca 2008
 BBC Resource i 3DFirm
 3 pary kamer Sony 950 o rozdzielczości fullHD na
statywiach Calcutta 3D firmy 3DFirm
 19MB/s na każdy strumień,
planowane 40MB/s
 6/7 s opóźnienia
 Prezentowane na dwóch rzutnikach Christie 8K HD
projectors z liniową polaryzacją
3

4. Telewizja Stereoskopowa
4

5. Telewizja Stereoskopowa
BBC
5

6. Multiview capturing for sport applications BBC

7. Sport Applications BBC
7
Obrazy z kamer Trójwymiarowy model sceny
Z pracy: View-dependent reconstruction and free-viewpoint video rendering
3D Processing workshop, BBC R&D, Kingswood Warren, June 22—23, 2009
JeanYves Guillemaut, Joe Kilner and Adrian Hilton
University of Surrey, UK

8. Ustawienie kamer
8

9. Przetwarzanie
9
Filmowanie
sceny
Kalibracja Segmentacja Rekonstrukcja Synteza
widoku

10. 10

11. Segmentacja
 Segmentacja w
oparciu o
 kluczowanie
chrominancji
 odejmowanie tła
11

12. Modelowanie sceny
 Problem znalezienia dopasowania
 Obiekt z każdej kamery wygląda inaczej
12

13. Modelowanie sceny
13

14. Modelowanie sceny
 Gracze przydzielani do drużyn
na podstawie koloru koszulek
modelowanych za pomocą
Gaussian Mixture Model
14

15. Modelowanie sceny
 Każdy gracz modelowany jest jako
oteksturowana bryła 3d
 Visual Hull
15

16. Modelowanie sceny
 Każdy gracz modelowany jest jako
oteksturowana bryła 3d
16

17.  ggg
17

18.  Synteza widoku wirtualnego w oparciu o
model sceny (boisko i piłkarzy)
 Swobodna nawigacja w scenie
18

19. Schemat systemu telewizji 3D

20. System akwizycji
 Konfiguracja kamer – obraz/głębia
 Synchronizacja kamer
 Równoległe przetwarzanie dużych strumieni
danych
 19MB/s na każdy strumień,
planowane 40MB/s

21. Przetwarzanie wstępne
 Rektyfikacja
 Korekcja kolorów
 Plansze kalibrujące dla stałych parametrów
kamer
 Zmienne parametry?
 Ogniskowa
 Rozstaw kamer
 Kierunki kamer

22. Model 3D
 Image Based Rendering
 Estymacja mapy głębi + synteza
 Wyzwania doraźne
 Jakość map głębi

Nieoznaczalność głębi (brak tekstury)

Przysłonięcia

Rozstaw kamer
 Estymacja w czasie rzeczywistym

1000 x RT
 Synteza w czasie rzeczywistym

Duże ilości danych (3,1 MB na obraz)

23. Model 3D
 Wyzwania na przyszłość
 Niewystarczający model punktów sceny

Przeźroczystość

Odbicia (lustra, refleksy)

Niewielkie obiekty (płatki śniegu, deszcz)
 Ułożenie liniowe kamer

daje zbyt płaskie odwzorowanie sceny

24. Kompresja
 Kodowanie modeli 3D – MPEG 4 (mesh)
 Kodowanie map głębi, map przeźroczystości
 Inny charakter treści
 Mniejszy udział średnich częstotliwości
(powierzchnie płaskie + krawędzie)
 Inny charakter zniekształceń
 Mały udział w strumieniu <30%

25. Przentacja
 Technologie
 Stereoskopia
 Monitory polaryzacyjne...
 Tylko dwa obrazy (Akomodacja Oka)
 Autostereoskopia
 Możliwość poruszania widzów
 Ogniskowa niezmienna
 Holografia
 Wyświetlacze
 Przetwarzanie modelu

27. Z-Cam
 IR = 20MHz
 Pomiar różnicy fazy
 Rozdzielczość 176x144
 około 80 pikseli koloru na piksel głębi
 wrapping głębi
 depth alignment to color boundary by
bilateral filtering

30. Procesy standaryzacyjne
 3D @ home
 Przyspieszenie komercjalizacji i wdrożenia
technologii 3D
 Materiał
 Sprzęt
 Oprogramowanie
 HDMI 1.4 – mechanizmy dla 3DTV
 W USA: 3D ready TV

33. Zagadnienia kinematograficzne
 1000 EUR/dzień - nagrywanie
 Film „Coraline Coraline”
 Rejestracja poklatkowa
 Jedna kamera na suwaku

NIKON D70, D80

Canon 1D MARK2N

RED - 2K Digital Hi-Speed (dym, inne ruchome
elementy)
 Koszt oprogramowania - +20%÷50%
 53 sceny kręcone jednocześnie

34. Przewidywania na
przyszłość

39. Przewidywania na
przyszłość
 Telewizja 3D rozwija się
 Powolny postęp algorytmów (MPEG)
 Silny nacisk przemysłu
 Silny nacisk Holywood
 Dobiega końca kilkanaście projektów
ramowych UE FP7