3D-HEVC Test Model

1. 3D-HEVC Test Model
Krzysztof Wegner

2. Cel i obszar użycia
• Zastosowania
– wydajne przesłyłanie obrazu ruchomego na
potrzeby monitorów autostereoskopowych
– przesyłanie obrazu stereoskopowego
• Kodowanie obrazu 3D w formacie MVD
– sekwencje wizyjne
– mapy głębi

3. Nomenklatura
• Tekstura
• Mapa głębi
• Wektor rozbieżności
• Widok
• CTC
• disparity-compensated prediction (DCP),
• motion-compensated prediction (MCP).
• Access Unit – jednostka dostepu swobodnego

5. • Tekstura przez Głębią

6. Schemat kodera

8. Kodowanie widoku bazowego
• Widok bazowy kodowany zgodnie ze
specyfikacją HEVC
• Strumień zgodny z HEVC

9. Kodowanie dodatkowych widoków
• Predykcja z kompensacją rozbieżności
• Międzywidokowa predykcja wektorów ruchu
• Międzywidokowa predykcja wektorów
rozbieżności
• Międzywidokowa predykcja sygnału
resztkowego
• Nie zależy od kodowanej głębi

10. Predykcja z kompensacją rozbieżności

11. Predykcja z kompensacją rozbieżności
• Ograniczone tylko do bieżącej chwili czasowej
(ta sama jednostka dostępu swobodnego)
• Obrazy z sąsiednich widoków wstawiane na
koniec listy referencyjnej

12. Predykcja z kompensacją rozbieżności
• Możliwość zmiany kolejności obrazów na
listach referencyjnych
• Wykorzystanie odpowiedniej składni HEVC
(reference picture list modification )

13. Predykcja wektorów
• Wektory rozbieżności przewidywane tylko z
bloków kodowanych z wykorzystaniem
kompensacji rozbieżności
• Wektory ruchu przewidywane są tylko
z bloków kodowanych z wykorzystaniem
kompensacji ruchu

14. Predykcja wektorów
• Wykorzystanie istniejących mechanizmów
– Zawansowany mechanizm predykcji wektorów
ruchu (AMVP)
– Mechanizm dziedziczenia ruchu z sąsiednich
bloków (Merge Candidate)

15. Między-widokowa predykcja
wektorów ruchu

16. Między-widokowa predykcja
wektorów rozbieżności
• Cztery metody predykcji
– Predykcja na podstawie zakodowanej mapy głębi
– Predykcja na podstawie zgrubnej mapy głębi
estymowanej na podstawie zakodowanych
wektorów ruchu i rozbieżności
(depth map generator)
– Predykcja z sąsiadujących bloków

17. Predykcja na podstawie
zakodowanej mapy głębi
• Mapa głębi wcześniej zakodowanych widoków jest
przerzutowana (syntezowana) do bieżącego widoku
• Odsłonięcia uzupełniane informacją z tła –
algorytmem wypełniania dziur / odsłonięć
• Maksymalna wartość głębi w danym bloku
przeliczana jest na rozbieżność

18. Predykcja na podstawie
zgrubnej mapy głębi
• Koder i dekoder tworzą mapę głębi na
podstawie przesłanych wcześniej wektorów
ruchu i rozbieżności.
• Zgrubna mapa głębi jest 4 razy mniejsza niż
obraz
(blokowa natura pola ruchu/rozbieżności)
• Zgrubna mapa głębi wykorzystywana jest
następnie do predykcji wektora rozbieżności
w aktualnie kodowanym obrazie głębi

19. Predykcja na podstawie
zgrubnej mapy głębi

20. Predykcja na podstawie
zgrubnej mapy głębi

21. Predykcja na podstawie
zgrubnej mapy głębi

22. Predykcja z sąsiadujących bloków
• Predykcja przestrzenna
• Predykcja czasowa

23. Predykcja z sąsiadujących bloków
• Predykcja przestrzenna
– Sąsiadujące bloki zgodnie z specyfikacją HEVC

24. Predykcja z sąsiadujących bloków
• Predykcja czasowa
– Bloki co-located zgodnie z specyfikacją HEVC
– Zarówno z obrazów z innych chwil czasowych, jak i
innych widoków

25. Predykcja z sąsiadujących bloków
• Predykcja wektorów ruchu z bloków
kodowanych z kompensacją rozbieżności.
(nested prediction)
V0 (independent view) V1 (dependent view)

26. Predykcja z sąsiadujących bloków
• Predykcja wektorów rozbieżności z bloków
kodowanych z kompensacją ruchu.
• ????????????????????

27. Między-widokowa predykcja
sygnału resztkowego
• Błąd predykcji jest przewidywany na
podstawie błędu predykcji widoku bazowego
• Kompensację rozbieżności dokonuje się na
podstawie
mapy głębi
(kodowanej
lub
przewidywanej)

28. Kodowanie map głębi
• Kompensacja ruchu z dokładnością punktową
• Brak filtru usuwającego efekt blokowy
(deblokującego)
• Brak filtru wienera (ALF)
• Brak filtru SAO
• Dodatkowe trybu kodowana oparte
o modelowanie bloku
• Dziedziczenie wektorów ruchu i rozbieżności
z obrazu

29. Kodowanie map głębi
• Pomiar zniekształcenia mapy głębi na
podstawie zniekształcenia syntezowanej mapy
głębi (VSO)
• Ograniczenie podziału bloku na podstawie
podziału obrazu (QuadTree limitation)
• Optional Encoder Control for Renderable
Regions in Dependent Views

30. Tryby modelowania bloku głębi
• Głębia posiada ostre krawędzie i płaskie
obszary które powinny zostać zachowane
• Podział bloku na 2 obszary o stałej wartości
głębi
• Różne sposoby sygnalizowania podziału bloku
– Wedgelet
– Contourlet
– Łańcuchowe kodowanie krawędzi
• Predykcja intra

31. Wedgelet
• Podział pliku na 2 części prostą linią
• 8 trybów odpowiadających 8 możliwością
podziału bloku

32. Wedgelet
• Bezpośrednie sygnalizowanie trybu i położenia
linii xs ye d
• Predykcja linii podziału z otaczających bloków

33. Wedgelet
• Predykcja trybu za pomocą segmentacji
obrazu

34. Contourlet
• Predykcja podziału na podstawie segmentacji
obrazu (progiem jest wartość średnia)

35. Łańcuchowe kodowanie krawędzi
• W bloku wykrywane są krawędzie które są
większe niż próg, jeśli blok posiada tylko 1 taką
krawędź tryb jest stosowany
: previous traverse : current traverse : reconstructed edge
0˚ 45˚ -45˚
135˚-90˚90˚ -135˚

36. Wartość głębi w segmentach
• Wartość głębi w segmentach Wedgelet’u i
Contourlet’u jest kodowana predykcyjnie
• Liniowa kwantyzacja (krok uzależniony od QP)

37. Dziedziczenie wektorów ruchu i
rozbieżności z obrazu
• Predykcja wektorów ruchu z odpowiadającego bloku
obrazu.
• Dziedziczenie także podziałów jednostek kodowania
• Wykorzystanie mechanizmu Merge

38. Pomiar zniekształcenia
• Zniekształcenie mapy głębi mierzone jest jako
wartość SAD obrazu zsyntezowanego

39. Pomiar zniekształcenia
• Zamiast syntezować obraz dla każdego bloku
• Zastosowanie przybliżenia w postaci
sD – oryginalny blok głębi
s᷉D – zrekonstruowany blok głębi
sT – zrekonstruowany blok obrazu

40. Pomiar zniekształcenia
• Ważona suma zniekształcenia mierzonego
klasycznie i zniekształcenia obrazu
syntezowanego
𝐷 = 𝑤𝑠𝑦𝑛𝑡ℎ 𝐷𝑠𝑦𝑛𝑡ℎ + 𝑤 𝑑𝑒𝑝𝑡ℎ 𝐷 𝑑𝑒𝑝𝑡ℎ
• Proporcje 10:1

41. Ograniczenie podziału drzewa
• Obraz zawiera więcej szczegółów niż
odpowiadająca mu mapa głębi.
• Blok głębi nie powinien być podzielony
bardziej niż odpowiadający mu blok obrazu

42. • Dziękuje za uwagę