Techniki rejestracji i przetwarzania pola światła

1. Techniki rejestracji
i przetwarzania pola światła
Krzysztof Wegner
Mucha sp. z o.o.

2. Mucha sp. z o.o.
mgr inż.
Krzysztof Wegner
Naukowiec z 10 letnim doświadczeniem
w zarządzaniu projektami R&D. Specjalista
w zakresie rejestracji i przetwarzania obrazu
ruchomego, głębi stereoskopowej oraz mediów
immersyjnych. Founder między innymi 3R –
Studio pierwszej w Polsce firmy profesjonalnie
zajmującej się wirtualną i rozszerzoną
rzeczywistością.
dr inż.
Tomasz Grajek
Naukowiec z 17 letnim doświadczeniem
w projektach R&D. Specjalista w zakresie
technik kodowania obrazu ruchomego,
systemów swobodnej nawigacji i obrazu
przestrzennego. Doświadczenie w organizacji
i prowadzeniu młodych dynamicznych zespołów
badawczych.
dr hab. inż.
Olgierd Stankiewicz
Naukowiec z 14 letnim doświadczeniem
w projektach R&D. Specjalista w zakresie
reprezentacji scen trójwymiarowych, mediów
immersyjnych, estymacji głębi oraz realizacji
sprzętowych z wykorzystaniem GPU i FPGA.
Doświadczenie w organizacji produkcji masowej
urządzeń elektronicznych.
150 publikacji
Index H: 9 / 22
1900 cytowań
10 projektów B+R
15 patentów, 31 zgłoszeń
150 publikacji
Index H: 9 / 16
1090 cytowań
12 projektów B+R
12 patentów, 31 zgłoszeń
120 publikacji
Index H: 8 / 11
670 cytowań
21 projektów B+R
11 patentów, 31 zgłoszeń

3. Mucha sp. z o.o.
 Mucha sp. z o.o. jest spin-offem Politechniki Poznańskiej
 Realizacja projektów badawczo-rozwojowych na styku przemysłu
i nauki w obszarze elektroniki, telekomunikacji multimedialnej oraz przetwarzania dźwięku i
obrazu.
 Doświadczenie w realizacji projektów finansowanych z budżetu na naukę, tj. Ministerstwo
Nauki i Szkolnictwa Wyższego, NCBiR
(LIDER, Tango), NCN (Opus).
 Doświadczenie we współpracy z grupami standaryzacyjnymi Międzynarodowej Organizacji
Standaryzacyjnej
(ISO/IEC JTC1/SC29/WG11)
 Pracownicy spółki są autorami lub współautor ponad 150 prac naukowych (artykuły w
czasopismach, na konferencjach, rozdziały w książkach i monografiach, dokumenty
normalizacyjne).

4. Kamera
 Kluczowe elementy
 Układ optyczny
 Matryca światłoczuła
 Przesłona

5. Uproszczenia
 Przestrzeń 2D
 Obiekty punktowe
 Emitują światło we wszystkich kierunkach
 Zdjęcie jest obrazem 1D

6. Równanie soczewki
 Układ optyczny

7. Ostrzenie

8. Ostrzenie

9. Głębia ostrości
 Obraz zawsze rejestrowany jest ze skończoną rozdzielczością
 Jeśli wielkość rozmycia jest mniejsza niż rozmiar elementu
światłoczułego obraz uznajemy za ostry

10. Głębia ostrości
 D – głębia ostrości (zakres),
 f – ogniskowa,
 x’ – odległość płaszczyzny obrazu
 sizepixel – plamka rozmycia
 sizelens – wielkość światła układu optycznego
 Głębia ostrości zależy od ilości światła (liczby promieni)
 Zastosowanie przesłony

11. Przesłona

12. Przesłona
 Zastosowanie przesłony zwiększa głębię ostrości

13. Przesłona

14. Idealna kamera
 Chcielibyśmy rejestrować wszystkie promienie
(stosunek sygnału do szumu)
 Chcielibyśmy mieć nieskończoną głębię ostrości

15. Idealna kamera
 Chcielibyśmy rejestrować wszystkie promienie
(stosunek sygnału do szumu)
 Chcielibyśmy mieć nieskończoną głębię ostrości

16. Przestrzeń promieni

17. Rzutowanie obrazu

18. Rzutowanie obrazu

19. Przesłona w przestrzeni promieni

20. Przesłona w przestrzeni promieni

21. Kamera pola światła

22. Kamera pola światła

23. Kamera pola światła

24. Pole światła
 Ogólnie 4D a nie 2D
 Dwie współrzędne na powierzchni soczewki
 Dwa kąty promienia
 ang. LumiGraph

25. Pole światła
 Dwie reprezentacja
Lenslet
• Komercyjnie dostępne
• Mała apertura
• Gęste próbkowanie pola
Multiview
• Protorypy
• Duże apertury
• Rzadkie próbkowanie pola

26. System przetwarzania pola światła
Akwizycja pola światła Przetwarzanie pola światła
Estymacja map głębi
Rekonstrukcja 3D

27. Kamera pola światła

28. Kamera pola światła

29. Możliwości: Skaner 3D

30. Renderowanie

31. Estymacja struktury sceny trójwymiarowej
 Własne oprogramowanie
 Rozwijane w ramach ISO
 Estymacja map głębi
 Estymacja rozbieżności
 Z wielu widoków
 Spójność przestrzenna
i czasowa

32. Estymacja głębi
Widok 00 Widok 13
Technicolor Painter
4x4 view grid
Estymacja Głębi Inne widoki
Inne widoki
Mapa Głebi
Odległość z per punkt
• Trudny problem
• Dużo algorytmów
• 9 lat badań (DERS ISO)

33. Depth estimation
 Advanced version first
 Optimized for speed
 Algorithmic – faster algorithms
 Fast Graph Cut implementation (Grid Cut)
 SSE, AVX implementation
 Optimize for quality
 Interview consistence in view grid
 QPBO, FastPD
 Better matching costs
 Optimize for memory usage
 Refinement of redundant arcs in graph
“MUCHA - System rejrestacji i przetwarzania obrazu

34. Synchronization testing
 Old system
 Analyzes taken
images
 Looking for led
difference
“MUCHA - System rejrestacji i przetwarzania obrazu

35. Dziękuje za uwagę