Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Новые тенденции в области автостереоскопических дисплеев, съемки и отображения 3D видео

1,227 views

Published on

Published in: Technology
  • Be the first to comment

Новые тенденции в области автостереоскопических дисплеев, съемки и отображения 3D видео

  1. 1. Новые тенденции в области автостереоскопических дисплеев, съемки и отображения 3D видео Матюнин Сергей Video Group CS MSU Graphics & Media Lab
  2. 2. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 2
  3. 3. Only for Maxus  Введение Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, CS MSU Graphics & Media Lab (Video Group) 2005. 3
  4. 4. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 4
  5. 5. Only for Maxus  Автостереоскопический дисплей Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, CS MSU Graphics & Media Lab (Video Group) 2005. 5
  6. 6. Only for Maxus  Автостереоскопический дисплей 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 6
  7. 7. Only for Maxus  Автостереоскопический дисплей Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, CS MSU Graphics & Media Lab (Video Group) 2005. 7
  8. 8. Only for Maxus  Автостереоскопический дисплей Альтернативы: Volumetric 3D Displays and Application Infrastructure. Gregg E. Favalora. IEEE CS MSU Graphics & Media Lab (Video Group) Computer Society Press. 2005. 8
  9. 9. Only for Maxus  Автостереоскопический дисплей Альтернативы: CS MSU Graphics & Media Lab (Video Group) 9
  10. 10. Only for Maxus  3D видео Применение  3D TV, 3D фильмы  Игры  Реклама  Телеконференции  Визуализация данных  Образование  Наука  Медицина CS MSU Graphics & Media Lab (Video Group) 10
  11. 11. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 11
  12. 12. Only for Maxus  Система обработки 3D видео CS MSU Graphics & Media Lab (Video Group) 12
  13. 13. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 13
  14. 14. Only for Maxus  Съемка 3D video Проблемы  Геометрическая калибровка  Отслеживание объектов  Цветовая калибровка A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 14
  15. 15. Only for Maxus  Съемка 3D video Цветовая калибровка  Баланс белого  Нормализация яркости A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 15
  16. 16. Only for Maxus  Съемка 3D video Цветовая калибровка  Ищем в соседних видах одинаковые фрагменты. Например, с помощью сегментации по цвету  Минимизируем разницу между гистограммами соседних видов  Проблема: артефакты (границы и текстуры)  Решение: сгладить разность медианным фильтром (3x3)  Проблема: может меняться освещение и свойства матрицы камеры.  Решение: делать калибровку еще раз A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 16
  17. 17. Only for Maxus  Цветовая калибровка Результаты A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang CS MSU Graphics & Media Lab (Video Group) Li.13th annual ACM international conference on Multimedia. 2005. 17
  18. 18. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 18
  19. 19. Only for Maxus  Multi-view video coding Задача  Кодировщик: из N синхронизированных потоков видео сгенерировать сжатый выходной поток  Декодер: из сжатого потока получить N потоков видео  Прямое решение: кодировать/декодирова ть каждый видео поток отдельно Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 19
  20. 20. Only for Maxus  Multi-view video coding Задача  Множество камер производят большой объем данных для обработки  Камеры снимают одну и ту же сцену. Между видами есть сильная зависимость. Можно использовать это для межвидового предсказания. Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 20
  21. 21. Only for Maxus  Multi-view video coding Требования к MVC  Произвольный доступ по времени для каждого вида  Произвольный доступ к видам  Масштабируемость (разрешение, качество, количество видов)  Непрерывность качества между видами  Способность передавать параметры съемки  Устойчивость к несбалансированному по цветности видео Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 21
  22. 22. Only for Maxus  Multi-view video coding ME в H.264/AVC Минимизация функционала: MV: где - текущий кадр - предыдущий декодированный кадр - блок изображения - кол-во бит для передачи MV Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 22
  23. 23. Only for Maxus  Multi-view video coding ME для MVC H.264/AVC settings:  Disabled intra prediction modes for the P pictures  Fixed MC block size of 16x16  Search range of ±32 pixels Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 23
  24. 24. Only for Maxus  Multi-view video coding Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 24
  25. 25. Only for Maxus  Multi-view video coding Multi-view key frame encoding Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 25
  26. 26. Only for Maxus  Multi-view video coding Промежуточные кадры Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 26
  27. 27. Only for Maxus  Multi-view video coding Адаптация стандартного кодека Можно декодировать стандартным декодером Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 27
  28. 28. Only for Maxus  Multi-view video coding Расположение камер Prediction structures for a camera array Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 28
  29. 29. Only for Maxus  Multi-view video coding Тестирование  8 multi-view видеопоследовательностей  От 5 до 16 видов  Расположение камер: линейное, по дуге, в массиве  Разрешение 640x480 или 1024x768 samples  15, 25, 30 fps.  Для каждой последовательности использовались 3 битрейта Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 29
  30. 30. Only for Maxus  Multi-view video coding Объективное сравнение KS_IPP/KS_PIP/KS_IBP – key picture inter-view  Anchor – IBBP MPEG coding prediction  Simulcast – coding with AS_IPP/AS_IBP – inter-view prediction for both key hierarchical B pictures and non-key pictures. Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 30
  31. 31. Only for Maxus  Multi-view video coding Субъективное сравнение Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 31
  32. 32. Only for Maxus  Multi-view video coding Выводы  Использование MC между видами дает значительный выигрыш  Чем выше битрейт, тем меньше разница  Метод не требует значительных изменений кодека H.264/AVC Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 32
  33. 33. Only for Maxus  Multi-view video coding Влияние расположения камер Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 33
  34. 34. Only for Maxus  Multi-view video coding Влияние расположения камер Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 34
  35. 35. Only for Maxus  Multi-view video coding Выводы  Если камеры располагать ближе, то средний для вида битрейт сходится к одному значению.  Если камеры далеко, то выигрыш незначителен. Можно улучшить с помощью межвидовой интерполяции основанной на карте глубины. Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, CS MSU Graphics & Media Lab (Video Group) Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007. 35
  36. 36. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 36
  37. 37. Only for Maxus  3D TV System  Первая 3D TV система с 16 независимыми видами высокого разрешения и автостереоскопическим дисплеем  Передача в реальном времени  Дисплей только с горизонтальным параллаксом  Каждый поток сжимается и передается независимо 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 37
  38. 38. Only for Maxus  3D TV System Схема 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 38
  39. 39. Only for Maxus  3D TV System Съемка видео 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 39
  40. 40. Only for Maxus  3D TV System Отображение видео  16 проекторов NEC LT-170  Разрешение – 1024x768 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 40
  41. 41. Only for Maxus  3D TV System Отображение видео 3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 41
  42. 42. Only for Maxus  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 42
  43. 43. Only for Maxus  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 43
  44. 44. Only for Maxus  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter CS MSU Graphics & Media Lab (Video Group) Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004 44
  45. 45. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 45
  46. 46. Only for Maxus  TransCAIP  TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display.  Цели:  Разработать систему 3D телевидения  Использовать горизонтальный и вертикальный параллакс  Разработать метод обработки данных с асинхронных устройств в реальном времени  Реализовать на одном ПК используя GPGPU  Реализовать управление параметрами 3D визуализации TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 46
  47. 47. Only for Maxus  TransCAIP Съемка  64 камеры  Разрешение 320x240 TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 47
  48. 48. Only for Maxus  TransCAIP Отображение  60 видов  256x192 пикселя  Вертикальный и горизонтальный параллакс TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 48
  49. 49. Only for Maxus  TransCAIP Оборудование TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 49
  50. 50. Only for Maxus  TransCAIP Алгоритм TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 50
  51. 51. Only for Maxus  TransCAIP Управление фокусом TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 51
  52. 52. Only for Maxus  TransCAIP Управление глубиной TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 52
  53. 53. Only for Maxus  TransCAIP Результат TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral CS MSU Graphics & Media Lab (Video Group) Photography Display. Yuichi Taguchi et al. ACM SIGGRAPH 2008. 53
  54. 54. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 54
  55. 55. Only for Maxus  Выводы  3D системы – перспективное направление  Auto stereoscopic 3D display – будущая массовая технология  Области исследования  Съемка  Кодирование  Передача  Фильтрация  Визуализация CS MSU Graphics & Media Lab (Video Group) 55
  56. 56. Only for Maxus  Содержание  Введение  Автостереоскопический дисплей  Система обработки 3D видео  Съемка  Кодирование  Примеры 3D систем  3D TV  TransCAIP  Выводы  Список материалов CS MSU Graphics & Media Lab (Video Group) 56
  57. 57. Only for Maxus  Список материалов  3D TV: A Scalable System for Real-Time Acquisition, Transmission, and Autostereoscopic Display of Dynamic Scenes. Wojciech Matusik Hanspeter Pfister, Mitsubishi Electric Research Laboratories, Cambridge, MA, 2004  TransCAIP: Live Transmission of Light Field from a Camera Array to an Integral Photography Display. Yuichi Taguchi Takafumi Koike, Keita Takahashi, Takeshi Naemura. The University of Tokyo, Hitachi, Ltd. ACM SIGGRAPH 2008.  Efficient Prediction Structures for Multi-view Video Coding. Philipp Merkle, Aljoscha Smolic, Karsten Muller, Thomas Wiegand. IEEE 2007.  A real-time interactive multi-view video system. Jian-Guang Lou, Hua Cai, Jiang Li.13th annual ACM international conference on Multimedia. 2005.  Volumetric 3D Displays and Application Infrastructure. Gregg E. Favalora. IEEE Computer Society Press. 2005.  Autostereoscopic 3D Displays. Neil A. Dodgson, IEEE Computer Society Press, 2005. CS MSU Graphics & Media Lab (Video Group) 57
  58. 58. Only for Maxus  Вопросы ? CS MSU Graphics & Media Lab (Video Group) 58

×