Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Исправление стерео видео

481 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Исправление стерео видео

  1. 1. Исправление стерео видео Вячеслав Нападовский Video Group CS MSU Graphics & Media Lab
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Временная синхронизация  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  3 Цветокоррекция Пример проблемного видео левый ракурс правый ракурс Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transactions on Computers, 2008
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Цветокоррекция Актуальность Причины:  Различия в матрицах камер  Разное положение камер относительно источника света Проблемы, возникающие в стерео видео:  Глобальное несоответствие цветов между ракурсами  Наличие/отсутствие бликов на объектах на разных ракурсах 4
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление геометрии Причины:  Сложность корректной установки камер  Сложность грамотной настройки камер  Трудность сохранения их фиксированного положения 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление геометрии Проблемы 6 левый ракурс правый ракурс Вертикальный параллакс Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transactions on Computers, 2008
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление геометрии Проблемы (2) 7 левый ракурс правый ракурс Поворот Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transactions on Computers, 2008
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление геометрии Проблемы (3) 8 левый ракурс правый ракурс Искажение вертикальной перспективы Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transactions on Computers, 2008
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация 9 Синхронизированные ракурсы Несинхронизированные ракурсы Daniel Wedge, “Video Sequence Synchronization”, The University of Western Australia, 2007
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Актуальность  Запустить две камеры одновременно довольно сложно  В процессе записи камеры могут пропускать кадры  Потери данных при передаче 10
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Постановка задачи  Цветокоррекция с использованием размытого изображения  Hybrid color correction  Исправление геометрии  Временная синхронизация  Заключение 11
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Цветокоррекция Постановка задачи:  Найти преобразование, приводящее один ракурс к другому, чтобы объекты в соответствующих ракурсах имели один и тот же цвет  Найти среднее преобразование для двух ракурсов 12
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  13 Цветокоррекция reference image input image результат применения одного преобразования по всем пикселям результат с учётом пространственной принадлежности пикселей Feng Shao et al., “Color correction for multi-view video based on background segmentation and dominant color extraction”, WSEAS Transac. on Comp. 2008
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Постановка задачи  Цветокоррекция с использованием размытого изображения  Hybrid color correction  Исправление геометрии  Временная синхронизация  Заключение 14
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gaussian Blur Алгоритм 1. Поиск пар feature points с помощью SIFT (Scale-Invariant Feature Transform) 2. Гауссово размытие левого и правого изображений 3. Выделение цветов feature points на размытых и неразмытых изображениях 4. Построение и применение функции преобразования цветов 15Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gaussian Blur Функция преобразования 16 c'i,j, ci,j – старое и новое значение интенсивности j-ой цветовой компоненты q'u,j, q''u,j – значения интенсивности j-ой цветовой компоненты u-ой feature point для левого и правого ракурса соответственно K – количество обрабатываемых feature points на размытых и неразмытых изображениях λ, σ – коэффициенты сглаживания M – искомая функция Fi,j – функция, для которой выполняется минимизация Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gaussian Blur Результат 17 reference image input image Входные данные Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Gaussian Blur Результат 18 reference image output image Выходные данные Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Исправление цвета на зашумлённых изображениях  Возможность эффективной параллельной реализации Недостаток:  Не учитывается разная освещенность отдельных объектов 19Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, IJAC, 2008
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Постановка задачи  Цветокоррекция с использованием размытого изображения  Hybrid color correction  Исправление геометрии  Временная синхронизация  Заключение 20
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм 1. Поиск, сопоставление и отслеживание feature points у двух ракурсов  Scale-Invariant Feature Transform (David Lowe, 1999)  Pyramid Optical Flow (Jean-Yves Bouguet, 2002) 2. Оценка преобразования 1. Histogram matching 2. Локальная цветокоррекция 3. Применение итогового преобразования к входному изображению 21Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Histogram matching 22 Для каждой из компонент RGB: 1. Строим интегральные гистограммы 2. Для каждого пикселя c интенсивностью G2 находим такое G1, что F1(G1) = F2(G2). Получаем функцию M(G1)=G2 3. Функцию M применяем к каждому пикселю изображения http://en.wikipedia.org/wiki/Histogram_matching интенсивность распределение пикселей
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Histogram matching (2) LUT – гистограмма яркости для правого ракурса Rr,i,j, Gr,i,j, Br,i,j – цветовые компоненты R'r,i,j – полученный цвет 23Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hybrid color correction Обработка feature points 24 СС – кросс-корреляция Luml(r),i,j – яркость пикселя (i,j) на левом (правом) ракурсе SNDk – сумма нормализованных разностей для k-ого Candidate Template CFLT – Candidate Feature Look-up Table w1, w2 – веса w, h – размеры Candidate Template Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Hybrid color correction Веса для локальных окрестностей 25 sdi,k – расстояние от i-го пикселя до k-ой feature point cdi,k – разность между интенсивностью i-ой точки и интенсивностью k-го элемента CFLT Ck,l(r),i,j – значение цветовой компоненты для (i,j)-ой точки k-го элемента CFLT левого (правого) ракурса σs, thc – веса wi,k, wi,max – полученные веса Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Изменение input image Сi – цвет i-го пикселя CLocal,i – цвет, изменённый с помощью локальной коррекции CGlobal,i – цвет, изменённый с помощью histogram matching CHybrid,i – результирующий цвет a – весовой коэффициент 26Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Reference image 27Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Input image 28Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Reference image 29Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Histogram matching 30Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Reference image 31Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результат Hybrid color correction 32Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Учёт освещённости разных объектов  Стабильность к зашумлённым feature points Недостаток:  Большое время выполнения за счёт использования Optical Flow 33Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV-CON, 2011
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Основные понятия  Постановка задачи  Ректификация  Perception optimization  Временная синхронизация  Заключение 34
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Однородные координаты ― координаты, обладающие свойством, что определяемый ими объект не меняется при умножении всех координат на одно и то же ненулевое число  Перевод однородных координат в евклидовы: 35 Основные понятия
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  36 Основные понятия Эпиполярная геометрия http://en.wikipedia.org/wiki/Epipolar_geometry OL, OR – фокусы камер xL, xR – проекции точки X eL, eR – эпиполярные точки (epipoles) (xR,eR) – эпиполярная линия (проекция линии (xL,X))
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основные понятия 37 Фундаментальная матрица – матрица 3×3, связывающая соответствующие точки на двух ракурсах xl, xr – соответствующие точки в однородных координатах, выбранные на левом и правом ракурсе соответственно Fxl – определяет эпиполярную линию на правом ракурсе, на которой должна лежать xr Эпиполярные точки удовлетворяют: http://en.wikipedia.org/wiki/Fundamental_matrix_(computer_vision)
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Основные понятия Camera matrix 38 С – фокусная точка камеры p – главная точка M – точка, которую будем проецировать f – фокусное расстояние x – проекция точки M Camera matrix: px, py – координаты проекции главной точки на плоскость CXY mx,my – масштабирующие коэффициенты между CXY и pxy системами координат s – косинус угла между осями px и py Benjamin Stetter, “3D view of stereo laparoscope in the operating room”, Munich Technical University, 2005
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  39 Основные понятия Camera matrix (2) Общий вид (идеальная матрица): Проекция 3D изображения на плоскость камеры с использованием матрицы камеры: f – фокусное расстояние камеры http://en.wikipedia.org/wiki/Camera_matrix
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Основные понятия  Постановка задачи  Ректификация  Perception optimization  Временная синхронизация  Заключение 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Постановка задачи: Найти такие проективные преобразования для двух ракурсов, что после их применения будут отсутствовать:  вертикальный параллакс  поворот изображений друг относительно друга  искажения вертикальной перспективы 41
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Пример 42 левый ракурс правый ракурс Входные данные Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Пример (2) 43 левый ракурс правый ракурс Выходные данные Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Пример (3) 44 входные данные выходные данные Сравнение Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Основные понятия  Постановка задачи  Ректификация  Perception optimization  Временная синхронизация  Заключение 45
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Шаг 1 46 Цель: отобразить эпиполярные точки на бесконечность 1. Обнуление y-координаты у эпиполярных точек Исходное изображение Результат шага 1 Guo-Yu Lin, Xu Chen, Wei-Gong Zhang, “A Robust Epipolar Rectification Method of Stereo Pairs”, ICMTMA, 2010
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Шаг 2 47 Цель: отобразить эпиполярные точки на бесконечность 2. Отображение x-координаты у эпиполярных точек на левом и правом ракурсе −∞ и +∞ соответственно Guo-Yu Lin, Xu Chen, Wei-Gong Zhang, “A Robust Epipolar Rectification Method of Stereo Pairs”, ICMTMA, 2010 Результат шага 1 Результат шага 2
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Ректификация Шаг 3 48 Цель: отобразить эпиполярные точки на бесконечность 3. Вертикальное сопоставление полученных параллельных эпиполярных линий (устранение вертикального параллакса) Результат шага 2 Результат ректификации Guo-Yu Lin, Xu Chen, Wei-Gong Zhang, “A Robust Epipolar Rectification Method of Stereo Pairs”, ICMTMA, 2010
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Основные понятия  Постановка задачи  Ректификация  Perception optimization  Временная синхронизация  Заключение 49
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  50 Схема расположения камер в идеальном случае P1, P2 – матрицы камер С1, С2 соответственно K – внутренняя матрица камер Расположение камер Идеальный случай Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Расположение камер Общий случай 51 R1, R2 – матрицы поворота камер K1, K2 – внутренние матрицы камер С1, С2 – координаты центров камер Условия исправленного стерео: условие отсчитывания углов α, β от оси baseline, направленной от камеры C1 к С2 Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  52 Perception optimization Предположение Предположение о внутренней матрице камеры: f – фокусное расстояние камер w, h – размеры изображения Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Perception optimization Параметры преобразования Предположение: Точки на одинаковой глубине имеют одинаковый диспаритет Алгоритм поиска наборов соответствующих точек с одинаковой глубиной: 1. Просмотреть все найденные соответствующие точки 2. Сгруппировать точки, имеющие одинаковый диспаритет 53Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Perception optimization Параметры преобразования (2) 54 (xi, yi), (xj, yj) – точки, имеющие одинаковую глубину на левом ракурсе (x'i, y'i), (x'j, y'j) – соответствующие им точки на правом ракурсе Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006 Утверждение: Для точек с одинаковой глубиной (X1, X2), с проекциями (x1, x2) и (x1’, x2’) соответственно, выполняется: Преобразование левого ракурса из минимизации функции: M0 находится из уравнения: H1, H2 – матрицы проективных преобразований для левого и правого ракурса соответственно
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  55 Perception optimization Параметры преобразования (3) Проективные преобразования принимают вид: a,b,c – параметры, требующие определения e2 – эпиполярная точка правого ракурса R – матица поворота Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006 Параметры для преобразования левого ракурса:
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Perception optimization Результат 56 левый ракурс правый ракурс Входные данные Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Perception optimization Результат 57 левый ракурс правый ракурс Выходные данные Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Perception optimization Результат 58 входные данные выходные данные Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинство:  Результат выглядит как отснятый с помощью стандартной установки камер Недостаток:  Высокая вычислительная сложность 59Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, LNCS, 2006
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Временная синхронизация  Direct alignment algorithm  Feature-based algorithm  Заключение 60
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Временная синхронизация Постановка задачи: Определить величину временного сдвига в количестве кадров между видеопоследовательностями, снятыми с разных ракурсов 61
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Временная синхронизация  Direct alignment algorithm  Feature-based algorithm  Заключение 62
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Direct alignment algorithm Обозначения 63Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002 x̄ – точка в эталонной последовательности x̄' – соответствующая ей точка во входной последовательности ū' – пространственно-временной сдвиг
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пространственное преобразование: Direct alignment algorithm 64 H – матрица проективного преобразования (x,y), (x',y') – сопоставленные пространственные координаты в reference и input последовательностях соответственно Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Direct alignment algorithm 65 t, t' – сопоставленные моменты времени s – отношение частот кадров двух камер, обычно известно Δt – временной сдвиг между видеопоследовательностями Временное преобразование: Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Direct alignment algorithm Схема работы алгоритма 66 P – приближаемое преобразование P0 – начальное преобразование (единичная матрица) Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Direct alignment algorithm Определение преобразования Параметры для определения: 67 S, S' – яркость точки (x,y,t) в reference и input последовательностях соответственно – искомое преобразование Для минимизации функции ошибки ERR(P) применяется алгоритм Гаусса-Ньютона SSD error function: P  Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fireworks sequence Входные данные 68Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fireworks sequence Наложение 69Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Fireworks sequence Результат 70Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Light sequence Входные данные 71Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Light sequence Наложение 72Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Light sequence Результат 73Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Wind sequence Входные данные 74Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  75. 75. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Wind sequence Наложение 75Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  76. 76. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Wind sequence Результат 76Y.Caspi, M.Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  77. 77. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинство:  Высокая точность Недостаток:  Объекты должны быть удалены от камер на расстояние на порядок большее расстояния между камерами 77Y.Caspi, M.Irani, "Spatio-Temporal Alignment of Sequences", IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002
  78. 78. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Временная синхронизация  Direct alignment algorithm  Feature-based algorithm  Заключение 78
  79. 79. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature-based algorithm Алгоритм: 1. Вычисление фундаментальной матрицы, определение эпиполярных линий (с использованием SIFT) 2. Построение следа изобажений на эпиполярных линиях 3. Определение временного сдвига по полученному следу 79V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008
  80. 80. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature-based algorithm Пример 80 Камера 1 Камера 2 Входные последовательности: V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008
  81. 81. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature-based algorithm Алгоритм 81 1. Поиск соответствующих точек (SIFT) 2. Восстановление эпиполярной геометрии 3. Выделение последовательности изменения для каждой эпиполярной линии след эпиполярной линии V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008
  82. 82. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Feature-based algorithm Алгоритм (2) 4. Сопоставление схожих участков следов эпиполярных линий с использованием SIFT 5. Определение δ(t) с помощью медианы  как сдвига последовательности для данной эпиполярной линии  по всем эпиполярным линиям 82 результат работы SIFTслед эпиполярной линии V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008
  83. 83. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Интересный алгоритм  Возможность адаптации к потерянным кадрам Недостатки:  Неустойчивость к активному движению по всем эпиполярным линиям  Запуск камер должен производиться в статичном положении 83V.Guitteny, R.Benosman, C.Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, LNCS, 2008
  84. 84. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Цветокоррекция  Исправление геометрии  Временная синхронизация  Заключение 84
  85. 85. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Рассмотрены алгоритмы:  цветокоррекции, основанные на глобальном и локальном преобразовании  исправления геометрии, основанные на восстановлении эпиполярной геометрии  синхронизации стерео видео с использованием эпиполярной геометрии и без неё 85
  86. 86. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Дальнейшие планы Реализовать алгоритмы:  цветокоррекции hybrid color correction  синхронизации по времени  коррекции геометрии с использованием эпиполярной геометрии с возможностью определения:  вертикального параллакса  поворота ракурсов  искажения вертикальной перспективы 86
  87. 87. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Kenji Yamamoto, Ryutaro Oi, “Color Correction for Multi-view Video Using Energy Minimization of View Networks”, International Journal of Automation and Computing, 2008 2. Jung-Jae Yu, Hae-Dong Kim, Ho-Wook Jang, Seung-Woo Nam, “A hybrid color matching between stereo image sequences”, 3DTV Conference: The True Vision – Capture, Transmission and Display of 3D Video (3DTV-CON), 2011 3. Jin Zhou, Baoxin Li, “Image Rectification for Stereoscopic Visualization Without 3D Glasses”, Lecture Notes in Computer Science, 2006 4. Yaron Caspi, Michal Irani, “Spatio-Temporal Alignment of Sequences”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002 5. Vincent Guitteny, Ryad Benosman, Christophe Charbuillet, “Synchronizing Video Sequences from Temporal Epipolar Lines Analysis”, Lecture Notes in Computer Science, 2008 87
  88. 88. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (2) 6. Feng Shao, Zongju Peng, You Yang, “Color correction for multi-view video based on background segmentation and dominant color extraction”, The World Scientific and Engineering Academy and Society (WSEAS) Transactions on Computers, 2008 7. Daniel Wedge, “Video Sequence Synchronization”, The University of Western Australia, 2007 8. http://en.wikipedia.org/wiki/Histogram_matching 9. http://en.wikipedia.org/wiki/Homogeneous_coordinates 10. http://en.wikipedia.org/wiki/Epipolar_geometry 11. http://en.wikipedia.org/wiki/Fundamental_matrix_(computer_vision) 12. Benjamin Stetter, "3D view of stereo laparoscope in the operating room", Munich Technical University, 2005 13. http://en.wikipedia.org/wiki/Camera_matrix 14. Guo-Yu Lin, Xu Chen, Wei-Gong Zhang, "A Robust Epipolar Rectification Method of Stereo Pairs", Proceedings of the 2010 International Conference on Measuring Technology and Mechatronics Automation, 2010 88
  89. 89. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 89

×