Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Методы цветокоррекции стереовидео

573 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

Методы цветокоррекции стереовидео

  1. 1. Виталий Людвиченко Video Group CS MSU Graphics & Media Lab Методы цветокоррекции стереовидео
  2. 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Локальные  Обнаружение бликов  Заключение 2
  3. 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  3 Пример проблемного видео Левый ракурс Jung-Jae Yu, Hae-Dong Kim et al., “A hybrid color matching between stereo image sequences,” 3DTV-CON, 2011
  4. 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  4 Пример проблемного видео Правый ракурс Jung-Jae Yu, Hae-Dong Kim et al., “A hybrid color matching between stereo image sequences,” 3DTV-CON, 2011
  5. 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Введение Актуальность цветокоррекции Проблемы, возникающие в стереовидео:  Несоответствия цветов между ракурсами:  Локальные  Глобальные  Наличие/отсутствие бликов на объектах в разных ракурсах Причины:  Различия в матрицах камер  Различия в светофильтрах  Разное положение камер относительно источника света 5
  6. 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальное несоответствие Левый ракурс 6 Кадр из фильма «Аватар»
  7. 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальное несоответствие Правый ракурс 7 Кадр из фильма «Аватар»
  8. 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  8 Локальное несоответствие Левый ракурс Кадр № 4400 из трейлера к фильму «Аватар»
  9. 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  9 Локальное несоответствие Правый ракурс Кадр № 4400 из трейлера к фильму «Аватар»
  10. 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  10Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах» Градиентное искажение Левый ракурс
  11. 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  11 Градиентное искажение Правый ракурс Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  12. 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  12 Разница между левым и правым скомпенсированным ракурсом Градиентное искажение Скомпенсированная разница (1)
  13. 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  13 Разница между левым и правым скомпенсированным ракурсом по синему каналу Градиентное искажение Скомпенсированная разница (2)
  14. 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  14 Блики Левый ракурс 1120 кадр из трейлера к фильму “Resident Evil Afterlife 3D”
  15. 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  15 Блики Правый ракурс 1120 кадр из трейлера к фильму “Resident Evil Afterlife 3D”
  16. 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи Реализовать алгоритм построения трехмерной таблицы преобразования цветов в пространстве RGB, минимизирующей цветовые несоответствия между ракурсами Дополнительные требования к алгоритму:  Устойчивость к бликам  Учитывать пространственное положение пикселя в изображении 16
  17. 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Histogram Matching  Global Color Transfer  Кластерный метод  Локальные  Обнаружение бликов  Заключение 17
  18. 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Histogram Matching  Задача: Найти преобразование гистограммы левого или правого ракурса, чтобы различия между гистограммами ракурсов были минимальны  Вход: Гистограммы левого и правого ракурса  Выход: Функция преобразования для гистограммы одного из ракурсов 18
  19. 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Histogram Matching Для каждой компоненты R, G, B: 1. Составляем интегральные (кумулятивные) гистограммы cD[v] и cR[v] 2. Строим функцию преобразования M[v] = u, если cR[u] < cD[v] ≤ cR[u + 1] 3. Применяем M[v] для каждого пикселя входного изображения 19 U. Fecker et. al., “Improving the Prediction Efficienc for Multi-View Video Coding Using Histogram Matching,” Chair of Multimedia Communications and Signal Processing, 2007
  20. 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Histogram Matching Результаты 20Jung-Jae Yu, Hae-Dong Kim et al., “A hybrid color matching between stereo image sequences,” 3DTV-CON, 2011 Левый ракурс
  21. 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  21 Histogram Matching Результаты Jung-Jae Yu, Hae-Dong Kim et al., “A hybrid color matching between stereo image sequences,” 3DTV-CON, 2011 Правый ракурс
  22. 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  22 Скорректированный правый ракурс Histogram Matching Результаты
  23. 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  23 Левый ракурс Jung-Jae Yu, Hae-Dong Kim et al., “A hybrid color matching between stereo image sequences,” 3DTV-CON, 2011 Histogram Matching Результаты
  24. 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Histogram Matching Выводы Достоинства:  Простота реализации  Низкая вычислительная сложность Недостатки:  Работает независимо по каналам  Неустойчив к локальным несоответствиям 24
  25. 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Histogram Matching  Global Color Transfer  Кластерный метод  Локальные  Обнаружение бликов  Заключение 25
  26. 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Задача: Найти линейную функцию преобразования цветового пространства RGB, чтобы целевое изображение имело те же цветовые тона, что и у исходного изображения  Вход: Исходное и целевое изображения  Выход: Результирующее изображение 26 Global Color Transfer
  27. 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  27 Исходное изображение Целевое изображение Результирующее изображение Global Color Transfer Пример Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  28. 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Вычисление значений 1. Вычисляем средние значения пикселей по каждому из каналов R, G, B для:  исходного изображения (Rsrc, Gsrc, Bsrc)  целевого изображения (Rtgt, Gtgt, Btgt) 2. Вычисляем матрицу ковариации для:  исходного изображения Covsrc  целевого изображения Covtgt 28Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  29. 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Разложение ковариационных матриц 3. Выполняем сингулярное разложение матриц Covsrc и Covtgt: Cov = U‧Λ‧VT U и V – ортогональные матрицы, состоящие из собственных векторов, определяющие ориентацию аппроксимирующего эллипсоида Λ = diag( λR, λG, λB ) λR, λG, λB – собственные значения, определяющие размеры аппроксимирующего эллипсоида 29Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  30. 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Построение преобразования 4. Зная расположения аппроксимирующих эллипсоидов, ищем преобразования как последовательность операций поворота, сдвига и растяжения: I = Tsrc‧Rsrc‧Ssrc‧Stgt‧Rtgt‧Ttgt‧Itgt I = (R, G, B, 1)T Itgt = (Rtgt , Gtgt , Btgt , 1)T Tsrc, Ttgt , Rsrc, Rtgt , Ssrc и Stgt – матрицы сдвига, поворота и растяжения соответственно 30Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  31. 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Определение коэффициентов 31 Коэффициенты, используемые в матрицах преобразования: Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  32. 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  5. Определяем матрицы преобразований:  Матрицы сдвига:  Матрицы поворота:  Матрицы масштабирования: Алгоритм Матрицы преобразований 32Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  33. 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  33 Исходное изображение Целевое изображение Результирующее изображение Global Color Transfer Результаты (1) Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  34. 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Global Color Transfer Результаты (2) 34 Исходное изображение Целевое изображение Результирующее изображение Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  35. 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  35 Global Color Transfer Результаты (2) Распределение значений пикселей исходного изображения в RGB–кубе Эллипсоид, натянутый на распределение значений пикселей Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  36. 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  36 Распределение значений пикселей целевого изображения в RGB–кубе Эллипсоид, натянутый на распределение значений пикселей Global Color Transfer Результаты (2) Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  37. 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Global Color Transfer Результаты (2) 37 Распределение значений пикселей результирующего изображения в RGB–кубе Эллипсоид, натянутый на распределение значений пикселей Xuezhong Xiao, Lizhuang Ma, “Color Transfer in Correlated Color Space,” VRCIA, 2006
  38. 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Global Color Transfer Выводы Достоинства:  Простота реализации  Малая вычислительная сложность  Используется совместное преобразование по трем каналам Недостатки:  Не учитываются локальные особенности изображения  Недостаточность линейной модели преобразования 38
  39. 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Histogram Matching  Global Color Transfer  Кластерный метод  Локальные  Обнаружение бликов  Заключение 39
  40. 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод  Задача: Выполнить цветокоррекцию ракурсов, основываясь на выделении цветовых кластеров в ракурсах  Вход: Многоракурсное видео  Выход: Видео с исправленными по цвету ракурсами 40
  41. 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаги алгоритма 1. Выбор ключевых кадров 2. Проведение вероятностной кластеризации пикселей 3. Вычисление параметров цветокоррекции 4. Интерполяция параметров цветокоррекции в неключевых кадрах 5. Выполнение цветокоррекции 41Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  42. 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластеризация  Определяем N – количество цветовых кластеров  Для каждого ракурса итеративно вычисляем вероятность iPxy принадлежности пикселя в позиции (x,y) к i-ому кластеру  Введем обозначения: I(x, y) – значение пикселя в пространстве СIELab Dist – евклидово расстояние между значениями пикселей 42Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  43. 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластеризация Вычисление вероятностей На каждом шаге итерации для всех пикселей ракурса вычисляем вероятность: Функция расстояния между значениями пикселей: N – пиксели, соседние с пикселем (x, y) T1 – параметр 43Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  44. 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вычисление параметров После того, как были посчитаны iPxy для каждого ракурса, вычисляем параметры кластеров:  Среднее значение пикселей для i-го кластера:  Стандартное отклонение пикселей для i-го кластера: 44Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  45. 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Вычисление параметров Определение основных кластеров  Для каждого ракурса вычисляем вероятность i-го кластера (его вес):  Сортируем pi по убыванию и определяем M доминантных кластеров, максимизируя M, удовлетворяющее неравенству: T2 – параметр 45Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  46. 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Цветокоррекция Выполняем сведение цветов ракурсов к reference- ракурсу следующим образом: , – средние значения i-го кластера в текущем и reference-ракурсе , – стандартные отклонения i-го кластера , – исходные и преобразованные значения пикселей текущего ракурса pi – вероятность i-го кластера в текущем ракурсе 46Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  47. 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод Результаты (1) 49 Левый ракурс Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  48. 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод Результаты (1) 50 Правый ракурс Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  49. 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод Результаты (1) 51 Правый скорректированный ракурс Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  50. 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод Результаты (1) 52 Левый ракурс Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  51. 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод Результаты (2) 53 Левый ракурс Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  52. 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  54 Правый ракурс Кластерный метод Результаты (2) Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  53. 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  55 Правый скорректированный ракурс Кластерный метод Результаты (2) Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  54. 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  56 Левый ракурс Кластерный метод Результаты (2) Feng Shao et. al., “Color Correction for Multi-view Video Based on Color Variation Curve,” ICICTA, 2010
  55. 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Кластерный метод Выводы Достоинство:  Устойчивость во времени Недостатки:  Не учитывает положения пикселя в кадре  Может неправильно корректировать маленькие объекты, сильно отличающиеся по цвету от всей сцены 57
  56. 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Локальные  Block-based method  Local color correction for underwater stereo images  Обнаружение бликов  Заключение 58
  57. 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method  Задача: Выполнить поблочную цветокоррекцию между центральным и боковыми ракурсами  Вход: Многоракурсное изображение  Выход: Исправленные по цвету ракурсы 59 Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  58. 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Алгоритм 1. Оценка движения между центральным и боковыми ракурсами 2. Построение функции преобразования для каждого блока в каждом ракурсе для каналов Y, U, V 3. Применение полученных функций преобразования 60 Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  59. 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Оценка движения Выполняем оценку движения для блоков между центральными и боковыми ракурсами по каналу Y, в качестве метрики берем коэффициент корреляции: и максимизируем его в некоторой области (i, j) A N – размер блока mview и manc – средние значения интенсивности в блоке Yview и Yanc – значения интенсивности по каналу Y 61 Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  60. 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Для каждого блока по каждому каналу Y, U, V ищем функцию преобразования в виде полинома 3 степени от 3 переменных: Block-based method Функция коррекции блоков 62 Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  61. 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Запишем функцию преобразования в матричном виде: 63 Block-based method Функция коррекции блоков (2) Yi, Ui, Vi – значения пикселей в блоке исходного ракурса aY, aU, aV – векторы коэффициентов, определяющие функцию преобразования каждого канала Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  62. 62. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Коэффициенты находим, решая СЛАУ методом наименьших квадратов, где 64 Block-based method Функция коррекции блоков (3) Yi – значения интенсивностей пикселей в i-ом ракурсе M – количество ракурсов ε – вектор ошибок Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  63. 63. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Результаты 65 Четвертый исходный ракурс Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  64. 64. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  66 Block-based method Результаты Третий исходный ракурс Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  65. 65. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  67 Block-based method Результаты Третий скорректированный ракурс Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  66. 66. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  68 Block-based method Результаты Четвертый скорректированный ракурс Colin Doutre, Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2009
  67. 67. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Выводы Достоинства:  Низкая вычислительная сложность  Преобразование зависит от положения блока в кадре Недостатки:  Неадекватность оценки движения для областей, различных по цвету и без текстуры  Преобразования для блоков выполняются независимо 69
  68. 68. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Локальные  Block-based method  Local color correction for underwater stereo images  Обнаружение бликов  Заключение 70
  69. 69. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи  Задача: Выполнить цветокоррекцию подводного стереовидео, используя совместное преобразование по трем каналам RGB  Вход:  Стереопара  Карта диспаритета  Выход: Cкорректированные по цвету ракурсы 71 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  70. 70. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Шаги алгоритма: 1. Выбор ракурса, который будет сводиться по цвету к другому ракурсу 2. Поиск и применение глобального цветового преобразования совместно по трем каналам к выбранному ракурсу 3. Выполнение локальной цветокоррекции 72 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  71. 71. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выбор ракурса  В качестве ракурса для преобразования (Source Image) выбираем тот, в котором количество различных цветов в RGB кубе больше  Другой ракурс обозначаем как Reference Image 73 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  72. 72. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальное преобразование Составление векторов Составляем векторы значений пикселей для  Source Image:  Reference Image: , – значения i-го пикселя в Source Image и значение соответствующего ему i-го пикселя в Reference Image в пространстве CIELab 75 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  73. 73. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Глобальное преобразование Первый метод  Ищем глобальное преобразование для X в виде – матрица – вектор сдвига  Параметры преобразования получаем, используя итеративный алгоритм ближайших точек, минимизируя функцию 76 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  74. 74. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Одна итерация: 1. Связывание точек по критерию ближайшего соседа (поиск для каждой точки множества X пары из множества Y) 2. Вычисление преобразования (смещение + поворот), минимизирующее среднеквадратичное расстояние между парными точками 3. Применение рассчитанного преобразования к множеству X и пересчет ошибки 77 Итеративный алгоритм ближайших точек Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  75. 75. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Используя алгоритм Coherent Point Drift (CPD), ищем глобальное преобразование в более общем виде: – функция смещения, которая ищется с помощью минимизации выражения: 78 Глобальное преобразование Второй метод Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  76. 76. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Отрицательная функция максимального правдоподобия:  Регуляризационное правило:  Параметр:  Ковариация, определяемая из expectation- maximization (EM) алгоритма: 79 Глобальное преобразование Второй метод (2) Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  77. 77. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение двух методов Пространство CIELab 80 Распределение пикселей до преобразования Распределение пикселей после преобразования (первый метод) Распределение пикселей после преобразования (второй метод) • Source Image • Reference Image Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  78. 78. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сравнение двух методов Пространство RGB 81 Распределение пикселей до преобразования Распределение пикселей после преобразования (первый метод) Распределение пикселей после преобразования (второй метод) • Source Image • Reference Image Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  79. 79. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Остаточные ошибки (residual errors) : 82 Сравнение двух методов Численная оценка Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012 0 1 2 3 4 5 6 7 8 RGB CIELab Первый метод Второй метод
  80. 80. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Локальная коррекция Обозначения Y(p, q) – значение пикселя в Source Image на позиции (p, q) в пространстве CIELab XY(p, q) – значение пикселя в Reference Image, соответствующее пикселю Y(p, q) в пространстве CIELab A(p, q) = XY(p, q) – Y(p, q) – вектор разницы значений соответствующих пикселей 83 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  81. 81. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Преобразуем значение пикселя Y(p, q): W – локальная окрестность пикселя Y(p, q), состоящая из NT пикселей Td – параметр алгоритма 84 Локальная коррекция Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  82. 82. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Правый ракурс 85 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  83. 83. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Левый ракурс 86 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  84. 84. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Скорректированный левый ракурс 87 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  85. 85. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты Правый ракурс 88 Hyoungchul Shin et. al., “Local color correction with three dimensional point set registration for underwater stereo images,” SPIE Optical Engineering, 2012
  86. 86. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинства:  Используется совместное преобразование по трем каналам  Допускаются сильные искажения по цвету Недостатки:  Большая вычислительная сложность глобальной коррекции  Локальная коррекция может вызвать размытие  Предполагается геометрическая скалиброванность камер 89
  87. 87. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Локальные  Обнаружение бликов  Заключение 90
  88. 88. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Классификация пикселей  Матовые пиксели  Отраженные ненасыщенные пиксели (значение интенсивностей которых не были «обрезаны» из-за конечной чувствительности камеры)  Отраженные насыщенные 91 Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  89. 89. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обнаружение бликов  Задача: По двум изображениям одного объекта, снятого с одной точки, но при разных освещенностях, найти области содержащие отраженные (specular) пиксели  Вход: Reference Image с малым количеством отраженных пикселей и Target Image  Выход: Маска отраженных пикселей в Target Image 92 Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  90. 90. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обнаружение бликов Примеры входных изображений 93 Reference Image Reference Image Target Image Target Image Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  91. 91. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Шаги алгоритма 1. Находим порог в пространстве RGB, по которому определяем отраженные насыщенные пиксели в Target Image 2. Ищем линейную функцию преобразования, сводящую Reference Image к Target Image 3. Определяем отраженные ненасыщенные пиксели 94 Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  92. 92. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Поиск насыщенных пикселей 95 Пример распределения пикселей в RGB кубе Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  93. 93. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Поиск насыщенных пикселей (2)  Можно найти параллелограмм в пространстве RGB, возле которого сосредоточены все пиксели кроме насыщенных обрезанных  Поэтому можно считать насыщенными пиксели, яркость которых выше порогового значения T  Для поиска порогового значения T используем итеративный алгоритм, начиная с T = 255 96 Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  94. 94. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Поиск порогового значения Шаг итерации: 1. Рассматриваем распределение пикселей ниже порогового значения 2. Для данного распределения методом главных компонент ищем величины собственных значений λ1 ≥ λ2 ≥ λ3, определяющие размер аппроксимирующего эллипсоида 3. Уменьшаем пороговое значение до тех пор, пока λ1 «резко не уменьшится» 97 Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  95. 95. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм Поиск порогового значения (2) 98 График зависимости собственных значений и порогового значения Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  96. 96. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск линейного преобразования  Пусть после отбрасывания насыщенных пикселей осталось k пикселей  Определим матрицы: Аналогично определим матрицу Ω’ для Target Image  Найдем методом наименьших квадратов матрицу М, минимизирующую соотношение  Матрица М определяет искомое преобразование 99 Ri, Gi, Bi – значения i-го пикселя в Reference Image, в пространстве RGB Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  97. 97. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Поиск отраженных ненасыщенных пикселей  Для Reference Image, используя оставшиеся пиксели, по каждому каналу R, G, B вычисляем вектор средних значений и вектор дисперсии , где k – канал R, G или B  Для каждого оставшегося пикселя в Target Image вычисляем обратное линейное преобразование U = M-1 •  Если Uk ≥ для какого-либо k, то i-ый пиксель считаем отраженным ненасыщенным, где α – параметр 100 Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  98. 98. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обнаружение бликов Результаты 101 Reference Image Target Image Субъективная оценка Результат Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  99. 99. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обнаружение бликов Результаты (2) 102 Reference Image Target Image Субъективная оценка Результат Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  100. 100. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Обнаружение бликов Результаты (3) 103 Reference Image Target Image РезультатСубъективная оценка Jae Byung Park and Avinash C. Kak, “Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE Conference on Robotics and Automations, 2003
  101. 101. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы Достоинство:  Работает на всех типах поверхностей Недостаток:  Требует Reference Image без бликов 104
  102. 102. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  Методы цветокоррекции  Глобальные  Локальные  Обнаружение бликов  Заключение 105
  103. 103. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Проделанная работа  Реализована и улучшена авторская версия block-based алгоритма  Реализован алгоритм исправления градиента 106
  104. 104. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Правый ракурс 107 Кадр № 4400 из трейлера к фильму «Аватар»
  105. 105. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Левый ракурс 108 Кадр № 4400 из трейлера к фильму «Аватар»
  106. 106. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Левый скорректированный ракурс 109 Кадр № 4400 из трейлера к фильму «Аватар»
  107. 107. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Block-based method Правый ракурс 110 Кадр № 4400 из трейлера к фильму «Аватар»
  108. 108. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента Левый ракурс 111Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  109. 109. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента Правый ракурс 112Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  110. 110. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  113 Разница между левым и правым скомпенсированным ракурсом по синему каналу Исправление градиента Скомпенсированная разница
  111. 111. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  114 Исправление градиента График значений интенсивности график средних значений интенсивности по столбцам для канала Blue и их линейная аппроксимация для разницы между скомпенсированным левым и правым ракурсом Значенияинтенсивности Номер столбца
  112. 112. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  115 Исправление градиента Правый ракурс Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  113. 113. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента Левый ракурс 116Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  114. 114. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента Левый скорректированный ракурс 117Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  115. 115. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  118 Исправление градиента Правый ракурс Кадр № 500 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  116. 116. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента (2) Правый ракурс 119Кадр № 420 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  117. 117. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента (2) Левый ракурс 120Кадр № 420 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  118. 118. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента (2) Левый скорректированный ракурс 121Кадр № 420 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  119. 119. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исправление градиента (2) Правый ракурс 122Кадр № 420 из трейлера к фильму «Пираты Карибского моря: На странных берегах»
  120. 120. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Дальнейшие планы  Реализовать алгоритм построения 3D LUT для сведения ракурсов по цвету  Провести анализ результатов, полученных при использовании 3D LUT  Улучшение цветокоррекции:  Учет пространственного положения пикселей  Добавление алгоритма исправления градиентов  Реализовать алгоритм обнаружения бликов 123
  121. 121. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. Xuezhong Xiao and Lizhuang Ma, “Color Transfer in Correlated Color - Space,” ACM International Conference on Virtual Reality Continuum and Its Applications, Hong Kong, 2006, pp. 305-309. 2. Hyoungchul Shin, Ukil Yang and Kwanghoon Sohn “Local color correction with three dimensional point set registration for underwater stereo images,” Society of Photo-Optical Instrumentation Engineers, April 2012. 3. Colin Doutre and Panos Nasiopoulos, “Color Correction Preprocessing for Multiview Video Coding,” IEEE Transactions on Circuits and Systems for Video Techonology, September 2009, vol. 19, pp. 1400-1405. 4. Feng Shao, Mei Yu, Gang-yi Jiang and Ren-er Yang, “Color Correction for Multi-view Video Based on Color Variation Curve,” International Conference on Intelligent Computation Technology and Automation, 2010, pp. 970-973. 124
  122. 122. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература (2) 5. Jae Byung Park and Avinash C. Kak, “A Truncated Least Squares Approach to the Detection of Specular Highlights in Color Images,” IEEE International Conference on Robotics and Automations, 2003. 125
  123. 123. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Лаборатория компьютерной графики и мультимедиа Видеогруппа — это:  Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)  Выпускниками защищено 5 диссертаций  Наиболее популярные в мире сравнения видеокодеков  Более 3 миллионов скачанных фильтров обработки видео 126

×