Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Распознавание и удаление субтитров

1,792 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Распознавание и удаление субтитров

  1. 1. Распознавание и удаление субтитров Юрий Бердников Video Group CS MSU Graphics & Media Lab
  2. 2. Only for Maxus  Содержание доклада  Введение. Задача распознавания  Обзор существующих методов распознавания  Сегментация кадра  Временная коррекция  Обзор существующих методов удаления  Линейная интерполяция  Полиномиальная интерполяция  Метод среднего цвета соседей  Текущий метод Subtitle Remover  Свои идеи  Планы  Список литературы 2 CS MSU Graphics & Media Lab (Video Group)
  3. 3. Only for Maxus  Введение  Свойства субтитров  Наличие контура вокруг букв  Цвет субтитров, контура  Горизонтальность  Положение в кадре  Как правило, в нижней половине экрана  1-2, реже 3 строки  Возможно, выравнивание по центру  Неподвижность  Постоянство высоты шрифта 3 CS MSU Graphics & Media Lab (Video Group)
  4. 4. Only for Maxus  Введение Основная идея большинства алгоритмов сегментации видео – сегментация первого кадра с дальнейшим уточнением объектов во времени 4 CS MSU Graphics & Media Lab (Video Group)
  5. 5. Only for Maxus  Задача сегментации кадра  Типы алгоритмов сегментации  Использующие только параметры, постоянные для всех субтитров – контрастность обводки, горизонтальность надписи, неподвижность.  (-)Медленные  (-)Больше вероятность ошибки  (+)Возможность определения неизвестных параметров субтитров  Использующие дополнительные данные, полученные после начальной сегментации – цвет, положение, выравнивание, высоту шрифта.  (+)Быстрые  (+)Более точные  (-) Требуют дополнительных данных 5 CS MSU Graphics & Media Lab (Video Group)
  6. 6. Only for Maxus  Обзор существующих методов Fast and cheap image segmentation for interactive robots  RGB->YUV  Разделение цветового пространства на небольшое количество классов  Разделение пикселей на классы Fast And Cheap Image Segmentation For Interactive Robots 6 CS MSU Graphics & Media Lab (Video Group) James Bruce, Tucker Balch, Manuela veloso
  7. 7. Only for Maxus  Обзор существующих методов Fast and cheap image segmentation for interactive robots  RLE  Объединение контактирующих цепочек в объекты Fast And Cheap Image Segmentation For Interactive Robots 7 CS MSU Graphics & Media Lab (Video Group) James Bruce, Tucker Balch, Manuela veloso
  8. 8. Only for Maxus  Обзор существующих методов Fast and cheap image segmentation for interactive robots  Результаты Fast And Cheap Image Segmentation For Interactive Robots 8 CS MSU Graphics & Media Lab (Video Group) James Bruce, Tucker Balch, Manuela veloso
  9. 9. Only for Maxus  Обзор существующих методов Fast and cheap image segmentation for interactive robots  Преимущества  Очень высокая скорость (160x120 60кадр/сек на 150MHz процессоре)  Недостатки  Нужна информация о цвете  Большое число ошибок 2го  «Рваные» края сегментов, пропуск пикселей  Вывод  Годится как второстепенный метод для проверки уже построенной маски Fast And Cheap Image Segmentation For Interactive Robots 9 CS MSU Graphics & Media Lab (Video Group) James Bruce, Tucker Balch, Manuela veloso
  10. 10. Only for Maxus  Обзор существующих методов K-means image clustering method  Идея: разбиение всех пикселей на К кластеров по цвету  Алгоритм 1. Выбираем произвольно К цветов С1..СК 2. Для цвета каждого пикселя вычисляем, к какому из С1..СК он ближе всего и причисляем его к кластеру Ni, соответствующему этому цвету 3. цвет Сi меняем на средний из цветов пикселей кластера Ni 4. повторяем 2,3 пока не достигнем заданного числа итераций либо цвета С1..СК не перестанут меняться Yu-Jin ZHANG Advances in image and video segmentation 10 CS MSU Graphics & Media Lab (Video Group)
  11. 11. Only for Maxus  Обзор существующих методов K-means image clustering method  Пример: разбиение изображения на К=6 кластеров Yu-Jin ZHANG Advances in image and video segmentation 11 CS MSU Graphics & Media Lab (Video Group)
  12. 12. Only for Maxus  Обзор существующих методов K-means image clustering method  Достоинства  Прост  Хорошо распараллеливается  Недостатки  Необходимо задать кол-во кластеров  Многопроходность  Использует информацию только о цвете  Вывод  Пригоден для начальной сегментации кадра Yu-Jin ZHANG Advances in image and video segmentation 12 CS MSU Graphics & Media Lab (Video Group)
  13. 13. Only for Maxus  Обзор существующих методов Edge-detection based algorithms Edge-detection based algorithms  Идея: Выделение границ на изображении  Выделение объектов Bill Green Canny Edge Detection Tutorial 13 CS MSU Graphics & Media Lab (Video Group)
  14. 14. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Canny  Алгоритм выделения границ:  Шумоподавление – размытие с помощью фильтра Гаусса Bill Green Canny Edge Detection Tutorial 14 CS MSU Graphics & Media Lab (Video Group)
  15. 15. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Canny  вычисление градиента по Х и У Bill Green Canny Edge Detection Tutorial 15 CS MSU Graphics & Media Lab (Video Group)
  16. 16. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Canny  Вычисление суммарного градиента: |G| = |Gx| + |Gy|. Если |G| > Threshold, данный пиксель объявляется границей. Результаты работы с различным порогом и параметрами размытия Гаусса Bill Green Canny Edge Detection Tutorial 16 CS MSU Graphics & Media Lab (Video Group)
  17. 17. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Canny Пример работы на реальном видео 17 CS MSU Graphics & Media Lab (Video Group)
  18. 18. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Canny  Достоинства  Скорость  Гибкость  Недостатки  Плохо работает на сильном шуме и блочности  Вывод  Пригоден для начальной сегментации Bill Green Canny Edge Detection Tutorial 18 CS MSU Graphics & Media Lab (Video Group)
  19. 19. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Robert's cross  Алгоритм:  Схож с алгоритмом Canny, но использует другие матрицы для выделения границ 1 0  0 1 0  1   1 0    Yu-Jin ZHANG Advances in image and video segmentation 19 CS MSU Graphics & Media Lab (Video Group)
  20. 20. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Robert’s cross Пример работы на реальном видео 20 CS MSU Graphics & Media Lab (Video Group)
  21. 21. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Robert's cross  Достоинства  Скорость  Недостатки  Неустойчивость к шуму  Неудовлетворительная работа на малоразмерных кадрах  Вывод  Может использоваться вместо canny при высоком разрешении Yu-Jin ZHANG Advances in image and video segmentation 21 CS MSU Graphics & Media Lab (Video Group)
  22. 22. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Area variation  Алгоритм:  Шумоподавление  Оценка соседей  Поиск Min и Max  если покомпонентная сумма разностей diff  ( R max  R min)  (G max  G min)  ( B max  B min) больше порога, то пиксель объявляется границей. Yu-Jin ZHANG Advances in image and video segmentation 22 CS MSU Graphics & Media Lab (Video Group)
  23. 23. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Area Variation Пример работы на реальном видео 23 CS MSU Graphics & Media Lab (Video Group)
  24. 24. Only for Maxus  Обзор существующих методов Edge-detection based algorithms : Area variation  Достоинства  Скорость  Недостатки  Неустойчивость к шуму  Плохая работа на маленьких изображениях  Вывод  Ограниченно применим для начальной сегментации Yu-Jin ZHANG Advances in image and video segmentation 24 CS MSU Graphics & Media Lab (Video Group)
  25. 25. Only for Maxus  Обзор существующих методов Region growing  Алгоритм: 1. Выбор точек роста 2. Обработка соседей 3. Переопределение точек роста 4. Повторять 2,3 пока есть хоть одна точка роста Yu-Jin ZHANG Advances in image and video segmentation 25 CS MSU Graphics & Media Lab (Video Group)
  26. 26. Only for Maxus  Обзор существующих методов Region growing  Достоинства  Позволяет быстро выделить однотонный объект, если известна хотя бы одна из принадлежащих ему точек  Недостатки  Медленный в общем случае  Нуждается в начальном задании точек роста  Вывод  Можно применить для отслеживания движения объектов, выделенных другим алгоритмом Yu-Jin ZHANG Advances in image and video segmentation 26 CS MSU Graphics & Media Lab (Video Group)
  27. 27. Only for Maxus  Обзор существующих методов Histogram-based methods  Построение гистограммы  Разделение гистограммы  Кластеризация пикселей http://compression.graphicon.ru/video/subtitles_removal/index_en.html 27 CS MSU Graphics & Media Lab (Video Group)
  28. 28. Only for Maxus  Обзор существующих методов Histogram-based methods  Достоинства  Скорость  Недостатки  Плохо сегментирует мелкие регионы  Вывод  В чистом виде не годится. 28 CS MSU Graphics & Media Lab (Video Group)
  29. 29. Only for Maxus  Обзор существующих методов Histogram-based methods: улучшение метода Yu-Jin ZHANG Advances in iimage and video segmentation 29 CS MSU Graphics & Media Lab (Video Group)
  30. 30. Only for Maxus  Обзор существующих методов Histogram-based methods  Пример работы Yu-Jin ZHANG Advances in iimage and video segmentation 30 CS MSU Graphics & Media Lab (Video Group)
  31. 31. Only for Maxus  Обзор существующих методов Histogram-based methods  Достоинства  Хорошо сегментирует по цвету  Недостатки  Сегментация только по цвету, без учѐта остальных параметров  На видео плохого качества много ошибок  Вывод  Ограниченно применим Yu-Jin ZHANG Advances in image and video segmentation 31 CS MSU Graphics & Media Lab (Video Group)
  32. 32. Only for Maxus  Обзор существующих методов Временная коррекция  Уточнение найденных объектов  Оценка движения  Проверка на появление/исчезновение  Проверка на изменение размера 32 CS MSU Graphics & Media Lab (Video Group)
  33. 33. Only for Maxus  Обзор существующих методов Текущий метод Subtitle Remover  Алгоритм:  Идея: вариация во времени Y-компоненты.  Рассматриваем «дисперсию»: t T F ( x, y, T )   (Y ( x, y, t )  AVG ( x, y,t - 1)) 2 t 2 CMC MSU G&M Lab 33 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  34. 34. Only for Maxus  Обзор существующих методов Текущий метод Subtitle Remover CMC MSU G&M Lab 34 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  35. 35. Only for Maxus  Обзор существующих методов Текущий метод Subtitle Remover  Распознавание появления субтитров:  Обновление буфера кадров  Подсчет дисперсии пикселей для всех кадров буфера  Для каждого пикселя оценка кол-ва кадров с низкой дисперсией  Распознавание исчезновения субтитров:  Оценка кол-ва изменившихся пикселей в маске субтитров CMC MSU G&M Lab 36 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  36. 36. Only for Maxus  Обзор существующих методов Текущий метод Subtitle Remover  Дополнительная обработка маски Erosion Dilation CMC MSU G&M Lab 37 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  37. 37. Only for Maxus  Обзор существующих методов Текущий метод Subtitle Remover CMC MSU G&M Lab 38 CS MSU Graphics & Media Lab (Video Group) 38 Video group Subtitle Remover description
  38. 38. Only for Maxus  Обзор существующих методов Текущий метод Subtitle Remover  Достоинства  Приемлемая скорость  Недостатки  Недостаточная точность  Плохая работа на видео низкого качества  Вывод  Надо дорабатывать CMC MSU G&M Lab 39 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  39. 39. Only for Maxus  Обзор существующих методов Линейная интерполяция  Изображение рассматривается по столбцам  Пиксели из маски считаются неизвестными  Для каждой группы неизвестных рассматривается по известному соседу  По этим двум соседям строится линейная функция  Значения неизвестных пикселей определяем как значение этой функции в данной точке M.R. Banham, A.K. Katsaggelos 40 CS MSU Graphics & Media Lab (Video Group) Digital image restoration
  40. 40. Only for Maxus  Обзор существующих методов Линейная интерполяция  Пример работы 41 CS MSU Graphics & Media Lab (Video Group)
  41. 41. Only for Maxus  Обзор существующих методов Линейная интерполяция  Достоинства  Очень быстрый алгоритм  Недостатки  Плохая работа на видео низкого качества и видео с резкими границами  Вывод  Пригоден для обработки HDTV M.R. Banham, A.K. Katsaggelos 42 CS MSU Graphics & Media Lab (Video Group) Digital image restoration
  42. 42. Only for Maxus  Обзор существующих методов Полиномиальная интерполяция  Изображение рассматривается по столбцам  Пиксели из маски считаются неизвестными  Для каждой группы неизвестных выделяем N известных соседей с каждой стороны  По этим соседям строим полином  Значения неизвестных пикселей определяем из значения полинома в данной точке M.R. Banham, A.K. Katsaggelos 43 CS MSU Graphics & Media Lab (Video Group) Digital image restoration
  43. 43. Only for Maxus  Обзор существующих методов Полиномиальная интерполяция  Достоинства  Хороший результат на хороших изображениях с плавными переходами  Недостатки  Очень плохая работа на видео низкого качества и зашумлѐнном видео  Вывод  Пригоден для обработки HDTV M.R. Banham, A.K. Katsaggelos 44 CS MSU Graphics & Media Lab (Video Group) Digital image restoration
  44. 44. Only for Maxus  Обзор существующих методов Метод среднего цвета соседей 1. Для каждого неизвестного пикселя рассматриваем 8 соседних 2. если среди них более 4 известно, пикселю присваивается средний цвет известных соседей 3. повторяем 1,2 пока не заполним всѐ изображение M.R. Banham, A.K. Katsaggelos 45 CS MSU Graphics & Media Lab (Video Group) Digital image restoration
  45. 45. Only for Maxus  Обзор существующих методов Линейная интерполяция  Пример работы 46 CS MSU Graphics & Media Lab (Video Group)
  46. 46. Only for Maxus  Обзор существующих методов Метод среднего цвета соседей  Достоинства  Мало чувствителен к шуму  Недостатки  Характерные артефакты, неудовлетворительная работа на резких границах  Вывод  Применим при небольших размерах заполняемой области M.R. Banham, A.K. Katsaggelos 47 CS MSU Graphics & Media Lab (Video Group) Digital image restoration
  47. 47. Only for Maxus  Обзор существующих методов Текущий метод subtitle remover CMC MSU G&M Lab 48 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  48. 48. Only for Maxus  Обзор существующих методов Текущий метод subtitle remover: Quality blur Y  Y 100 100 i i i:Pi 100 U  U i:Pi i i 100 V  V i:Pi i i Processing Processing pixels pixel Neighbors pixels (border) 100 i  ( xi  yi ) 2.5 CMC MSU G&M Lab 49 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  49. 49. Only for Maxus  Обзор существующих методов Текущий метод subtitle remover: Quality blur CMC MSU G&M Lab 50 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  50. 50. Only for Maxus  Обзор существующих методов Текущий метод subtitle remover: Motion compensation CMC MSU G&M Lab 51 CS MSU Graphics & Media Lab (Video Group) Video group Subtitle Remover description
  51. 51. Only for Maxus  Свои идеи  Свойства субтитров  Наличие контура вокруг букв  Цвет субтитров, контура  Горизонтальность  Положение в кадре  Как правило, в нижней половине экрана  1-2, реже 3 строки  Возможно, выравнивание по центру  Неподвижность  Постоянство высоты шрифта 52 CS MSU Graphics & Media Lab (Video Group)
  52. 52. Only for Maxus  Свои идеи  1) Совершенствование текущего алгоритма  Добавление вероятностных коэффициентов для пикселей  Кол-во других пикселей-кандидатов в строке  Расположение в нижней части кадра  Похожесть цвета на заданный  «Мягкая» оценка дисперсии  Автоматическое определение параметров субтитров  Цель – снижение ошибок, улучшение работы на видео низкого качества, более полная автоматизация 53 CS MSU Graphics & Media Lab (Video Group)
  53. 53. Only for Maxus  Свои идеи  2) Применение статической сегментации кадра  Разделение кадра на объекты  Фильтрация объектов по положению, цвету  Проверка объектов на неподвижность в последующих кадрах  Цель – улучшение работы с нестандартными субтитрами, работа на сильном шуме низком качестве  Потенциальные проблемы – низкая скорость работы 54 CS MSU Graphics & Media Lab (Video Group)
  54. 54. Only for Maxus  Свои идеи  3) Оценка уровня качества/шума и адаптивная подстройка  Использование с идеями 1) и 2)  Цель-уменьшение ошибок 2 рода (невключение в маску пикселей субтитров) 55 CS MSU Graphics & Media Lab (Video Group)
  55. 55. Only for Maxus  Планы на ближайшее будущее 1. Детальное исследование работы имеющегося алгоритма и попытка его улучшить добавлением вероятностных характеристик 2. В случае невозможности улучшения – реализация другого алгоритма 56 CS MSU Graphics & Media Lab (Video Group)
  56. 56. Only for Maxus  Список литературы 1) Demin Wang Unsupervised Video Segmentation Based on Watersheds and Temporal Tracking http://compression.ru/download/articles/video/1998_unsupervised_video_segmentation_based_on_watersheds_pdf.rar 2) Chee Sun Won A Block-Based MAP Segmentation for Image Compressions http://compression.ru/download/articles/video/1998_a_block-based_map_segmentation_for_image_compressions_pdf.rar 3) Joo-Hee Moon, Gwang-Hoon Park, Sung-Moon Chun, and Seok-Rim Choi Shape-Adaptive Region Partitioning Method for Shape-Assisted Block-Based Texture Coding http://compression.ru/download/articles/video/1997_shape-adaptive_region_partitioning_method_for_shape-assisted_block- based_texture_coding_pdf.rar 4) P. Salembier, and F. Marquґes Region-Based Representations of Image and Video: Segmentation Tools for Multimedia Services http://compression.ru/download/articles/video/1999_region-based_representations_of_image_and_video_pdf.rar 5) David R. Martin Charless C. Fowlkes Jitendra Malik Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues 2004 http://www.cs.berkeley.edu/~fowlkes/papers/mfm-pami-boundary.pdf 6) Mohammad Al-aqrabawi Human Skin Detection Using Color Segmentation 2000 https://courseware.vt.edu/users/abbott/5554/SkinReport.pdf 7) Ahmed Elgammal Ramani Duraiswami Larry S.Davis Efficient Non-parametric Adaptive Color Modeling Using Fast Gauss Transform 2001 http://www.cs.umd.edu/users/elgammal/docs/colormodeling-cvpr01-postfinal.pdf 8) Ульд Ахмед Талеб Махфуд Комбинированные алгоритмы сегментации цветных изображений http://neuroface.narod.ru/files/mahfoudh_autoref.pdf 9) Wladyslaw Skarbek Color Image Segmentation -- A Survey http://imaging.utk.edu/~koschan/paper/coseg.pdf 10) Junqing Chen Thrasyvoulos N. Pappas Adaptive perceptual color-texture image segmentation http://www.research.ibm.com/people/a/aleksand/pdf/ip04.pdf 57 CS MSU Graphics & Media Lab (Video Group)
  57. 57. Only for Maxus  Список литературы 11) Zhuowen Tu Song-Chun Zhu Parsing Images into Regions, Curves, and Curve Groups http://www.stat.ucla.edu/~ztu/publication/ijcv_curve.pdf 12) James Bruce Tucker Balch Manuela Veloso Fast and cheap color image segmentation for interactive robots http://www.cs.cmu.edu/~trb/papers/wirevision00.pdf 13) Вадим Конушин Владимир Вежневец Методы сегментации изображений: автоматическая сегментация http://cgm.computergraphics.ru/content/view/147 14) Byung-Gyu Kim Jae-Ick Shim Dong-Jo Park Fast image segmentation based on multi-resolution analysis and wavelets http://www.loni.ucla.edu/twiki/pub/CCB/CcbBiologicalProjects/sdarticle.pdf 15) Eitan Sharon Achi Brandt Ronen Basri Fast Multiscale Image Segmentation http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.6.8656&rep=rep1&type=pdf 16) Nicolas Forcadel Carole Le Guyader Christian Gout Generalized fast marching method: Applications to image segmentation http://cermics.enpc.fr/~forcadel/Publi/FGL.pdf 17) Antonio Criminisi Toby Sharp Andrew Blake Geodesic image segmentation http://research.microsoft.com/users/antcrim/papers/Criminisi_eccv2008.pdf 18) Tapas Kanungo Byron Dom Wayne Niblack David Steele A fast algorithm for MDL-based multi-band image segmentation https://eprints.kfupm.edu.sa/17619/1/17619.pdf 19) Leo Grady Random walks for image segmentation http://cns-web.bu.edu/~lgrady/grady2006random.pdf 20) Peter I. Corke Helen I. Anderson Fast image segmentation http://repository.upenn.edu/cgi/viewcontent.cgi?article=1883&context=cis_reports 58 CS MSU Graphics & Media Lab (Video Group)
  58. 58. Only for Maxus  Спасибо за внимание! Вопросы? 59 CS MSU Graphics & Media Lab (Video Group)

×