Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Анализ изображений и видео. Сегментация изображений

  • Be the first to comment

Анализ изображений и видео. Сегментация изображений

  1. 1. Анализ изображений и видео Наталья Васильева nvassilieva@hp.com HP Labs Russia 16 ноября 2012, Computer Science Center Лекция 8: Сегментация изображений
  2. 2. 2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Разные уровни локализации Что есть распознанный объект? • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification) • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization) • Известны пиксели, принадлежащие объекту объектная сегментация (object segmentation) Slide credit: M. Everingham
  3. 3. 3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Уровни обобщения Уровнилокализации просто сложно Определение категории и объектная сегментация Определение категории и выделение объекта на изображении Определение категории объекта на изображении
  4. 4. 4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Что такое сегментация? Деление изображения на составляющие его области или объекты Объединение пикселей в группы по признаку «однородности», «связности» Сегменты: Пиксели, принадлежащие одному сегменту, «имеют что-то общее» Сегментация – одна из самых сложных задач компьютерного зрения
  5. 5. 5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Что такое сегментация? Fig. credit: Shi, Malik
  6. 6. 6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Что такое сегментация? Fig. credit: Malik
  7. 7. 7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Где используется сегментация? Сегментация медицинских снимков Сегментация аэрокосмических снимков Выделение объектов на произвольных изображениях и видео Tiger Grass Water Sand
  8. 8. 8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Подзадачи сегментации • Как определить, что значит «пиксели имеют что-то общее»? Что есть это «общее»? • Как построить математическую модель, отражающую необходимое нам понимание «общности»? • Как найти решения в выбранной модели?
  9. 9. 9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Возможные критерии «общности» Цвет просто сложно Текстура Уровень яркости Перемещение, движение Форма, контуры Материал Принадлежность одному объекту
  10. 10. 10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Таксономия методов сегментации • «Снизу-вверх» v.s. «сверху-вниз» • Bottom-up v.s. top-down • Pixel-based v.s. region-based/area-based • Local v.s. global • Feature-space based v.s. image-domain based • Region-based v.s. edge-based • «Снизу-вверх» • Оцениваем «общность» отдельных пикселей или небольших групп пикселей • «Сверху-вниз» • Оцениваем «общность» на глобальном уровне для всего сегмента ? ?
  11. 11. 11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Таксономия методов сегментации • «Снизу-вверх» v.s. «сверху-вниз» • Bottom-up v.s. top-down • Pixel-based v.s. region-based/area-based • Local v.s. global • Feature-space based v.s. image-domain based • Region-based v.s. edge-based • Автоматическая v.s. с учителем • Automated v.s. user-directed ? ?
  12. 12. 12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Цвет Критерии «общности» 255х192, 9603 цветов 255х192, 8 цветов D. Comaniciu, P. Meer: Robust Analysis of Feature Spaces: Color Image Segmentation, CVPR'97
  13. 13. 13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Текстура Критерии «общности» Исходное изображение и его Фурье-спектр Vincent Levesque, Texture Segmentation Using Gabor Filters http://www.cs.huji.ac.il/~simonp/papers/ip_project.pdf Амплитуды результатов свертки с 4 разными фильтрами Габора Результат сегментации
  14. 14. 14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Текстура Критерии «общности» Thomas Hofmann, Jan Puzicha, Joachim M. Buhmann, Deterministic annealing for unsupervised texture segmentation, EMMCVPR ‘97, pp. 213-228
  15. 15. 15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Расположение относительно контура Критерии «общности» Slide credit: O. Carmichael Stella Yu, PhD thesis, 2003
  16. 16. 16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Перемещение, движение (motion) Критерии «общности» http://www.svcl.ucsd.edu/projects/motiondytex/demo.htm Одинаковые параметры вектров перемещения: направление, длина http://vcla.stat.ucla.edu/old/Barbu_Research/Motion_estim/index.html
  17. 17. 17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Глубина (depth) Критерии «общности» M. Domínguez-Morales, A. Jiménez-Fernández, R. Paz-Vicente, A. Linares-Barranco and G. Jiménez-Moreno Stereo Matching: From the Basis to Neuromorphic Engineering
  18. 18. 18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Глобальные Критерии «общности» • Расстояние между пикселями • Пиксели из одного сегмента расположены рядом • Число сегментов • Семантически значимых сегментов не должно быть много на изображении • Форма/контур сегмента • Конутр сегмента не должен быть очень сложным
  19. 19. 19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Математические модели Кластеры в пространстве признаков Slide credit: O. Carmichael 2-D решетка Множество регионов Полносвязный граф
  20. 20. 20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование кластеризации X1 X2 X1,X2 – вектора признаков (описывают цвет, текстуру, перемещение,...)
  21. 21. 21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование кластеризации Source: K. Grauman
  22. 22. 22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Кластериазция X1 X2 X3 Вопросы: • Какие признаки использовать? • Как сравнивать вектора (какая метрика)? • Сколько кластеров? • Форма кластеров?
  23. 23. 23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Основная идея Метод k-средних R G R G Каждая точка должна быть как можно ближе к центру своего кластера: min Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  24. 24. 24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Алгоритм Метод k-средних (k-means) 1. Выбрать k 2. Инициализировать k центров (например, случайным образом) 3. Распределить точки по кластерам: каждую точку присвоить к кластеру с ближайшим к точке центром 4. Переместить центры, чтобы они дейтсвительно были центрами получившихся кластеров 5. Если хотя бы один центр поменялся на шаге 4, перейти к шагу 3 Java демо: http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  25. 25. 25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 0 1 2 3 4 5 0 1 2 3 4 5 Distance Metric: Euclidean Distance k1 k2 k3 Метод k-средних: шаг 1 Slide credit: Lihi Zelnik-Manor
  26. 26. 26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 0 1 2 3 4 5 0 1 2 3 4 5 k1 k2 k3 Distance Metric: Euclidean Distance Метод k-средних: шаг 2 Slide credit: Lihi Zelnik-Manor
  27. 27. 27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 0 1 2 3 4 5 0 1 2 3 4 5 k1 k2 k3 Distance Metric: Euclidean Distance Метод k-средних: шаг 3 Slide credit: Lihi Zelnik-Manor
  28. 28. 28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 0 1 2 3 4 5 0 1 2 3 4 5 k1 k2 k3 Distance Metric: Euclidean Distance Метод k-средних: шаг 4 Slide credit: Lihi Zelnik-Manor
  29. 29. 29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 0 1 2 3 4 5 0 1 2 3 4 5 expression in condition 1 expressionincondition2 Distance Metric: Euclidean Distance Метод k-средних: шаг 5 k1 k2 k3 Slide credit: Lihi Zelnik-Manor
  30. 30. 30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Image Intensity-based clusters Color-based clusters Сегментация методом k-средних • K-means clustering based on intensity or color is essentially vector quantization of the image attributes • Clusters don’t have to be spatially coherent Slide credit: Lihi Zelnik-Manor
  31. 31. 31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Добавление пространственной информации Source: K. Grauman Distance based on color and position Slide credit: Lihi Zelnik-Manor
  32. 32. 32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сегментация методом k-средних •Clustering based on (r,g,b,x,y) values enforces more spatial coherence Slide credit: Lihi Zelnik-Manor
  33. 33. 33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. k-Means: достоинства и недостатки • Достоинства • Простота • Недостатки • Converges to a local minimum of the error function (решение: K-means++) • Memory-intensive • Need to pick K • Sensitive to initialization • Sensitive to outliers • Only finds “spherical” clusters
  34. 34. 34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Mean-shift for image segmentation Useful to take into account spatial information • instead of (R, G, B), run in (R, G, B, x, y) space • D. Comaniciu, P. Meer, Mean shift analysis and applications, 7th International Conference on Computer Vision, Kerkyra, Greece, September 1999, 1197-1203. – http://www.caip.rutgers.edu/riul/research/papers/pdf/spatmsft.pdf More Examples: http://www.caip.rutgers.edu/~comanici/segm_images.html Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  35. 35. 35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. The mean shift algorithm seeks modes or local maxima of density in the feature space Mean shift algorithm image Feature space (L*u*v* color values)
  36. 36. 36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. • Find features (color, gradients, texture, etc) • Initialize windows at individual feature points • Perform mean shift for each window until convergence • Merge windows that end up near the same “peak” or mode Mean shift clustering/segmentation
  37. 37. 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean Shift vector Mean shift Slide by Y. Ukrainitz & B. Sarel
  38. 38. 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean Shift vector Mean shift Slide by Y. Ukrainitz & B. Sarel
  39. 39. 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean Shift vector Mean shift Slide by Y. Ukrainitz & B. Sarel
  40. 40. 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean Shift vector Mean shift Slide by Y. Ukrainitz & B. Sarel
  41. 41. 41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean Shift vector Mean shift Slide by Y. Ukrainitz & B. Sarel
  42. 42. 42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean Shift vector Mean shift Slide by Y. Ukrainitz & B. Sarel
  43. 43. 43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Search window Center of mass Mean shift Slide by Y. Ukrainitz & B. Sarel
  44. 44. 44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. •Cluster: all data points in the attraction basin of a mode •Attraction basin: the region for which all trajectories lead to the same mode Mean shift clustering Slide by Y. Ukrainitz & B. Sarel
  45. 45. 45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. http://www.caip.rutgers.edu/~comanici/MSPAMI/msPamiResults.html Mean shift segmentation results
  46. 46. 46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. More results
  47. 47. 47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Mean shift: достоинства и недостатки •Достоинства – Does not assume spherical clusters – Just a single parameter (window size) – Finds variable number of modes – Robust to outliers •Недостатки – Output depends on window size – Computationally expensive – Does not scale well with dimension of feature space
  48. 48. 48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Probabilistic clustering Basic questions • what’s the probability that a point x is in cluster m? • what’s the shape of each cluster? K-means doesn’t answer these questions Basic idea • instead of treating the data as a bunch of points, assume that they are all generated by sampling a continuous function • This function is called a generative model – defined by a vector of parameters θ Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  49. 49. 49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Expectation maximization (EM) Goal • find blob parameters θ that maximize the likelihood function: Approach: 1. E step: given current guess of blobs, compute ownership of each point 2. M step: given ownership probabilities, update blobs to maximize likelihood function 3. repeat until convergence EM demo: http://lcn.epfl.ch/tutorial/english/gaussian/html/index.html Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  50. 50. 50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Иерархическая кластеризация
  51. 51. 51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. d( , ) >> d( , ) Модель для метрического пространства Когда нет векторов признаков, как таковых, а есть только значение функции расстояния/подобия для каждой пары пикселей: d(.,.) Например: потому что между и нет границы, а между и есть. Slide credit: O. Carmichael
  52. 52. 52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Моделирование при помощи графов Slide credit: O. Carmichael
  53. 53. 53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. q Automatic graph cut Fully-connected graph • node for every pixel • link between every pair of pixels, p,q • cost cpq for each link – cpq measures similarity o similarity is inversely proportional to difference in color and position p Cpq c Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  54. 54. 54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Segmentation by Graph Cuts Break Graph into Segments • Delete links that cross between segments • Easiest to break links that have low cost (similarity) – similar pixels should be in the same segments – dissimilar pixels should be in different segments w A B C Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  55. 55. 55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Min cut Link Cut • set of links whose removal makes a graph disconnected • cost of a cut: A B Find minimum cut • gives you a segmentation Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  56. 56. 56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. But min cut is not always the best cut... Ideal Cut Cuts with lesser weight than the ideal cut … and it is NP-complete
  57. 57. 57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. A B Normalized Cut • a cut penalizes large segments • fix by normalizing for size of segments • volume(A) = sum of costs of all edges that touch A Normalized Cut Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  58. 58. 58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Примеры сегментации Slide credit: O. Carmichael
  59. 59. 59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Примеры сегментации Slide credit: O. Carmichael
  60. 60. 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Примеры сегментации Slide credit: O. Carmichael
  61. 61. 61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование графов Полносвязные графы содержат информацию об отношениях для всех возможных пар пикселей Slide credit: O. Carmichael
  62. 62. 62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование 2-D решетки 2-D решетка содержит информацию только об отношениях соседних пикселей Моделироание при помощи Марковских случайных полей (Markov Random Fields, MRF) Slide credit: O. Carmichael
  63. 63. 63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Математические модели Кластеры в пространстве признаков Slide credit: O. Carmichael 2-D решетка Множество регионов Полносвязный граф
  64. 64. 64 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Деформируемые контуры Deformable contours/active contours/snakes Методы сегментации «сверху-вниз» • Если известно, сколько сегментов хотим выделить на изображении • Если есть возможность получить начальное предсказание, где проходит контур • Если сегменты имеют относительно простую форму • Если есть возможность получить вводную информацию о пользователя Lei He, Zhigang Peng, Bryan Everding, Xun Wang, Chia Y. Han, Kenneth L. Weiss, William G. Wee, A comparative study of deformable contour methods on medical image segmentation, Image and Vision Computing 26 (2008) 141–163
  65. 65. 65 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Подзадачи: параметризация Деформируемые контуры • Как математически описать контур? Сколько параметров потребуется задать? s Каждая точка контура имеет коордианты (xi(s), yi(s))
  66. 66. 66 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Подзадачи: задать энергию контура Деформируемые контуры • Как математически задать, каким нам хочется видеть контур? Например: • Чтобы вдоль контур находился в точках сильного перепада яркости • Чтобы контур был не сложным
  67. 67. 67 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Подзадачи: оптимизация Деформируемые контуры • Подобрать параметры для контура так, чтобы минимизировать энергию контура
  68. 68. 68 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Параметризация • Кусочно-линейные функции • Сплайны • Описание спектра (Фурье, вейвлеты)
  69. 69. 69 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Задание энергии контура Einternal – внутренняя энергия контура, задает желаемые свойства контура вне зависимости от свойств внутренней области Например: • Непрерывность контура – минимзация первой производной • Гладкость контура – минимзация второй производной internal image user
  70. 70. 70 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Задание энергии контура Eimage – задает желаемые свойства внутренней/внешней области Например: • Перепад яркости – максимизация градиента яркости internal image user
  71. 71. 71 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Задание энергии контура Euser – задает дополнительные внешние условия Например: • Набор контрольных точек и минимизация/максимизация расстояния до них internal image user
  72. 72. 72 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Оптимизация Градиентный спуск 1. Ищем минимум энергии – точку, где ее производная равна нулю 2. Перемещаем контур по направлению уменьшения градиента энергии 3. Повторяем шаг 2 до тех пор, пока не окажемся в точке минимума
  73. 73. 73 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. D. Martin, C. Fowlkes, D. Tal, J. Malik. "A Database of Human Segmented Natural Images and its Application to Evaluating Segmentation Algorithms and Measuring Ecological Statistics", ICCV, 2001 Berkeley Segmentation DataSet [BSDS]
  74. 74. 74 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Заключение • Bottom-up • Определение критериев «общности» • Построение математической модели • Найти решение в выбранной модели • Top-down (active contours) • Параметризация • Построение функции энергии контура • Оптимизация

×