Анализ изображений и видеоЛекция 8: Сегментация изображенийНаталья Васильеваnvassilieva@hp.comHP Labs Russia16 ноября 2012...
Что есть распознанный объект?Разные уровни локализации  • Объект (сцена) присутствует на    изображении     классификация,...
Уровни локализации                                                                                                        ...
Что такое сегментация?Деление изображения на составляющие его области или объектыОбъединение пикселей в группы по признаку...
Что такое сегментация?5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is sub...
Что такое сегментация?6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is sub...
Где используется сегментация?                                                                                Сегментация  ...
Подзадачи сегментации• Как определить, что значит «пиксели имеют что-то общее»?  Что есть это «общее»?• Как построить мате...
Возможные критерии «общности»                                                                                             ...
Таксономия методов сегментации                                                                                            ...
Таксономия методов сегментации                                                                                            ...
Критерии «общности»Цвет   255х192, 9603 цветов                                                                            ...
Критерии «общности»Текстура                                                                     Исходное изображение и    ...
Критерии «общности»Текстура    Thomas Hofmann, Jan Puzicha, Joachim M. Buhmann, Deterministic annealing for unsupervised t...
Критерии «общности»Расположение относительно контура                                                                      ...
Критерии «общности»Перемещение, движение (motion)  Одинаковые параметры вектров перемещения: направление, длина           ...
Критерии «общности»Глубина (depth)   M. Domínguez-Morales, A. Jiménez-Fernández, R. Paz-Vicente, A. Linares-Barranco and G...
Критерии «общности»Глобальные• Расстояние между пикселями  • Пиксели из одного сегмента расположены рядом• Число сегментов...
Математические модели       Кластеры в                                                                                    ...
Использование кластеризации                                                                                               ...
Использование кластеризации21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein ...
Кластериазция    Вопросы:    • Какие признаки использовать?                                                     X1    • Ка...
Метод k-среднихОсновная идея            G                                                                                 ...
Метод k-средних (k-means)Алгоритм1. Выбрать k2. Инициализировать k центров (например, случайным образом)3. Распределить то...
Метод k-средних: шаг 1                  Distance Metric: Euclidean Distance                                   5           ...
Метод k-средних: шаг 2                  Distance Metric: Euclidean Distance                                   5           ...
Метод k-средних: шаг 3                  Distance Metric: Euclidean Distance                                   5           ...
Метод k-средних: шаг 4                  Distance Metric: Euclidean Distance                                   5           ...
Метод k-средних: шаг 5                  Distance Metric: Euclidean Distance                         expression in conditio...
Сегментация методом k-средних• K-means clustering based on intensity or color is essentially vector quantization of  the i...
Добавление пространственной информации                                                                                    ...
Сегментация методом k-средних      •Clustering based on (r,g,b,x,y) values enforces more spatial coherence32 © Copyright 2...
k-Means: достоинства и недостатки • Достоинства     • Простота • Недостатки     • Converges to a local minimum of the erro...
Mean-shift for image segmentationUseful to take into account spatial information• instead of (R, G, B), run in (R, G, B, x...
Mean shift algorithmThe mean shift algorithm seeks modes or local maxima of density in the feature space                  ...
Mean shift clustering/segmentation•       Find features (color, gradients, texture, etc)•       Initialize windows at indi...
Mean shift                                                                                                                ...
Mean shift                                                                                                                ...
Mean shift                                                                                                                ...
Mean shift                                                                                                                ...
Mean shift                                                                                                                ...
Mean shift                                                                                                                ...
Mean shift                                                                                                                ...
Mean shift clustering •Cluster: all data points in the attraction basin of a mode •Attraction basin: the region for which ...
Mean shift segmentation results                                  http://www.caip.rutgers.edu/~comanici/MSPAMI/msPamiResult...
More results46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to c...
Mean shift: достоинства и недостатки•Достоинства    – Does not assume spherical clusters    – Just a single parameter (win...
Probabilistic clusteringBasic questions• what’s the probability that a point x is in cluster m?• what’s the shape of each ...
Expectation maximization (EM)        Goal                   •         find blob parameters θ that maximize the likelihood ...
Иерархическая кластеризация50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein ...
Модель для метрического пространстваКогда нет векторов признаков, как таковых, а есть только значение функциирасстояния/по...
Моделирование при помощи графов52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained her...
Automatic graph cut                                                                           q                           ...
Segmentation by Graph Cuts                                                                                                ...
Min cut                                                                                                                   ...
But min cut is not always the best cut...                                                                                 ...
Normalized Cut                                                                                                            ...
Примеры сегментации58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subje...
Примеры сегментации59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subje...
Примеры сегментации60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subje...
Использование графов    Полносвязные графы содержат информацию об отношениях для всех    возможных пар пикселей61 © Copyri...
Использование 2-D решетки    2-D решетка содержит информацию только об отношениях соседних    пикселей       Моделироание ...
Математические модели       Кластеры в                                                                                    ...
Методы сегментации «сверху-вниз»Деформируемые контурыDeformable contours/active contours/snakes•    Если          известно...
Деформируемые контурыПодзадачи: параметризация• Как математически описать контур?  Сколько параметров потребуется задать? ...
Деформируемые контурыПодзадачи: задать энергию контура• Как математически задать, каким нам хочется видеть контур?  Наприм...
Деформируемые контурыПодзадачи: оптимизация• Подобрать параметры для контура так, чтобы минимизировать энергию контура67 ©...
Параметризация• Кусочно-линейные функции• Сплайны• Описание спектра (Фурье, вейвлеты)68 © Copyright 2012 Hewlett-Packard D...
Задание энергии контура                                                               internal                            ...
Задание энергии контура                                                               internal                            ...
Задание энергии контура                                                               internal                            ...
ОптимизацияГрадиентный спуск1. Ищем минимум энергии – точку, где ее производная равна нулю2. Перемещаем контур по направле...
Berkeley Segmentation DataSet [BSDS]D. Martin, C. Fowlkes, D. Tal, J. Malik. "A Database of Human Segmented Natural Images...
Заключение   •    Bottom-up       • Определение критериев «общности»       • Построение математической модели       • Найт...
Upcoming SlideShare
Loading in …5
×

2012 11-16 image-videoanalysis_lecture08

987 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
987
On SlideShare
0
From Embeds
0
Number of Embeds
585
Actions
Shares
0
Downloads
21
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

2012 11-16 image-videoanalysis_lecture08

  1. 1. Анализ изображений и видеоЛекция 8: Сегментация изображенийНаталья Васильеваnvassilieva@hp.comHP Labs Russia16 ноября 2012, Computer Science Center
  2. 2. Что есть распознанный объект?Разные уровни локализации • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification) • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization) • Известны пиксели, принадлежащие объекту объектная сегментация (object segmentation)2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
  3. 3. Уровни локализации сложно Определение категории и объектная сегментация Определение категории и выделение объекта на изображении Определение категории объекта на изображении просто Уровни обобщения3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  4. 4. Что такое сегментация?Деление изображения на составляющие его области или объектыОбъединение пикселей в группы по признаку «однородности», «связности» Сегменты: Пиксели, принадлежащие одному сегменту, «имеют что-то общее» Сегментация – одна из самых сложных задач компьютерного зрения4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  5. 5. Что такое сегментация?5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: Shi, Malik
  6. 6. Что такое сегментация?6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Fig. credit: Malik
  7. 7. Где используется сегментация? Сегментация медицинских снимков Сегментация аэрокосмических снимков Water Grass Tiger Выделение объектов на произвольных изображениях и видео Sand7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  8. 8. Подзадачи сегментации• Как определить, что значит «пиксели имеют что-то общее»? Что есть это «общее»?• Как построить математическую модель, отражающую необходимое нам понимание «общности»?• Как найти решения в выбранной модели?8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  9. 9. Возможные критерии «общности» сложно Принадлежность одному объекту Материал Форма, контуры Текстура Перемещение, движениеУровень яркости Цвет просто9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  10. 10. Таксономия методов сегментации ? • «Снизу-вверх» v.s. «сверху-вниз» • Bottom-up v.s. top-down • Pixel-based v.s. region-based/area-based • Local v.s. global • Feature-space based v.s. image-domain based • Region-based v.s. edge-based ? • «Снизу-вверх» • Оцениваем «общность» отдельных пикселей или небольших групп пикселей • «Сверху-вниз» • Оцениваем «общность» на глобальном уровне для всего сегмента10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  11. 11. Таксономия методов сегментации ? • «Снизу-вверх» v.s. «сверху-вниз» • Bottom-up v.s. top-down • Pixel-based v.s. region-based/area-based • Local v.s. global • Feature-space based v.s. image-domain based • Region-based v.s. edge-based ? • Автоматическая v.s. с учителем • Automated v.s. user-directed11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  12. 12. Критерии «общности»Цвет 255х192, 9603 цветов 255х192, 8 цветов D. Comaniciu, P. Meer: Robust Analysis of Feature Spaces: Color Image Segmentation, CVPR9712 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  13. 13. Критерии «общности»Текстура Исходное изображение и его Фурье-спектр Амплитуды результатов свертки с 4 разными фильтрами Габора Результат сегментации Vincent Levesque, Texture Segmentation Using Gabor Filters http://www.cs.huji.ac.il/~simonp/papers/ip_project.pdf13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  14. 14. Критерии «общности»Текстура Thomas Hofmann, Jan Puzicha, Joachim M. Buhmann, Deterministic annealing for unsupervised texture segmentation, EMMCVPR ‘97, pp. 213-22814 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  15. 15. Критерии «общности»Расположение относительно контура Stella Yu, PhD thesis, 200315 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  16. 16. Критерии «общности»Перемещение, движение (motion) Одинаковые параметры вектров перемещения: направление, длина http://www.svcl.ucsd.edu/projects/motiondytex/demo.htm http://vcla.stat.ucla.edu/old/Barbu_Research/Motion_estim/index.html16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  17. 17. Критерии «общности»Глубина (depth) M. Domínguez-Morales, A. Jiménez-Fernández, R. Paz-Vicente, A. Linares-Barranco and G. Jiménez-Moreno Stereo Matching: From the Basis to Neuromorphic Engineering17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  18. 18. Критерии «общности»Глобальные• Расстояние между пикселями • Пиксели из одного сегмента расположены рядом• Число сегментов • Семантически значимых сегментов не должно быть много на изображении• Форма/контур сегмента • Конутр сегмента не должен быть очень сложным18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  19. 19. Математические модели Кластеры в Полносвязный пространстве граф признаков 2-D решетка Множество регионов19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  20. 20. Использование кластеризации X1,X2 – вектора признаков X2 X1 (описывают цвет, текстуру, перемещение,...)20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  21. 21. Использование кластеризации21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Source: K. Grauman
  22. 22. Кластериазция Вопросы: • Какие признаки использовать? X1 • Как сравнивать вектора (какая метрика)? X2 • Сколько кластеров? X3 • Форма кластеров?22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  23. 23. Метод k-среднихОсновная идея G G R R Каждая точка должна быть как можно ближе к центру своего кластера: min23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  24. 24. Метод k-средних (k-means)Алгоритм1. Выбрать k2. Инициализировать k центров (например, случайным образом)3. Распределить точки по кластерам: каждую точку присвоить к кластеру сближайшим к точке центром4. Переместить центры, чтобы они дейтсвительно были центрами получившихсякластеров5. Если хотя бы один центр поменялся на шаге 4, перейти к шагу 3 Java демо: http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  25. 25. Метод k-средних: шаг 1 Distance Metric: Euclidean Distance 5 4 k1 3 k2 2 1 k3 0 0 1 2 3 4 525 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  26. 26. Метод k-средних: шаг 2 Distance Metric: Euclidean Distance 5 4 k1 3 k2 2 1 k3 0 0 1 2 3 4 526 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  27. 27. Метод k-средних: шаг 3 Distance Metric: Euclidean Distance 5 4 k1 3 2 k3 k2 1 0 0 1 2 3 4 527 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  28. 28. Метод k-средних: шаг 4 Distance Metric: Euclidean Distance 5 4 k1 3 2 k3 k2 1 0 0 1 2 3 4 528 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  29. 29. Метод k-средних: шаг 5 Distance Metric: Euclidean Distance expression in condition 2 5 4 k1 3 2 k2 k3 1 0 0 1 2 3 4 5 expression in condition 129 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  30. 30. Сегментация методом k-средних• K-means clustering based on intensity or color is essentially vector quantization of the image attributes• Clusters don’t have to be spatially coherent Image Intensity-based clusters Color-based clusters30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  31. 31. Добавление пространственной информации Distance based on color and position Source: K. Grauman31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  32. 32. Сегментация методом k-средних •Clustering based on (r,g,b,x,y) values enforces more spatial coherence32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: Lihi Zelnik-Manor
  33. 33. k-Means: достоинства и недостатки • Достоинства • Простота • Недостатки • Converges to a local minimum of the error function (решение: K-means++) • Memory-intensive • Need to pick K • Sensitive to initialization • Sensitive to outliers • Only finds “spherical” clusters33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  34. 34. Mean-shift for image segmentationUseful to take into account spatial information• instead of (R, G, B), run in (R, G, B, x, y) space• D. Comaniciu, P. Meer, Mean shift analysis and applications, 7th International Conference on Computer Vision, Kerkyra, Greece, September 1999, 1 1203. 197- – http://www.caip.rutgers.edu/riul/research/papers/pdf/spatmsft.pdf More Examples: http://www.caip.rutgers.edu/~comanici/segm_images.html34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  35. 35. Mean shift algorithmThe mean shift algorithm seeks modes or local maxima of density in the feature space Feature space image (L*u*v* color values)35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  36. 36. Mean shift clustering/segmentation• Find features (color, gradients, texture, etc)• Initialize windows at individual feature points• Perform mean shift for each window until convergence• Merge windows that end up near the same “peak” or mode36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  37. 37. Mean shift Search window Center of mass Mean Shift vector 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  38. 38. Mean shift Search window Center of mass Mean Shift vector 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  39. 39. Mean shift Search window Center of mass Mean Shift vector 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  40. 40. Mean shift Search window Center of mass Mean Shift vector 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  41. 41. Mean shift Search window Center of mass Mean Shift vector 41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  42. 42. Mean shift Search window Center of mass Mean Shift vector 42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  43. 43. Mean shift Search window Center of mass 43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  44. 44. Mean shift clustering •Cluster: all data points in the attraction basin of a mode •Attraction basin: the region for which all trajectories lead to the same mode 44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.Slide by Y. Ukrainitz & B. Sarel
  45. 45. Mean shift segmentation results http://www.caip.rutgers.edu/~comanici/MSPAMI/msPamiResults.html45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  46. 46. More results46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  47. 47. Mean shift: достоинства и недостатки•Достоинства – Does not assume spherical clusters – Just a single parameter (window size) – Finds variable number of modes – Robust to outliers•Недостатки – Output depends on window size – Computationally expensive – Does not scale well with dimension of feature space47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  48. 48. Probabilistic clusteringBasic questions• what’s the probability that a point x is in cluster m?• what’s the shape of each cluster?K-means doesn’t answer these questionsBasic idea• instead of treating the data as a bunch of points, assume that they are all generated by sampling a continuous function• This function is called a generative model – defined by a vector of parameters θ48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  49. 49. Expectation maximization (EM) Goal • find blob parameters θ that maximize the likelihood function: Approach: 1. E step: given current guess of blobs, compute ownership of each point 2. M step: given ownership probabilities, update blobs to maximize likelihood function 3. repeat until convergence EM demo: http://lcn.epfl.ch/tutorial/english/gaussian/html/index.html49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  50. 50. Иерархическая кластеризация50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  51. 51. Модель для метрического пространстваКогда нет векторов признаков, как таковых, а есть только значение функциирасстояния/подобия для каждой пары пикселей: d(.,.) Например: d( , ) >> d( , ) потому что между и нет границы, а между и есть.51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  52. 52. Моделирование при помощи графов52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  53. 53. Automatic graph cut q Cpq c p Fully-connected graph • node for every pixel • link between every pair of pixels, p,q • cost cpq for each link – cpq measures similarity o similarity is inversely proportional to difference in color and position53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  54. 54. Segmentation by Graph Cuts w A B C Break Graph into Segments • Delete links that cross between segments • Easiest to break links that have low cost (similarity) – similar pixels should be in the same segments – dissimilar pixels should be in different segments54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  55. 55. Min cut B A Link Cut • set of links whose removal makes a graph disconnected • cost of a cut: Find minimum cut • gives you a segmentation55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  56. 56. But min cut is not always the best cut... Cuts with lesser weight than the ideal cut Ideal Cut … and it is NP-complete56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  57. 57. Normalized Cut B A Normalized Cut • a cut penalizes large segments • fix by normalizing for size of segments • volume(A) = sum of costs of all edges that touch A57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: http://www.cs.washington.edu/education/courses/cse576/08sp/lectures/segment.pdf
  58. 58. Примеры сегментации58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  59. 59. Примеры сегментации59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  60. 60. Примеры сегментации60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  61. 61. Использование графов Полносвязные графы содержат информацию об отношениях для всех возможных пар пикселей61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  62. 62. Использование 2-D решетки 2-D решетка содержит информацию только об отношениях соседних пикселей Моделироание при помощи Марковских случайных полей (Markov Random Fields, MRF)62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  63. 63. Математические модели Кластеры в Полносвязный пространстве граф признаков 2-D решетка Множество регионов63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: O. Carmichael
  64. 64. Методы сегментации «сверху-вниз»Деформируемые контурыDeformable contours/active contours/snakes• Если известно, сколько сегментов хотим выделить на изображении• Если есть возможность получить начальное предсказание, где проходит контур• Если сегменты имеют относительно простую форму• Если есть возможность получить вводную информацию о пользователя Lei He, Zhigang Peng, Bryan Everding, Xun Wang, Chia Y. Han, Kenneth L. Weiss, William G. Wee, A comparative study of deformable contour methods on medical image segmentation, Image and Vision Computing 26 (2008) 141–16364 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  65. 65. Деформируемые контурыПодзадачи: параметризация• Как математически описать контур? Сколько параметров потребуется задать? s Каждая точка контура имеет коордианты (xi(s), yi(s))65 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  66. 66. Деформируемые контурыПодзадачи: задать энергию контура• Как математически задать, каким нам хочется видеть контур? Например: • Чтобы вдоль контур находился в точках сильного перепада яркости • Чтобы контур был не сложным66 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  67. 67. Деформируемые контурыПодзадачи: оптимизация• Подобрать параметры для контура так, чтобы минимизировать энергию контура67 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  68. 68. Параметризация• Кусочно-линейные функции• Сплайны• Описание спектра (Фурье, вейвлеты)68 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  69. 69. Задание энергии контура internal image userEinternal – внутренняя энергия контура, задает желаемые свойства контура внезависимости от свойств внутренней областиНапример:• Непрерывность контура – минимзация первой производной• Гладкость контура – минимзация второй производной69 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  70. 70. Задание энергии контура internal image userEimage – задает желаемые свойства внутренней/внешней областиНапример:• Перепад яркости – максимизация градиента яркости70 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  71. 71. Задание энергии контура internal image userEuser – задает дополнительные внешние условияНапример:• Набор контрольных точек и минимизация/максимизация расстояния до них71 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  72. 72. ОптимизацияГрадиентный спуск1. Ищем минимум энергии – точку, где ее производная равна нулю2. Перемещаем контур по направлению уменьшения градиента энергии3. Повторяем шаг 2 до тех пор, пока не окажемся в точке минимума72 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  73. 73. Berkeley Segmentation DataSet [BSDS]D. Martin, C. Fowlkes, D. Tal, J. Malik. "A Database of Human Segmented Natural Images and its Application toEvaluating Segmentation Algorithms and Measuring Ecological Statistics", ICCV, 200173 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
  74. 74. Заключение • Bottom-up • Определение критериев «общности» • Построение математической модели • Найти решение в выбранной модели • Top-down (active contours) • Параметризация • Построение функции энергии контура • Оптимизация74 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

×