Сегментация изображений

1. Сегментация
изображений
Часть 3

2. Методы теории графов
Чем выгодны
• Теория графов – хороший инструмент для работы
с изображениями
– Хорошая теоретическая база
– Много проработанных методов
– Изображение легко «превращается» в граф
• Математические модели теории графов хорошо
применимы в частности для сегментации

3. ребра
Граф и изображение
• Изображение превращается во взвешенный
неориентированный граф
– Пиксели – вершины графа
– Ребра – связи между соседними пикселями
– Вес ребер пропорционален «похожести» пикселей

4. Критерии «похожести» пикселей
• По расстоянию
• По яркости
• По цвету
• По текстуре

5. Этап 1 Создать граф
Этап 2 Разрезать граф
Каждую связную компоненту после разреза рассматривать как
отдельную область
Сегментация с помощью
разрезов графа
G=(V,E)
– Непересекающиеся подмножества вершин A и B из V
– Удаляем все ребра, связывающие A и B
Cut(A,B) – мера «силы связности» множеств A и B



B
v
A
u
v
u
w
B
A
Cut
,
)
,
(
)
,
(

6. Разрез графа
• Разрез графа превращает граф в два
несвязанных друг с другом подграфа

7. Разрез графа
Если множества A и B не заданы заранее то разрезать
граф можно по-разному:
– Минимальный разрез – разрез, превращающий граф в
несвязный, с минимальной суммой весов удаленных
ребер



B
v
A
u
v
u
w
B
A
Cut
,
)
,
(
)
,
(

8. Минимальный разрез хорош не всегда
• На данном рисунке вес ребер графа показан
расстоянием между вершинами

9. Нормализованный разрез графа
(Normalized cut)
Другая мера разреза – измеряет «похожесть» двух групп
вершин, нормированную на «объем», занимаемый ими в
графе















V
t
A
u
t
u
w
V
A
assoc
V
B
assoc
B
B
assoc
V
A
assoc
A
A
assoc
B
A
Ncut
V
B
assoc
B
A
cut
V
A
assoc
B
A
cut
B
A
Ncut

 ,
)
,
(
)
,
(
)
,
(
)
,
(
)
,
(
)
,
(
2
)
,
(
)
,
(
)
,
(
)
,
(
)
,
(
)
,
(
Все ребра графа

10. Минимальный нормализованный разрез
Минимальный нормализованный разрез – разрез,
превращающий граф в несвязный, с минимальной
величиной NCut
– Как его найти?
A
B

11. Минимальный нормализованный разрез
Dy
y
y
W
D
y
G
MinNcut t
t
y
)
(
min
)
(


При условиях:
Если разрешить задача сводится к задаче на
собственные значения:
    0
and
,
1
0
,
,
1 



 D1
yT
b
b
i
y
R
y 
Dy
y
W
D 

 )
(
D – диагональная матрица n x n:
W - симметричная матрица n x n


j
j
i
w
i
i
D )
,
(
)
,
(
)
,
(
)
,
( j
i
w
j
i
W 

12. Алгоритм сегментации c помощью
normalized cuts
1. Задать граф на изображении.
2. Рассчитать матрицы W и D
3. Решить задачу (D-W)y=Dy, найти вектора с наименьшими
собственными значениями
4. По вектору со вторым наименьшим с.з. разрезать граф на две части
5. Рекурсивно разбить получившиеся области, если требуется

13. Алгоритм сегментации c помощью
normalized cuts Пример:

14. Оценка качества работы методов
сегментации
Критерии
 Целостность и однородность по некоторому признаку
 Отличие признака для смежных областей
 Отсутствие мелких отверстий внутри
 Гладкие границы
Тестирование методов на общей базе изображений
Например, Berkeley Segmentation Dataset насчитывает более 1000
изображений, отсегментированных вручную 30 разными людьми.
http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/segbench

15. Повышение Эффективности сегментации
Использование пространственной обработки на основе
• Сглаживания
• Масштабирования

16. Сегментация OpenCV
В библиотеке OpenCV есть метод "cvPyrSegmentation",
использующий модифицированный пирамидальный метод
сегментации изображений.

17. Анализ областей после
сегментации
17

18. 18
Какие параметры областей помогут различить
объекты на этом примере?
Что нужно выяснить

19. Признаки области
Геометрические признаки
• Характеристики границы области
• Площадь
• Кол-во «дырок» внутри
• Центр масс
• Периметр
• Компактность
• Моменты
• Ориентация главной оси
Фотометрические признаки
• На основе цвета
• На основе интенсивности спектра

20. Площадь
• Кол-во пикселей в области

 

m
x
n
y
y
x
B
A
0 0
)
,
(

21. Центр масс
• Центр масс:
A
y
x
yB
y
A
y
x
xB
x
m
x
n
y
m
x
n
y


 
 


0 0
0 0
)
,
(
)
,
(

22. Периметр и компактность
• Периметр - количество пикселей принадлежащих
границе области
• Компактность (инвариантный параметр)
– Наиболее компактная фигура – круг, π
4

C
A
P
C
2


23. Подсчет периметра области
1. Пиксель лежит на границе области, если он сам
принадлежит области и хотя бы один из его соседей
области не принадлежит.
(внутренняя граница)
2. Пиксель лежит на границе области, если он сам не
принадлежит области и хотя бы один из его соседей
области принадлежит.
(внешняя граница)
Периметр зависит также от того 4-х или 8-ми связность
используется для определения соседей.

24. Пример периметров области
Область
Внутренняя граница Внешняя граница
4x
8x

25. 


n
S
y
x
j
i
ij y
x
B
y
x
m
,
)
,
(
Дискретный момент mij области определяется
следующим образом:
- значение пикселя изображения
)
,
( y
x
B )
,
( y
x
Моменты

26. 0 1 2 3 4 5 6 7 8 9
1
2
3
4
5
6
X
Y
i j Mij
0 0
1 0
0 1
2 0
0 2
1 1
7 Площадь
20
33
159 Моменты
инерции
62
93
Моменты



n
S
y
x
j
i
ij y
x
B
y
x
m
,
)
,
(

27. i=2, j=0 или i=0, j=2. моменты инерции (моменты второго порядка).
они определяют так называемые главные оси инерции.
твердое тело характеризуется
некоторым эллипсом инерции, где
оси инерции и определяются
этими моментами. угол наклона
главной оси:
Моменты инерции



n
S
y
x
y
x
B
x
m
,
2
20 )
,
( 


n
S
y
x
y
x
B
y
m
,
2
02 )
,
(

28. Центральные моменты
• Инвариантны к переносу
)
(
)
(
)
,
(
)
(
)
( y
y
d
x
x
d
y
x
B
y
y
x
x q
p
pq 



 

Центр масс области

29. Центральные моменты
3
02
03
03
2
11
02
12
12
2
11
20
21
21
3
20
30
30
2
02
02
11
11
2
20
20
10
01
00
00
2
3
2
2
2
2
2
3
0
0
y
y
m
m
y
x
y
m
x
m
m
y
x
x
m
y
m
m
x
x
m
m
y
m
y
x
m
x
m
m










































)
(
)
(
)
,
(
)
(
)
( y
y
d
x
x
d
y
x
B
y
y
x
x q
p
pq 



 
 dxdy
y
x
B
y
x
m q
p
i
pq )
,
(
 


30. Ориентация главной оси инерции










02
20
11
2
arctan
2
1
θ
m
m
m
X
Y
Главная ось
Центр масс

31. Моменты
• Инвариантны к повороту, переносу,
масштабированию
)
(
)
(
)
,
(
)
(
)
( y
y
d
x
x
d
y
x
B
y
y
x
x q
p
pq 



 

2
03
21
2
12
30
4
2
03
12
2
12
30
3
2
11
2
02
20
2
02
20
1
)
(
)
(
)
3
(
)
3
(
)
(
































32. Инвариантные характеристики области
 Удлиненность, нецентрированность (эксцентриситет)
2
11
2
02
20
02
20
2
11
2
02
20
02
20
4
)
(
4
)
(
m
m
m
m
m
m
m
m
m
m
elongation










33. Фотометрические признаки области
Для каждой области можно подсчитать некий набор
простейших числовых характеристик:
 Средняя яркость
 Средний цвет (если изображение цветное)
 Гистограмма распределения яркостей (или три гистограммы
распределения R, G, B)
 Дисперсию (разброс) яркостей или цвета
Все это рассчитывается не по бинарному изображению

34. Основные признаки по яркости
)
,
(
1
=
,
j
i
B
N
B
j
i
cp 
1. Средняя яркость изображения Вср - инвариантна к поворотам и
смещениям
- суммируются значения пикселов в
каждой точке и делятся на их число.
max
B
2. - Максимальное и минимальное значение яркости
(плохо защищены от помех)
min
B
|
)
,
(
|
=
)
(
,
cp
j
i
B
j
i
B
B 


3. - разброс относительно среднего
значения яркости
4. Если )
,
(
=
)
,
( 0 j
i
kB
j
i
B тогда инвариантом будет или
min
max
B
B
cp
max
B
B
C
j
i
kB
j
i
B 
)
,
(
=
)
,
( 0
5. Если тогда инвариант -
cp
min
max
min
max
B
B
B
B
B
p
2
=


