4. Основная цель
Основная идея данной работы заключается в получении
искаженного или зашумленного изображения в
первоначальном неповрежденном виде.
4
5. S1 S2
S3
S4
S5
Модель обрабатываемого изображения
Рассмотрим изображение следующей формы
( ) ( ) ( )f x s x η x
где - оригинальное К-канальное изображение,
- шум, воздействующий на
- искаженное шумом изображение
( )η x
( )f x
( )s x
( )s x
5
6. Восстановление полезного сигнала
Главная задача системы обработки сигналов состоит в том,
чтобы из зашумленного изображения с максимальной
точностью выделить полезное изображение и с
максимальной степенью подавить помеху, т.е. дать
максимально правдоподобную оценку полезному сигналу
( ) ( )ˆ( ) FILTER πs r s r r
Основная цель
6
7. S1 S2
S3
S4
S5
( ,
( 1, 1) ( 1, ) ( 1, 1)
( , 1) ( , 1)
( 1, 1) ( 1, ) ( 1,
)ˆ( ,
1
)
)
s i
f i j f i j f i j
f i j f i j
f i j f i j f i j
f i jj
Filter
Filter
Основная цель
7
9. Упрощающее предположение 1. Для простоты будем считать,
что наблюдаемый сигнал является аддитивной смесью
полезного сигнала и шума
2
( ) ( ) ( ), f r s r r rπ Z
Постановка проблемы
9
10. 1 1 2 2 1 2 1 2( | , ), 0, ( , ) ( , ) ( ) ( )p x i j m i j i j E i i j j
Постановка проблемы
10
𝜋(𝑥)
11. Упрощающее предположение 2. Будем также предполагать,
что полезный сигнал (изображение) представляет собой
объединение областей, в которых сигнал принимает постоянные
значения (изображение типа “лоскутного одеяла”)
, ) 1 2(
.( , ) , ,..., , ,...,m n Лоскут
N
Nm n s s s
s
Постановка проблемы
11
12. Упрощающее предположение 3. Будем предполагать, что
совместная плотность распределения вероятностей наблюдаемых
данных определяется совместной плотностью распределения
шума, т.е.
1 2 1 2, ,..., , ,...,N Np x x x p x x x
Более того, будем предполагать, что шум в во всех пикселях
действует независимо друг от друга, т.е.
1
1 2, ,...,
N
i
i
Nx x xp p x
Постановка проблемы
12
13.
1 1 1 2 2 2
1 2
1
1
1
1 2
log log
log log
, ,...,
, , ...,
, ,...,
max max
экс экс экс
N N N
экс экс экс
N
opt
N
i
i
N
экс
i
i
N
экс
i
i
N
Эксперимент
f f f
p x
L x
L x
L x
p x x x
x x x
L L x x x
L
L
1
N
экс
i
i
Постановка проблемы
13
14.
1 2
1 1
1
1 1
1 2
log log
log
, ,...,
, ,...,
max min
i
экс
i
x
N
x
экс экс экс N
N
экс экс
i opt i
экс экс
i i
p
p
N N
B
i
i i
N
B
i
N Np p
i i
N A
A
const x x
sign x x
p x e
e
p x x x
L L x x x
L L
L
1
1
0
N p
i
Постановка проблемы
𝐿𝐶 𝑥 𝑥 𝜎, 𝑚 = 𝐴𝑒
𝑥−𝑚 𝑝
𝐵
14
15.
1 2
1
1
1
1
1
1
1
, ,...,
0
2
0
1
log
log
min
экс экс
i i
экс
i opt
экс
opt i opt
экс экс экс
N
N p
i
N N
эк
N
i
i
i
с
i
sign x x
p
x
p
x
N
x x x
x
L
L
Med
Постановка проблемы
𝐿𝐶 𝑥 𝑥 𝜎, 𝑚 = 𝐴𝑒
𝑥−𝑚 𝑝
𝐵
15
16.
22
2
1
1
2
1
2
1
1 1 1 1 1 1
0
3
0
0
1 1 1 1 1 1
log
log
log
экс экс
i i
экс экс
i i
экс
i
экс
opt i i
N p
i
N
i
N
i
N N N N N N
экс экс экс экс экс
i i i i j
i i i i i j
sign x x
p
sign x x
x
x x
N N N N N N
x x x x x
L
L
L
2
1
экс
N
i
Постановка проблемы
𝐿𝐶 𝑥 𝑥 𝜎, 𝑚 = 𝐴𝑒
𝑥−𝑚 𝑝
𝐵
16
17. Примеры среднего
1 2 1 2
1 2
1 2 1 2
1
... 1 2 ... 1 2
( , ,..., )
1
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,...,N k
N
N
N N i
i
w w w N w w w
x x x
x x x x x x x
N
x x x x x x
Aggreg
M
1. Арифметическое среднее
ean
2. Взвешенное ср
Arithm
Aggreg Mean
еднее
1 2 ... 1 2
1 1
1
)
1
( , ,..., )k
N
N N
iw w w N i i iN
i i
i
i
x x x w x w x
w
Arithm
17
18. Примеры среднего
1 2 1 2
1
1 2 1 2
1
1
( , ,..., ) ( , ,..., )
1
( , ,..., ) ( , ,..., )
N
pp
p N p N i
i
N
N N i
i
x x x x x x x
N
x x x x x x x
N
3.Степенные p -средние
3.1.Обычное средн
A
ее (p = 1)
3.2. Квад
ggreg Mean
Aggreg Me
ратичное сред
an
нее (
2
2 1 2 2 1 2
1
1 2 1 2 1 2
1
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., ) ( , ,..., )
N
N N i
i
N N N
x x x x x x x
N
x x x x x x x x x
p = 2)
3.3. -среднее (p = )
3.4. - -среднее (p = - )
Aggreg Mean
Aggreg Mean Max
Aggr 1 2 1 2 1 2( , ,..., ) ( , ,..., ) ( , ,..., )N N Nx x x x x x x x x eg Mean Min
18
19. Примеры среднего
1 2 1 2
1
1 2 1 2
1
( , ,..., ) ( , ,..., )
1
( , ,..., ) ( , ,..., )
1
(
N
N
Geo N Geo N i
i
Har k Har N N
i i
x x x x x x x
x x x x x x
x
x
4. Геометрическое среднее
5. Гармоническое среднее
6. Min-, Max -средние
Aggreg Mean
Aggreg Mean
Aggreg 1 2 1 2
1 2 1 2
1 2 1 2
1 2 1 2
1
, ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
(
N N
N N
Med N N
N N
r
rank
x x x x x
x x x x x x
x x x x x x
x x x x x x
x
Min
Aggreg Max
Aggreg Med
Aggr
7. Mедиан
eg Max
Aggr
а
8.r - Р
eg
анг
2 1 2, ,..., ) ( , ,..., )N r Nx x x x x Rank
19
21. Среднее и медиана по Герону
, /3 /3,
, , , .
a b a ab b aa ab bb
a b aa ab bb
MeanHeron
MedHeron Med
В данной работе вводится новый класс фильтров для
обработки мультиспектральных изображений, названный
обобщенными арифметическими и медианными
фильтрами Герона.
Классические определения среднего и медианы по
Герону двух чисел a и b имеют вид:
21
22. Среднее и медиана по Герону
2 1
2 1 2
2
( ,..., ) ,
( 1)
( , ,..., ) .
N i j
i j
N i j
i j
x x x x
N N
x x x x x
MeanHeron
MedHeron Med
Пусть N - набор из положительных реальных
чисел. Очевидный способ обобщения уравнения на
набор чисел состоит в организации
квадратных корней из различных попарных
произведений
Среднее и медиана по Герону N положительных чисел
есть:
1 2( , ,..., )Nx x x
1 2( , ,..., )Nx x x
( 1) / 2N N
,i jx x i j
1 2( , ,..., )Nx x x
22
23.
( , )
( , )
( , )
( , )
2 1 2 9 1 2 2 3 8 9
( , )( , )
36
45
2 1 2 9 1 2 2 3
( , )( , )
ˆ( , ) ( , ) , ,..., , , ,...,
ˆ( , ) ( , ) , ,..., , , ,
i j
i j
i j
i j
m n Mm n M
m n Mm n M
s i j x m n x x x x x x x x x
s i j x m n x x x x x x x
MeanHeron Arithm
MedHeron Med 8 9
36
45
..., x x
Фильтр Герона
23
24. Фильтр Герона
i jx x
1 1x x
3x1x
1x
1x
2x
2x
2x
3x
3x
1 2x x 1 3x x
2 2x x 2 3x x
3 3x x
24
Тема нашей презентации: «Families of Heron Digital Filters for Images Filtering».
Мои соавторы Валерий Лабунец из уральского федерального университета и
Екатерина Остахаймер из USA из радиолокационной корпорации “Capricat”.
В стандартном подходе, по зашумленному изображению скользит квадратное окно, которое выхватывает из изображения N пикселей.
В нашем случае N=9.
Пиксель, находящийся в центре окна называется редактируемым пикселем. Его новое значение s(i,j) с крышкой дает оценку редактируемому пикселю с учетом всех соседей, попавших внутрь окна. Таким образом оценка s(i,j) с крышкой является некоторой функцией от N переменных.
Эта функция на слайде обозначена именем FILTER и представляет собой некоторую совокупность алгебро-логических операций.
Эта совокупность операций зависит от многих факторов. Прежде всего от статистических характеристик шума. В связи с этим перейдем
К стандартной постановке проблемы синтеза оптимального фильтра.
Относительно помехи будем предполагать, что нам известна одномерная плотность распределения p(x,i,j), показывающая вероятность появления
помехи pi с уровнем x в пикселе с координатами (i,j). Например, это может быть Лапласовское распределение, показанное на этом слайде или Гауссовское. Далее, мы будем предполагать, что помеха пространственно не только некоррелирована, но и в каждом пикселе она действует независимо от действия в других пикселей, что отражено последним равенством. Также будем предполагать, что математическое ожидание равно нулю (среднее равенство)
Для простоты будем считать изображение серым (скалярно-значным). Поэтом внутри каждого лоскута будем считать яркость изображения постоянной и равной величине мю. Это предположение, естественно, нарушается в том случае, когда окно находится на границе двух лоскутов.
Т.е. N-мерная плотность распределения является произведением одномерных плотностей.
Тот факт, что маска в некоторой позиции выхватывает из зашумленного изображения N пикселей f_1,f_2,…,f_N означает, что мы провели эксперимент и получили N экспериментальных данных f_1=pi_1+мю, f_2=pi_2+мю,…,f_N=pi_N+мю . Используя эти экспериментальные данные мы должны дать наиболее правдоподобную оценку яркости мю изображения внутри окна (напоминаю, что она постоянная внутри окна и равна
величине мю ). Подстановка экспериментальных данных в многомерную плотность дает так называемую функцию правдоподобия L, которая
показывает вероятность того, что яркость фрагмента изображения внутри окна равна некоторой величине мю при полученных экспериментальных данных. Очевидно, что нужно выбрать такое значение мю, которое дает максимальную вероятность появления этого значения при полученных экспериментальных данных. Эта оценка мю называется максимально правдоподобной оценкой. Вместо поиска максимума у функции правдоподобия L обычно находят максимум у ее логарифма и говорят о максимизации логарифмической функции правдоподобия. Чтобы найти то значение мю, которое приносит максимум L или что то же самое функции log(L), последнюю нужно продифференцировать и производную приравнять нулю. Рассмотрим это на конкретном примере.
Мы имеем данное распределение помехи. Логарифмическая функция правдоподобия будет функцией p-того порядка. Ее дифференцирование по мю дает линейное уравнение с одним неизвестным, решение которого дает наиболее правдоподобную оценку яркости фрагмента при полученных внутри окна данных
Если p = 2, то оптимальным фильтром будет усредняющий фильтр.
Если p = 1, то оптимальным фильтром будет медианный фильтр.
Если p=3, то оптимальным фильтром был бы следующий, если бы не одно НО. Добавка в виде sign(x-мю).
Существуют разные способы вычисления среднего
Но, мы будем использовать среднее по Герону
Здесь мы уже плавно подходим к предложенному нами подходу, для решения проблемы
Скользящая по изображению маска размером 3х3 захватывает 9 значений. Формируется массив, включающий эти девять экспериментальных значений, плюс 36 попарных произведений, где из каждого попарного произведения извлекается квадратный корень. Итого, получаем массив, содержащий в себе 45 экспериментальных значений.
Для среднего по Герону – находится арифметическое среднее этих 45 значений.
Для медианы по Герону – медиана этих 45 значений.
На данном слайде приведена упрощенная графическая интерпретация вышесказанного. Зеленые черточки х1, х2, х3 соответствуют элементам из массива, сформированного скользящей маской. При попарных произведениях формируются такие квадраты и прямоугольники, из которых необходимо извлечь корень.
На этом слайде представлены экспериментальные результаты для Экспоненциального шума. Первое изображение – оригинальное, второе – зашумленное с PSNR 28 дБ. На изображении С – показан результат фильтрации с помощью фильтра, использующего среднее по Герону, PSNR = 31 дБ. На изображении Д – с помощью медианы по Герону, PSNR = 29 дБ
На этом слайде представлены экспериментальные результаты для шума типа «Соль-перец». Первое изображение – оригинальное, второе – зашумленное с PSNR 21 дБ. На изображении С – показан результат фильтрации с помощью фильтра, использующего среднее по Герону, PSNR = 32 дБ. На изображении Д – с помощью медианы по Герону, PSNR = 31 дБ
На данном слайде приведены значения отклонения отфильтрованного изображения от исходного при Нормальном шуме, для трех видов фильтров.
Фмин – классический усредняющий фильтр.
Фмед – классическая медиана.
Фгерон – фильтр на основе Герона.
Как видно, последний фильтр имеет наилучшие фильтрующие свойства.
На данном слайде приведены значения отклонения отфильтрованного изображения от исходного при Экспоненциальном шуме, для трех видов фильтров.
Фмин – классический усредняющий фильтр.
Фмед – классическая медиана.
Фгерон – фильтр на основе Герона.
Как видно, последний фильтр имеет наилучшие фильтрующие свойства.
На данном слайде приведены значения отклонения отфильтрованного изображения от исходного при Равномерном шуме, для четырех видов фильтров.
Фмин – классический усредняющий фильтр.
Фмед – классическая медиана.
Фмин+макс/2 – фильтр, использующий половину суммы максимального и минимального значения в маске.
Фгерон – фильтр на основе Герона.
Как видно, предпоследний фильтр имеет наилучшие фильтрующие свойства, т.к. является оптимальным фильтром для такого типа шума. Следующим по фильтрующим свойствам, после него является фильтр на основе Герона.
Анализ полученных результатов показывает, что
Все фильтры обладают достаточно хорошими фильтрующими свойствами, позволяющими В ПРИНЦИПЕ использовать их в качестве фильтров;
Для достижения наилучших результатов необходимо иметь априорные знания о природе шума, для того, чтобы применить оптимальный для этого шума фильтр.