E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for Color and Hyperspectral Images

Fréchet Filters for Color and
Hyperspectral Images Filtering
E.Ostheimer1 , V.G. Labunets, D.E.Komarov,
T.S.Fedorova , V.V.Ganzha
Yekaterinburg , AIST-2015
Ural Federal University, pr. Mira, 19, Yekaterinburg,
620002, Russian Federation
Capricat LLC 1340 S. Ocean Blvd., Suite 209 Pompano
Beach 33062 Florida USA

1. Введение
2. Постановка
проблемы
4. Экспериментальные
результаты
3. Предлагаемый подход
5. Выводы

S1 S2
S3
S4
S5
Основные требования, предъявляемые к алгоритмам
фильтрации:
1) Эффективное подавление шума
2) Минимальные искажения полезного сигнала (в частности
сохранение перепадов яркости)
3) Высокое быстродействие.
СХЕМА
Скалярные фильтры
Оптимальный вектор
Фреше
Векторные фильтры
Обобщенная стоимостная функция Метрика

Пакет изображений, полученных оптическими датчиками в
различных частотных диапазонах, называется гиперспектральным
изображением.
Математической моделью гиперспектрального изображения
является двумерный векторно-значный сигнал:
( , ):[0, 1] [0, 1] K
n m N M   f R
2
1
1
2
( , )( , )
( , ) ( , )
( , )
... ...
( , ) ( , )K
K
f n mf n m
f n m f n m
n m
f n m f n m
  
  
  
  
  
  
  
   
f



Гиперспектральные изображения

Цветные изображения

S1 S2
S3
S4
S5
Модель обрабатываемого изображения
Рассмотрим изображение следующей формы
( ) ( ) ( )f x s x η x
где - оригинальное К-канальное изображение,
- шум, воздействующий на
- искаженное шумом изображение
( )η x
( )f x
( )s x
( )s x

Восстановление полезного сигнала
 Задача: максимально точно выделить полезное
изображение и с максимальной степенью подавить помеху.
 Степень точности оценки (точности фильтрации)
определяется некоторой мерой близости (мерой схожести)
между и :( )s rˆ( )s r
 ˆ( ), ( ) s r s r 
Наилучшим фильтром будет такой, который минимизирует
функционал .
 ( ) ( )ˆ( ) FILTER πs r s r r

S1 S2
S3
S4
S5
( ,
( 1, 1) ( 1, ) ( 1, 1)
( , 1) ( , 1)
( 1, 1) ( 1, ) ( 1,
)ˆ( ,
1
)
)
s i
f i j f i j f i j
f i j f i j
f i j f i j f i j
f i jj
 
 
    
 

 
 
    

Filter
Filter

Упрощающее предположение 1. Для простоты будем считать,
что наблюдаемый сигнал является аддитивной смесью
полезного сигнала и шума
2
( ) ( ) ( ),  f r s r r rπ Z

1 1 2 2 1 2 1 2( | , ), 0, ( , ) ( , ) ( ) ( )p x i j m i j i j E i i j j           
( ) ( , )t x y 
( )t

Упрощающее предположение 2. Будем также предполагать,
что полезный сигнал (изображение) представляет собой
объединение областей, в которых сигнал принимает постоянные
значения (изображение типа “лоскутного одеяла”)
     , ) 1 2(
.( , ) , ,..., , ,...,m n Лоскут
N
Nm n s s s
 s   

Упрощающее предположение 3. Будем предполагать, что
совместная плотность распределения вероятностей наблюдаемых
данных определяется совместной плотностью распределения
шума, т.е.
   1 2 1 2, ,..., , ,...,N Np x x x p x x x      
Более того, будем предполагать, что шум в во всех пикселях
действует независимо друг от друга, т.е.
   
1
1 2, ,...,
N
i
i
Nx x xp p x

        

   
     
   
 
1 1 1 2 2 2
1 2
1
1
1
1 2
log log
log log
, ,...,
, , ...,
, ,...,
max max
экс экс экс
N N N
N
opt
N
i
i
N
экс
i
i
N
экс
i
i
N
Эксперимент
f f f
p x
L x
L x
L x
p x x x
x x x
L L x x x
L
L



   

        
   

  
 







 
     




  
   

  1
N
экс
i
i
 
 
 
 

2
2
( )
2
X 2
1
( | , )
2
x m
x m e

N 


   
   
 
   
2
1 2
2
2
2
2
2
( )
2
1 1
( )
2
1
2 2
1 1
1 2
1
2
1
2
log ( ) log ( )
, ,...,
, ,...,
max min
i
N N
opt
экс
i
xN N
i
i i
xN
i
N N
экс экс
i i
i i
N
const
p x e
e
x x
p x x x
L L x x x
L L



 


 
    

   
 
       
 


 

 

 









 
  
   
 
 
1
1
0log opt
N
экс
i
iN
xL


  
 


2 2
1 11 1
ˆ = ( )argmin argminэкс
opt i
N N
i
i i
x
 
   
 
 
   
    
   
 
R R
(1)
экс
x (9)
экс
x(5)
экс
x(4)
экс
x(3)
экс
x(2)
экс
x (6)
экс
x (8)
экс
x(7)
экс
x
(1)
экс
x (9)
экс
x(5)
экс
x(4)
экс
x(3)
экс
x
(2)
экс
x (6)
экс
x (8)
экс
x(7)
экс
x


2
9 ( ) 
2
8 ( ) 
2
4 ( ) 
2
7 ( ) 
2
6 ( ) 
2
1 ( ) 
2
2 ( ) 
2
3 ( ) 
2
9 ( ) 
2
8 ( ) 
2
7 ( ) 
2
6 ( ) 
2
5 ( ) 
2
3 ( ) 
2
2 ( ) 
2
1 ( ) 
1
 R
1
 R
1
1
opt
N
экс
i
iN
x

 
+
+
+
+

   
   
   
1 2
2| |
1 1
2| |
1
1 1
1 2
2
2
log log
, ,...,
, ,...,
max min
N
N
N
экс экс
i opt i
i
экс
i
N N x
i
i i
N x
i
N N
i i
N
const x x
p x e
e
p x x x
L L x x x
L L
 
 
 

 
 
       
 

 
      
 
 
        
 



 

 







  
  
   
 
  ?? ???log optL
  



2
| |2
( | )
x
p x e

 




1 11 1
ˆ = ( )argmin argminэкс
opt i
N N
i
i i
x
 
   
 
 
   
    
   
 
R R
(1)
экс
x (9)
экс
x(5)
экс
x(4)
экс
x(3)
экс
x(2)
экс
x (6)
экс
x (8)
экс
x(7)
экс
x
(1)
экс
x (9)
экс
x(5)
экс
x(4)
экс
x(3)
экс
x(2)
экс
x (6)
экс
x (8)
экс
x(7)
экс
x


9 ( ) 
8 ( ) 
4 ( ) 
7 ( ) 
6 ( ) 
1 ( ) 
2 ( ) 
3 ( ) 
9 ( ) 
8 ( ) 
7 ( ) 
6 ( ) 
5 ( ) 
3 ( ) 
2 ( ) 
1 ( ) 
1
 R
1
 R+
+
+
+

  1
1 2 2, ,...,
ˆ argmin экс
quasiopt i
N
iэкс экс эксx x x
x

 

 
  
 

(1)
экс
x (9)
экс
x(5)
экс
x (4)
экс
x(3)
экс
x(2)
экс
x (8)
экс
x(7)
экс
x
(1)
экс
x (9)
экс
x(5)
экс
x(4)
экс
x(3)
экс
x (2)
экс
x (6)
экс
x (8)
экс
x(7)
экс
x
9 ( ) 
8 ( ) 
4 ( ) 
7 ( ) 
6 ( ) 
1 ( ) 
2 ( ) 
3 ( ) 
9 ( ) 
8 ( ) 
7 ( ) 
6 ( ) 
5 ( ) 
2 ( ) 
1 ( ) 
1 2 2, ,...,quasiopt
экс экс эксx x x  
 
 
= Med
 1 2 2, ,...,экс экс эксx x x
 1 2 2, ,...,экс экс эксx x x

Пусть - метрическое гиперспектральное пространство с
метрикой . Пусть N нормированных весов и
пусть - N экспериментальных данных
,K
R 
 1 2, ,..., Nw w w
1 2
, ,..., N K
 x x x D R
Определение 1. Оптимальным взвешенным вектором (медианой)
Фреше, ассоциированным с метрикой , называется вектор
который минимизирует функцию стоимости Фреше
и формально определяется как

( )K K
opt med c R c R
 
1
,
N
i
i
i
w

 c x
   1 2
1
, ,..., ,K
N
N i
opt i
i
w


  Rc
c FrechVec x x x argmin c x =
 
 
 1 2
1 2
, ,..., 1
ˆ , ,..., ,
N
N
N i
opt i
i
w 

  x x xc
c FrechMed x x x argmin c x=

1x
2x
3x
4x
5x
6x
R
G
B
1x
2x
3x
4x
5x
6x
R
G
B
 
1
ˆ arg min ,k
N
opt i
R
i

  


  x

 +
+

1x
2x
3x
4x
5x
6x
R
G
B
1x
2x
3x
4x
5x
6x
R
G
B
   1 2
1
ˆ arg min , , ,...,ˆ
i
N
opt i N
x
i

  


   quasioptx Med x x xμ



 Сити метрика:
 Евклидова (квадратичная) метрика:
 Lp - метрика:
 Расстояние по Колмогорову:
 Max метрика:
 Min метрика:
1
1
1
( , ) ( , )
K
i i
i
x y
N
 

    x y x y x y
2
2 2
1
1
( , ) ( , ) ( )
K
i i
i
x y
N
 

    x y x y x y
1
1
( , ) ( , ) ( )
K
pp
p i ip
i
x y
N
 

    x y x y x y
1 1
1
1
( , ) ( , ) Kol (Kol( )) Kol ( Kol( ))
K
Kol i i
i
x y
N
   

    x y x y x y
1 1max( ) max( ,..., )k kx y x y     x y
1 1min( ) min( ,..., )k kx y x y     x y

 Медианная псевдо-метрика (агрегация координат):
 Ранговая псевдо-метрика (агрегация координат):
Все известные метрики имеют агрегированный тип,
поэтому мы предлагаем использовать агрегационное
расстояние вместо классического расстояния .
1 1med( ) med( ,..., )med k kx y x y     x y
1 1( ) ( ,..., )rank k krank rank x y x y     x y
Agg


1 2 1 2
1 2
1 2 1 2
1
... 1 2 ... 1 2
( , ,..., )
1
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,...,N k
N
N
N N i
i
w w w N w w w
x x x
x x x x x x x
N
x x x x x x


  


Aggreg
M
1. Арифметическое среднее
ean
2. Взвешенное ср
Arithm
Aggreg Mean
еднее
1 2 ... 1 2
1 1
1
)
1
( , ,..., )k
N
N N
iw w w N i i iN
i i
i
i
x x x w x w x
w  


   

Arithm

1 2 1 2
1
1
( , ,..., ) ( , ,..., )
N
pp
p N p N i
i
x x x x x x x
N 
  Aggreg M
3. Степенные p -сре
e n
д
a
ние
1 2 1 2
1
1 2 1 2
1
( , ,..., ) ( , ,..., )
1
( , ,..., ) ( , ,..., )
1
(
N
N
Geo N Geo N i
i
Har k Har N N
i i
x x x x x x x
x x x x x x
x
x



 
 


4. Геометрическое среднее
5. Гармоническое среднее
6. Min-, Max -средние
Aggreg Mean
Aggreg Mean
Aggreg 1 2 1 2
1 2 1 2
1 2 1 2
1 2 1 2
, ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
( , ,..., ) ( , ,..., )
N N
N N
Med N N
N N
x x x x x
x x x x x x
x x x x x x
x x x x x x






Min
Aggreg Max
Aggreg Med
Aggr
7. Mедиа
x
на
eg Ma

 1
1 2 1 2
1
1
( , ,..., ) ( , ,..., )
N
iN NKol Kol
i
x x x x x x K K x
N


 
  
 
  
9.Среднее по Колмогорову
Aggreg Mean
maxx
ФизическаяшкалаФизическаяшкала
 maxK x
Шкала Комогорова
maxx
minx
 minK x
minx
K
1
K

Agg
Frechet Cost Function  Metric
Aggregation functionAggregation function
cost
Agg

...
... ... ... ...
...
...
...
cos
1
t
Agg
...
cos
2
t
Agg
cost
nAgg
1Agg
2Agg
mAgg
cos ,
11
t
Agg 
cos ,
21
t
Agg 
cos ,
1
t
nAgg 
cos ,
12
t
Agg 
cos ,
22
t
Agg 
cos ,
2
t
nAgg 
cos ,
1
t
mAgg 
cos ,
2
t
mAgg 
cos ,t
nmAgg 
cost
Agg
Agg

cost
Agg
Mean
Med
Min
Geo
Agg
2
2,meanGenVectAgg 
2,medGenVectAgg 
2,minGenVectAgg 
2geo,GenVectAgg 

0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x  
9
1
1
,q
p i
i


 x x
 
9
2
1
,q
p i
i


 x x
 
9
2
1
,q
p i
i


 x x
 
1
min ,
N
q
p i j
i
 x x


Векторные медианные фильтры,
ассоциированные с метрикой Lp и
усредняющей стоимостной функцией

0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x   1,q
p iMed x x
  min ,q
p i jMed x x


медианной стоимостной функцией
  2 ,q
p iMed x x
  9 ,q
p iMed x x

0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x   1,q
p iMin x x
Min-стоимостной функцией
  2 ,q
p iMin x x
  9 ,q
p iMin x x
  min ,q
p i jMin x x



Векторные медианные фильтры
а) Original image b) Noised images, PSNR = 21.83
cos
2,t
Agg Agg Mean 

PSNR = 32.524
cos
2,t
Agg Agg
 Med
PSNR = 31.788
cos
2,t
Agg Agg
 Min
PSNR = 28.293
cos
2,t
Agg Agg
 Geo
PSNR = 30.517
Fig. 1. Noise: “Salt-Peper”. Denoised images (c)-(f)
c)
d) e) f)

cos
2,t

PSNR = 30.68
cos
2,t
Agg Agg
 Med
PSNR = 29.61
cos
2,t
Agg Agg
 Min
PSNR = 27.77
cos
2,t
Agg Agg
 Geo
PSNR = 30.14
Fig. 3. Noise: “Laplacian PDF”. Denoised images (c)-(f)
c)
d) e) f)

cos
2,t

PSNR = 21.83
cos
2,t
Agg Agg
 Med
PSNR = 20.84
cos
2,t
Agg Agg
 Min
PSNR = 19.04
cos
2,t
Agg Agg
 Geo
PSNR = 20.50
Fig. 3. Noise: “Gaussian PDF”. Denoised images (c)-(f)
c)
d) e) f)

b) Noised images, PSNR = 17.18
“Gaussian PDF”
cos
2,t

PSNR = 21.83
Noised images, PSNR = 28.24
cos
2,t

PSNR = 30.68
“Laplacian PDF”
Noised images, PSNR = 21.83
c)
cos
2,t

PSNR = 32.524
“Salt-Peper”

   1 2
1
ˆ arg min , , ,.. ,ˆ .
N
opt i N
i
   quasioptx Med x xμ x

  
0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x  
9
1
1
,p i
i


 x x
 
9
2
1
,p i
i


 x x
 
9
2
1
,p i
i


 x x
 
1
min ,
N
p i j
i
 x x


усредняющей стоимостной функцией

Что есть агрегационный оператор?
1 2
1 2
1
1
1.
= ( , ,..., )
( , ,..., )
N
N
N
i
i
x
N
x x x
x x x
x

 



Arithm
Mean
1 22. ( , ,..., )Nx x x x Med
minx
maxx
Mean
Med
min maxx x x 
1 2( , ,..., )Nx x x x 
1 2( , ,..., )Nx x x y x Aggreg

Основные свойства АО
1) ( )
2) (0,...,0) 0 and (1,...,1) 1,
3) ( ,..., ) ( ,..., ),
если ( ,..., ) ( ,..., ).
l n l n
l n l n
y x x
y
y x x y y
x x y y
 
  
 

Aggreg
Aggreg Aggreg
Aggreg Aggreg
 Основные ограничения:
1 2 1 2 2
1 2 1 2
11) min( , ,..., ) ( , ,.
( , ,..., ) ( , ,..
.., ) max( , ,..., )
2) ., )
n n n
n nx m x m x m A
x x x x x x x x
m x x
x
x     
 
Aggreg A
Aggreg
ggreg
 Дополнительные ограничения:

0 1 2( , )p x x 1 9( , )p x x
0
0
1x 2x 9x
2x
9x
...
... ... ... ... ...
2 1( , )p x x 2 9( , )p x x
9 1( , )p x x 9 2( , )p x x ...
...
...
1x   
9
9
1
1
,p i
i


 x x
Geo-стоимостной функцией
  
9
9
1
min ,p i j
i



 x x
  
9
9
2
1
,p i
i


 x x
  
9
9
9
1
,p i
i


 x x

Экспериментальная часть
𝑓 𝑀𝑐𝑜𝑙 𝑥 = 𝑆 𝑀𝑐𝑜𝑙 𝑥 + 𝜂 𝑀𝑐𝑜𝑙(𝑥), где
𝑆 𝑀𝑐𝑜𝑙 𝑥 = 𝑠1 𝑥 , 𝑠2 𝑥 , … , 𝑠 𝑘 𝑥 - оригинал k-
канального изображения, 𝜂 𝑀𝑐𝑜𝑙 𝑥 =
(𝜂1 𝑥 , 𝜂2 𝑥 , … , 𝜂 𝑘(𝑥)) - k-канальный шум, 𝑓 𝑀𝑐𝑜𝑙 𝑥 =
(𝑓1 𝑥 , 𝑓2 𝑥 , … , 𝑓𝑘 𝑥 ) – искаженное изображение,
полученное воздействием шума 𝜂 𝑀𝑐𝑜𝑙 𝑥 на
изображение 𝑆 𝑀𝑐𝑜𝑙 𝑥 .
𝑥 = (𝑖, 𝑗) ∈ 𝑍2
– это двухмерное пространство,
которое принадлежит к области изображения и
представляет собой местоположение пикселей.

Общая схема фильтрации
 𝑀 𝑖,𝑗 (𝑚, 𝑛)
𝑚=−𝑟,𝑛=−𝑟
𝑚=+𝑟,𝑛=+𝑟
- квадратное окно размером
N= 2 ∙ 𝑟 + 1 ∙ 2 ∙ 𝑟 + 1 .
 𝑆 𝑀𝑐𝑜𝑙 𝑖, 𝑗 = 𝑀𝑒𝑎𝑛(𝑚,𝑛)∈𝑀(𝑖,𝑗)
{ 𝑓 𝑀𝑐𝑜𝑙(𝑚, 𝑛)},
где 𝑆 𝑀𝑐𝑜𝑙 𝑖, 𝑗 – это отфильтрованное изображение
 { 𝑓 𝑀𝑐𝑜𝑙(𝑚, 𝑛)}(𝑚,𝑛)∈𝑀(𝑖,𝑗)
– это блок изображения
фиксированного размера N, извлеченного из 𝑓 𝑀𝑐𝑜𝑙,
перемещая окно M(i,j) в позицию (i,j)

E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for Color and Hyperspectral Images

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Viewers also liked

Viewers also liked (20)

Similar to E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for Color and Hyperspectral Images

Similar to E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for Color and Hyperspectral Images (20)

More from AIST

More from AIST (20)

E. Ostheimer, V. G. Labunets, D. E. Komarov, T. S. Fedorova and V. V. Ganzha - Fréchet Filters for Color and Hyperspectral Images

Editor's Notes