1. 20391: Visió per Computador
Apunts de l’assignatura
Classe 4
Detecció de
Característiques 2D
(Espai Escala).
Jordi Vitrià 20391: Visió per Computador 1
2. 20391: Visió per Computador
Apunts de l’assignatura
El món està estructurat.
Els objectes del món, i per tant les estructures en les
imatges, només existeixen com a unitats
significatives dins d’un cert rang d’escales.
El concepte d’escala en una imatge està limitat per
l’escala interna i l’escala externa.
Volem observar la imatge a diferents escales, i
definirem un conjunt d’operadors per fer-ho i per
extreure informació útil.
Jordi Vitrià 20391: Visió per Computador 2
3. 20391: Visió per Computador
Apunts de l’assignatura
Escala vs. Resolució
El concepte d’escala s’ha d’associar a la idea
de detall i no de resolució.
Jordi Vitrià 20391: Visió per Computador 3
4. 20391: Visió per Computador
Apunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 4
5. 20391: Visió per Computador
Apunts de l’assignatura
Escala. Definició.
El paràmetre escala és un valor escalar s que
representa a quin nivell de detall observem una
imatge, i anomenarem espai escala al conjunt
d’imatges generades de forma continua a partir
d’una imatge I(x,y), que representa les diferents
escales.
Requeriments a imposar (racionals):
1. Linealitat
2. Invariànça a translació.
3. Isotropia.
4. Invariànça a escala.
Jordi Vitrià 20391: Visió per Computador 5
6. 20391: Visió per Computador
Apunts de l’assignatura
Escala. Definició.
Aquests requeriments ens condueixen a una única
solució: la convolució amb el nucli Gaussià.
x2 + y 2
1 −
G ( x, y , σ ) = exp 2σ 2
2πσ 2
Que podem reparametritzar de la següent manera (amb s=σ2/2):
x2 + y 2
1 −
G ( x, y , s ) = exp 4s
4πs
Jordi Vitrià 20391: Visió per Computador 6
7. 20391: Visió per Computador
Apunts de l’assignatura
Escala. Definició.
Un element de l’espai escala és
∫ ℜ2
G ( x − x' , y − y ' ,s) I ( x' , y ' )dx' dy '
Jordi Vitrià 20391: Visió per Computador 7
8. 20391: Visió per Computador
Apunts de l’assignatura
Escala. Definició.
Jordi Vitrià 20391: Visió per Computador 8
9. 20391: Visió per Computador
Apunts de l’assignatura
Escala. Definició.
Hi ha infinits elements diferents!
Jordi Vitrià 20391: Visió per Computador 9
10. 20391: Visió per Computador
Apunts de l’assignatura
Escala. Definició.
L’espai escala ens ofereix un mètode per extreure
estructures de la imatge de forma bottom-up, és a
dir, sense informació a priori del contingut o de
l’estructura de la imatge.
Un dels objectius d’aquestes tècniques és fer
aquestes estructures explícites, creant
representacions.
Quina és la primitiva a usar?
Jordi Vitrià 20391: Visió per Computador 10
11. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 11
12. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Les taques (blobs) són l’element bàsic
preatentiu.
Què hem de fer?
1. Definir-ho geomètricament.
2. Definir un mètode de detecció.
3. Veure com s’utilitza.
Jordi Vitrià 20391: Visió per Computador 12
13. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Definicions geomètriques:
1. Creuaments per zero del Laplacià.
2. Parts de la imatge entre un punt “coll” i un
extrem.
3. Zones determinades per les línies de
cresta de la superfície topogràfica.
Jordi Vitrià 20391: Visió per Computador 13
14. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
L’espai escala té una propietat geomètrica
interessant: la continuïtat dels creuaments
per zero del Laplacià.
Jordi Vitrià 20391: Visió per Computador 14
15. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 15
16. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
...tot i que s’ha d’anar amb compte, doncs hi
ha fenòmens “estranys” associats a la vida
d’una taca: mort, fusió, bifurcació i
naixement.
Jordi Vitrià 20391: Visió per Computador 16
17. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 17
18. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
La detecció de l’estructura de la imatge es
basa en la següent assumpció:
→ Les característiques significants en
l’espai escala corresponen a
característiques significants en la
imatge.
Les taques es poden organitzar
dins l’espai escala segons el
seu comportament.
Jordi Vitrià 20391: Visió per Computador 18
19. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Taques amb volum gran a l’espai escala.
L’escala a la qual una taca té el seu màxim en
nivell de gris és l’escala a la que aquesta
característica ha de ser considerada.
El conjunt de suport d’una taca de l’espai
escala és el conjunt de suport de la taca a
l’escala on és considerada.
Jordi Vitrià 20391: Visió per Computador 19
20. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 20
21. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Amb aquestes assumpcions podem definir
segmentacions raonables de les imatges.
La metodologia bàsica seria:
1. Generar la representació multiscala amb extracció
i encadenament de taques.
2. Calculem el volum espai-escala de cada taca.
3. Per a cada tca, determinem la seva escala de
consideració i la seva regió de suport.
4. Ordenem les taques per order decreixent en
importància.
Jordi Vitrià 20391: Visió per Computador 21
22. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 22
23. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Un altre objectiu interessant és la detecció de
punts o zones de la imatge que presenten
una determinada característica geomètrica
(2D): cantonades, unions-T, unions-X,
contorns...
Jordi Vitrià 20391: Visió per Computador 23
24. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Considerem l’estructura de la imatge a partir
de la seva expansió en serie de Taylor
d’ordre n:
I ( x + ∂x, y + ∂y, s ) = I ( x, y, s ) + I x ( x, y, s )∂x + I y ( x, y, s )∂y +
1 1
+ I xx ( x, y, s )∂x + I yy ( x, y, s )∂y 2 + I xy ( x, y, s )∂x∂y + ... + O(5)
2
2 2
Fins a ordre 4...
Jordi Vitrià 20391: Visió per Computador 24
25. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Com calculem les derivades de la imatge?...
Jordi Vitrià 20391: Visió per Computador 25
26. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Considerem operadors definits en coordenades
cartesianes i calibrades.
v 1 Iy − I x x
=
w
2 2 I
Ix + Iy x I y y
Jordi Vitrià 20391: Visió per Computador 26
27. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Isòfotes...
Jordi Vitrià 20391: Visió per Computador 27
28. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Gradient I x2 + I y
2 2
Iw
Laplacià I xx + I yy I vv + I ww
2 I x I y I xy − I x I yy − I y I xx
2 2
I vv
Curv.Isòfotes 3
Iw
(I x + I )
2 2 2
y
I x I xx + 2 I x I y I xy − I y I yy
2 2
Crestes I vv
(I + I )
2
x
2
y
Unions − T I xxx ... I vvv ...
Cantonades − I x I yy + 2 I x I y I xy − I y I xx
2 2
− I w I vv
2
Jordi Vitrià 20391: Visió per Computador 28
29. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Jordi Vitrià 20391: Visió per Computador 29
30. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Curvatura de les isòfotes!
Cantonades..
− I vv 3
I I =2
vv w Iw
Iw
Laplacià...
I vv
I xx + I yy = I vv + I ww = I ww + Iw
Iw
És una aproximació de detector de contorns ideal, però a vegades no
és zero quan la segona derivada en la direcció del gradient ho és!!
Jordi Vitrià 20391: Visió per Computador 30
31. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Cantonades.
Jordi Vitrià 20391: Visió per Computador 31
32. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Contorns i crestes.
Jordi Vitrià 20391: Visió per Computador 32
33. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Crestes.
Jordi Vitrià 20391: Visió per Computador 33
34. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Crestes.
Jordi Vitrià 20391: Visió per Computador 34
35. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Original, escala, mòdul del gradient, Laplacià..
Jordi Vitrià 20391: Visió per Computador 35
36. 20391: Visió per Computador
Apunts de l’assignatura
Espai Escala i Operadors diferencials.
Creuament per zero del Laplacià, contorns, cantonades i crestes.
Jordi Vitrià 20391: Visió per Computador 36
37. 20391: Visió per Computador
Apunts de l’assignatura
L’espai escala és una part important del
model visual:
La base per a definir un “frontal visual” que
precedeix qualsevol altre procés, i en les
dades del qual, qualsevol altre procés està
basat.
Jordi Vitrià 20391: Visió per Computador 37