SlideShare a Scribd company logo
1 of 37
Download to read offline
20391: Visió per Computador
                                                      Apunts de l’assignatura




                         Classe 4
                   Detecció de
               Característiques 2D
                 (Espai Escala).
Jordi Vitrià       20391: Visió per Computador                      1
20391: Visió per Computador
                                                             Apunts de l’assignatura




   El món està estructurat.

   Els objectes del món, i per tant les estructures en les
   imatges, només existeixen com a unitats
   significatives dins d’un cert rang d’escales.

   El concepte d’escala en una imatge està limitat per
   l’escala interna i l’escala externa.

   Volem observar la imatge a diferents escales, i
   definirem un conjunt d’operadors per fer-ho i per
   extreure informació útil.


Jordi Vitrià             20391: Visió per Computador                       2
20391: Visió per Computador
                                                         Apunts de l’assignatura




                Escala vs. Resolució




    El concepte d’escala s’ha d’associar a la idea
             de detall i no de resolució.

Jordi Vitrià          20391: Visió per Computador                      3
20391: Visió per Computador
                                                  Apunts de l’assignatura




Jordi Vitrià   20391: Visió per Computador                      4
20391: Visió per Computador
                                                                Apunts de l’assignatura




   Escala. Definició.

   El paràmetre escala és un valor escalar s que
       representa a quin nivell de detall observem una
       imatge, i anomenarem espai escala al conjunt
       d’imatges generades de forma continua a partir
       d’una imatge I(x,y), que representa les diferents
       escales.

   Requeriments a imposar (racionals):
   1. Linealitat
   2. Invariànça a translació.
   3. Isotropia.
   4. Invariànça a escala.
Jordi Vitrià             20391: Visió per Computador                          5
20391: Visió per Computador
                                                                              Apunts de l’assignatura




   Escala. Definició.

   Aquests requeriments ens condueixen a una única
      solució: la convolució amb el nucli Gaussià.

                                                              x2 + y 2
                                       1                  −
                G ( x, y , σ ) =                exp            2σ 2
                                   2πσ      2



   Que podem reparametritzar de la següent manera (amb s=σ2/2):


                                                        x2 + y 2
                                    1                 −
                  G ( x, y , s ) =     exp                4s
                                   4πs
Jordi Vitrià                20391: Visió per Computador                                     6
20391: Visió per Computador
                                                                               Apunts de l’assignatura




   Escala. Definició.

   Un element de l’espai escala és

               ∫   ℜ2
                        G ( x − x' , y − y ' ,s) I ( x' , y ' )dx' dy '




Jordi Vitrià                     20391: Visió per Computador                                 7
20391: Visió per Computador
                                                           Apunts de l’assignatura




   Escala. Definició.




Jordi Vitrià            20391: Visió per Computador                      8
20391: Visió per Computador
                                                             Apunts de l’assignatura




   Escala. Definició.

   Hi ha infinits elements diferents!




Jordi Vitrià              20391: Visió per Computador                      9
20391: Visió per Computador
                                                           Apunts de l’assignatura




   Escala. Definició.

   L’espai escala ens ofereix un mètode per extreure
      estructures de la imatge de forma bottom-up, és a
      dir, sense informació a priori del contingut o de
      l’estructura de la imatge.

   Un dels objectius d’aquestes tècniques és fer
      aquestes estructures explícites, creant
      representacions.

   Quina és la primitiva a usar?


Jordi Vitrià            20391: Visió per Computador                    10
20391: Visió per Computador
                                                        Apunts de l’assignatura




   Espai Escala i estructura d’una imatge.




Jordi Vitrià         20391: Visió per Computador                    11
20391: Visió per Computador
                                                             Apunts de l’assignatura




   Espai Escala i estructura d’una imatge.

   Les taques (blobs) són l’element bàsic
     preatentiu.

   Què hem de fer?

           1. Definir-ho geomètricament.
           2. Definir un mètode de detecció.
           3. Veure com s’utilitza.


Jordi Vitrià              20391: Visió per Computador                    12
20391: Visió per Computador
                                                         Apunts de l’assignatura




   Espai Escala i estructura d’una imatge.

   Definicions geomètriques:

   1. Creuaments per zero del Laplacià.
   2. Parts de la imatge entre un punt “coll” i un
      extrem.
   3. Zones determinades per les línies de
      cresta de la superfície topogràfica.




Jordi Vitrià          20391: Visió per Computador                    13
20391: Visió per Computador
                                                        Apunts de l’assignatura




   Espai Escala i estructura d’una imatge.

   L’espai escala té una propietat geomètrica
      interessant: la continuïtat dels creuaments
      per zero del Laplacià.




Jordi Vitrià         20391: Visió per Computador                    14
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.




Jordi Vitrià     20391: Visió per Computador                    15
20391: Visió per Computador
                                                       Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.

 ...tot i que s’ha d’anar amb compte, doncs hi
     ha fenòmens “estranys” associats a la vida
     d’una taca: mort, fusió, bifurcació i
     naixement.




Jordi Vitrià        20391: Visió per Computador                    16
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.




Jordi Vitrià     20391: Visió per Computador                    17
20391: Visió per Computador
                                                          Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.

 La detecció de l’estructura de la imatge es
    basa en la següent assumpció:
    → Les característiques significants en
      l’espai escala corresponen a
      característiques significants en la
      imatge.

 Les taques es poden organitzar
    dins l’espai escala segons el
    seu comportament.

Jordi Vitrià           20391: Visió per Computador                    18
20391: Visió per Computador
                                                       Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.

 Taques amb volum gran a l’espai escala.

 L’escala a la qual una taca té el seu màxim en
    nivell de gris és l’escala a la que aquesta
    característica ha de ser considerada.

 El conjunt de suport d’una taca de l’espai
    escala és el conjunt de suport de la taca a
    l’escala on és considerada.

Jordi Vitrià        20391: Visió per Computador                    19
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.




Jordi Vitrià     20391: Visió per Computador                    20
20391: Visió per Computador
                                                         Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.

 Amb aquestes assumpcions podem definir
   segmentacions raonables de les imatges.
   La metodologia bàsica seria:
 1. Generar la representació multiscala amb extracció
    i encadenament de taques.
 2. Calculem el volum espai-escala de cada taca.
 3. Per a cada tca, determinem la seva escala de
    consideració i la seva regió de suport.
 4. Ordenem les taques per order decreixent en
    importància.

Jordi Vitrià          20391: Visió per Computador                    21
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i estructura d’una imatge.




Jordi Vitrià     20391: Visió per Computador                    22
20391: Visió per Computador
                                                       Apunts de l’assignatura




 Espai Escala i Operadors diferencials.

 Un altre objectiu interessant és la detecció de
   punts o zones de la imatge que presenten
   una determinada característica geomètrica
   (2D): cantonades, unions-T, unions-X,
   contorns...




Jordi Vitrià        20391: Visió per Computador                    23
20391: Visió per Computador
                                                                               Apunts de l’assignatura




 Espai Escala i Operadors diferencials.

 Considerem l’estructura de la imatge a partir
   de la seva expansió en serie de Taylor
   d’ordre n:

I ( x + ∂x, y + ∂y, s ) = I ( x, y, s ) + I x ( x, y, s )∂x + I y ( x, y, s )∂y +
 1                    1
+ I xx ( x, y, s )∂x + I yy ( x, y, s )∂y 2 + I xy ( x, y, s )∂x∂y + ... + O(5)
                    2

 2                    2

 Fins a ordre 4...
Jordi Vitrià                    20391: Visió per Computador                                24
20391: Visió per Computador
                                                      Apunts de l’assignatura




 Espai Escala i Operadors diferencials.

 Com calculem les derivades de la imatge?...




Jordi Vitrià       20391: Visió per Computador                    25
20391: Visió per Computador
                                                                        Apunts de l’assignatura




 Espai Escala i Operadors diferencials.

 Considerem operadors definits en coordenades
   cartesianes i calibrades.

               v        1   Iy                   − I x  x 
                =
                w                                       
                     2    2 I
                      Ix + Iy  x                    I y  y 
                                                           




Jordi Vitrià          20391: Visió per Computador                                   26
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i Operadors diferencials.

 Isòfotes...




Jordi Vitrià     20391: Visió per Computador                    27
20391: Visió per Computador
                                                                                   Apunts de l’assignatura




 Espai Escala i Operadors diferencials.

               Gradient                  I x2 + I y
                                                  2                      2
                                                                        Iw
               Laplacià                 I xx + I yy                I vv + I ww
                           2 I x I y I xy − I x I yy − I y I xx
                                               2         2
                                                                       I vv
        Curv.Isòfotes                                 3
                                                                       Iw
                                     (I x + I )
                                        2           2 2
                                                    y

                           I x I xx + 2 I x I y I xy − I y I yy
                             2                           2

               Crestes                                                 I vv
                                       (I + I )
                                           2
                                           x
                                                    2
                                                    y
           Unions − T                    I xxx ...                   I vvv ...
          Cantonades      − I x I yy + 2 I x I y I xy − I y I xx
                              2                           2
                                                                   − I w I vv
                                                                       2


Jordi Vitrià                   20391: Visió per Computador                                     28
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i Operadors diferencials.




Jordi Vitrià     20391: Visió per Computador                    29
20391: Visió per Computador
                                                                                   Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
                                                            Curvatura de les isòfotes!
 Cantonades..
                             − I vv 3
                       I I =2
                         vv w      Iw
                              Iw
 Laplacià...
                                                             I vv
               I xx + I yy = I vv + I ww            = I ww +      Iw
                                                             Iw
 És una aproximació de detector de contorns ideal, però a vegades no
     és zero quan la segona derivada en la direcció del gradient ho és!!

Jordi Vitrià                  20391: Visió per Computador                                      30
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
 Cantonades.




Jordi Vitrià     20391: Visió per Computador                    31
20391: Visió per Computador
                                                          Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
 Contorns i crestes.




Jordi Vitrià           20391: Visió per Computador                    32
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
 Crestes.




Jordi Vitrià     20391: Visió per Computador                    33
20391: Visió per Computador
                                                    Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
 Crestes.




Jordi Vitrià     20391: Visió per Computador                    34
20391: Visió per Computador
                                                               Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
 Original, escala, mòdul del gradient, Laplacià..




Jordi Vitrià                20391: Visió per Computador                    35
20391: Visió per Computador
                                                                  Apunts de l’assignatura




 Espai Escala i Operadors diferencials.
 Creuament per zero del Laplacià, contorns, cantonades i crestes.




Jordi Vitrià               20391: Visió per Computador                        36
20391: Visió per Computador
                                                           Apunts de l’assignatura




       L’espai escala és una part important del
       model visual:

       La base per a definir un “frontal visual” que
       precedeix qualsevol altre procés, i en les
       dades del qual, qualsevol altre procés està
       basat.




Jordi Vitrià            20391: Visió per Computador                    37

More Related Content

More from Universitat de Barcelona

More from Universitat de Barcelona (6)

Els informàtics o val la pena estudiar informàtica?
Els informàtics o val la pena estudiar informàtica?Els informàtics o val la pena estudiar informàtica?
Els informàtics o val la pena estudiar informàtica?
 
Pc Seminar Jordi
Pc Seminar JordiPc Seminar Jordi
Pc Seminar Jordi
 
Classe 2 Visió
Classe 2 VisióClasse 2 Visió
Classe 2 Visió
 
The Last Frontier
The Last FrontierThe Last Frontier
The Last Frontier
 
Bits, àtoms i màquines virtuals
Bits, àtoms i màquines virtualsBits, àtoms i màquines virtuals
Bits, àtoms i màquines virtuals
 
Computación y señales sociales
Computación y señales socialesComputación y señales sociales
Computación y señales sociales
 

Classe 4 Visió

  • 1. 20391: Visió per Computador Apunts de l’assignatura Classe 4 Detecció de Característiques 2D (Espai Escala). Jordi Vitrià 20391: Visió per Computador 1
  • 2. 20391: Visió per Computador Apunts de l’assignatura El món està estructurat. Els objectes del món, i per tant les estructures en les imatges, només existeixen com a unitats significatives dins d’un cert rang d’escales. El concepte d’escala en una imatge està limitat per l’escala interna i l’escala externa. Volem observar la imatge a diferents escales, i definirem un conjunt d’operadors per fer-ho i per extreure informació útil. Jordi Vitrià 20391: Visió per Computador 2
  • 3. 20391: Visió per Computador Apunts de l’assignatura Escala vs. Resolució El concepte d’escala s’ha d’associar a la idea de detall i no de resolució. Jordi Vitrià 20391: Visió per Computador 3
  • 4. 20391: Visió per Computador Apunts de l’assignatura Jordi Vitrià 20391: Visió per Computador 4
  • 5. 20391: Visió per Computador Apunts de l’assignatura Escala. Definició. El paràmetre escala és un valor escalar s que representa a quin nivell de detall observem una imatge, i anomenarem espai escala al conjunt d’imatges generades de forma continua a partir d’una imatge I(x,y), que representa les diferents escales. Requeriments a imposar (racionals): 1. Linealitat 2. Invariànça a translació. 3. Isotropia. 4. Invariànça a escala. Jordi Vitrià 20391: Visió per Computador 5
  • 6. 20391: Visió per Computador Apunts de l’assignatura Escala. Definició. Aquests requeriments ens condueixen a una única solució: la convolució amb el nucli Gaussià. x2 + y 2 1 − G ( x, y , σ ) = exp 2σ 2 2πσ 2 Que podem reparametritzar de la següent manera (amb s=σ2/2): x2 + y 2 1 − G ( x, y , s ) = exp 4s 4πs Jordi Vitrià 20391: Visió per Computador 6
  • 7. 20391: Visió per Computador Apunts de l’assignatura Escala. Definició. Un element de l’espai escala és ∫ ℜ2 G ( x − x' , y − y ' ,s) I ( x' , y ' )dx' dy ' Jordi Vitrià 20391: Visió per Computador 7
  • 8. 20391: Visió per Computador Apunts de l’assignatura Escala. Definició. Jordi Vitrià 20391: Visió per Computador 8
  • 9. 20391: Visió per Computador Apunts de l’assignatura Escala. Definició. Hi ha infinits elements diferents! Jordi Vitrià 20391: Visió per Computador 9
  • 10. 20391: Visió per Computador Apunts de l’assignatura Escala. Definició. L’espai escala ens ofereix un mètode per extreure estructures de la imatge de forma bottom-up, és a dir, sense informació a priori del contingut o de l’estructura de la imatge. Un dels objectius d’aquestes tècniques és fer aquestes estructures explícites, creant representacions. Quina és la primitiva a usar? Jordi Vitrià 20391: Visió per Computador 10
  • 11. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Jordi Vitrià 20391: Visió per Computador 11
  • 12. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Les taques (blobs) són l’element bàsic preatentiu. Què hem de fer? 1. Definir-ho geomètricament. 2. Definir un mètode de detecció. 3. Veure com s’utilitza. Jordi Vitrià 20391: Visió per Computador 12
  • 13. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Definicions geomètriques: 1. Creuaments per zero del Laplacià. 2. Parts de la imatge entre un punt “coll” i un extrem. 3. Zones determinades per les línies de cresta de la superfície topogràfica. Jordi Vitrià 20391: Visió per Computador 13
  • 14. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. L’espai escala té una propietat geomètrica interessant: la continuïtat dels creuaments per zero del Laplacià. Jordi Vitrià 20391: Visió per Computador 14
  • 15. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Jordi Vitrià 20391: Visió per Computador 15
  • 16. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. ...tot i que s’ha d’anar amb compte, doncs hi ha fenòmens “estranys” associats a la vida d’una taca: mort, fusió, bifurcació i naixement. Jordi Vitrià 20391: Visió per Computador 16
  • 17. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Jordi Vitrià 20391: Visió per Computador 17
  • 18. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. La detecció de l’estructura de la imatge es basa en la següent assumpció: → Les característiques significants en l’espai escala corresponen a característiques significants en la imatge. Les taques es poden organitzar dins l’espai escala segons el seu comportament. Jordi Vitrià 20391: Visió per Computador 18
  • 19. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Taques amb volum gran a l’espai escala. L’escala a la qual una taca té el seu màxim en nivell de gris és l’escala a la que aquesta característica ha de ser considerada. El conjunt de suport d’una taca de l’espai escala és el conjunt de suport de la taca a l’escala on és considerada. Jordi Vitrià 20391: Visió per Computador 19
  • 20. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Jordi Vitrià 20391: Visió per Computador 20
  • 21. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Amb aquestes assumpcions podem definir segmentacions raonables de les imatges. La metodologia bàsica seria: 1. Generar la representació multiscala amb extracció i encadenament de taques. 2. Calculem el volum espai-escala de cada taca. 3. Per a cada tca, determinem la seva escala de consideració i la seva regió de suport. 4. Ordenem les taques per order decreixent en importància. Jordi Vitrià 20391: Visió per Computador 21
  • 22. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i estructura d’una imatge. Jordi Vitrià 20391: Visió per Computador 22
  • 23. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Un altre objectiu interessant és la detecció de punts o zones de la imatge que presenten una determinada característica geomètrica (2D): cantonades, unions-T, unions-X, contorns... Jordi Vitrià 20391: Visió per Computador 23
  • 24. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Considerem l’estructura de la imatge a partir de la seva expansió en serie de Taylor d’ordre n: I ( x + ∂x, y + ∂y, s ) = I ( x, y, s ) + I x ( x, y, s )∂x + I y ( x, y, s )∂y + 1 1 + I xx ( x, y, s )∂x + I yy ( x, y, s )∂y 2 + I xy ( x, y, s )∂x∂y + ... + O(5) 2 2 2 Fins a ordre 4... Jordi Vitrià 20391: Visió per Computador 24
  • 25. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Com calculem les derivades de la imatge?... Jordi Vitrià 20391: Visió per Computador 25
  • 26. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Considerem operadors definits en coordenades cartesianes i calibrades. v 1 Iy − I x  x   =  w      2 2 I Ix + Iy  x I y  y    Jordi Vitrià 20391: Visió per Computador 26
  • 27. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Isòfotes... Jordi Vitrià 20391: Visió per Computador 27
  • 28. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Gradient I x2 + I y 2 2 Iw Laplacià I xx + I yy I vv + I ww 2 I x I y I xy − I x I yy − I y I xx 2 2 I vv Curv.Isòfotes 3 Iw (I x + I ) 2 2 2 y I x I xx + 2 I x I y I xy − I y I yy 2 2 Crestes I vv (I + I ) 2 x 2 y Unions − T I xxx ... I vvv ... Cantonades − I x I yy + 2 I x I y I xy − I y I xx 2 2 − I w I vv 2 Jordi Vitrià 20391: Visió per Computador 28
  • 29. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Jordi Vitrià 20391: Visió per Computador 29
  • 30. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Curvatura de les isòfotes! Cantonades.. − I vv 3 I I =2 vv w Iw Iw Laplacià... I vv I xx + I yy = I vv + I ww = I ww + Iw Iw És una aproximació de detector de contorns ideal, però a vegades no és zero quan la segona derivada en la direcció del gradient ho és!! Jordi Vitrià 20391: Visió per Computador 30
  • 31. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Cantonades. Jordi Vitrià 20391: Visió per Computador 31
  • 32. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Contorns i crestes. Jordi Vitrià 20391: Visió per Computador 32
  • 33. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Crestes. Jordi Vitrià 20391: Visió per Computador 33
  • 34. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Crestes. Jordi Vitrià 20391: Visió per Computador 34
  • 35. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Original, escala, mòdul del gradient, Laplacià.. Jordi Vitrià 20391: Visió per Computador 35
  • 36. 20391: Visió per Computador Apunts de l’assignatura Espai Escala i Operadors diferencials. Creuament per zero del Laplacià, contorns, cantonades i crestes. Jordi Vitrià 20391: Visió per Computador 36
  • 37. 20391: Visió per Computador Apunts de l’assignatura L’espai escala és una part important del model visual: La base per a definir un “frontal visual” que precedeix qualsevol altre procés, i en les dades del qual, qualsevol altre procés està basat. Jordi Vitrià 20391: Visió per Computador 37