1. 20391: Visió per Computador
Apunts de l’assignatura
Classe 11
Visió Activa
Jordi Vitrià 20391: Visió per Computador 1

2. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Objectiu: Modificació del procés d’obtenció de les
imatges i del processament en funció dels estímuls
visuals i de la tasca desenvolupada.
Com?
Assumirem un esquema antropomòrfic: visió binocular +
fixació + visió foveal + control de la mirada.
Jordi Vitrià 20391: Visió per Computador 2

3. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Jordi Vitrià 20391: Visió per Computador 3

4. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Yarbus’ early scanpath recording:
• trace 1: examine at will
• trace 2: estimate wealth
• trace 3: estimate ages
• trace 4: guess previous activity
• trace 5: remember clothing
• trace 6: remember position
• trace 7: time since last visit
Jordi Vitrià 20391: Visió per Computador 4

5. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Model antropomòrfic (multiresolució):
Camp visual: 180 horitz. × 130 vert.
180°
°horitz. 130°
°vert.
Fovea Centralis (foveola): highest acuity
1.3°
1.3 visualangle; 25,000 cones
°visual angle; 25,000 cones
Fovea: high acuity (at 5, acuity drops to 50%)
5°
°
5° visualangle; 100,000 cones
°visual angle; 100,000 cones
Macula: within “useful” acuity region (to about 30)
30°
°
16.7°
16.7 visualangle; 650,000 cones
°visual angle; 650,000 cones
Hardly any rods in the foveal region
Jordi Vitrià 20391: Visió per Computador 5

6. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Object Distance Angle subtended
thumbnail arm’s length 1.5-2 deg
sun or moon - .5 deg
US quarter coin arm’s length 2 deg
US quarter coin 85 m 1 min
US quarter coin 5 km 1 sec
Jordi Vitrià 20391: Visió per Computador 6

7. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Model antropomòrfic (fixació):
• Binocularitat.
• Manteniment de la vergència.
• Enfocament.
• Control de la mirada.
Jordi Vitrià 20391: Visió per Computador 7

8. 20391: Visió per Computador
Apunts de l’assignatura
Visió Activa
Disseny d’un sistema de visió activa (paràmetres) :
• Òptics:
• Distància focal o zoom, que permet canviar la
focal,
magnificació.
• Acomodació
Acomodació.
• Apertura
Apertura.
• Sensorials, podem triar coses com la forma de la
retina, la densitat d’elements fotosensibles, la seva
sensibilitat…
• Mecànics, per a veure quins graus de llibertat
donem a l’ull (i al cap).
• Algorísmics, o com manipular tots els paràmetres
anteriors.
Jordi Vitrià 20391: Visió per Computador 8

9. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
El comportament visual es definirà a partir dels
següents factors:
• Control de la mirada:
• Seguiment suau o smooth pursuit.
• Vergència
Vergència.
• Moviments sacàdics
sacàdics.
• Estabilització reflexa (optokinesi).
• Control dels paràmetres d’adquisició, focus,
zoom, apertura…
• Visió foveal, processament seqüencial multiscala.
• Integració Binocular
Binocular.
Jordi Vitrià 20391: Visió per Computador 9

10. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Moviments mecànics i control de la mirada:
• Seguiment suau o smooth pursuit. Seguiment d’objectes
mòbils a partir de la generació de senyals de control de velocitat.
Com? Processament del moviment a la fòvea.
• Vergència Manteniment de les dues fòvees centrades en el
Vergència.
mateix punt 3D. Com? Correlacions entre els centres dels dos
ulls.
• Moviments sacàdics Moviments precalculatsd’alta velocitat
sacàdics.
que canvien la direcció de la mirada. Supressió d’estímuls
visuals. Depèn de “què” fem.
• Estabilització reflexa (optokinesi), utilitza l’acomodació, la
vergència i els moviments del cap per estabilitzar el vector
“mirada”. Com? Correlacions entre t i t+1.
Jordi Vitrià 20391: Visió per Computador 10

11. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Moviments mecànics i control de la mirada:
Extracció d’informació útil.
Jordi Vitrià 20391: Visió per Computador 11

12. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Com passar el punt de fixació de A a B ?
A
B
Horopter
Jordi Vitrià 20391: Visió per Computador 12

13. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Com ho fem els humans?
A A A A
Moviment de
versió Moviment de
Moviment de
vergència
vergència
B B B B
Jordi Vitrià 20391: Visió per Computador 13

14. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Com ho sabem implementar? (I)
A A
B B
Jordi Vitrià 20391: Visió per Computador 14

15. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Com ho sabem implementar? (II)
A Aquest esquema no és òptim:
• Hi ha un ull dominant.
B • Dirigeix l’acomodació de l’ull
dominant.
• Fem més moviments dels
necessaris.
.. Però és fàcilment implementable
combinant acomodació i
correlacions.
Jordi Vitrià 20391: Visió per Computador 15

16. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Estímuls de la vergència : disparitat + focus.
Cyclopean Axis
Objecte
Eix Visual
d d
Jordi Vitrià 20391: Visió per Computador 16

17. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Convergència Asimètrica
Objecte Objecte
Jordi Vitrià 20391: Visió per Computador 17

18. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Processos Oculars Primaris: Estabilització Focus + Vergència
Đ  āǩ Eō E
E ł  
Eǩ āĕⁿ 
⁺ ōō
Eǩ 
E ł  
Eō E
Đ  āǩ
Jordi Vitrià 20391: Visió per Computador 18

19. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Processos Oculars Primaris: Estabilització Focus + Vergència
La integració porta conflictes:
• Vergència i estructures repetitives.
• Vergència i ull tapat.
• Enfocament i vergència diferents.
Jordi Vitrià 20391: Visió per Computador 19

20. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Processos Oculars Primaris: una possible implementació simple.
Fòvea Fòvea
Estimador Filtre de
de disparitat Disparitat
Zero
Vergència Seguiment Suau
Motors
Jordi Vitrià 20391: Visió per Computador 20

21. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Processos Oculars Primaris: una possible implementació simple.
Jordi Vitrià 20391: Visió per Computador 21

22. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Processos Oculars Primaris: Filtre de disparitat zero.
Per fer seguiment suau només cal seguir el que hi ha amb
disparitat zero.
Jordi Vitrià 20391: Visió per Computador 22

23. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Focus d’atenció.
Exemple: Lectura, amb salts de 3 o 4 paraules.
Processament preatentiu i atentiu en paral·lel.
Regles:
• Proper a l’actual.
• Cap amunt.
• Cantonades, simetries, gradients.
Avantatges: reducció de dades a computar,
combinació d’alta resolució/camp visual ampli.
Jordi Vitrià 20391: Visió per Computador 23

24. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Funció dels mecanismes d’atenció.
Manegar esdeveniments no esperats; reducció selectiva de
dades a processar en el temps i espai (resolució i lloc).
Explorem l’entorn de forma seqüencial i dependent de la tasca
que fem.
L’algorisme de control basat en aquests mecanismes es pot
aplicar a:
• Control preatentiu: esdeveniments i estructures no
previstos atreuen el focus d’atenció.
• Control atentiu (reconeixement d’una cara).
• Habituació: l’impacte de les estructures es redueix a
mesura que apareixen habitualment.
Jordi Vitrià 20391: Visió per Computador 24

25. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Mecanismes d’atenció.
Hi ha tres tipus d’inputs pels processos atentius:
• Dirigits per la tasca (p.e. Mentre caminem, la
selecció del punt de fixació és geomètrica).
• Dirigits per les característiques visuals, s’activa per
detectar esdeveniments no previstos o per fer
“wandering around”.
• Dirigits pel context, i útils pel reconeixement. La
posició del següent punt de fixació depèn del resultat
del processament de l’actual i de la seva posició.
Jordi Vitrià 20391: Visió per Computador 25

26. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Mecanismes d’atenció.
Jordi Vitrià 20391: Visió per Computador 26

27. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Mecanismes d’atenció.
(a) aesthetic group (b) semantic group
Jordi Vitrià 20391: Visió per Computador 27

28. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Mecanismes d’atenció.
Jordi Vitrià 20391: Visió per Computador 28

29. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Control de la direcció.
Jordi Vitrià 20391: Visió per Computador 29

30. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Control de la direcció.
Jordi Vitrià 20391: Visió per Computador 30

31. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Control de la direcció.
Jordi Vitrià 20391: Visió per Computador 31

32. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Control de la direcció.
Jordi Vitrià 20391: Visió per Computador 32

33. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Control de la direcció.
Jordi Vitrià 20391: Visió per Computador 33

34. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Control de la direcció.
Jordi Vitrià 20391: Visió per Computador 34

35. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Temps de contacte.
Jordi Vitrià 20391: Visió per Computador 35

36. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Temps de contacte.
Jordi Vitrià 20391: Visió per Computador 36

37. 20391: Visió per Computador
Apunts de l’assignatura
Comportament Visual
Exemple: Temps de contacte.
Jordi Vitrià 20391: Visió per Computador 37