20202_09_23 "Diseño de plataforma de monitorización de estudiantes en línea a través de la interacción hombre-máquina" - Roberto Daza García (X Jornadas eMadrid)

1. PLATAFORMA edBB:
Diseño de plataforma de monitorización de estudiantes en línea a través
de la interacción hombre-máquina
Roberto Daza García

2. 2
Mejoras ofrecidas por la plataforma edBB
Más Seguridad Mejor Aprendizaje
Identificación del alumno:
• Dinámica de tecleo
• Dinámica de ratón
• Reconocimiento facial
Detección de conductas anómalas:
• Estimación de pose
• Estimación de la mirada
Estimación del estado emocional:
Estimación de Carga Cognitiva:
• Estimación de pulso
• Detección de micro-gestos
• Detección de pestañeo
• Estimación de atención
• Pose y estimación de mirada

3. 3
edBB: Biometrics and Behavior for Assessing Remote Education

4. 4
edBB: Tecnologías para mejorar la seguridad
Reconocimiento e Identificación Facial:
o Conteo de usuarios
o Identificación de usuarios
Dinámica de Tecleo y Ratón:
o Actividad del usuario
o Identificación del alumno
edBB Behavioral Biometrics
edBB Face Recognition

5. 5
edBB: Tecnologías para mejorar la seguridad y el aprendizaje
Estimación de pose de la cabeza:
o Ángulos: yaw, roll, pitch
o Detección de conducta anómala
o Mejora de sistemas
Estimación y seguimiento de mirada:
o Uso de monitor, video, ratón
o Mapa de interés de la actividad
o Detección de conducta anómala
edBB Pose Estimation
edBB Gaze Estimation

6. 6
Estimación de pulso:
o Micro-cambios en la
pigmentación de la piel
o Detección de estado emocional
Estimación de atención:
o Frecuencia de pestañeo
baja implica alto nivel de
atención
o Detección de pestañeo a
través de Computer Vision
edBB Pulse Estimation
edBB Attention Estimation
edBB: Tecnologías para mejora del aprendizaje

7. 7
edBB: artículos científicos publicados
J. Hernandez-Ortega, R. Daza, A. Morales, J. Fierrez and R. Tolosana, “Heart Rate Estimation
from Face Videos for Student Assessment: Experiments on edBB”, in IEEE Computers,
Software, and Applications Conference, Madrid, 2020.
R.Daza, A.Morales, J.Fierrez and R.Tolosana, “mEBAL: A Multimodal Database for Eye Blink
Detection and Attention Level Estimation”, in ACM International Conference on Multimodal
Interaction, Utrecht, 2020.
J. Hernandez-Ortega, R. Daza, A. Morales, J. Fierrez and J. Ortega-Garcia, “edBB: Biometrics
and Behavior for Assessing Remote Education”, in AAAI Workshop on Artificial Intelligence
for Education, New York, 2019.
A. Acien, J.V. Monaco, A. Morales, R. Vera-Rodriguez, J. Fierrez, “TypeNet: Scaling up
Keystroke Biometrics,” Proc. of IAPR/IEEE International Joint Conference on Biometrics
(IJCB), Houston, USA, 2020.
Background del Grupo BiDA-Lab: más de 300 publicaciones en los últimos 20 años en
señales y sistemas biométricos, análisis del comportamiento y aplicaciones de la IA
BIOMETRICS @ UAM
http://biometrics.eps.uam.es/

8. 8
edBB: Vídeo de demostración.

9. ¡Muchas gracias!
Roberto Daza García
http://biometrics.eps.uam.es/