Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Autenticación Biométrica de Firma
Manuscrita Dinámica
Grupo de Reconocimiento Biométrico – ATVS
(http://atvs.ii.uam.es)
Un...
Grupo ATVS – Personal Líneas de Investigación
Huella
Dactilar
Escritor Bases de 
Datos
FirmaLocutor
Idioma
Iris
Biometría ...
 e‐BioFirma Rec. Firma Dinámica
• Funding from: Cecabank
• Period: 2014 – 2016
 Biografo 2.0: Identificación de Escritor...
Reconocimiento de Firma Biométrica
sample index
0 50 100 150 200 250 300 350 400
0
2000
4000
x
0 50 100 150 200 250 300 35...
Espacio Limitado
Mayor  Variabilidad
Intra‐Usuario
Útil / Dedo
Ergonomía
Posición
Falta de trayectorias ‘en
vuelo’
Calidad...
Escenario de adquisición (i)
 Información online (funciones temporales) + offline (imagen del grafo)
sample index
0 50 10...
 Normalización (necesaria siempre):
• Invarianza a la traslación
o coordenadas relativas al punto de comienzo, o al centr...
Representación por Características Locales
 Ejemplos de SecuenciasTemporales basadas en Características LocalesXYPAz
0 10...
Ejemplo: HMM
5 muestras entrenamiento
(x,y) como vectores de características
1 estado, 8 mezclas de Gaussianas
HMM DTW
3. ...
Signature Verification Competition, SVC-04
Sistemas
ATVS-UAM
SVC-04 con imitaciones
SVC-04 sin imitaciones
http://www.cs.u...
 3 evaluaciones públicas de referencia
 BioSecure Signature Evaluation Campaign, BSEC 2009
Evaluación sobre la ‘BioSecu...
 Adquisión de base de datos e‐BioSign
‐ Compuesta por 70 usuarios en 2 sesiones de captura. 5 dispositivos. 5000 firmas.
...
 Objetivo 1. Desarrollo de herramienta SignAnalyzer que permite realizar análisis 
forense y comparación de firmas dinámi...
5. Proyecto Biografo con DGGC
54
Reconocimiento Automático de Escritor
El problema
Preprocesado: segmentación
¿ ?
1980
Es...
57
Recorte y corrección de muestras capturadas
Resultados 2010-2011: Biógrafo v2.0
58
Resultados 2010-2011: Biógrafo v2.0
...
RETO 1: Caracterización de escenarios e
interoperabilidad de sensores
M. Martinez‐Diaz, J. Fierrez, R. P. Krish and J. Gal...
RETO 4: Adaptación a especificidades de usuarios
J. Fierrez, J. Ortega‐Garcia and J. Gonzalez‐Rodriguez, "Target Dependent...
Upcoming SlideShare
Loading in …5
×

Reconocimiento biométrico de firma manuscrita: fundamentos, avances y aplicaciones - Dr. Julián Fiérrez Aguilar

728 views

Published on

La conferencia comenzará con una breve introducción a los sistemas biométricos de reconocimiento y autenticación de personas, para después concentrarse en los sistemas biométricos basados en firma manuscrita. A partir de ahí se desarrollarán los fundamentos del reconocimiento automático de firmas manuscritas dinámicas capturadas con tabletas digitalizadoras y otro tipo de terminales táctiles, y el reconocimiento de imágenes de firmas escaneadas y otro tipo de información escrita. Finalmente se resumirán algunas aplicaciones industriales de este tipo de tecnologías que viene desarrollando el Grupo de Reconocimiento Biométrico ATVS de la Universidad Autónoma de Madrid, en concreto: 1) el sistema Biografo 2.0 de identificación de escritor desarrollado para el Servicio de Criminalística de la Dirección General de la Guardia Civil, y 2) el proyecto e-BioFirma, desarrollado con el patrocinio de Cecabank, que actualmente está incorporando funcionalidades de comparación automática de firmas manuscritas para más del 50% del sector bancario español.

Published in: Engineering
  • Be the first to comment

Reconocimiento biométrico de firma manuscrita: fundamentos, avances y aplicaciones - Dr. Julián Fiérrez Aguilar

  1. 1. Autenticación Biométrica de Firma Manuscrita Dinámica Grupo de Reconocimiento Biométrico – ATVS (http://atvs.ii.uam.es) Universidad Autónoma de Madrid, Spain Julián Fiérrez, Prof. Titular de Universidad (Con contribuciones de Javier Ortega, Marcos Martínez, Javier Galbally y Rubén Vera) Esquema de la Presentación 1. ATVS - ¿Quiénes Somos? 2. Tecnología de Reconocimiento de Firma 3. Competiciones Internacionales 4. Proyecto e-BioFirma con CECABANK 5. Proyecto Biografo con DGGC 6. Retos en Reconocimiento de Firma 1. Grupo ATVS Grupo ATVS – Líneas El grupo ATVS se crea en 1992 en la UPM, iniciado por los Catedráticos de Universidad,  en el área de Teoría de la Señal y Comunicaciones, Javier Ortega García y Joaquín  González Rodríguez Sus actividades de I+D+i abarcan diversos aspectos de los campos del tratamiento de  señales biométricas: clasificación de patrones, extracción de características, análisis  de la interacción hombre‐máquina, análisis estadístico de datos, etc. Actualmente, el grupo está formado por:  Personal de plantilla (9): 3 Catedráticos de Universidad, 3 Prof. Titulares de  Universidad, 2 Prof. Ayudante Doctor, 1 Prof. Asociado Investigadores Post‐Doctorales (1): 1 contratado Juan de la Cierva Investigadores Pre‐Doctorales (7): 5 contratados FPI/FPU, 2 contratados con cargo  a proyectos. Otros Investigadores (>15): investigadores jóvenes vinculados a contratos, diversos  becarios de PFC.
  2. 2. Grupo ATVS – Personal Líneas de Investigación Huella Dactilar Escritor Bases de  Datos FirmaLocutor Idioma Iris Biometría  Forense SeguridadMultibiometría Cara Grupo ATVS – Méritos Científicos Participación initerrumpida en el Plan Nacional de I+D+i desde 1994 (CogniMetrics, Bio‐ Shield, Bio‐Challenge, TeraSense, BiosecurID, BioPass), y en proyectos CENIT/AVANZA. Participación en el Plan Regional CAM, entre 2006 y 2013 (CONTEXTS). Participación en Proyecto Europeos: FP5, FP6 (BioSec, Biosecure), FP7 (BEAT, TabulaRasa,  BBfor2), H2020 (TRIBE+). Contratos Internacionales y Nacionales con el Sector productivo: Google Research Award,  Australian Research Council, NIST – USA, Dirección General de la Guardia Civil,  Centro Criptológico Nacional, Cecabank, BBVA, ETS, Telefónica. Organización de Congresos Científicos:  IEEE ICCST Carnahan‐2016, URSI 2016, ICB‐2013,  ICB‐09, BioID_MultiComm‐09, ISCA/IEEE Odyssey‐04. Organización y Participación en Evaluaciones Tecnológicas Competitivas: NIST 2001‐2016,  BTAS 2016, FVC‐06, BMEC 2007, SVC‐04. Producción Científica (últimos 5 años): 4 libros completos, 5 capítulos de libro,  31 artículos  en revistas de impacto, 70 comunicaciones en Congresos Internacionales, más de 4.000  citas a sus trabajos; J. Ortega y J. Fiérrez con índices h≥40. 10 Tesis Doctorales leídas Colaboración científica (estancias, artículos), más de 30 grupos de prestigio internacional.  BEAT, TABULA RASA (FP7 EU, STREP) • Participants: ATVS + 8 European institutions • November 2010 – May 2016: BIOMETRIC SECURITY  TeraSense (Consolider‐Ingenio 2010) • Participants : 16 Spanish Universities • December 2008 – November 2013: BIOMETRICS BEYOND THE VISIBLE  Bio‐Residence, BBfor2 (FP6‐FP7 EU, Marie Curie Actions) • Participants : ATVS, Michigan State University, + 8 European institutions • April 2007 – December 2013: RESEARCH MOBILITY IN BIOMETRICS  BioSec, BioSecure (FP6 EU, IP and NoE) • Participants : 29 European institutions, incl. ATVS • December 2003 – September 2007: BIOMETRIC DATABASES AND RESOURCES  COST‐275, COST‐2101 (ESF EU, COST Actions) • Participants : +15 European Countries • May 2001 – September 2010: BIOMETRIC RESEARCH NETWORKING  MARTA, IDENTICA (CENIT, AVANZA) • July 2007 – December 2010 • Entornos Seguros, Seguridad Vehicular Avanzada  CONTEXTS (Comunidad de Madrid) • Participants: ATVS, UAH, UPM, UC3M • January 2010 – December 2013: NEW BIOMETRIC APPLICATIONS  Bio‐Shield, MCYT Bimodal, Biosecur‐ID, Bio‐Pass, Bio‐Challenge (MINECO, MCYT) • December 2000 – November 2015: BASIC RESEARCH IN BIOMETRICS Proyectos Públicos – Selección
  3. 3.  e‐BioFirma Rec. Firma Dinámica • Funding from: Cecabank • Period: 2014 – 2016  Biografo 2.0: Identificación de Escritor • Funding from: Ministerio del Interior • Period: November 2010 – October 2011  Cátedra Telefónica – UAM • 2010‐2015  GOOGLE, MetaDatos en Identificación Locutor • 2009‐2010  Facial Recognition • Funding from: Ministerio del Interior • Period: January 2012 – December 2013  Common Criteria Development • Funding from: Ministerio de Defensa • Period: January 2009 – December 2010  Automatic Writer & Latent Fingerprint ID • Funding from: Ministerio del Interior • Period: January 2009 – December 2010  Signature Verification over TabletPC • Period : October 2004 – March 2005 Contratos Privados – Selección Grupo ATVS – Premios y Distinciones Premio “Miguel Catalán” a investigadores de menos de 40 años de la CAM a Julian Fierrez  (02/2016). Medalla en los Premios Jóvenes Investigadores de la Real Academia de Ingeniería a Julian  Fierrez (11/2015). EAB European Biometric Industry Award a Marta Gomez‐Barrero (09/2015). Siew‐Sngiem Best Paper Award en ICB 2015 (05/2015). EAB European Biometric Industry Award a Marcos Martinez‐Diaz (09/2014). Premios del COIT (2013) a los PFC: 1er Premio CASSIDIAN en Comunicaciones Seguras y  Ciberseguridad (F. M. Espinoza); 2º Premio CASSIDIAN en Comunicaciones Seguras y  Ciberseguridad (M. Moreno); 2º Premio UNITECO en NuevasTecnologías para la  Gestión Mejorada de Riesgos (E. González). EURASIP Best PhD Award, mayor impacto en Procesado de Señal y Comunicaciones (J.  Fiérrez, 06/2012). Premios del COIT (2012) a los PFC: Premio BancoSabadell a las MejoresTecnologías para  Aplicaciones Bancarios (J. Franco). MejorTesis Doctoral de la UAM (J. Galbally, 09/2011). Premios del COIT (2011) a los PFC: Premio ISDEFE al mejor PFC en Seguridad y Defensa (M. Puertas).  9th European Biometrics Research Award organized by the EAB (European Association for  Biometrics).   Winner of the Industry Award: Marta Gómez Barrero, ATVS, UAM, for the work: “Fully Unlinkable and Irreversible Template Protection Based on Bloom Filters”. European Biometrics Industry Award 2015 http://www.eab.org/award/reports/report2015.html  8th European Biometrics Research Award organized by the EAB (European Association for  Biometrics).   Winner of the Industry Award: Marcos Martínez Díaz, ATVS, UAM, for the work: “Graphical  Password‐based User Authentication with Free‐form Doodles”. European Biometrics Industry Award 2014 http://www.eab.org/award/reports/report2014.html?ts=1410595407633
  4. 4. Reconocimiento de Firma Biométrica sample index 0 50 100 150 200 250 300 350 400 0 2000 4000 x 0 50 100 150 200 250 300 350 400 0 1000 2000 y 0 50 100 150 200 250 300 350 400 0 500 1000 z 0 50 100 150 200 250 300 350 400 1000 1200 1400 azimuth 0 50 100 150 200 250 300 350 400 400 500 600 altitude J. Fierrez, and J. Ortega‐Garcia, “On‐Line Signature Verification”, Chapter 10 in Handbook of  Biometrics, A.K. Jain, A. Ross and P. Flynn (eds.), Springer, pp. 189‐209, 2008.  D. Impedovo and G. Pirlo, “Automatic Signature Verification: The State of the Art” IEEE  Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, Vol. 38, No. 5,  pp. 609‐635,  September 2008. 2. Reconocimiento de Firma Introducción  La firma manuscrita es uno de los rasgos biométricos con mayor aceptación social como medio de autenticación de documentos, habiéndose usado desde siglos para realizar transacciones y validar documentos legales.  El reconocimiento automático de firma mantiene en la actualidad algunos retos de carácter general:  Alta variabilidad intra‐usuario (biometría conductual, inter‐sesión…)  Se requieren varias muestras de la firma del usuario genuino (no siempre será posible, dependerá del tipo de aplicación).  Variabilidad intra‐usuario pequeña (posible existencia de imitaciones entrenadas, skilled forgeries); baja permanencia temporal El grado de semejanza entre la imitación y el original es impredecible Firmas genuinas Skilled Forgery Alta variabilidad Baja variabilidad Motivación  Enorme proliferación de dispositivos con capacidad de captura de información manuscrita.  Dispositivos ‘de sobremesa’:  • Alta calidad de captura • Sensores con capacidad para adquirir información digital instantánea a  frecuencias de 100 ~200 muestras/seg • Información de desplazamiento (ejes x e y), de presión, y de ángulos (azimut y elevación) del útil respecto al plano de firma. • Es posible capturar la información de trazos ‘en vuelo’  Dispositivos móviles:  • Universalidad y ubiquidad de las soluciones • Calidad de captura heterogénea • Sensores limitados en su capacidad de adquisición • Ergonomía, potencial problema
  5. 5. Espacio Limitado Mayor  Variabilidad Intra‐Usuario Útil / Dedo Ergonomía Posición Falta de trayectorias ‘en vuelo’ Calidad de  Muestreo Falta de Información de Presión Verificación de Firma en Movilidad 2. Proceso de Autenticación Etapas en el Proceso de Autenticación 1. Adquisición de Datos y Pre‐Procesado 2. Extracción de Características 3. Cáculo de Similitud (Matching) 1. Adquisición de Datos y Pre‐Procesado 2. Extracción de Características 3. Cálculo de Similitud (Matching) Etapas en el Proceso de Autenticación
  6. 6. Escenario de adquisición (i)  Información online (funciones temporales) + offline (imagen del grafo) sample index 0 50 100 150 200 250 300 350 400 0 2000 4000 x 0 50 100 150 200 250 300 350 400 0 1000 2000 y 0 50 100 150 200 250 300 350 400 0 500 1000 z 0 50 100 150 200 250 300 350 400 1000 1200 1400 azimuth 0 50 100 150 200 250 300 350 400 400 500 600 altitude Altitude (0°-90°) 90° 270° 0° Azimuth (0°-359°) 180° Altitude (0°-90°) 90° 270° 0° Azimuth (0°-359°) 180° Información Dinámica – On-Line  La información dinámica – online (presión, velocidad, aceleración) mejora mucho la separación entre firmas genuinas, imitaciones y casuales  Información online (funciones temporales) Escenario de adquisición (ii) 0 50 100 150 200 250 300 350 400 0 2000 4000 x 0 50 100 150 200 250 300 350 400 0 1000 2000 y 0 50 100 150 200 250 300 350 400 0 500 1000 z 1400 • La tableta captura muestras de la posición del útil a lo largo de la trayectoria de firma • Se define una frecuencia de muestreo: n puntos por segundo (100 ~ 200 hz.) • Los puntos están equiespaciados en el tiempo, no en su ubicación espacial Adquisición de la Firma: Muestreo Espacial
  7. 7.  Normalización (necesaria siempre): • Invarianza a la traslación o coordenadas relativas al punto de comienzo, o al centro de masas … o coordenadas relativas al punto anterior (∆ , ∆ ) • Invarianza con la escala o Ajuste a tamaño prefijado • Invarianza a la rotación o Detección y giro respecto a  eje principal  Remuestreo (no siempre necesario):  • Se reduce o se normaliza el número de muestras para obtener puntos  equidistantes en el espacio. • Problemas: pérdida potencial de información • Solución: Inserción de puntos críticos (cambio de trayectoria, comienzo y final  de firma, …) como guía de remuestreo.  ... Adquisición de Firma: Pre-Procesado 1. Adquisición de Datos y Pre-Procesado 2. Extracción de Características 3. Cálculo de Similitud (Matching) Etapas en el Proceso de Autenticación Representación por Características Globales  Ejemplos de Características Globales XYPAz 0 100 200 300 Al Signature Representation: Global Features  Examples of Global Features XYPAz 0 100 200 300 Al 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 0 5 10 15 20 25 Signature duration (Feature num. 1) Numberofpen-ups(Featurenum.2) Genuine signatures from all users Specific user signatures Skilled forgeries 0 50 100 150 200 250 300 350 400 450 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 Averagepenspeed(Featurenum.26) Genuine signatures from all users Specific user signatures Skilled forgeries
  8. 8. Representación por Características Locales  Ejemplos de SecuenciasTemporales basadas en Características LocalesXYPAz 0 100 200 300 Al Aportación relativa de cada Secuencia 0 2 4 6 8 10 12 x, y x, y, p x, y, p, γ x, y, p, γ, Ф x, y, p, θ x, y, p, θ, v x, y, p, θ, v, ρ w = x, y, p, θ, v, ρ, a [w, Δw] EER (%) 0.2 0.5 1 2 5 10 20 40 0.2 0.5 1 2 5 10 20 40 Tasa de Falsa Aceptación (%) TasadeFalsoRechazo(%) x,y x,y,p x,y,p,γ x,y,p,Φ 0.2 0.5 1 2 5 10 20 40 0.2 0.5 1 2 5 10 20 40 Tasa de Falsa Aceptación (%) TasadeFalsoRechazo(%) x,y,p,θ x,y,p,θ,v x,y,p,θ,v,ρ x,y,p,θ,v,ρ,a 1. Adquisición de Datos y Pre‐Procesado 2. Extracción de Características 3. Medida de Similitud (Matching) Etapas en el Proceso de Autenticación Enfoques usando Secuencias Temporales Modelos Ocultos de Markov Alineamiento Temporal Dinámico Correspondencia punto a puntoModelado Estadístico de las Regiones de la Firma
  9. 9. Ejemplo: HMM 5 muestras entrenamiento (x,y) como vectores de características 1 estado, 8 mezclas de Gaussianas HMM DTW 3. Competiciones Internacionales Competición SVC 2004  Escenario: Firma dinámica capturada con tableta Wacom  Número de firmantes: 40  Entrenamiento: • Auténticas: 5 firmas genuinas de la primera sesión. • Reconocimiento: • Auténticas: Las 10 firmas restantes de la segunda sesión. • Imitaciones Casuales: 20 firmas tomadas aleatoriamente de 20 usuarios distintos (entre sí y del usuario objetivo). • Falsificaciones: Las 20 falsificaciones disponibles. D. Yeung, et al., “SVC2004: First International Signature Verification Competition”, Proc. of Intl. Conf. on Biometric Authentication, ICBA-04, pp.: 16–22, Springer LNCS-3072, July 2004.
  10. 10. Signature Verification Competition, SVC-04 Sistemas ATVS-UAM SVC-04 con imitaciones SVC-04 sin imitaciones http://www.cs.ust.hk/svc2004/  BioSecure Multimodal Database  667 donantes  Equilibrio entre géneros; 18~65, distribución de edades  Dos dispositivos de firma para todos los usuarios  Tablet  Dispositivo Móvil  2 sesiones separadas meses; cada uno dividida en 3 bloques de 5 firmas  Permite la comparación sistemática de ambos dispositivos de captura  Imitaciones de muy alta calidad  Las imitaciones se hicieron conociendo la dinámica específica de cada firma;  incluso era posible firmar sobre la imagen de la firma objetivo. J. Ortega-Garcia, J. Fierrez, et al., “The Multi-Scenario Multi-Environment BioSecure Multimodal Database”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010 Evaluación de Rendimiento: Bases de Datos  Algunas muestras de ‘BioSecure Multimodal DB’: Tablet Móvil Evaluación de Rendimiento: Bases de Datos Sin Imitaciones Con Imitaciones Incremento de EERs  3 evaluaciones públicas de referencia  BioSecure Multimodal Evaluation Campaign, BMEC 2007 Evaluación sobre la ‘BioSecure Multimodal Database’ Firma dinámica capturada con dispositivo móvil http://biometrics.it-sudparis.eu/BMEC2007/ Evaluación de Rendimiento, BMEC2007
  11. 11.  3 evaluaciones públicas de referencia  BioSecure Signature Evaluation Campaign, BSEC 2009 Evaluación sobre la ‘BioSecure Multimodal Database’ Tarea 1: Móvil vsTablet, interoperabilidad entre sensores http://biometrics.it-sudparis.eu/BSEC2009/ Evaluación de Rendimiento: Comparación Sistemas ATVS-UAM, clasificados en 1er lugar  3 evaluaciones públicas de referencia  BioSecure Signature Evaluation Campaign, BSEC 2009 Evaluación sobre la ‘BioSecure Multimodal Database’ Tarea 2: Efecto de la variabilidad temporal  http://biometrics.it-sudparis.eu/BSEC2009/ Evaluación de Rendimiento: Comparación Sistemas ATVS-UAM, clasificados en 1er lugar  Evaluación competitiva en comparación 1 a 1 de firmas online y offline (escenario típico de  cotejo forense)  3 tareas diferentes: sólo online, sólo offline, combinación offline + online Competición SigComp 2009: Resultados Vivian L. Blankers, C. Elisa van den Heuvel, Katrin Franke, Louis Vuurpijl: “ICDAR 2009 Signature Verification Competition”, Proc. of ICDAR 2009, pp: 1403-1407. http://sigcomp09.arsforensica.org/ Combinación offline + online  ATVS‐UAM, 1er clasificado 4. Proyecto e-BioFirma con CECABANK
  12. 12.  Adquisión de base de datos e‐BioSign ‐ Compuesta por 70 usuarios en 2 sesiones de captura. 5 dispositivos. 5000 firmas.  Solución A: Comparación de Datos Biométricos de Firmas Manuscritas Digitalizadas en el  Ámbito Forense. ‐ Nueva versión de Herramienta Forense SignAnalyzer para análisis y comparación de  firmas dinámicas. Mejora muy significativa respecto versión inicial.  ‐ Desarrollo de módulo de comparación de firmas dinámicas basado en funciones  temporales de las firmas y algoritmo de comparación DynamicTime Warping (DTW).  Objetivos Proyecto e-BioFirma1 (Solución A) Base de Datos e-BioSign • Esquema de captura multi‐dispositivo • Permite abordar la problemática de robustez en escenarios de inter‐ operabilidad • 5 dispositivos (3 tabletas Wacom y 2 dispositivos Samsung) • Incluye muestras tanto de firma como de escritura • Se considera también la escritura con el dedo sobre pantalla (entornos de  movilidad) • 70 usuarios, 2 sesiones de captura separadas algunas semanas • Para cada usuario, se cuenta con un total de 7 firmas en cada sesión: 4  genuinas y 3 imitaciones entrenadas • Un total de 560 firmas genuinas y 420 imitaciones entrenadas R. Vera-Rodriguez, R. Tolosana, J. Ortega-Garcia and J. Fierrez, "e-BioSign: Stylus- and Finger-Input Multi-Device Database for Dynamic Signature Recognition", in Proc. IWBF 2015. Dispositivos empleados en e-BioSign 1.Wacom STU‐500. 2.Wacom  STU‐530. 3.Wacom  DTU‐1031. 4.Tablet Samsung Galaxy Note 10.1 5.Tablet Samsung Ativ 7. (2) (3) (4) (5) (1) El objetivo ha sido el desarrollo de una herramienta de análisis grafístico forense  (SignAnalyzer) que permitiera que los peritos grafísticos pudieran analizar firmas  biométricas dinámicas • Caraterísticas básicas de SignAnalyzer: • Es compatible con el análsis análisis tradicional de firma estática sobre papel  • Puede trabajar simultáneamente con varias firmas (dubitadas e indubitadas),  reproduciendo sus características dinámicas, permitiendo el alineamiento  temporal y espacial de las mismas, posibilitando la selección de trazos específicos  para un análisis de detalle (ángulos, distancias, velocidad) • Incorpora medidas cuantitativas de parámetros ‘subjetivos’ como el temblor y la  fluidez de las firmas. • Da apoyo estadístico al perito forense sobre algunos parámetros especialmente  relevantes (duración de la firma, fluidez, temblor, …) • Incluye un sistema de reconocimiento de firma biométrica dinámica basado en  relaciones de verosimilitud (likelihood ratios, LRs) La herramienta grafística forense SignAnalyzer
  13. 13.  Objetivo 1. Desarrollo de herramienta SignAnalyzer que permite realizar análisis  forense y comparación de firmas dinámicas.   Posibilidad de realizar un cotejo “tradicional” con información de la imagen.  Adicionalmente, inclusión de conjunto amplio de funcionalidades para analizar la  información dinámica, estadísticas poblacionales, y comparación automática.   Carga de varias firmas simultáneamente, permitiendo realizar análisis tanto espacial como  temporal. Permite realizar normalización espacial y temporal. La herramienta SignAnalyzer (i) Análisis multi-firma con superposición Análisis multi-firma con superposición  Análisis individual de cada firma:  Visualización de realización de la firma (video), incluyendo la información en vuelo.  Selección de trazos de la firma para análisis de detalle. Permite la selección desde la  imagen espacial como desde la información temporal.  La herramienta SignAnalyzer (ii) Gradiente de color presión y velocidad Gradiente de color presión y velocidad  Análisis en detalle de trazos seleccionados. Funcionalidades: medidas de longitud, ángulos,  áreas,  zoom, rotación, desplazamientos laterales, visualización de muestras de la firma, etc.  Análisis estadístico de varios parámetros (duración, velocidad, aceleración, fluidez y temblor)  sobre población de firmas de referencia para dotar de apoyo estadístico el informe del  experto forense.   La herramienta SignAnalyzer (iii) Trayectoria de vuelo del bolígrafo durante el recorrido Trayectoria de vuelo del bolígrafo durante el recorrido Estadística poblacional: velocidad, duración, aceleración, fluidez y temblor Estadística poblacional: velocidad, duración, aceleración, fluidez y temblor  Objetivo 2. Desarrollo de sistema de comparación de firmas dinámicas en el ámbito de oficina bancaria basado en DTW.  Evaluación de rendimiento del sistema desarrollado, en comparación con la tecnología de Cecabank (valores de EER), sobre base de datos BioSecure: CECABANK Solución B Cecabank ATVS Comp. 1:1 8,8 % 1,1 % Comp. 5:1 6,9 % 0,3 % Cecabank ATVS Comp. 1:1 16,8 % 8,0 % Comp. 5:1 13,7 % 5,6 % EER (%) Comparaciones entre usuarios genuinos EER (%) Comparaciones con imitaciones de firmas
  14. 14. 5. Proyecto Biografo con DGGC 54 Reconocimiento Automático de Escritor El problema Preprocesado: segmentación ¿ ? 1980 Estudios individuales: No evaluaciones competitivas EER≈25%: comparaciones 5:1 SER≈10% (sólo líneas) 2009  ICDAR 2009 Sig. Verif. Comp.: EER=9.15% Condiciones forenses 1:1 EER≈3%: comparaciones 5:1 SER=3.1%: error de segmentación (líneas+palabras)  Evolución de la solución Reconocimiento 2005 SAIG BIÓGRAFO V1.0 55 Resultados 2009-2010 Desarrollo de mejoras sobre la capacidad de identificación de Biógrafo v1.0 (prototipos MATLAB sin interfaz gráfico):  Motor de reconocimiento 1 con características: de gradiente, estructurales, de concavidad y geométricas  Motor de reconocimiento 2 con otras características locales de contorno: dirección, curvatura, coocurrencia de direcciones y run- length  Motor de reconocimiento 3 con características de emisión alográfica  Fusión de los tres sistemas de reconocimiento Top 1 Top 5 Top 10 78 % 88% 97% Top 1 Top 5 Top 15 93 % 100% 100% Bv1.0 Mejoras sobre Bv1.0 56 Resultados 2010-2011: Biógrafo v2.0 Desarrollo de Biógrafo v2.0: herramienta de apoyo al experto a través del cálculo objetivo de similitud en reconocimiento de escritor.  Alta modularidad y escalabilidad  Herramienta de gestión de grandes bases de datos  Herramientas de segmentación y de edición gráfica  Herramientas de reconocimiento selectivo  Facilidad de uso del interfaz gráfico  Funcionamiento sobre cualquier plataforma (prog. en Java) Bv1.0 Mejoras 2009-2010 BIOGRAFO V2.0 +
  15. 15. 57 Recorte y corrección de muestras capturadas Resultados 2010-2011: Biógrafo v2.0 58 Resultados 2010-2011: Biógrafo v2.0 Gestión de usuarios, documentos y muestras 59 Resultados 2011: BD de Escritor DGGC Digitalización de documentos indubitados y dubitados (550 usuarios, 1-8 docs/usuario) Utilización de Biógrafo v2.0:  Creación de una DB relacional: usuarios-documentos-caracteres  Gestión de la DB  Captura de caracteres: (5 muestras x 60 caracteres x 550 usuarios ≈ 165.000 muestras)  Pruebas de reconocimiento sobre la DB (en desarrollo) 6. Retos en Reconocimiento de Firma
  16. 16. RETO 1: Caracterización de escenarios e interoperabilidad de sensores M. Martinez‐Diaz, J. Fierrez, R. P. Krish and J. Galbally, "Mobile Signature Verification: Feature Robustness and Performance  Comparison", IET Biometrics, Vol. 3, n. 4, pp. 267‐277, December 2014. Caracterización Base de conocimiento Caracterización Base de conocimiento RETO 2: Uso continuo de información de contexto P. Aleksic, M. Ghodsi, et al. “Bringing Contextual Information to Google Speech Recognition”, Interspeech, 2015. F. Alonso‐Fernandez, J. Fierrez, and J. Ortega‐Garcia, “Quality Measures in Biometric Systems”, IEEE Security & Privacy, December 2012. F. Alonso‐Fernandez, J. Fierrez, et al., "Quality‐Based Conditional Processing in Multi‐Biometrics: application to Sensor Interoperability",  IEEE Trans. on Systems, Man and Cybernetics A, Vol. 40, n. 6, pp. 1168‐1179, 2010. Calidad de Señal,  Información del  Sensor, etc. Caracterización Base de conocimiento 0.1 0.2 0.5 1 2 5 10 20 40 0.1 0.2 0.5 1 2 5 10 20 40 FAR (in %) FRR(in%) HMM System BID 1−2 BID 1−3 BID 1−4 BID 1 − Bure1 BID 1 − Bure2 RETO 3: Adaptación de modelos con el tiempo J. Galbally, M. Martinez‐Diaz and J. Fierrez, "Aging in Biometrics: An Experimental Analysis on On‐Line Signature", PLOS ONE, July 2013. 2 meses 4 meses 6 meses 12 meses 15 meses 2 meses 4 meses 6 meses 12 meses 15 meses Probabilidad Puntuaciones RETO 3: Adaptación de modelos con el tiempo 0.1 0.2 0.5 1 2 5 10 20 40 0.1 0.2 0.5 1 2 5 10 20 40 FAR (in %) FRR(in%) HMM System BID1−Bure13 Bure11−Bure13 BID1+Bure11−Bure13 Bure11+Bure12−Bure13 Referencia: 12 meses (4 firmas) Registro actual (4 firmas) Registro mixto (4 + 4 firmas) Registro completo (8 firmas) J. Galbally, M. Martinez‐Diaz and J. Fierrez, "Aging in Biometrics: An Experimental Analysis on On‐Line Signature", PLOS ONE, July 2013.
  17. 17. RETO 4: Adaptación a especificidades de usuarios J. Fierrez, J. Ortega‐Garcia and J. Gonzalez‐Rodriguez, "Target Dependent Score Normalization Techniques and their Application to Signature Verification", IEEE Trans. on Systems, Man and Cybernetics‐C, August 2005.  Caracterización  del firmante Caracterización Base de conocimiento firmante 1 firmante N RETO 5: Aprovechamiento de datos masivos Caracterización Base de conocimiento Big Data Deep Learning info anónima Ignacio Lopez‐Moreno, Javier Gonzalez‐Dominguez, Oldrich Plchot, "Automatic Language  Identification Using Deep Neural Networks", Proc. IEEE ICASSP, May 2005.  Autenticación Biométrica de Firma Manuscrita Dinámica Grupo de Reconocimiento Biométrico – ATVS (http://atvs.ii.uam.es) Universidad Autónoma de Madrid, Spain

×