A presentation about the evolution of biometric technologies based on voice and forensic aspects.

1. Mauro Falcone
Fondazione Ugo Bordoni
Audio and Speech Technologies Evangelist
La biometria vocale nelle investigazioni
Roma, Caserma “V.B. MOVM Salvo D’acquisto”, 13 luglio 2017
L’evoluzione della biometria vocale
sino alle attuali applicazioni nel
settore della sicurezza

2. 2
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
SOMMARIO
Il sistema IDEM e la Fondazione Bordoni
Il problema delle metriche e della valutazione
Il problema degli "attacchi"
(ovvero non si può mai stare tranquilli…)

3. 3
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Il sistema IDEM e la Fondazione Bordoni
Il problema delle metriche e della valutazione
Il problema degli "attacchi"
(ovvero non si può mai stare tranquilli…)
IDEM

4. 4
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM il concepimento
9 maggio 1978
con una telefonata di Valerio Morucci, le
Brigate Rosse annunciarono l'avvenuta
uccisione dell’on. Aldo Moro
Perizia sulla voce di Antonio Negri:
• consulenza linguistica di John
Trumper, consulente di parte
nominato da Antonio Negri,
(telefonata anonima del 26 aprile 1978)
• consulenza di Antonio Federico, del
gennaio 1980, relativa alla relazione
di perizia di Oscar Tosi e alle relazioni
di perizia di Giovanni Ibba, Andrea
Paoloni e Roberto Piazza (telefonate
anonime fatte alla famiglia Moro)
• consulenza di Gino Sacerdote sulla
attribuzione ad Antonio Negri della
telefonata anonima,
(telefonata anonima del 30 aprile 1978)

5. 5
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM la nascita

6. 6
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM la nascita

7. 7
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM e la Fondazione Ugo Bordoni (FUB)

8. 8
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
IDEM l’evoluzione

9. 9
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM ARES per l’estrazione dei parametri ( le formanti )

10. 10
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM SPREAD per l’analisi statistica ed i test

11. 11
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM cosa fa in più…. (i fondamentali!)
 Oltre alle "tabelle di likelihood" SPREAD integra per calcolare i valori di probabilità,
che sono poi i veri numeri che ci interessano
(forse… standard forense permettendo)
La Probabilità La Probabilità
di Falsa Identificazione di Falsa Reiezione

12. 12
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
IDEM i punti di forza: le formanti e la statistica
Il sistema/metodo proposto (SPREAD)
• soddisfa i requisiti definiti dallo standard di Daubert
• in generale, deve essere chiaro che non può dare una risposta assoluta
(ovvero ‘certezza’), ma tratta una prova scientifica che comporta sempre
il trattamento di condizioni di incertezza
• permette di quantificare questa incertezza attraverso la stima di specifiche ‘probabilità’
• tratta, nello specifico, delle probabilità condizionate delle due ipotesi antagoniste
data la ‘certa evidenza’ (ovvero le misure sulla voce)
• infine con Bayes calcoliamo la verosimiglianza,
che è il vero (e unico!) valore di nostro interesse
(superamento dei limiti dei test a due livelli)
"odds" a Posteriori = verosimiglianza X "odds" a Priori
solo questa compete al perito
nota al giudicante
prima della prova/evidenza
nota al giudicante
dopo la testimonianza/evidenza

13. 13
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Il sistema IDEM e la Fondazione Bordoni
Il problema delle metriche e della valutazione
Il problema degli "attacchi"
(ovvero non si può mai stare tranquilli…)
METRICHE & VALUTAZIONE

14. 14
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Speaker Verification
Speaker Recognition
Speech Recognition
Speech Synthesis
Speech Coding
Language Recognition
Spoken Language Understanding
. . . . .
. . . . .
performance
Quanto funziona bene?
security
Campagne di valutazione pubbliche
costituiscono il benchmark di riferimento
per Aziende e Centri di ricerca. Le metriche e
le metodologie (le "regole del gioco ") sono
ampliamente accettate dalla comunità.
Ma non è sempre sufficiente!
Non è necessariamente quello che serve!

15. 15
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Di cosa abbiamo certamente bisogno?
 dataset
 metadata
 protocolli
 open data
database

16. 16
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
utente legittimo
è riconosciuto
impostore
è rifiutato
utente legittimo
è rifiutato
impostore
è accettato
soglia
valutare la biometria vocale nella sicurezza
È anche possibile definire delle funzioni di costo che
teoreticamente possono considerarsi indipendenti dalla
applicazione, ma queste non sono il risultato di semplici e
immediati procedimenti, né sono, in realtà, di immediata
intuizione nelle loro finali risultanze.
Tuttavia sono oramai considerate il benchmark nelle campagne
di valutazione (si veda ad esempio l’ultimo NIST SRE 2016)

17. 17
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Se fino al 2010 si è prevalentemente
operata una valutazione basta su hard
threshold, negli ultimi anni un approccio
bayesiano, basato sulla verosimiglianza
(likelihood), si è affermato in tutti gli ambiti
di valutazione.
L’importanza della verosimiglianza

18. 18
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
A volte per avere una descrizione ‘semplice’ di
concetti statistici è consigliabile rivolgersi a
spiegazioni relative al campo medico/sanitario
"odds" la parola che non c’è

19. 19
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Sicurezza e Forense
Una valutazione basata su ‘decisione secca’ o
anche su ‘funzioni di costo’ è certamente utile
per la valutazione dei sistemi vocali di biometria
per la sicurezza. Pur con tutti i suoi limiti
operativi, è per lo più un esercizio ‘accademico’,
ma nel senso buono del termine.
Nell’ambito del forense il perito può solo
stimare la verosimiglianza che i dati a lui forniti
determinano in relazione all’ipotesi accusatoria
(o difensiva). Ma come possiamo valutare il
valore di verosimiglianza? Una metodologia
simile a quella per la sicurezza è solo un ripiego.

20. 20
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
ODDS
1:10
100:1
100:1
1:10
Facciamo una ‘scommessa’ ?
Chi arriverà prima ?
uomo anziano
uomo in spider

21. 21
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Ma è tutto così semplice?
likelihood ratio log(likelihood ratio) evidenza
>10.000 >4 forte
1.000 - 10.000 3-4 discreta
100 - 1.000 2-3 moderata
10 -100 1-2 debole
1- 10 0-1 insufficiente
1 0 nulla
Non tutti i sistemi forniscono valori ‘normalizzati’ a tale scala, e comunque le
normalizzazioni sono sempre/spesso arbitrarie
Il confronto tra diversi sistemi può essere operato per ‘categorie’, ma c’è il problema
dei valori ‘border line’ (si può solo stimarsi una generica compatibilità tra sistemi)
Non è possibile determinare un valore ‘target di verosimiglianza’ a cui i sistemi
devono tendere per un confronto. Questo è il problema fondante per il forense.

22. 22
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Il sistema IDEM e la Fondazione Bordoni
Il problema delle metriche e della valutazione
Il problema degli "attacchi"
(ovvero non si può mai stare tranquilli…)
ATTACCHI

23. 23
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Supponiamo di avere un sistema di biometria vocale con
prestazioni ottime, che ci fanno stare più che tranquilli:
• la nostra voce viene sempre* riconosciuta;
• la voce di un’altra persona viene sempre* bloccata.
Possiamo stare tranquilli !
* ‘sempre’ ovviamente significa con prestazioni altissime
E invece no… dobbiamo infatti considerare che
nell’ambito della sicurezza (e del forense) esiste una
terza categoria di attori, che solo negli ultimi anni è
entrata in gioco e ha scombinato tutte le carte.
Gli "attaccanti" !
La perfezione non è di questo mondo

24. 24
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
state of art
spoofing
100
False
Acceptance
Rate
[in%]
False Rejection Rate [in%] 100
0
Voice Biometrics
Performance
. .
countermeasures
Cosa succede quando siamo sotto attacco?

25. 25
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
OCTAVE* correctly classified
more than 92% of “these”
unseen artificial speech
* OCTAVE (Objective Control for Talker Verification) è un progetto Europeo H2020
https:www.octave-project.eu
Si inizia a fare qualcosa… (almeno nella sicurezza)

26. 26
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Il problema degli attacchi
(spoofing) è solo agli albori, e
potrà essere fattore decisivo
nella determinazione delle
tecnologie biometriche nella
sicurezza.
Ma anche il forense e le
investigazioni potranno,
anzi saranno sicuramente,
affetti da questa vecchia
"novità".
Spoofing: una vecchia "novità"

27. 27
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Sarà una storia infinita?
* Si consideri ad esempio, in un campo di ‘cyber-security’ diverso da quello qui affrontato,
ed danni subiti a causa di nuovi attacchi come nei casi di WannaCry e Petya (si stima 5$ miliardi)
Non è sufficiente quindi avere un sistema con
alte prestazioni, il sistema deve essere robusto a
‘manipolazioni’ di ogni genere ed in particolare
ad attacchi di esperti e non.
Me le tecniche e la potenza degli attacchi*
crescono e si rinnovano anche in funzione delle
protezioni prese.
C’è il rischio quindi di cadere in un circolo vizioso
apparentemente senza via di uscita.
Ma solo apparentemente…
il prossimo passo la ‘cognitive biometrics’
e nel forense?
siamo pronti a fronteggiare attacchi di
esperti (e non), che distraggono con segnali
artefatti i dati dell’indagine/confronto, e che
possono screditare l’efficacia di un sistema
comunque di alte prestazioni?
Forse è ora di pensarci !

28. 28
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza

29. 29
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
Mauro Falcone
Fondazione Ugo Bordoni
Audio and Speech Technologies Evangelist
falcone@fub.it

30. 30
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
La biometria vocale
nelle investigazioni
Roma, Caserma “V.B. MOVM Salvo D’acquisto”, 13 luglio 2017

31. 31
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza

32. 32
Roma – 13 luglio 2017 L’evoluzione della biometria vocale sino alle attuali applicazioni nel settore della sicurezza
ciao,
Andrea