1. Sviluppo di metodi per la sorveglianzaSviluppo di metodi per la sorveglianza
acustica in ambienti urbaniacustica in ambienti urbani
Università degli studi di Trieste
Laureando:
David Babic
Relatore:
Prof. Massimiliano Nolich

2. IntroduzioneIntroduzione
Cosa viene impiegata la sorveglianza acustica:
◦ Integrazione audio-video
◦ Monitoraggio in assenza di luce
◦ Sistemi anti intrusione (rilevamento di vetri rotti)
◦ Monitoraggio di aree molto vaste

3. MotivazioniMotivazioni
 Programma di classificazione dei suoni :
◦ Distinguere diverse categorie di suoni
◦ Suoni ambientali di tipici dell’ambiente che corrispondono a
pericolo
 Metropolitana
 Zone trafficate
 Aeroporti
 Classificatore automatico
◦ Sistema di supporto alle decisioni (DSS)
◦ Avviso automatico in caso di pericolo

4. Stato dell’arte (I)Stato dell’arte (I)
 Articoli accademici e studi scientifici:
◦ Comparazione di diversi algoritmi
◦ Influenza del rumore nel riconoscimento
◦ Esempio: classificatore basato sull’algoritmo HMM
 Riconoscimento del contesto nel quale ci si trova
Fonte: Environmental Noise Classification for Context-Aware Applications, School of Computing Sciences”, University of
East Anglia Norwich

5. Stato dell’arte (II)Stato dell’arte (II)
 Articoli accademici e studi scientifici:
◦ Esempio: comparazione delle prestazioni di due algoritmi di
classificazione (GMM e HMM)
 Valutazione delle prestazioni al variare del rapporto segnale-rumore
 Valutazione della presenza di falsi positivi
SNR
(dB)
Bad-detected
Signals (%)
GMM Rec.
Rate (%)
HMM Rec.
Rate (%)
70 0 97.32 98.54
60 0 94.88 96.10
50 0 91.71 95.37
40 0 90.93 96.32
30 0 90.89 94.53
20 0 86.54 91.54
10 0 77.02 85.09
0 0,26 63.57 68.30
-10 18,24 44.06 49.15
Fonte: Automatic sound detection and recognition for noisy environment”,
Institute of Microtechnology, University of Neuchâtel

6.  Prodotti commerciali:
◦ Audio analytic: sistema in grado di riconoscere varie
categorie di suoni.
 Ambito ospedaliero e carcerario
 Estendibile tramite moduli
◦ ShotSpotter: sistema in grado di rilevare e localizzare spari di
arma da fuoco
 Installato in molte città
americane
 Segnalazione automatica alla
polizia
Stato dell’arte (III)Stato dell’arte (III)

7. Fasi di lavoroFasi di lavoro
 1- Analisi dello scenario applicativo
◦ Analisi di quali sono i rumori significativi
◦ Tipologie di rumori coinvolti
 2 – Analisi e raccolta dei rumori significativi
◦ Raccolta dei rumori
◦ Creazione e utilizzo di database
 3 – Algoritmi di classificazione
◦ Scelta di feature adatti alla classificazione
◦ Scelta dell’algoritmo di classificazione
◦ Implementazione
 4 – Risultati sperimentali
◦ Comparazione del file

8. 1 – Analisi della scena applicativa1 – Analisi della scena applicativa
Metropolitana
 Grida
 Spari di pistola
 Vetri rotti
 Abbaiare dei cani
Zone trafficate
 Clacson
 Frenate
 Spari di pistola
 Grida
Aeroporti
 Grida
 Vetri rotti

9. 2 – Analisi e raccolta di rumori2 – Analisi e raccolta di rumori
 Registrazione rumori difficile
 Librerie di effetti sonori online (SoundDogs)
◦ Formati diversi
◦ Registrazioni non omogenee
 Costruzione database di suoni
◦ File .wav, frequenza di campionamento 11Khz
◦ Suoni divisi in 6 categorie
 Spari di pistola: 35 file (divisi in 7 sottocategorie)
 Grida: 43 file
 Vetri rotti: 32 file
 Abbaiare dei cani: 28 file
 Clacson: 13 file
 Frenate: 25 file

10. 3 – Algoritmi di classificazione (I)3 – Algoritmi di classificazione (I)
 Pre-elaborazione: acquisizione del segnale, campionamento
e quantizzazione.
 Estrazione di feature: ridurre la quantità di dati
◦ Serve per “descrivere” il segnale
◦ Scelta delle feature
 Classificazione: algoritmo di decisione, Hidden Markov
Model, Gaussian Mixture Model, …
◦ Fase di apprendimento (training)
◦ Fase di test

11. 3 – Algoritmi di classificazione (II)3 – Algoritmi di classificazione (II)
Estrazione di feature
◦ ZCR (Zero crossing rate)
◦ Spectral Centroid
◦ Crest Factor
◦ MFCC (Mel-Frequency Cepstral Coefficient): coefficienti che
collettivamente rappresentano il MFC (mel-frequency cepstrum) –
rappresentazione dello spettro di potenza

12. 3 - Algoritmi di classificazione (III)3 - Algoritmi di classificazione (III)
GMM (Gaussian Mixture Model):
◦ Modello probabilistico formato da una combinazione lineare di
funzioni di distribuzione gaussiana, chiamate componenti della
mistura
◦ Utilizzato comunemente nel “pattern recognition”
◦ Ha bisogno di un algoritmo
di training (EM – Expectation -
Maximization)

13. 3 - Algoritmi di classificazione3 - Algoritmi di classificazione
(IV)(IV)
Forme della funzione densità di probabilità al variare dei parametri
�,k.

14. 3 – Algoritmi di classificazione (V)3 – Algoritmi di classificazione (V)
 Implementazione dell’algoritmo di classificazione
basato su GMM
◦ Estrazione feature
◦ Decisione
 Calcolata densità di probabilità per ogni categoria
 Passa attraverso una funzione di soglia

15.  Implementazione dell’algoritmo basato su Weibull
◦ Estrazione parametri da file di test
◦ Decisione
 Valutazione distanza dai vari punti medi
3 – Algoritmi di classificazione (VI)3 – Algoritmi di classificazione (VI)

16. 4 – Risultati sperimentali (I)4 – Risultati sperimentali (I)
Scream Gun Glass Tire Bark Clacson
Scream 92% 0% 0% 8% 0% 0%
Gun 0% 98% 0% 0% 2% 0%
Glass 0% 4% 92% 0% 2% 2%
Tire 6% 0% 0% 94% 0% 0%
Bark 4% 1% 0% 6% 88% 0%
Clacson 4% 0% 8% 6% 0% 82%
 Algoritmo di classificazione GMM
◦ Test
 File audio della durata di circa 15s
 Inserimento di 2-3 suoni scelti in modo casuale
 File per l’apprendimento separati dai file di test
◦ Risultati
 Matrice di confusione

17.  Algoritmo di Weibull
◦ Test
 File audio con sparo singolo
 File per l’apprendimento separati dai file di test
◦ Risultati
 Visualizzazione grafica
4 – Risultati sperimentali (II)4 – Risultati sperimentali (II)

18.  Algoritmo di Weibull
◦ Matrice di confusione
 In media, considerati 10 spari per categoria
 Diverse categorie con percentuale di riconoscimento del 100%
 Altre categorie di pistole che si confondono tra di loro
4 – Risultati sperimentali (III)4 – Risultati sperimentali (III)
Beretta Colt SW Ruger MAC Jericho Glock
Beretta 100% 0% 0% 0% 0% 0% 0%
Colt 0% 0% 100% 0% 0% 0% 0%
SW 0% 0% 100% 0% 0% 0% 0%
Ruger 0% 0% 0% 100% 0% 0% 0%
MAC 0% 0% 0% 0% 67% 33% 0%
Jericho 0% 0% 0% 0% 38% 13% 50%
Glock 0% 0% 0% 0% 25% 17% 58%

19.  Algoritmo di Weibull
◦ Comparazione spari
 Valutazione se i due spari appartengono alla stessa categoria
 Non è in grado di riconoscere la categoria di appartenenza
 Valutate le distribuzioni di Weibull calcolate dalle risposte in frequenza
(fft)
4 – Risultati sperimentali (IV)4 – Risultati sperimentali (IV)

20.  Analisi della letteratura
 Valutazione di vari algoritmi per la classificazione
 Utilizzo dell’algoritmo GMM per l’elaborazione dei
dati acustici
 Utilizzo dell’algoritmo di Weibull per l’elaborazione di
dati acustici di tipo impulsivo
Lavoro svoltoLavoro svolto

21. Conclusione e sviluppi futuriConclusione e sviluppi futuri
 Risultati ottenuti:
• GMM:
• Media successo del 91%
• Pochi falsi positivi
• Weibull:
• diversi modelli indistinguibili
 Sviluppi futuri:
 Valutazione degrado prestazioni in presenza di rumore
 Acquisizione audio da microfono in modalità real-time
 Localizzare la fonte del rumore con array di microfoni

22. Grazie per l’attenzioneGrazie per l’attenzione