This is the summary of my bachelor thesis. It is about Musical Instrument recognition and shows: * Features that can be extracted from sound. * Machine learning basis. * Decision algorithms. * Statistical results.

1. Juan Castro Mayorgas
TFC - Enginyeria Tècnica de Telecomunicacions especialitat Telemàtica
Universitat Oberta de Catalunya
Segon semestre 2010-2011

2. Context
Objectius del TFC
Propietats del so
Característiques acústiques
Classificadors
Corpus
Implementació
Resultats experimentals
Resum

4. Extracció de
característiques
acústiques
Aprenentatge
Classificació
Senyal
d’àudio
Identificació

5. Selecció de
característiques
Selecció de
classificadors
Configuració
Corpus
Configuració d’escenaris
Sistema de reconeixement
automàtic
Anàlisi de resultats

6.  Intensitat i volum
 Intensitat: quantitat absoluta
 Volum: valor subjectiu
 Altura: freqüència
 Escala Mel
 Duració
 Timbre: permet diferenciar el mateix so produït per
dos instruments diferents

7. Informació que s’extreu de cada un dels petits
fragments en que es talla el senyal d’àudio
En el domini freqüencial
 Centroide
 Extensió
 Coeficients MFCC
 Roll-Off
En el domini temporal
 Taxa de pas per zero
 Energia

8. Model de mescles Gaussianes (GMM)
 Probabilístic i sense supervisió
K-veí més proper (k-NN)
 Basat en distància
 Molt senzill d’implementar. Alt cost de computació
Support Vector Machines (SVM)
 Basat en distància
 Dissenyat per a discernir entre dues classes.
 Versions multi-classe.

9. TunediT
 115.000 mostres (no es disposa de l’àudio original)
 70 – 30 % (entrenament – test)
 18 instruments (2 famílies – 8 subfamílies)
Generació pròpia
 18 instruments (2 famílies – 8 subfamílies)
 Entrenament: Gravació de cada una de les notes de
l’extensió de l’instrument
 Test: Gravacions amb fraseig per cada instrument.

10. Funcions relacionades amb l’extracció de les
característiques acústiques
cAudioList = TFCLoadAudioList (filename)
Cfeatures = TFCExtractFeatures (cAudioList,
windowSize)
TFCExportFeatures (audioListFile,
featuresFile, windowSize)

11. Funcions relacionades amb la classificació
vWhat = [x x x x x x x x x x x x x x x x x x]
MFCC1 … MFCC13
cResults = TFCGMMCheck (cFTraining,
vWhat, scale, classType)
CResults = TFCGMMClassify (cFTraining,
cFTest, vWhat, scale, classType)
Centroide
Extensió
RollOff
ZeroCross
Energia

12. Funcions relacionades amb la classificació
 cResults = TFCKNNClassify (cFTraining, cFTest,
vWhat, scale, classType, k, maxDist)
 cResults = TFCKNNClassify2 (cFTraining, cFTest,
vWhat, scale, classType, k, maxDist)
 cResults = TFCKNNClassify3 (cFTraining, cFTest,
vWhat, scale, classType, k, maxDist)
 cResults = TFCSVMClassify (cFTraining, cFTest,
vWhat, classType)

13. Funcions relacionades amb l’anàlisi de resultats
cAnalytics = TFCCreateAnalytics (cFTest,
cResults, classType)
cReport = TFCReportAnalytics (cAnalytics)
cReport = TFCReportDecision (cAnalytics)

19. Arxiu Instrument frames Classe Percent. Classe Percent. Encert
violoncel.wav violoncel 344 violoncel 64.83% contrabaix 23.26% SI
contrabaix.wav contrabaix 214 contrabaix 98.60% guitarra 1.40% SI
viola.wav viola 353 viola 82.44% violi 10.76% SI
violi.wav violi 138 viola 81.16% violi 17.39% NO
tubasolo.wav tuba 390 tuba 66.92% fagot 32.05% SI
celosolo.wav violoncel 683 violoncel 63.54% trompa 18.89% SI
clarsolo.wav clarinet 320 violoncel 32.81% clarinet 17.81% NO
violsolo.wav violi 633 violoncel 33.81% trompa 15.48% NO
vilasolo.wav viola 738 violoncel 37.53% violi 24.66% NO
clarinet.wav clarinet 341 clarinet 79.18% trombo 7.92% SI
saxofon.wav saxofon 229 saxofon 81.22% piano 18.78% SI
flauta.wav flauta 203 flauta 81.28% trompa 8.87% SI
corn_angles.wav corn_angles 215 corn_angles 36.28% trompeta 27.91% SI
Test gravat amb
les mateixes
condicions que
aprenentatge
Test procedent la
enciclopèdia
musical Microsoft
Musical
Instruments
Test format per
notes dobles o
triples del mateix
instrumments
Dades originals 1er candidat 2on candidat

20.  Implementació funcions per a:
 Extreure característiques acústiques
 Classificar e identificar mostres
 Analitzar resultats
 Experiments que mostren entre altres:
 El nombre de mostres afecta de diferent manera als
resultats segons el mètode de classificació
 La rellevància de les característiques acústiques depèn del
mètode de classificació
 Hi ha instruments més fàcils d’identifcar amb un mètode
que amb un altre
 El fraseig harmònic redueix el percentatge d’encerts

21. Gràcies