1. +
Cuantificación de recurrencias en tareas de ε
+
recuperación de información musical 1
Sergio Bromberg
U. San Buenaventura, Cali
2. +
¿Cuántos CDs compró este año?
yo compré dos, pero descargué como 15.
Hay un cambio radical en la forma en que la música se distribuye
• ¿Cómo organizar
semejante colección?
• ¿Cómo ofrecer nuevos
contenidos?
• ¿Cómo luchar contra la
“payola”?
• ¿Cómo detener a
Shakira?
3. +
Más explicitez…
Tengo 78 versiones de “Yesterday” ¿Cuál es la original?
Quiero una versión acústica del “Bolero Falaz”
Quiero escuchar una canción igual de “funky” a la que acabo
de escuchar.
Quiero escuchar una canción que me relaje.
Quiero subir agitar el ambiente de la fiesta.
4. +
Dos soluciones posibles.
1. Metadatos: 2. Contenido:
• Análisis de señal
• Datos adjuntos a la cancion
• Compositor, intérprete, álbum,
año, género, etc..
5. +
Solución 1: Metadatos
(son suficientes a veces)
Usuarios Expertos
• Inconsistentes • Que rico es clasificar
• Dependientes 3 millones de
de la cultura canciones !
• Ausentes Problemas
• Demasiado
específicos
800.000 canciones
• Demasiado x 30 min/cancion[]
generales = 24 M de minutos
= 45 años (sin dormir)
ejemplos: “Latin”, “World Music” Music Genome
Otros problemas: “cold start”, “new item” Project
Muy difícil!
6. +
Dos soluciones posibles.
¿Complementarias?
1. Metadatos
2. Contenido:
• Análisis de señal
Usuario Experto
Funciona en muchos casos pero
tiene sus inconvenientes
DE ESTO VOY A HABLAR HOY
[Content-based Music Information Retrieval]
7. +
Contenido
1. Introducción
Distribución de música
Problemas asociados a las grandes bases de datos
Metadatos: usuario vs. experto
Metadatos vs. contenidos
2. RIM basada en contenido
Necesidades
Planos musicales
Técnicas
Flujo de trabajo
Clasificación
Hoyo semántico
3. Para finalizar
Aplicaciones
Grupos de investigación
8. +
Volvamos a (algunas) necesidades
de alto nivel
Nomás a modo de ejemplo…
Diferenciación de Diferenciación Clasificación Similitud
género musical entre de entre
compositores emociones canciones
Ej. Rock, Jazz:
• Complejidad en las progresiones
armónicas • Estructura de las • ¿? • Similitud armónica
• Instrumentación (timbre) progresiones • Tonalidad? • Melódica
• Complejidad melódica (debido a armónicas • Instrumentación? • Tal vez estructural
la improvisación) • Evolución tímbrica
• Diferencias rítmicas. • Instrumentación
10. +
TIMBRE
Definición:
“Lo que nos permite diferenciar entre dos instrumentos cuando
tocan la misma nota”
“Todo aquello que no es ni intensidad ni frecuencia fundamental…”
La “forma” del espectro
es lo más relevante aquí.
¿Y qué pasa con la psicoacústica
y la percepción?
11. +
TIMBRE
Descriptores de bajo nivel
Spectral Centroid:
El centroide del espectro
Su “centro de gravedad”
Sonidos brillantes tienen mayor
centroide
Spectral spread:
Qué tan tanto nos alejamos del
centroide
12. +
TIMBRE
Descriptores de bajo nivel
Spectral Skewness:
Qué tan inclinado está el espectro
Centroid, spread, skewness
media varianza skewness?
Momentos
estadísticos
13. +
TIMBRE
Descriptores de bajo nivel
Spectral roll-off:
Frecuencia por debajo de la cual está
el 95% de la energía.
95%
Spectral brightness:
Energía por encima de cierta
frecuencia
f
14. +
TIMBRE
Descriptores de bajo nivel
Mel frequency cepstral coefficients (MFCCs):
Espectro Reescalamiento de las frecuencias
1 (Escala de Mel) + bandas críticas
2
Espectro Nos da una idea
del espectro !!! gruesa de la forma del
espectro
3
Muy usados en
procesamiento del habla
15. +
TIMBRE
Descriptores de bajo nivel
Existen más descriptores:
• Inharmonicity
• Noisiness
• Odd-Even harmonic ratio
• Spectral Flux (derivada del espectro)
• Spectral flatness
• Unos que no recuerdo
• Otros que se le ocurran a usted. Hay mucho por hacer aún!
17. +
Ritmo: un par de problemas
fundamentales
Antes que nada, querríamos :
1 2 3
tempo pepas compás
Detección de “onsets”
Usa la autocorrelación (eventos?) Usa la autocorrelación
Problemas:
• Tempo subjetivo
• Síncopas.
18. +
Melodía
Extracción de melodía
Multitud de aproximaciones !!
Dominio del tiempo Dominio de la frecuencia
Un problema muy difícil! Separación de fuentes, uno de los
Sobre todo en sonidos problemas más desafiantes de
polifónicos todos…
19. +
Armonía
No me interesa cada instrumento Simplifica mucho el
por separado problema !!!
1 2 3 4 5 octava
“mapeo” el espectro a
una octava.
20. +
Estructura
Matrices de similaridad
Similaridad
armónica, o de
otro tipo, no del
audio!
[Yu Shiu, et al., 2006 ]
Se parecen: ¿verso?
21. +
Flujo de trabajo para el análisis
Señal Segmentación Espectro
…
Envolvente
Descriptores Descriptores Descriptores
temporales temporales espectrales
instantáneos instantáneos
¿Cómo los
resumimos?
¿Promedio?
22. +
Clasificación
Entrenamos
al sistema
y clasificamos
Técnicas de
inteligencia
artificial
23. +
Resumen de esta parte
1 Preguntas: 2 Métodos computacionales
de descripción de la
• Clasificación música
automática
• Similaridad
Timbre Ritmo Melodía Estructura
Armonía
3
Los resumimos de alguna
manera, dependiendo de la aplicación
24. +
Un apunte filosófico
NIVEL
Ejemplo:
ALTO
EMOCIÓN COMPRENSIÓN • Velandia y la tigra:
“irreverente”
• Búsqueda de imágenes
EL HOYO
SEMÁNTICO
Un campo
NIVEL MEDIO
armonía interdisciplinar
ritmo
tonalidad
melodía
BAJO NIVEL
S. centroid brightness skewness spread
Zero crossing rate noisiness
25. +
Centros de investigación
Universidad Pompeu
Fabra, Barcelona
Centre for Interdisciplinary Research
in Music Media and Technology.
McGill University, Canada
Institut de Recherche et Coordination
Acoustique/Musique, París, Francia
Center for Digital Music, Queen Mary
University, Londres
Center for Computer Research in Music
and Acoustics, Universidad de
Stanford, Estados Unidos.
26. +
Aplicaciones
Seguidor de acordes en tiempo real
http://www.youtube.com/watch?v=JOCje
y2g1fo
Mr. Emo: Explorador de música usando emociones
http://www.youtube.com/watch?v=ra55xO20UHU
Steinberg - LoopMash (desarrollado por MTG):
http://www.youtube.com/watch?v=SuwVV9zBq5g
27. +
Bibliografía
Casey, M.A, Content-Based Music Information Retrieval: Current
Directions and Future Challenges, Proceedings of the IEEE, 96
Issue:4, 2008.
Orio, N., Music Retrieval: A Tutorial and Review, now publishers Inc (10
Oct 2006)
Peeters, G. A large set of audio features for sound description
(similarity and classification) in the CUIDADO project
CUIDADO I.S.T
Yu Shiu, et al, Similarity Matrix Processing for Music Structure
Analysis, AMCMM’06, October 27, 2006.
