Music Information Retrieval

805 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
805
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Music Information Retrieval

  1. 1. + Cuantificación de recurrencias en tareas de ε + recuperación de información musical 1 Sergio Bromberg U. San Buenaventura, Cali
  2. 2. + ¿Cuántos CDs compró este año? yo compré dos, pero descargué como 15. Hay un cambio radical en la forma en que la música se distribuye • ¿Cómo organizar semejante colección? • ¿Cómo ofrecer nuevos contenidos? • ¿Cómo luchar contra la “payola”? • ¿Cómo detener a Shakira?
  3. 3. + Más explicitez…  Tengo 78 versiones de “Yesterday” ¿Cuál es la original?  Quiero una versión acústica del “Bolero Falaz”  Quiero escuchar una canción igual de “funky” a la que acabo de escuchar.  Quiero escuchar una canción que me relaje.  Quiero subir agitar el ambiente de la fiesta.
  4. 4. + Dos soluciones posibles. 1. Metadatos: 2. Contenido: • Análisis de señal • Datos adjuntos a la cancion • Compositor, intérprete, álbum, año, género, etc..
  5. 5. + Solución 1: Metadatos (son suficientes a veces) Usuarios Expertos • Inconsistentes • Que rico es clasificar • Dependientes 3 millones de de la cultura canciones ! • Ausentes Problemas • Demasiado específicos 800.000 canciones • Demasiado x 30 min/cancion[] generales = 24 M de minutos = 45 años (sin dormir) ejemplos: “Latin”, “World Music” Music Genome Otros problemas: “cold start”, “new item” Project Muy difícil!
  6. 6. + Dos soluciones posibles. ¿Complementarias? 1. Metadatos 2. Contenido: • Análisis de señalUsuario ExpertoFunciona en muchos casos perotiene sus inconvenientes DE ESTO VOY A HABLAR HOY [Content-based Music Information Retrieval]
  7. 7. + Contenido 1. Introducción  Distribución de música  Problemas asociados a las grandes bases de datos  Metadatos: usuario vs. experto  Metadatos vs. contenidos 2. RIM basada en contenido  Necesidades  Planos musicales  Técnicas  Flujo de trabajo  Clasificación  Hoyo semántico 3. Para finalizar  Aplicaciones  Grupos de investigación
  8. 8. + Volvamos a (algunas) necesidades de alto nivel Nomás a modo de ejemplo… Diferenciación de Diferenciación Clasificación Similitud género musical entre de entre compositores emociones canciones Ej. Rock, Jazz:• Complejidad en las progresiones armónicas • Estructura de las • ¿? • Similitud armónica• Instrumentación (timbre) progresiones • Tonalidad? • Melódica• Complejidad melódica (debido a armónicas • Instrumentación? • Tal vez estructural la improvisación) • Evolución tímbrica• Diferencias rítmicas. • Instrumentación
  9. 9. + ¿Qué tenemos que modelar? Timbre Ritmo Armonía/t onalidad Estructura Emoción?
  10. 10. + TIMBRE Definición:  “Lo que nos permite diferenciar entre dos instrumentos cuando tocan la misma nota”  “Todo aquello que no es ni intensidad ni frecuencia fundamental…” La “forma” del espectro es lo más relevante aquí. ¿Y qué pasa con la psicoacústica y la percepción?
  11. 11. + TIMBRE Descriptores de bajo nivel Spectral Centroid: El centroide del espectro Su “centro de gravedad” Sonidos brillantes tienen mayor centroide Spectral spread: Qué tan tanto nos alejamos del centroide
  12. 12. + TIMBRE Descriptores de bajo nivel Spectral Skewness: Qué tan inclinado está el espectro Centroid, spread, skewness media varianza skewness? Momentos estadísticos
  13. 13. + TIMBRE Descriptores de bajo nivel Spectral roll-off: Frecuencia por debajo de la cual está el 95% de la energía. 95% Spectral brightness: Energía por encima de cierta frecuencia f
  14. 14. + TIMBRE Descriptores de bajo nivelMel frequency cepstral coefficients (MFCCs): Espectro Reescalamiento de las frecuencias 1 (Escala de Mel) + bandas críticas 2 Espectro Nos da una idea del espectro !!! gruesa de la forma del espectro 3 Muy usados en procesamiento del habla
  15. 15. + TIMBRE Descriptores de bajo nivel Existen más descriptores: • Inharmonicity • Noisiness • Odd-Even harmonic ratio • Spectral Flux (derivada del espectro) • Spectral flatness • Unos que no recuerdo • Otros que se le ocurran a usted. Hay mucho por hacer aún!
  16. 16. + Prosigamos… Timbre Ritmo Armonía/t onalidad Estructura Emoción?
  17. 17. + Ritmo: un par de problemas fundamentales Antes que nada, querríamos : 1 2 3 tempo pepas compás Detección de “onsets” Usa la autocorrelación (eventos?) Usa la autocorrelación Problemas: • Tempo subjetivo • Síncopas.
  18. 18. + Melodía Extracción de melodía Multitud de aproximaciones !! Dominio del tiempo Dominio de la frecuencia Un problema muy difícil! Separación de fuentes, uno de los Sobre todo en sonidos problemas más desafiantes de polifónicos todos…
  19. 19. + Armonía No me interesa cada instrumento Simplifica mucho el por separado problema !!! 1 2 3 4 5 octava “mapeo” el espectro a una octava.
  20. 20. + Estructura Matrices de similaridad Similaridad armónica, o de otro tipo, no del audio! [Yu Shiu, et al., 2006 ] Se parecen: ¿verso?
  21. 21. + Flujo de trabajo para el análisis Señal Segmentación Espectro … Envolvente Descriptores Descriptores Descriptores temporales temporales espectrales instantáneos instantáneos ¿Cómo los resumimos? ¿Promedio?
  22. 22. + Clasificación Entrenamos al sistema y clasificamos Técnicas de inteligencia artificial
  23. 23. + Resumen de esta parte 1 Preguntas: 2 Métodos computacionales de descripción de la • Clasificación música automática • Similaridad Timbre Ritmo Melodía Estructura Armonía 3 Los resumimos de alguna manera, dependiendo de la aplicación
  24. 24. + Un apunte filosófico NIVEL Ejemplo: ALTO EMOCIÓN COMPRENSIÓN • Velandia y la tigra: “irreverente” • Búsqueda de imágenes EL HOYO SEMÁNTICO Un campo NIVEL MEDIO armonía interdisciplinar ritmo tonalidad melodía BAJO NIVEL S. centroid brightness skewness spread Zero crossing rate noisiness
  25. 25. + Centros de investigación Universidad Pompeu Fabra, Barcelona Centre for Interdisciplinary Research in Music Media and Technology. McGill University, Canada Institut de Recherche et Coordination Acoustique/Musique, París, Francia Center for Digital Music, Queen Mary University, Londres Center for Computer Research in Music and Acoustics, Universidad de Stanford, Estados Unidos.
  26. 26. + Aplicaciones Seguidor de acordes en tiempo real http://www.youtube.com/watch?v=JOCje y2g1fo Mr. Emo: Explorador de música usando emociones http://www.youtube.com/watch?v=ra55xO20UHU Steinberg - LoopMash (desarrollado por MTG): http://www.youtube.com/watch?v=SuwVV9zBq5g
  27. 27. + Bibliografía Casey, M.A, Content-Based Music Information Retrieval: Current Directions and Future Challenges, Proceedings of the IEEE, 96 Issue:4, 2008. Orio, N., Music Retrieval: A Tutorial and Review, now publishers Inc (10 Oct 2006) Peeters, G. A large set of audio features for sound description (similarity and classification) in the CUIDADO project CUIDADO I.S.T Yu Shiu, et al, Similarity Matrix Processing for Music Structure Analysis, AMCMM’06, October 27, 2006.
  28. 28. + ¿Preguntas ?

×