0
x




“Transformaciones espectrales en
     tiempo real para CLAM”

                   Hernán Ordiales
                   ...
Resumen de trabajo


    Ordenar y mejorar algunas partes de código

    existente (clases)
    Red de pitch-discretizati...
Google Summer of Code


    Programa organizado por Google


    Sponsorea la realización de proyectos open-

    source...
CLAM - ¿Qué es?


                 Biblioteca de software
             
                 para la investigación y
        ...
CLAM - Características


    Dos modos diferentes de trabajo:

      Framework

      Prototipado rápido de aplicacione...
CLAM – Aplicaciones principales


  NetworkEditor

 Annotator
 SMSTools
 Voice2MIDI
NetworkEditor - Características


    Programación visual


    Similar a PureData,

    MaxMSP, Reaktor
    Redes en ti...
CLAM – NetworkEditor


    Componentes -> Processings (“cajitas”)


        •Ports (flujo de datos)
        •Controls (da...
Prototipos


    Prototyper: Corre los prototipos a partir de redes del

    NetworkEditor (archivos XML)
    Widgets QT ...
Modelo sinusoides + residuo


    Modelo de análisis/síntesis para procesamiento

    espectral orientado a aplicaciones ...
Modelo sinusoides + residuo


    Esta modelado como la suma de un conjunto de



    sinusoides (los “sobretonos” establ...
SMS Análisis


Entrada de audio




                                                  Picos sinusoidales




             ...
Ejemplo: Red de voz disfónica


    Ejemplo sencillo e intuitivo de uso de modelos

    SMS
    Idea: Aplicarle una ganan...
Morph


    A partir de dos fuentes de sonido se crea un sonido

    con propiedades híbridas
    Basado en interpolación...
Armonizador


    Generalmente utilizado para armonizar voces


    Dado un sonido de entrada se obtienen salidas

    a...
Armonizador


    Cantidad de voces configurable


    Parámetros (por c/voz)

      Ganancia

      Pitch

      Del...
Armonizador




              Figura 7: Red del armonizador
Armonizador - Prototipo




           Figura 7: Prototipo del armonizador
Fundamental (Hz) a nota MIDI




          Figura 8: Frecuencia fundamental a MIDI
Organización del trabajo


    Repositorio centralizado de código (svn)


    Testfarm (sistema online)

      Compilac...
Lo que sigue


    Mejorar el soporte MIDI en el NetworkEditor


    Mejorar algoritmos de tiempo real (NE)


    Nuevos...
Fin de la presentación




          Muchas gracias!
Upcoming SlideShare
Loading in...5
×

Transformaciones espectrales en tiempo real para CLAM

2,391

Published on

Presentación jornadas CADAE 2007

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
2,391
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
10
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Transformaciones espectrales en tiempo real para CLAM"

  1. 1. x “Transformaciones espectrales en tiempo real para CLAM” Hernán Ordiales web: http://h.ordia.com.ar email: h@ordia.com.ar
  2. 2. Resumen de trabajo Ordenar y mejorar algunas partes de código  existente (clases) Red de pitch-discretization en el NE y prototipo  Armonizador con modelo SMS y prototipo  Red de voz disfónica  Efecto SMS Morph en el NE  Mejora del algoritmo del armonizador de voces  Trabajo sobre el algoritmo de time-stretch en el  NE Frecuencia fundamental a nota MIDI en el NE y  red de Audio2MIDI
  3. 3. Google Summer of Code Programa organizado por Google  Sponsorea la realización de proyectos open-  source Orientado a estudiantes  Se realiza desde el 2005  900 estudiantes ; 1500 mentores ; 130  organizaciones ; 90 paises Google es una marca registrada de Google Inc (Mountain View, CA 94043, USA)
  4. 4. CLAM - ¿Qué es? Biblioteca de software  para la investigación y desarrollo sobre audio y música Ofrece un modelo  conceptual y herramientas para el análisis, la síntesis y el procesamiento de señales de audio Premio ACM: Mejor  software multimedia open-source en el 2006
  5. 5. CLAM - Características Dos modos diferentes de trabajo:   Framework  Prototipado rápido de aplicaciones Software Libre (Licenciado bajo GPL)  Escrito en C++ orientado a objetos  Multiplataforma (Linux, Mac, Windows) 
  6. 6. CLAM – Aplicaciones principales NetworkEditor   Annotator  SMSTools  Voice2MIDI
  7. 7. NetworkEditor - Características Programación visual  Similar a PureData,  MaxMSP, Reaktor Redes en tiempo  real u offline Diferentes backends   VST  Jack  LADSPA  Portaudio Figura 1: NetworkEditor
  8. 8. CLAM – NetworkEditor Componentes -> Processings (“cajitas”)  •Ports (flujo de datos) •Controls (datos de control) Modelos de análisis/sintesis   STFT  Sinusoides + residuo (SMS)  etc Visualización en tiempo real 
  9. 9. Prototipos Prototyper: Corre los prototipos a partir de redes del  NetworkEditor (archivos XML) Widgets QT propios (asociados a los processings del  NetworkEditor) Figura 2: Esquema prototyper
  10. 10. Modelo sinusoides + residuo Modelo de análisis/síntesis para procesamiento  espectral orientado a aplicaciones musicales y de audio Se puede ver como una generalización de la  STFT y los modelos sinusoidales También es conocido como SMS (Spectral  Modeling Synthesis) y como HILN en el contexto de MPEG4
  11. 11. Modelo sinusoides + residuo Esta modelado como la suma de un conjunto de  sinusoides (los “sobretonos” estables armónicos o no, las componentes determinísticas del sonido) más el residuo de ruido (modelado como un proceso estocástico) como dos componentes separadas Figura 3: Esquema modelo SMS
  12. 12. SMS Análisis Entrada de audio Picos sinusoidales Fundamental Espectro del residuo Figura 4: SMS Analysis Core
  13. 13. Ejemplo: Red de voz disfónica Ejemplo sencillo e intuitivo de uso de modelos  SMS Idea: Aplicarle una ganancia al residuo y volver  a sintetizar Figura 5: Red de hoarseness
  14. 14. Morph A partir de dos fuentes de sonido se crea un sonido  con propiedades híbridas Basado en interpolación (de picos y del espectro  del residuo) y un balance de la fundamental (dependiente del factor de interpolación) Figura 6: Red de Morph
  15. 15. Armonizador Generalmente utilizado para armonizar voces  Dado un sonido de entrada se obtienen salidas  automáticamente relacionadas armónicamente, por ej. un 3ra mayor o menor, una 5ta, una 6ta o cualquier intervalo musical que se desee Basado en varios SMS pitch-shiftings (uno por  c/voz) Intervalos según escala temperada: 
  16. 16. Armonizador Cantidad de voces configurable  Parámetros (por c/voz)   Ganancia  Pitch  Delay  Detunning (pequeña desafinación para dar realismo) Opción de ignorar el residuo en el  procesamiento (agrega mucha carga y no mejora demasiado los resultados)
  17. 17. Armonizador Figura 7: Red del armonizador
  18. 18. Armonizador - Prototipo Figura 7: Prototipo del armonizador
  19. 19. Fundamental (Hz) a nota MIDI Figura 8: Frecuencia fundamental a MIDI
  20. 20. Organización del trabajo Repositorio centralizado de código (svn)  Testfarm (sistema online)   Compilación multiplataforma  Tests de unidad, back2back, etc Metodologias ágiles   Reorganización constante de objetivos  Milestones (mapa de camino) Comunicación   E-mail: Lista de desarrollo y correo privado  Canales de chat (irc en freenode)  Blogs
  21. 21. Lo que sigue Mejorar el soporte MIDI en el NetworkEditor  Mejorar algoritmos de tiempo real (NE)  Nuevos widgets  Nuevas redes  Utilizar CLAM para y en otros desarrollos 
  22. 22. Fin de la presentación Muchas gracias!
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×