Successfully reported this slideshow.

Marvim Gainsbug: a Twitter based Music Composer

985 views

Published on

Marvim Gainsbug is a musician, singer and composer, created in 2009.

His main influences are Serge Gainsbourg, Bob Dylan, the Brazilian Northeastern Musician, Leonard Cohen, Joni Mitchell, Alan Turing, Deep Blue, HAL, Wintermute and Marvin, the paranoid android.

Marvim Gainsbug is a software that acts based on Twitter, implemented to compose and to play songs, with music and lyrics, in real time.

The tweets are transformed in verses which are interpreted by Marvim with his singular voice. The melody, the harmony and the rhythm are directly linked with the words of the verses.

Developed in Processing, using Sphinx4, FreeTTS and Twitter4j libraries, by Jeraman and Filipe Calegario.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Marvim Gainsbug: a Twitter based Music Composer

  1. 1. O que é? Marvim Gainsbug é músico, cantor e compositor, criado em 2009. Suas principais influências são Serge Gainsbourg, Bob Dylan, o Repentista Nordestino, Leonard Cohen, Joni Mitchell, Alan Turing, Deep Blue, HAL, Wintermute e Marvin - o Andróide Paranóico. Marvim Gainsbug é um software que atua baseado no Twitter, programado com o objetivo de compor e executar canções, com letra e música, em tempo-real. O tweets se transformam em versos que serão interpretados pela marcante voz de Marvim. A melodia, a harmonia e o ritmo são diretamente influenciados pelas palavras que compoem os "versos". Para tanto, basta que o visitante diga em um microfone qual a temática da sua canção. De maneira a melhor se adequar ao formato de exposição, o Marvim está apresentado aqui como uma instalação interativa audiovisual. 

  2. 2. Como func iona? A interação proposta para esta versão do Marvim Gainsbug pode ser descrita como uma experiência audiovisual que evoca a impressão de interagir com um repentista, que através de seus sentidos (é capaz de "ver", "falar" e "escutar") e sensibilidade (de criar música), é capaz de criar uma canção, letra e música, de maneira "improvisada", em tempo real. Essa interação é viabilizada por um microfone posicionado em frente a TV, utilizada como saída de vídeo para o projeto, caixas de som, responsáveis pelo retorno sonoro do trabalho, e uma webcam. Ao passar pelo local do projeto, o visitante é chamado a atenção, sendo saudado por uma voz desconhecida: a voz do Marvim Gainbug. Na TV em frente ao microfone são exibidos vários Tweets, dispostos de maneira desordenada. Ao tentar repetir a saudação no microfone, o visitante é surpreendido pela visão do Marvim, que, após se apresentar, pede para que o visitante escolha grupo de palavras que serão usadas como base no processo de criação da canção. Essa escolha é também realizada através do microfone. Escolhidas as palavras, o Marvim realiza uma busca no Twitter a fim de encontrar tweets que tenham tais termos como temática. Screenshot do Marvim Gainsbug, durante a tela de escolha de palavras.
  3. 3. A medida que a busca vai sendo feita, uma canção começa a ser gerada: letra e música. A letra é formada a partir de uma análise semântica do conteúdo dos tweets, que são desmembrados e reagrupados em versos. A música é construída a partir de características dos tweets (quantidade de determinados caracteres, tamanho das letras) em seus elementos básicos (ritmo, melodia e harmonia), a partir de algoritmos de mapeamento, organizados da seguinte forma: Ritmo O tamanho das palavras influencia a duração da nota a ser tocada. Quanto maior a palavra, mais longa será a execução da nota. Quanto menor a palavra, menor a duração da execução da nota. Melodia As letras iniciais das palavras, usando um mapeamento entre alfabeto e escala musical, definem a nota a ser tocada. Por exemplo, a escala maior de Dó, que é composta pelas notas Dó, Ré, Mi, Fá, Sol, Lá, Si, as letras 'a', 'b' e 'c' são correspondentes a nota Dó, enquanto 'd', 'e' e 'f' correspondem a nota Ré, e assim por diante. Da forma como o Marvim está programado, este mapeamento acontece automaticamente para diferentes tipos e tons de escalas musicais. Harmonia Para a composição dos acordes que serão usados na canção, um mapeamento seqüencial é empregado nas palavras dos versos advindos do Twitter. Como o Marvim basea-se na composição da letra da música em inglês, uma lista ordenada das letras mais usadas no idioma inglês é usada para a escolha dos acordes. Se em alguma palavra no verso for encontrada a primeira letra desta lista, esta é mapeada no acorde principal relacionado com a escala musical usada para a composição, no caso da escala de Dó maior, o acorde C é utilizado. No caso da segunda letra dessa lista, o acorde correspondente no caso da escala de Dó maior será Dm. E assim por diante.
  4. 4. Ao mesmo tempo que a música vai sendo tocada e cantada, a letra da canção vai sendo exibida na tela para que o visitante a acompanhe. Além disso, informações sobre os tweets que geraram os versos são apresentadas na tela, tais como nome e imagem do usuário. Com o termino dessa exibição, o Marvim volta ao seu estado natural, escondido no mar de tweets, tentando chamar as atenções de outras pessoas.
  5. 5. Q ual material nec essário? Hardware O hardware necessário para o Marvim Gainbug é composto de: • Um computador (Core 2 Duo 2.26GHz, 4 GB de memória RAM, GeForce 9400M 256MB) - responsável por executar o software do projeto. Deve rodar Linux (Ubuntu) como sistema operacional e estar obrigatoriamente conectado a internet; • Uma Televisão de 50" - Responsável pelo retorno visual do projeto. • Caixas de Som - Localizadas ao lado da TV e conectadas com o computador, irá permitir que a canção criada pelo Marvim seja ouvida pelos visitantes; • Uma webcam - Localizada em cima do aparelho televisor, voltada para o microfone, exercerá a função de "olhos" do Marvim. • Um microfone comum – Localizado na frente do televisor e das caixas de som, irá permitir aos visitantes interagirem com o Marvim. Software Criado em 2009, utilizando o Processing, linguagem de programação baseada em Java, Marvim é um software complexo construído com diversas tecnologias (Twitter API, bibliotecas de composição musical, visão computacional, entre outras). Dentre elas, se destacam as tecnologias de Síntese de Voz e de Reconhecimento de Discurso. A síntese de Voz (Speech Syntesis) é uma tecnologia que objetiva produzir artificialmente a voz humana. Atualmente é utilizada em diversos contextos (principalmente em tecnologias assistivas), estando bastante desenvolvida. No projeto, ela foi utilizada para dar sintetizar e dar personalidade a voz do Marvim. Intimamente relacionada com esta, está o reconhecimento de discurso (Speech Recognition). A tecnologia procura registrar textualmente de maneira automática dircursos de voz humana, estando presente em diversos
  6. 6. sistemas operacionais para desktop e celulares. No projeto, ela foi utilizada para analisar e reconhecer o que o visitante diz. O Marvim Gainsbug tem todo o seu código aberto e utiliza Linux como sistema operacional.
  7. 7. Q ual espaç o nec essário? Para ser exibido, Marvim Gainsbug requer uma sala de dimensões aproximadas de 2 metros de largura por 3 metros de comprimento. 
 Esboço do espaço necessário, contando com a disposição ideal do equipamento. 
 Como pode-se observar no esboço acima, a televisão de 50" será posicionada na parede, com as caixas de som dispostas cada uma em um lado. Acima da televisão estará localizada a webcam responsável por reconhecer a presença do visitante. O pedestal do microfone será posicionado em frente a TV de forma que o visitante fique de frente para o Marvim, acentuando assim uma forma natural de interação. Quanto ao computador, este não ficará visível ao visitante. Para um bom funcionamento do programa de reconhecimento de comando de voz, a sala precisa ser isolada de ruídos externos. Além disso, para que o observador tenha uma maior imersão na obra, as luzes do ambiente da sala serão baixas ou inexistentes, existindo apenas uma luz direcional do teto para o chão focada no microfone.

×