Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Prototipo3 - limulo at electropark 2013

2,131 views

Published on

slide realtive al prossimo workshop di Limulo presso la Sala Dogana a Genova il 26/10/2013 in occassione del festival Electropark 2013 organizzato dai ragazzi del collettivo Forevergreen.fm.

Workshop "Prototipo 3, ovvero il diario di bordo per la realizzazione di una superficie interattiva". Un racconto delle idee, delle sfide, del percorso che da una proposta semiseria ha portato alla costruzione di un vero strumento polifunzionale, interattivo, divertente, colorato, rumoroso. A cura di Limulo Lab

qui il link per l'articolo completo sul sito: http://www.limulo.net/limulo-electropark-2013 .

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Prototipo3 - limulo at electropark 2013

  1. 1. Architettura del tavolo
  2. 2. Architettura del tavolo Immagini nel visibile Proiezione dell'immagine visibile sulla superficie Componenti: ✗ Proiettore Acer s1210 ✗ Lastra in Plexiglass PMMA ✗ Foglio di frost 129 heavy frost 23 ottobre 2013 Limulo @ Electropark 2013 2
  3. 3. Architettura del tavolo Immagini nell'infrarosso Ricezione dell'immagine Componenti: ✗ Videocamera PS3Eye 23 ottobre 2013 Limulo @ Electropark 2013 3
  4. 4. Architettura del tavolo Immagini nell'infrarosso Illuminazione nel range IR Componenti: ✗ 4 illuminatori infrarossi 23 ottobre 2013 Limulo @ Electropark 2013 4
  5. 5. Architettura del tavolo Perché l'illuminazione IR? ✗ Range dell'infrarosso (a partire da 850 nm circa) Ricezione dell'immagine relativa allo stato della superficie ✗ Range del visibile Display di un'interfaccia grafica coerente con lo stato della superficie Approfondimenti: lucidscience.com 23 ottobre 2013 Limulo @ Electropark 2013 5
  6. 6. Architettura del tavolo ps3Eye ✗ Lens mount ✗ Rimozione filtro IR ✗ Applicazione filtro visibile ✗ Lente grandangolare Vantaggi di usare la ps3Eye: ✗ facilità di rimozione del filtro IR ✗ facilità di cambio del lens mount ✗ prezzo contenuto ✗ framerate elevato 23 ottobre 2013 Limulo @ Electropark 2013 6
  7. 7. Architettura del tavolo Visione d'insieme delle componenti Ps3Eye privata del filtro IR e dotata di filtro per il visibile per captare lo stato della superficie Illuminatori per diffondere luce IR all'interno del tavolo Proiettore Acer s1210 per restituire un'interfaccia grafica. Emette solo nel visibile. Teli di tessuto nero oscurante ignifugo per evitare interferenze con la luce esterna al tavolo (la luce del sole o di una lampada contiene componenti nel range di frequenze degli IR!!!) 23 ottobre 2013 Limulo @ Electropark 2013 7
  8. 8. Architettura del tavolo Tentativi vari di illuminazione IR ✗ Sincronizzazione di un circuito a LED IR con la telecamera ✗ Costruzione di un illuminatore IR con un timer 555 ✗ Utilizzo di una telecamera incorporata con l'illuminatore (implementata nel prototipo2) 23 ottobre 2013 Limulo @ Electropark 2013 8
  9. 9. Range Visibile Server Client 23 ottobre 2013 Range IR Limulo @ Electropark 2013 9
  10. 10. Architettura software client - server Server: gestore di servizi Client: applicativo richiedente servizi Il client richiede un servizio al server → Il server riconosce il client e lo eroga → il client invia al server la conferma di ricezione del servizio 23 ottobre 2013 Limulo @ Electropark 2013 10
  11. 11. Architettura software protocolli e formattazione TCP (Transmission Control Protocol) Per stabilire, mantenere e chiudere una connessione, è necessario inviare pacchetti di servizio È affidabile ma lento UDP (User Datagram Protocol) non gestisce il riordinamento dei pacchetti né la ritrasmissione di quelli persi È molto rapido ma non sicuro 23 ottobre 2013 Limulo @ Electropark 2013 11
  12. 12. Architettura software protocolli e formattazione Posta elettronica SMTP TCP Accesso a terminale remoto telnet TCP Trasferimento file FTP TCP Web HTTP TCP Streaming Audio/Video RTSP/RTP TCP (comandi) + UDP (flusso) Server di file remoto NFS tipicamente UDP Telefonia su internet (VoIP) SIP H.323, altri , tipicamente UDP Gestione della rete SNMP tipicamente UDP Protocollo di routing RIP tipicamente UDP Risoluzione dei nomi 23 ottobre 2013 Protocollo strato trasporto DNS tipicamente UDP Limulo @ Electropark 2013 Fonte: wikipedia Applicazione Protocollo strato applicazione 12
  13. 13. Architettura software OSC e TUIO OSC (Open Sound Control) Formato di trasmissione di dati tramite invio di pacchetti di messaggi (tra computer, sintetizzatori, strumenti multimediali) I messaggi sono generalmente inviati e ricevuti su internet, sottoreti o LAN (UDP/IP Ethernet). , TUIO Protocollo di trasmissione dati su rete (locale[LAN] o intenet [Ethernet]). Utilizza il protocollo di trasmissione UDP/IP . Si basa sulla formattazione dei messaggi OSC, di cui rappresenta una particolarizzazione. Si basa su architettura Client – Server 23 ottobre 2013 Limulo @ Electropark 2013 13
  14. 14. Architettura software TUIO v1.1 Anatomia di un messaggio TUIO [src]/[alive]/[set]/[fseq] Src = sorgente TUIO Alive = lista degli oggetti presenti sulla superficie Set = informazioni sullo stato degli oggetti Fseq = identifica un determinato stadio di update Oggetto = un qualunque oggetto interagente con la superficie. Esempi di oggetti: oggetto fisico, un dito, ... 23 ottobre 2013 Limulo @ Electropark 2013 14
  15. 15. Architettura software il protocollo TUIO Protocollo inventato da M. Kaltenbrunner, T. Bovermann, R. Bencina, E. Costanza Ispirato dai lavori presso Universitat Pempeu Fabra (Barcellona) sul Reactable Implementato quasi esclusivamente per applicativi basati sul riconoscimento di fiducial marker tramite compter vision. TUIO è implementato in Reactivision, un applicativo che funge da server e che semplifica la generazione e l'invio di messaggi correttamente formattati. 23 ottobre 2013 Limulo @ Electropark 2013 15
  16. 16. Architettura software I fiducial marker Marker visivi univocamente riconoscibili da un sistema di computer vision Evoluzione dei fiducial: ARToolKit d-touch Amoeba (miglioramento del dtouch → algortimo genetico) 23 ottobre 2013 Limulo @ Electropark 2013 16
  17. 17. Architettura software I fiducial marker: ARToolKit 23 ottobre 2013 Limulo @ Electropark 2013 17
  18. 18. Architettura software I fiducial marker: d-touch 23 ottobre 2013 Limulo @ Electropark 2013 18
  19. 19. Architettura software I fiducial marker: amoeba 23 ottobre 2013 Limulo @ Electropark 2013 19
  20. 20. Architettura software Il nostro setup WAN LAN 23 ottobre 2013 Limulo @ Electropark 2013 20
  21. 21. Architettura software Il nostro setup 23 ottobre 2013 Limulo @ Electropark 2013 21
  22. 22. Architettura software Il nostro client Quali strumenti utilizzare? ✗ Processing ✗ Cinder ✗ openFrameworks ✗ PureData ✗ SuperCollider 23 ottobre 2013 Limulo @ Electropark 2013 22
  23. 23. Architettura software Il nostro client - PureData I suoni sono generati in tempo reale (audio procedurale) 23 ottobre 2013 Limulo @ Electropark 2013 23
  24. 24. Architettura software Il nostro client - addons Come mettere assieme openFrameworks, TUIO, PureData? OfAddons!!! ofxPd: permette di utilizzare la libreria libpd che consente di embeddare il core di PureData in programmi sviluppati in C, C++, java,... ofxTuio: permette di creare e gestire direttamente nell'ambiente di sviluppo di openFrameworks un server e un client che comunicano tramite protocollo TUIO Libpd è sviluppato da Peter Brinkmann ofxPd è sviluppato da danomatika ofxTuio è sviluppato da patriciogonzalezvivo 23 ottobre 2013 Limulo @ Electropark 2013 24
  25. 25. Architettura software Il nostro client - addons Problemi Soluzioni Distorsione ottica della lente grandangolare Posizionamento angolato del proiettore Distorsione sonora Ottimizzazione della posizione relativa della telecamera Keystone software Riflessi degi illuminatori Angolazione degli illuminatori e riposizionamento della telecamera Applicazione di due ventola di raffreddamento Surriscaldamento interno del tavolo 23 ottobre 2013 Matrice di mappatura dei suoni Limulo @ Electropark 2013 25
  26. 26. Links NUI group Martin Kaltenbrunner d-touch Reactivision Ross Bencina Cinder Reactable OpenFrameworks SuperCollider TUIO Processing PureData OSC Danomatika ARToolKit patriciogonzalevivo LucidScience libpd 23 ottobre 2013 Limulo @ Electropark 2013 26
  27. 27. Papers ● ● ● ● ● ● Kaltenbrunner, M., Bovermann, T., Bencina, R., Costanza, E.: "TUIO - A Protocol for Table-Top Tangible User Interfaces". Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes, France, 2005 Kaltenbrunner, M., Bencina, R.: "reacTIVision: A Computer-Vision Framework for Table-Based Tangible Interaction". Proceedings of the first international conference on "Tangible and Embedded Interaction" (TEI07). Baton Rouge, Louisiana, 2007 Wright, M., Freed, A., Momeni A.: "OpenSound Control: State of the Art 2003". Proceedings of the 3rd Conference on New Instruments for Musical Expression (NIME 03), Montreal, Canada, 2003. Kaltenbrunner, M. "reacTIVision and TUIO: A Tangible Tabletop Toolkit", Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces (ITS2009). Banff, Canada. Kaltenbrunner, M. & Bencina, R. "reacTIVision: A Computer-Vision Framework for Table-Based Tangible Interaction", Proceedings of the first international conference on "Tangible and Embedded Interaction (TEI07). Baton Rouge, Louisiana. Bencina, R. & Kaltenbrunner, M. "The Design and Evolution of Fiducials for the reacTIVision System", Proceedings of the 3rd International Conference on Generative Systems in the Electronic Arts (3rd Iteration 2005), Melbourne (Australia) 23 ottobre 2013 Limulo @ Electropark 2013 27
  28. 28. Bibliografia e letture consigliate ● J. Kreidler, “loadbang”, 2009, wolke ● A. Farnell, “”Designing Sound”, 2010, MIT Press ● Wilson, Cottle, Collins, “”The SuperCollider Book”, 2011, MIT Press ● H. Scildt, “”The Complete Reference C++”, 2003, McGraw Hill ● D. Shiffman, “”Learning Processing”, 2008, Morgan Kaufmann ● J. Noble, “”Interactivity”, 2009, O'Reilly 23 ottobre 2013 Limulo @ Electropark 2013 28

×