Áthallások a virtuális és valós terek között - web-alapú hangművészeti formák

Áthallások a virtuális és
valós terek között: web-alapú
hangművészeti formák
Kovács Balázs

1. Távjelenlét -> virtuális, kiterjesztett valóság
2. Virtualitás a médiaművészetben
3. Hang-átjárások a virtuális és valós térben
4. Web-alapú megvalósítások
5. Hálózati – lokális interakciók a gyakorlatban
6. My contribution to the topic

Áthallások a virtuális és valós terek között:web-alapú hangművészeti formák
1. távjelenlét -> virtuális, kiterjesztett valóság #1: távjelenlét
Chudy József Der
Telegraph oder die
Fernschreibmaschine c.
operájához használt
akusztikai telegráf-
jelek (1796)
Ken Golberg,Telegarden
1995-2004
Ilhan Bae robot-drónja (2016)

1. távjelenlét -> virtuális, kiterjesztett valóság #2: virtuális
„A virtuális valóság olyan technológia, ami meggyőzi a
résztvevőt arról,hogy máshol van,helyettesítve
elsődleges érzékelésének tárgyát azzal az adattal,amit
egy számítógép generál [... s így] a felhasználó azonosul
a virtuális testtel, és az az érzése van,mintha egy
virtuális közösséghez tartozna.”
(Michael R. Heim,1998)
„A digitális virtuális világok fő tulajdonsága,hogy míg a
digitális technológia felhasználói résztvehetnek a
történetben, tartalmat adhatnak hozzá,módosíthatják
a beállításokat és interakcióba léphetnek más
felhasználókkal,addig az irodalmi vagy »vizuális«
virtuális világokban vagy más,alternatív valóságot kínáló
technológián keresztül, mint pl. a mozi, a
nézőnek/olvasónak erre nincs lehetősége.”
(Maria Beatrice Bittarello,2014)

1. távjelenlét -> virtuális, kiterjesztett valóság #3: alapfogalmak
Virtuális valóság (VR)
Művi valóság
(artificial reality)
Kevert valóság
(mixed reality,MR
vagy hibrid valóság)
Valós környezet
Augmentált valóság
(augmented reality,AR)
vagy kiterjesztett
valóság
Augmentált
virtualitás
(augmented
virtuality)

Szimuláció
(kép, hang,
taktilis)
Nem-reális / szimulákrum
Hiper-reális
Művi valóság
Valós környezet
vagy kiterjesztett
valóság
Augmentált
virtualitás
(augmented
virtuality)

Immerzió
Nem-reális / szimulákrum
Hiper-reális
Allosphere,UCSB
Művi valóság
Valós környezet
vagy kiterjesztett
valóság
Augmentált
virtualitás
(augmented
virtuality)

1. távjelenlét -> virtuális, kiterjesztett valóság #4: áthallások
The Gate (Second Life /
valóság átjáró,2009),
http://flickriver.com/groups
/the_gate/pool/
Egy virtuális avatár besétál egy valós objektum által
vetett árnyékba,miközben maga is árnyékot vet a valós
környezetre.

2. Virtualitás a médiaművészetben #1: történeti előzmények
Lynn Hershman Leeson: Lorna
(1979)
Myron Krueger:Videoplace
(1988)
Jeffrey Shaw:Legible City (1988-
92)
The CAVE
(Carolina Cruz-Neira et al.
1992)
Christa Sommerer,Laurent
Mignonneau:Interactive plant
growing, 1993

2. Virtualitás a médiaművészetben #1: történeti előzmények
Általános jellemzők:
- Interakció virtuális és
valós között
- Térbeli érzékelés és
cselekvés szimulációja
- Tapasztalatszerzés a valós világról
- Felhasználó megjelenítése
- Kooperáció más felhasználókkal
- Fizikai interfész használata
- A virtuális világ szöveg- és áramalapú!

2. Virtualitás a médiaművészetben #2: hálózati-valós átjárások
cyberSM (Stahl Stenslie és Kirk
Woolford,1993-94) Handshake projekt,Berlin
(1994-95)
For Internet Use Only, Milánó ( Eva és
Franco Mattes,0100101110101101.org,
2016)
World Skin (Maurice Benayoun,
1997)

2. Virtualitás a médiaművészetben #2: hálózati-valós átjárások
„A virtuális valóság paradox kapcsolatban van a
valóssal.Egyik szempontból nézve ugyanis része a
valóságnak,másik szempontból viszont a valóstól
különböznie kell, hogy attól eltérőnek vehessük észre.”
(Gabriella Giannachi,2004)

The League of Automatic Music Composers (1980) The HUB: Clocktower
telematikus koncert
(NewYork,1987)
a) Hálózati zene
“Az is a célunk volt, hogy a számítógépes zene fejlődésében utat mutassunk a
dominancia felől a kreatív anarchia felé.” (John Bischoff)

PLOrk
a) Hálózati zene
Global Loop Orchestra
European Bridges Ensemble
>> Shelly Knotts,Nick Collins, „The Politics of Laptop
Ensembles:A Survey of 160 Laptop Ensembles and their
Organisational Structures”,Proceedings of NIME, 2014

AtauTanaka és Kasper Toeplitz:Global
String (2000)
a) Hálózati zene
b)Távoli interakció
Radio Copernicus,lengyel-német kísérleti rádió (2005)
Anonimitás
Ember-(hálózat)-ember
interakció

Avatar Orchestra Metaverse
a) Hálózati zene
c)Virtuális hangközösségek
AmplifyVR

Álvaro Barbosa: Public Sound Objects (2002)
a) Hálózati zene
d) Hang-objektumok
Shared sound environment
„Az online közösség tagjai résztvevői lehetnek egy nyilvános
eseménynek úgy,hogy hangokat vagy zenét manipulálnak és
alakítanak át, de úgy is, hogy egyszerűen csak hallgatják az együtt
létrehozott zenét.”

Áthallások a virtuális és valós terek között:web-alapú hangművészeti formák
Nomusic fesztivál (2001-2006)
a) Hálózati zene
d) Hang-objektumok
e)Virtuális-lokálisinterakció

Clickscape98 (Linz,1998)
a) Hálózati zene
d) Hang-objektumok

a) Hálózati zene
d) Hang-objektumok
Clickscape98 / sound
felhasználói felület

Chase Mitchusson és Jesse Allison: Lost in
Space: Indoor Localization forVirtual
Environment Exploration, tervezet (2018)
a) Hálózati zene
d) Hang-objektumok

Christina Kubisch: Electrical Walks (2004-)
a) Hálózati zene
d) Hang-objektumok
f) AR megvalósítások
Janet Cardiff:AudioWalks (1991-)

a) Hálózati zene
d) Hang-objektumok
TomášVaněk Particip No. 106 c.
binaurális hangjátéka
(Placcc, Pécs, 2010)
Immerzió
Champagne Valentine AR hangszere
(2010)

(Ambrose Field)
a) Hálózati zene
d) Hang-objektumok
g) Hiper-reális,reális,virtuális és irreáliselemek a kompozícióban
Luc Ferrari: Presque Rien n°1 (1967-70)
Denis Smalley:Wind Chimes (1987)
Delokalizáció

a) Hálózati zene
d) Hang-objektumok
g) Hiper-reális,reális,virtuális
és irreáliselemek a kompozícióban
Művi valóság
Valós környezet
vagy kiterjesztett
valóság
Augmentált
virtualitás
(augmented
virtuality)

a) Hálózati zene
d) Hang-objektumok
g) Hiper-reális,reális,virtuális
és irreáliselemek a kompozícióban
Művi valóság
Valós környezet
(augmented reality, AR)
vagy kiterjesztett valóság
Augmentált
virtualitás
(augmented
virtuality)
Alkotástól függ
Akár több különböző
valóság-típus

Következtetések:
~ Hang-specifikus fogalmak:
• a közös zenei élmény akusztikai szétválasztása
• hagyományos előadói szerkezetek átalakulása
• interakció a távoli (létező?) Másikkal
• a hálózat sajátosságainak (késés,adatvesztés,torlódás) esztetizálódása
• alkotói és befogadói hozzáállás váltogatása
• virtualitás akár vizuáis interfész nélkül
~ Áthallás=Tudatos vagy öntudatlan kommunikáció egy
virtuális és egy valós,vagy több virtuális tér résztvevői között,
megengedve az egyirányúságot és az interfész vagy a
kommunikációs protokoll szabályainak elrejtését.

Következtetések:
~ Hang-specifikus fogalmak:
• a közös zenei élmény akusztikai szétválasztása
• hagyományos előadói szerkezetek átalakulása
• interakció a távoli (létező?) Másikkal
• a hálózat sajátosságainak (késés,adatvesztés,torlódás) esztetizálódása
• alkotói és befogadói hozzáállás váltogatása
• virtualitás akár vizuáis interfész nélkül
~ Áthallás= Tudatos vagy öntudatlan kommunikáció egy virtuális és egy valós,
vagy több virtuális tér résztvevői között,megengedve az egyirányúságot és az
interfész vagy a kommunikációs protokoll szabályainak elrejtését.
~ A köztér fogalma kiterjed a hálózati nyilvánossággal
rendelkező virtuális terekre is;
~ A virtuális és reális tér közötti átmenet összekeveredik,új
nézőpontok alakulnak ki, mint pl. a virtuálisban megjelenő reális
vagy a reális tér szerepét öröklő virtuális.

Webaudio API
- *2011
- HTML5
- 89.47%
- JavaScript-re épül
- csomópontokba rendezett alapú
hangszintézis,szűrők,
hangbemenet stb.
- 2D térbeli szpacializáció,
konvolúció,
- szkript processzor (újabban:
audioworklet),
- vizualizációs lehetőségek
(analyserNode)
- webMidi
- kliens-oldali

a) Audio játékok
- Kooperatív kompozíció
- Websocket / Socket.io alapú,
kliens-oldali kommunikáció
- Platform-független,web-alapú
- Játékszerű
- Interakció a távoli valaki,
távoli bizonytalan és az
automata közöttivel

a) Audio játékok
b) Kollaboratív kompozíció
- „Kollaboratív kódolás
zenével”
- Közösségi alapon
szervezhető alkotói munka
(ötletcsere, projektek
megosztása, értékelése stb.)
- Programozói nyelvek
(Python, Javascript)
megtanulása a használat során
- Oktatási folyamatba
integrálható
EarSketch (Avneesh Sarwate et al.,
https://earsketch.gatech.edu/)

a) Audio játékok
c) Live coding
Gibber (Charles Roberts,2010-)
- A böngésző mint zenei-
programozói felület
Slang (Kyle Stetz,2018-)

a) Audio játékok
c) Live coding
- A böngésző mint hálózati-
zenei lejátszó
http://www.playsound.space/ (Ariane Stolfi
et al., 2018)

a) Audio játékok
c) Live coding
d) Hálózat-auralizáció
The Web never forgets (Jasmine
Guffond,2017)
- A böngészés mint nyersanyag
a hangkeltéshez
WebSonify (NicholasVioli, 2018)

Browser Duo - The Web Never Forgets (Jasmine Guffond,Emily Morandini,2017)

a) Audio játékok
c) Live coding
e) Megosztott előadás
Concert for Smartphones
(Andrey Bundin,2015)
- Hálózat mint kiterjesztett
hangszóró-rendszer
- Klasszikus zenekari felosztás,
de akár p2p felosztás is
megvalósítható
SoundSling (AnthonyT.
Marasco,2018)

Concert for Smartphones (Andrey Bundin,2015-)

SoundSling (AnthonyT.Marasco & Jesse Allison, 2018)
Fields vezérlőfelület (Tim Shaw,Sébastien Piquema,
2014-)

a) Audio játékok
c) Live coding
e) Megosztott előadás
f) Web<->valóság átjárók

Példák
1] wifi hálózat neve:“athallasok”
2] a hálózaton belül a http://athallasok.net/
webhelyet kell megnyitni

1-2.Eltűnő és Eltűnők
2] http://athallasok.net/
Kliens(ek) web-böngészővel
Szerver

1.Eltűnő
webaudio-init.js:hangminta-lejátszó
index.html:végtelen lassító függvény

2.Eltűnők
index.html:Ő-figyelő
webaudio-init.js:hangszintézis

3.Webrőlcsengő: virtuális -> valós átjárás
Szerver
Kliens Arduino-val
Hangeszköz

4.Webrecsengő: valós -> virtuális
Szerver
Kliens Arduino-val
Interfész-
eszköz

5-6-7.Web-Web kapcsolat
Szerver

5.Pingpopong: p2p adaterózió Kliens(ek) web-böngészővel
Szerver

6.Számháború: hang-disztribúció 1
Szerver

FM szintézis Webaudio API-val

7.Netpan:hang-disztribúció 2
Szerver

A példák elérhetőek a “valós” interneten is,
a következő címeken:
http://iszalag.net/athallasok/ +
http://kbalazs.periszkopradio.hu/athallasok/

Összegzés: függőben lévő kérdések
- A virtuális világok fenntarthatósága
- AR és adaptivitás a viselhető ill.beágyazható technológiákon
- Audio alkalmazások, socket.io szolgáltatás elérésének automatikus
bekapcsolása felhasználói engedélyhez kötött legyen-e?
- Az internet mint realitás hozhatja-e a hálózat szétaprózódását?
- Kliens-oldali megoldások hátrányai (működőképesség elvesztése)
- Hiper-reálisés mesterséges valóság önállósodása
- Alacsonyszintű (szkriptprocesszor stb.) lehetőségek

Web-based works for
local-online interaction

Keywords:
one-way communication between local
and network places, digital erosion,
transparency, data economics
Web-based works for
local-online interaction

6. My Contribution to the Topic
a) Spam poetry
Spam poetry performance (Pécs,2007)
Crosstalk between virtual and real: web-based works of sound art

b) Local installations with web control
Network Drive
(Brno,2011)

Weborgan (Pécs,2012,2014)

Control surface of the Weborgan
Back-end:DMX control
Between the web page and the
back-end:JavaScript controls
OSC.php

c) Interactive/cooperativeweb installations
Webcards – Essen (2016)
http://kbalazs.periszkopradio.hu/works/webcards/

c) Interactive/cooperativeweb installations
Forgattató (2018)
http://kbalazs.periszkopradio.hu/egyeb/forgattato.html

d) Live coding system
Makkeróni – web-based audio operating system (2016)
http://makker.hu/makkeroni/

e) Internet alternatives
Iszalag.net – local webserver project (2018)
http://iszalag.net/

f) Ongoing
• Ring theWeb!
Ring the Web (2018)
http://makker.hu/RingTheWeb/

f) Ongoing
• Websynth - FM
Websynth FM & WebSeq 2D
http://kbalazs.periszkopradio.hu/egyeb/websynth/

Recommended websites:
http://www.medienkunstnetz.de/
http://www.soundartarchive.net/
https://anthology.rhizome.org/
https://webaudioconf.com/

Áthallások a virtuális és valós terek között - web-alapú hangművészeti formák

Áthallások a virtuális és valós terek között - web-alapú hangművészeti formák

Recommended

Recommended

More Related Content

Featured

Featured (20)

Áthallások a virtuális és valós terek között - web-alapú hangművészeti formák