Interaktivní médium par excellence -- multi-dotekový panel. Konstrukce a teoretické pozadí.

2,214 views

Published on

Ročníková práce

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,214
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Interaktivní médium par excellence -- multi-dotekový panel. Konstrukce a teoretické pozadí.

  1. 1. MASARYKOVA UNIVERZITA Filozofická fakulta Ústav hudební vědy Teorie interaktivních médiíInteraktivní médium par excellence -- multi-dotekový panel Konstrukce a teoretické pozadí ročníková práce Terezy Čechové (335908) a Davida Šmehlíka (342299) 2010
  2. 2. 0. Obsah 2. Technická část 2.1 Princip fungování a demonstrace v praxi 2.1.1 Praxe s komentářem 2.2 Základní historické milníky a současná situace 3. Umělecká část 3.1 Minulost 3.2 Současnost a některé další technologie 3.3 Budoucnost 4. Závěr 5. Resumé 6. Summary 7. Reference 8. Použitá literatura
  3. 3. 1. ÚvodJádrem celého snažení je realizace praktického projektu, a sice stavby multi-dotekového panelu. Našeročníková práce je tedy koncipována jako dokumentace konstrukce, podpořena vyložením principufungování a širšími souvislostmi týkajícími se multi-dotykových technologií, jak z technického tak zuměleckého pohledu.Na úvod cítím potřebu uvést fenomén, kterým se zabýváme, do kontextu, aby měl člověk vodítko, kam simulti-dotek vlastně zařadit. Typografické schéma: HCI (Human Computer Interaction) > NUI (Natural User Interface) > TUI (Touch/Tangible User Interface) > Multi-touch > Infrared Multi-touch > FTIR Multi-touch (Frustrated Total Internal Reflection)Způsobů jak dosáhnout přirozenější interakce s počítačem existuje celá řada (hlas, gesta, pohyb oka),stejně taková se ale vyskytuje i v možnostech, jak zprostředkovat samo multi-dotekové ovládání. Přestožev rámci DIY (do it yourself) komunity se etablovalo opět vícero schůdných řešení, volba padla na panelvyužívající optického jevu totální odrazu, který při zvažování působil nejvýhodněji zejména z důvodůspolehlivosti (relativně vysoký kontrast blobů), dostupnosti komponentů, ekonomické (ne)náročnosti.2. Technická část2.1 Princip fungování a demonstrace v praxiDiagram FTIR setupu: <wiki.nuigroup.com/images/f/f7/Ftir.jpg>Podotýkám, že je velmi jednoduché nechat se zmást a považovat druhou polovinu názvu dotyčnéhokonceptu (IR) za zkratku infrared, jelikož na bázi odrazu infračerveného světla celý systém funguje.Zjednodušená interpretace FTIR (Frustrated Total Internal Reflection) principu:
  4. 4. Na rozhraní mezi vzduchem (index lomu přibližně 1 [5]) a plexisklem (cca 1,4) dochází k lomu světla(vycházejícího z diod) podle Snellova zákona [6]. Trik je v tom, že díky již zmíněnému optickémufenoménu totálního odrazu (total internal reflection [7]) jsou infračervené paprsky v plexiskle či akrylátuuvězněné, protože v případě, že světlo v materiálu s vyšším indexem lomu dopadne na rozhraní sprostředím s nižším indexem lomu pod určitým úhlem, nedojde k lomu tohoto světla, nýbrž k odrazu.Dotykem uživatel naruší (frustruje) zmíněný úhel, čili přestane docházet k totálnímu odrazu a světlo setak dostane mimo plexisklo směrem k infračervené kameře.Tohoto jevu využil Jeff Han a jeho tým z výzkumného media labu newyorské univerzity, a to už vroce 2005, při experimentech s multi-dotekovými technologiemi [2]. Stal se tak otcem FTIR koncepce.Výsledkem bylo mj. publikování studie (viz prameny), založení společnosti Perceptive Pixel, která sepochopitelně specializuje na multi-dotykové instalace atp. a prezentace na prestižní konferenci TED.2.1.1 Praxe s komentářemZákladní komponenty:webkamera, disketa, plexisklo/akrylát, ir led strip/ribbon (proužek s infračervenými diodami) s napájením,rám, video projektor, projekční vrstva schopná zadní projekce (urč. druhy plátna, příp. Rosco Grey,záclona, v našem případě papír na pečení), kterou jsme oproti schématu umístili pod plexi, silikonovávrstva v obrázku výše se obecně označuje jako "compliant surface" -- tuto vrstvu jsme ale prozatímvynechali z důvodu silných blobů i s její absencí (přestože jsme měli připravenou Sulky Solvy fólii),nakonec počítač s potřebným softwarem.A. Modifikace webkamery na (ze značné části) infračervenouZaprvé je třeba obstarat si vhodnou kameru. Zásadními parametry jsou v první řadě obnovovacífrekvence a v druhé rozlišení. V našem případě jsme sáhnuli po PS3 Eye, která je komunitou obecnědoporučována zejména vzhledem k poměru cena/výkon. Při vcelku průměrném rozlišení 640x480 máme kdispozici (se správným driverem) až 60 fps (obrázků za sekundu), což se později ukáže jako veledůležitépro plynulost trackování doteku.Zaregistroval jsem ale i oblíbenost kamery dodávané k Xboxu 360, což by mohlo implikovat další důvodpopularity těchto kamer, a sice tak trochu pohodlnost prvních multi-touch kutilů, jelikož videoherní konzolivlastní v USA (oproti Česku mj.) opravdu kdekdo.Jednoduše, kameru je nutno celou (šroubek po šroubku) rozebrat a nahradit mezi čočkou a obrazovýmsnímačem nacházející se sklíčko-filtr blokující infračervené světlo filtrem (alespoň částečně) blokujícímnaopak světlo viditelné, kterým je adekvátně vytvarovaný plátek z diskety. Alternativou je několik vrstevneexponovaného filmu nebo přímo infrared bandpass filter. A složit. S přesnými instrukcemi a názornýmvideotutoriálem pomůže video na Youtube ([17] plus druhý díl).
  5. 5. to drobné sklíčko je filtr blokující ič světlo, nahrazeno kouskem disketyB. Montáž paneluB1. Plexisklo/akrylátProč píši lomeno. Obě jména označují polymetylmetakrylát, zkráceně PMMA. V multi-touch kolébce sepoužívá spíše acrylic (glass), u nás naopak. Připomínám, že příčinou použití právě tohoto materiálu jepříhodná hodnota indexu lomu.Deska musí bezpodmínečně splňovat následující podmínky, síla min. 6 mm (viz [1] str. 10), čirostmateriálu a leštěné kraje-hrany (pokud se k vám dostane nezaleštěné, je třeba použít postupně jemnýa jemnější smirkový papír) z důvodu bezproblémového vniku ič světla. Vlastnosti jako délka a šířkajsou pochopitelně volitelné, FTIR má výhodu právě ve své škálovatelnosti (při větších rozměrech je aletřeba masivnější sklo kvůli zamezení prohýbání). Pro maximální využití plochy je však vhodné dodržetpoměr, jenž je vlastní plánovanému rozlišení, kde je člověk omezen technickými vlastnostmi projektoru adispleje-monitoru. Čili prakticky, mezi cca nejpoužívanější spadá 1024x768 (4:3), notebookové 1280x800(16:10) a 1280x1024 (5:4). Volba ale podléhá i délce led stripu (viz níže).Protože je naším záměrem být vcelku mobilní, používáme laptop, tudíž výsledným rozměrem je 25,5na 41 cm, což bez 2 mm na delší straně odpovídá širokoúhlému poměru 16:10. Sice nijak úžasná, aledostačující testovací rovina pro práci oběma rukama.
  6. 6. pozn.: led strip je tam přilepen jen na testB2. Projekční vrstvaNám spadnula takřka do klína. Při dřívějším experimentování se zadní projekcí jsem prostě a jednodušepoužíval pár spojených listů obyčejného papíru do tiskárny. Jelikož potřebujeme zakrýt rozsáhlejší plochunež je v možnostech A4, a spáry nepřicházejí v úvahu, sáhnuli jsme po prvním příbuzném materiáluvyhovujících rozměrů při zachování průsvitnosti, a sice papíru na pečení. Aplikace na plexideskuprobíhala primitivním způsobem, použili jsme oboustrannou lepící pásku, s tím, že její proužek musel býtbezpodmínečně maximálně tak široký, aby se stačil skrýt pod rámem. Prozaickým důvodem, proč jsmesituovali projekční vrstvu pod, je fakt, že jsme dosahovali lepších výsledků při trackování doteku.Upozorňuji, že v žádném případě nemusí jít o finální řešení, pečicí papír bezesporu není ideální, jedná seo "poloprozatímní" testovací východisko, záměrně užijeme demontovatelný rám pro dodatečné modifikaceči experimenty. Původním návrhem byl osvědčený "rear projection surface" -- 79korunová záclona z IKEI.Co se týče funkce této vrstvy, sekundárním a požadovaným efektem je rozptyl světla způsobujícíblahodárný vyšší kontrast blobů.
  7. 7. B3. Multi-rámJak jsem již zmínil, zvolili jsme rozebratelný rám, konkrétně prostý, černý, plochý, technický, jenž jsmesi nechali uříznout na míru. Přestože určitou měrou zredukuje použitelnou plochu panelu, zvlášť v našemskromném případě, je nutný jako pevná opora mj. pro budoucí instalaci do stolu, stojanu či obdoby.Dočasně slouží kraje jako opěra pro postranní podložky (např. židle).Na kraji jedné ze stran rámu jsme vyvrtali otvor pro napájecí kabel k diodám, jehož druhý konec mákolegyně připájela k led pásku. pozn.: fotografie pořízena chronologicky později
  8. 8. Ačkoliv byla prvotním úmyslem výroba vlastního obvodu ič ledek, naskytla se možnost markantnězjednodušit tento proces objednávkou přímo hotového proužku. Délka se měří na stopy, na totoexperimentování jsem pořídil dvě, protože stačí, aby světlo vyzařovalo jen ze dvou stran. Od toho se pakodvíjely rozměry akrylátu.Sešroubovali jsme ze dvou dílů "elko" a opatrně a na milimetr přesně vlepili strip.Po připojení třetí strany jsme vsunuli připravenou desku a čtvrtou uzavřeli okruh. Poslední úkolem bylovložení per zajišťujících stabilitu plexiskla v rámu, nevzali jsme však předem v úvahu, jak choulostivý napotrhání pečicí papír je.C. Kompletace setupu a testČili, panel, projektor, kamera i notebook pohromadě. Je ale potřeba vhodně si nakonfigurovat vzdálenostmezi infračervenou webkamerou s promítačkou a podloženým panelem nejlépe tak, aby promítaný obrazzachoval ostrost, kopíroval tvar a rozlohu (pokud nedopadá pod pravým úhlem, dochází k deformaci)dostupné plochy akrylátu. Kameru tak, aby snímala celý panel, nicméně co nejblíže za účelem maximálníefektivity při detekci dění, a zároveň aby nestínila video projekci.
  9. 9. provizoriumProstřednictvím otevřeného trackovacího softwaru CCV ([13] Community Core Vision, dříve tbeta,alternativou je Touchlib [14]) získáme ze šmouh doteky. Bez chvíle (spíše jejich hromady) věnovanénastavení programu se ale člověk daleko nedostane. Na webových stránkách projektu v sekci "Tutorials"se nachází linky odkazující na zdroje, které je doporučeno si prostudovat. Jakmile prozkoumáte účinkyjednotlivých předvoleb, dosáhnete kvalitních kontrastních blobů a budete s momentálním výsledkemrelativně spokojeni, ...
  10. 10. ... pusťte se do kalibrace, jejíž korektní průběh je předpokladem pro správné fungování ukázkových(demo) a dalších aplikací. Jednou z nich by mohl být kupř. sympatický Fire.swf, který je součástíexemplárního balíku, jenž je k nalezení v rubrice "Downloads". Vězte ale, že je nezbytné opatřit si i stand-alone Flash player a v CCV odkliknout komunikaci s ním.
  11. 11. 2.2 Základní historické milníky a současná situaceChtěl bych zde využít prostoru a zdůraznit onen zásadní rozdíl mezi one-touch (též single-touch) a multi-touch, jako analogie by mohla posloužit paradigmatická propast mezi mono a stereo zvukem, nebopředstava, že kyklopovi vyroste druhé oko. Nehledě na možnost simultánního zapojení se více uživatelů,tzv. multi-user multi-touch.Druhou poznámkou bych rád objasnil, že dotykové obrazovky, se kterými se dnes setkáváme, jsouprodukty esenciálně odlišných vývojových linií (přestože se to uživateli nemusí vůbec zdát). Existují třizákladní metody, jak se obvykle dosahuje senzitivity na dotek:A. Rezistivní (též tlakový) displej. (př. HTC Touch Diamond)V principu, skládá se ze dvou vrstev, mezi kterými působí vzduch jako izolant. Jakmile je horní stlačena adojde ke kontaktu se spodní, začne procházet elektrický proud, tato událost se následně vyhodnotí jakodotyk [8].B. Kapacitní displej. (př. iPhone)"Funkce těchto displejů je založena na vodivosti lidského těla. Povrch kapacitního dotykového displejeje pokryt vodivou vrstvou. Při dotyku displeje prstem ruky vznikne mezi okraji displeje a vodivou rukou
  12. 12. kapacita, přes kterou se uzavírá se elektrický obvod. Kontroler pak analýzou vzniklých kapacit přesně určípolohu prstu." [18].C. Infračervený displej (v uvozovkách). (př. Microsoft Surface)Náš případ, vysvětlení viz výše. Dodávám ale, že ič technik se objevilo, kromě FTIRu, více druhů -- DI(Diffused Illumination), LLP (Laser Light Plane), DSI (Diffused Surface Illumination) [12].Co se týče zmíněných milníků, v reálu neni (multi-)doteková technologie nic nového. Zde předkládámvybrané záchytné body (zdrojem práce Billa Buxtona, multi-touch gurua [3]):1972: PLATO IV Touch Screen Terminal (Computer‐based Education Research Laboratory, Universityof Illinois). První známé zařízení, schopnost zaznamenat (pouze) jeden dotyk (ale přímo na obrazovce),necitlivý na tlak.1982: Flexible Machine Interface (Nimish Mehta, University of Toronto). První systém obdařený multi-dotekem, ale jen jako vstupní zařízení.1984: Multi‐Touch Screen (Bob Boie, Bell Laboratories, New Jersey). První multi-doteková obrazovka.Funkce bylo docíleno průhledným kapacitním povlakem na CRT monitoru.1992: Simon (IBM & Bell South). První dotykový telefon, one-touch.1992: Wacom (Japonsko) Představení prvního modelu digitálním ilustrátorům a grafikům znaméhotabletu (v původním slova smyslu), tlakově senzitivní.2003: Jazz Mutant (Francie). První multi-dotekový komerční produkt -- Lemur (více níže).2005: Muli‐Touch Sensing through Frustrated Total Internal Reflection -- Jeff Han (MediaResearch Laboratory, New York University). Jednoduchá a nízkonákladová implementace multi-dotekovéinterakce. Zájem médií.2007: Apple iPhone. Způsobil revoluci.
  13. 13. Jakým způsobem to aplikovat na hype cycle [10] graf? <http://en.wikipedia.org/wiki/File:Gartner_Hype_Cycle.svg>Stanovisko autorů Multi-touch is Dead, Long live Multi-touch [4] je následovné: TT 1980, PoIE 2008, ToD2012, SoE 2016, PoP 2022. Nejsem si jist, zda tomu zrovna odpovídají prodejní čísla iPhonu nebo tabletuiPad, a sice těžko představitelných 50 000 000 jednotek (původní model, 3G, 3GS) k 8. dubnu 2010[15], resp. 1 000 000 k 3. květnu 2010 [11], a to se (skoro protismyslným) faktem, že na trhu k dispoziciteprve od dubna tohoto roku. Svědčí to mj. o enormní důvěře, kterou zákazníci chovají k výrobkůmApplu.Čili, rozhodně tu existuje prostor pro polemiku, těžko ale předpovídat budoucnost. Na druhou stranu ale sautory souhlasím ve věci signifikatního, prozatím nevyužitého, potenciálu, což neoddiskutovatelně souvisís WIMP [9] návyky veškerého uživatelstva.Apple vyasfaltoval cestu celé řadě dalších, rozvoj a prodeje dotykových telefonů obecně jsou jednoznačněna vzestupu. Za vážného konkurenta v této i ostatních kategoriích je považován dotyku přizpůsobenýmobilní operační systém Android velespolečnosti Google, jenž je díky své otevřenosti a univerzálnostinasazován nejen do smartphonů (či superphonů, jak Google tituluje svůj Nexus One), ale i tabletů,netbooků, e-readeru (Nook), ve velmi blízkém budoucnu televize (Smart TV podniků Sony, Google aIntelu), nebo mikrovlnné trouby [19].Samostatnou třídou jsou pak (zmíněné) elektronické čtečky a jejich nejistá budoucnost z důvoduomezenosti tohoto přístroje oproti nastupujícím tabletům. (Nejvýznačnější zástupce Amazon Kindlenapojený na ekosystém jejich pověstného elektronického obchodu.) Konkrétně, v porovnání s iPadem(s funčností solidního netbooku bez klávesnice ale s kvalitním a multi-dotykovým displejem) sezjednodušeně jedná pouze o jakousi databanku černobílých knih ve formátu pdf. Příčinou jejich stálépřítomnosti jsou benefity plynoucí z e-paper obrazovky -- dlouhodobá výdrž a čitelnost na slunci. Ani tytounikáty si ale nemusí dlouho udržet.Ve třetím kvartále tohoto roku se má na trhu objevit tablet Adam od indického start-upu (mohlo bybudit nedůvěru, avšak předsudky stranou, testovací prototypy vzbudily na letošním lasvegaském CES
  14. 14. vlnu zájmu) Notion Ink s Pixel Qi displejem (mimo běžného TFT LCD i nízkoenergetický černobílý "e-reader-like" mód), který by se mohl stát potenciálním Amazon Kindle i iPad "killerem". V případě, že splníproklamace uvedené na homepage: "Over 140 hours audio and over 16 hours of HD video playback" [20].Microsoft na tomto poli není příliš úrodný. Aktuálně zrušil svůj projekt Courier a společnost HP odstoupilaod plánu vybavovat svůj chystaný tablet HP Slate (Hurricane) Windows 7, místo nichž s největšípravděpodobností nasadí operační systém před nedávnem přidruženého Palmu -- webOS, a sice z důvoduúdajné nadměrné náročnosti Win7 na baterii [16]. Zařízení Surface se podle ohlasů zdá být velmipovedené, avšak koncovým uživatelům nedostupné kvůli své vysoké (až přehnané) ceně. Microsoft sním cilí na korporátní klientelu, kupř. Škoda Auto jej využila na ženevském autosalonu v roce 2009 [21].Absolutně zapadl i Tablet PC oznámený již v roce 2001, jednou z příčin byla patrně nezbytnost interakcepouze prostřednictvím stylusu.3. Umělecká částMulti-dotykové přístroje teprve získávají v oblasti umění svoje místo. Jednu skupinu umělců se jim aleuž podařilo oslovit. Jde o hudebníky. V současnosti je pro dobrou elektronickou show zapotřebí několikrůzných přístrojů. Ty to přístroje mají různé ovládání, bývají většinou dost drahé, složité na ovládání, akdyž jich je víc, tak zabírají hodně místa.Právě zde se otevřela příležitost pro multi-dotykové zařízení. Takové zařízení v sobě může spojovatněkolik přístrojů najednou a hudebník na něm pouze pomocí doteku ovládá všechny složky skladby.Navíc se u těchto přístrojů setkáváme s intuitivním ovládáním buďto pomocí prstů nebo nejrůznějšíchdodatečných krabiček a puků s předvolenými funkcemi. Další nespornou výhodou je možnost užívánímulti-dotykového zařízení ve více osobách najednou. Tím vzniká obrovská škála možností skládání hudbyať už ve studiu nebo naživo na koncertě.3.1 MinulostVzhledem k tomu, že se multi-dotykové přístroje začaly mezi hudebníky používat teprve nedávno, neníjejich historie obsáhlá. V této kapitole představím pouze jednoho předchůdce současných zařízení.Za první výrazněji multi-dotykové zařízení je považováno Continuum Fingerboard. Jednalo se o MIDIovladač navržený doktorem Lippoldem Hakenem a vyráběný jeho firmou Haken Audio. Continuumbylo nabízeno ve dvou variantách: full-size, na kterém se dalo ovládat až 8 oktáv a half-size se čtyřmioktávami.
  15. 15. Continuum se ovládá pomocí jednoho až šestnácti prstů. Každý prst je snímán na ose X, Y a Z. Osa Xodpovídá horizontální linii, osa Y vertikální a osa Z je zastoupena snímačem tlaku. Samotná konstrukceovšem nefunguje na takovém principu, jaký se využívá u dnešních multi-dotykových přístrojů. Continuummá ve svém těle 256 horizontálně umístěných tyčí s magnetem na obou koncích. Tyto tyče se opírajío pružiny a seshora jsou pokryté neoprenem a látkou, takže hráč má pocit rovné plochy spíše nežoddělených kláves. Kdykoliv je některá tyč stlačena, magnety na jejích koncích se posunou a senzoryumístěné na okrajích zařízení zachytí údaje ze všech tří os.Hodnoty jsou následně přeneseny do počítače, ve kterém si může uživatel nastavovat vlastní zvuky projednotlivé hodnoty nebo může použít základní nastavení od výrobce. Program je zdarma ke stažení nastránkách Haken Audia. Samotné zvuky poté vycházejí ze syntetizéru, který není součástí Continuua.Podobným způsobem fungoval například i MIDI ovladač Buchla Thunder [22]. Jednalo se však stáleo ovladače, které fungovaly na jiném technologickém základě, než jaký se užívá pro multi-dotykovépřístroje dnes. Proto tyto předchůdce přeskočím a na jiné možnosti přenášení doteku se podívám vnásledující kapitole.3.2 Současnost a některé další technologieZajímavým pokusem na poli multi-dotykových zařízení byl výrobek firmy Tactex MTC Express. Jedná se ochytrou látku citlivou na tlak, kterou vyvinula Kanadská vesmírná agentura. Vnitřní vrstva látky je složenaz buněčných elastomerů (makromolekulová látka vykazující při normální teplotě velkou pružnost), typickyze silikonu a je pokryta venkovní vrstvou ochranné látky. Do vnitřní vrstvy jsou umístěny překrývající sesenzory citlivé na tlak, tzv. taxely, které jsou připojeny ke kabelům z optického vlákna. Skrz tyto kabelyje do taxelů posíláno světlo z LED diod. Tlakem na taxely kontroluje uživatel množství světla, které jenásledně odraženo na světločivý senzor a ten odešle vypočítané údaje o tlaku do řídící jednotky. Aktivníplocha MTC Expressu obsahuje 72 taxelů a její rozměry jsou 14,2 cm x 9,5 cm.MTC Express je výborným nástrojem právě pro muzikanty a to díky velké tvůrčí svobodě při nastavovánísoftwaru. Zařízení cítí dotyk na celé své ploše, a tudíž si hráč může přednastavit i sebemenší detaily.MTC Express se dá používat jako databáze perkusí, předem nahraných zvuků, elektronických ruchů ašumů nebo tónů různých nástrojů. Jednotlivé kategorie zvuků se dají kombinovat a tak vzniká obrovskémnožství různých nastavení.Dalším důvodem, proč je MTC Express zlomový je fakt, že hudba vlastně vzniká přímo pohybem prstů pojednoduché podložce bez nutnosti předchozího seznámení se s nástrojem a naučení hmatů (jako je tomunapříklad u klavíru nebo kytary). Zařízení má vysoce intuitivní ovládání a myslím si, že pro každého, kdoho kdy vyzkoušel, muselo být hraní silným zážitkem. Musí to být jako sen mít desítky hudebních nástrojůna dosah - schovaných pouze v malém látkovém obdélníku.
  16. 16. Druhým příkladem se již přiblížím k designu, který je pro dnešní multi-dotykové zařízení typický. Lemurje multi-dotykový ovladač od francouzské firmy JazzMutant a je vybaven LCD displejem. Ten dodávázařízení vizuální odezvu, která u jeho předchůdců chyběla. Lemurem se dá ovládat nejen zvuk, aletaké osvětlení nebo video (to z něho dělá příjemný ovládač i pro některé VJe). Software umožňujepřednastavení různých ovládacích prvků, jako jsou posuvníky nebo knoflíky. Všechny tyto prvky si potommůže umělec sám seskupit na několik stránek, mezi kterými bude následně přepínat.Lemur opět splňuje v současnosti důležitou podmínku intuitivního ovládání. Díky možnosti vlastníhoseskupení ovládacích prvků na něm může hrát naprosto kdokoliv. Jeho nevýhodou je malé rozlišeníobrazovky a necitlivost na tlak. Mezi jeho uživatele patří kapela Nine Inch Nails, zpěvačka Björk neboproducent a DJ deadmau5.Všechny výše popsaná zařízení fungují pouze jako ovladače, které je nutno připojit k dalšímu vybavení.Jejich software rozpoznává pouze jednotlivé body, ne celé objekty a tak je možné je ovládat pouze prsty.Technologie, které využívají funkce multi-doteku a jsou schopné rozpoznat více, než jen body, představímv následujících odstavcích. Tato technologie se v angličtině označuje slovem „tangible “. Do češtiny setoto označení dá přeložit jako „hmatatelné“ nebo „hmotné“. Tento pojem ovšem nevystihuje významanglického slova a proto zůstanu u původního „tangible “.Jak jsem již naznačila, tangible interface umožňuje uživateli ovládat multi-dotykové zařízení nejenomprsty, ale i fyzickými objekty (nejčastěji malé kostky). Tyto objekty mohou obsahovat další ovládací prvkyjako je tlačítko nebo posuvník.První tangible interface, který popíšu, se jmenuje d-touch. Nejde ani tak o multi-dotykové zařízení,jako spíš o zajímavou technologii. Ta spočívá ve volně stažitelném programu, který je schopen přeswebkameru snímat papírové krabičky na listu papíru a podle jejich pozice generovat zvuky. Šablonypapírových krabiček a ovládací papír (nebo jak jej nazývají sami autoři – interaktivní zóna [23]). je kdispozici na webových stránkách projektu.d-touch si troufám díky jeho jednoduchosti a levnému provedení označit za revoluční. Uživatel si můževybrat ze dvou variant. První z nich je d-touch drum machine. Vytištěná interaktivní zóna obsahuje 11horizontálních řádků, každý reprezentující různé druhy úderu na buben (na každém řádku je pro lepšípřehlednost popisek). Na interaktivní plochu se rozestaví papírové kostky a jejich posunem ve vertikálnímsměru se mění načasování spuštění zvuku v průběhu smyčky. Kamera sleduje dva typy kostek – s
  17. 17. obrázkem jedné a dvou rukou. Počet rukou mění zvuk určený horizontálním umístěním kostky.Druhou variantou je d-touch sequencer. Funguje na stejném principu papírových kostek a interaktivnízóny. Jeho výhodou je malá nahrávací plocha umístěná v horní části interaktivní zóny. Po položení kostkydo nahrávací plochy začne program automaticky nahrávat. O rozlišení jednotlivých kostek se starajíobrázky na jejich povrchu. Každá kostka má jiný obrázek a tudíž může vzniknout i složitá skladba smnoha úrovněmi.d-touch i přestože je volně k dispozici a na jeho provoz není třeba žádné speciální vybavení, není mocznámý. Komunita, která se kolem něj utvořila, se ho ale snaží propagovat, a myslím, že d-touch má ještědo budoucna co nabídnout právě amatérským muzikantům s malým rozpočtem.Druhým a o mnoho složitějším zařízením je Audiopad. Jedná se o nástroj pro skládání a přehráváníelektronické hudby, který zaznamenává pohyb objektů na povrchu multi-dotykové plochy. Ovládá sepomocí kostek a puků s obrázky na dolní straně. Program rozlišuje jednotlivé obrázky a přiřazuje jimuložené nasamplované zvuky, které si pomocí ovládacích objektů uživatel sám doslova vytahuje zdatabáze.Kolem ovládacího objektu se po položení na dotykovou plochu Audiopadu rozsvítí další dodatečnéovládací prvky. Důležitou součástí je mikrofon, reprezentovaný modrým pukem. Posunem celé skladbynebo jejich částí k nebo od mikrofonu se upravuje hlasitost.
  18. 18. Každý ovládací objekt obsahuje malý rezonanční obvod. Ten komunikuje se sítí antén uvnitř dotykovéplochy. Počítač na základě dat z antén vypočítává umístění jednotlivých objektů. Na stropě nebo přímo nastole je umístěn videoprojektor, který promítá okolo puků barevný interface.Audiopad zatím existuje pouze v několika prototypech a autoři James Patten a Ben Recht jej prezentujípouze po předchozí domluvě. Do budoucna se ale uvažuje o masovější výrobě a prodeji [24].Poslední ukázkou je reacTable* vyvinutý v Barceloně na Universitat Pompeu Fabra. reacTable* využívánejnovější technologie, svým tvarem nabádá ke spoluprácí několika hráčů a je extrémně intuitivní (samiautoři uvádějí: „zero manual, zero instructions“ [25]).Základem reacTable* je průsvitný osvětlený stůl kruhového tvaru. Uvnitř stolu je umístěna videokamera,která neustále snímá povrch stolu a zaznamenává pohyb, tvar a druh objektů na stole. Ovládacíobjekty různých tvarů jsou pasivní a neobsahují žádné ovládací prvky ani napájení. reacTable* stejnějako Audiopad využívá pohybu těchto objektů po ploše, zaznamenává jejich polohu, obrázky na jejichstěnách, jejich vzájemnou vzdálenost a směr, kterým jsou natočené a na základě těchto informací spouštínesamplované zvuky a smyčky. A stejně jako u Audiopadu i reacTable* má zpětnou vazbu ve forměpromítaného interface. Navíc se u reacTablu* setkáváme s dalším zajímavým prvkem ovládání - ovládáníprsty, kterými se malují různá gesta přímo na osvícenou plochu. Všechna gesta jsou vysoce intuitivnía jednoduchá. Za tuto funkci ode mě dostává reacTable*další body a stává se tak v současnosti asinejlepším multi-dotykovým zařízením pro hudebníky.
  19. 19. Právě interface a gesta jsou tím, co dělá reacTable* něčím víc. Důmyslná animace různých efektůvyvolává u uživatele i diváků dojem, že přehrávaná hudba je vidět. reacTable*pracuje s velkýmmnožstvím barev a tvarů, což jej dělá zajímavým nejenom pro hráče a posluchače, ale i pro přihlížejícípublikum.Během roku 2007 reacTable* poprvé použila islandská zpěvačka Björk a stala se tak první komerčněznámou hudebnicí, která využila během živého vystoupení multi-dotykově ovládané zařízení. reacTable*je k vidění v několika muzeích a vzdělávacích institucích na světě.V této kapitole jsem představila a porovnala několik zařízení, které využívají multi-dotekového ovládání.Většina z nich na svoje masové rozšíření stále ještě čeká, ale myslím si, že už velmi brzy se s nimizačneme setkávat mnohem častěji.3.3 BudoucnostVýhody multi-dotykových zařízení jsou jasné. Intuitivní ovládání, velkorysá nabídka personalizace celéhointerface a ovládacích prvků, možnost spolupráce několika lidí najednou, využívání nejen dotyků prstů,ale také gest nebo různých ovládacích objektů s dalšími funkcemi u tangible zařízení. Navíc je díkyintuitivnosti takové zařízení vhodné i pro naprosté laiky a hrát tak na něj může opravdu každý.Dotykové ovládání už v současnosti překonalo původní ovládání u mobilních telefonů. S multi-dotykem jeto trošku složitější z důvodu tahanic okolo patentů. Apple se snaží vyvolat dojem, že je vlastníkem všechpatentů na multi-dotykové ovládání, ale soudní spory ještě nejsou u konce, takže je budoucnost patentůnejasná (multi-dotykové ovládání má ve svých telefonech kromě Applu třeba společnost HTC). Pokudale dojde k uvolnění patentů, tak multi-dotekové přístroje dle mého názoru okamžitě pohltí single-touchovládání.V oblasti umění je situace poněkud jiná a odhad budoucího směřování je složitější. V současnosti se promulti-dotyková zařízení většinou využívá kamera, která snímá nějakou plochu (seshora nebo zespoda) apohyb po ní. Tento systém se ale nedá používat pro větší instalace, protože kamera musí snímat plochu zdostatečné vzdálenosti. To znamená velké nároky na prostor a někdy nepřekonatelný problém například upodlahových instalací. V těchto případech je vhodnější používat jiné multi-dotykové technologie.Další problematickou skutečností je fakt, že multi-dotykové zařízení se využívají většinou v krátkodobýchinteraktivních instalacích, při performancích nebo se prezentují pouze jako „zábavní automat “, který
  20. 20. si mohou zájemci ozkoušet na výstavě nebo ve vzdělávacím centru. Důvod, proč tato zařízení nejsourozšířenější je celkem jasný – je jím cena. Soukromá osoba si například reacTable* jen tak pro zábavuurčitě nekoupí. Bohatší hudebníci mají situaci jednodušší, ale myslím si, že stále panuje nedůvěra vtechnologii a lenost přecházet ze zažitých způsobů na novinky.Důležitým nedostatkem dotykových zařízení je nepřítomnost haptické odezvy. Některé mobilní telefonynabízejí možnost zapnutí vibrací, které se spustí při dotyku. Není to ale dostačující. Dotykové ovládáníkvůli tomu vyžaduje mnohem více vizuální pozornosti než ovládání klasické.To je jeden z důvodů, proč jsou momentálně velice populární přístroje využívající tangible interface,u kterých je haptická odezva alespoň v podobě interakce s ovládacími objekty. Když k tomu přičtemeještě velké množství těchto objektů, které lze používat najednou, ovládání prsty a možnost „namalování “některých příkazů, tak tangible interface vychází jednoznačně jako vítěz.Zprávy o novinkách v oblasti multi-dotykového ovládání čteme každý den a zlomový objev může přijitínaprosto kdykoliv, proto je odhadování budoucnosti jako věštění z křišťálové koule. Pokud se ale neobjevínějaká zásadní změna, tak je ale výše popsaná budoucnost docela pravděpodobná.4. ZávěrGró naší práce tkvělo v konstrukci multi-dotykového panelu. Samotný proces stavby jsme detailně popsaliv první kapitole. V průběhu jsme kupodivu nepotkali žádnou těžko zdolatelnou příp. nezdolatelnoupřekážku. Což nebývá pravidlem. Projekt se nám podařilo dotáhnout do zdárného konce. Jeho dokončenípro nás však neznamená konec, ale nový začátek v tom smyslu, že se zaměříme na uživatelům bližšístránku věci, a sice softwarovou. V následující části písemné práce jsme vypíchli nejzásadnější pionýrskésnažení v oblasti multi-dotykových technologií. Toto průkopnické úsilí vytvořilo podhoubí pro jejichrozmach, jehož současnému stavu se věnujeme dále. Poslední část je sondou do užití fenoménu multi-dotyku v oblasti hudby. Ve třech sekcích jsme postupně prozkoumali různé uplatnění multi-dotyku u víceči méně proslulých zařízení v této oblasti. Závěr textu otevřel prostor pro odhad budoucích tendencí.5. ResuméMulti-dotykové řešení není všespásné, pochopitelně nemůže v určitých případech nahradit myš aplnohodnotnou klávesnici kvůli absenci haptické odezvy. Vyřešení nedostatků je potenciálně v rukoubudoucích vynálezců.6. SummaryMulti-touch solution is not able to replace computer mouse and keyboard because of the absence ofhaptic feedback. Future inventors will have to solve these problems.
  21. 21. 7. Reference[1] NUI Group Authors. Multi-Touch Technologies. NUI Group, 2009. 90 s.[2] HAN, Jefferson Y. Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection . MediaResearch Laboratory, New York University, 2005. 4 s.[3] BUXTON, Bill. Multi-Touch Systems that I Have Known and Loved. PDF <http://www.cs.berkeley.edu/~tlavian/spring2009/Projects/Multy%20touch%20systems.pdf>, originální verze 2007, použitaaktualizovaná 2009. 10 s.[4] SCHÖNING, Johannes - KRÜGER, Antonio - OLIVIER, Patrick. Multi-touch is Dead, Long liveMulti-touch. PDF <http://www.dfki.de/web/forschung/publikationen/renameFileForDownload?filename=SchoeningMultiTouchisDead.pdf&file_id=uploads_252>, 2009. 5 s.Wikipedia[5] Index lomu. <http://cs.wikipedia.org/wiki/Index_lomu>[6] Snellův zákon. <http://cs.wikipedia.org/wiki/Snellův_zákon>[7] Total internal reflection. <http://en.wikipedia.org/wiki/Total_internal_reflection>[8] Resistive touchscreen. <http://en.wikipedia.org/wiki/Resistive_touchscreen>[9] WIMP_(computing). <http://en.wikipedia.org/wiki/WIMP_(computing)>[10] Hype cycle. <http://en.wikipedia.org/wiki/Hype_cycle>[11] iPad. Poslední aktualizace 2010-05-18. <http://en.wikipedia.org/wiki/Ipad>NUI Group[12] Getting Started With MultiTouch. <http://nuigroup.com/forums/viewthread/1982>[13] Community Core Vision. <http://ccv.nuigroup.com/>[14] Touchlib. <http://nuigroup.com/touchlib/>TechCrunch[15] KINCAID, Jason. Apple Has Sold 450,000 iPads, 50 Million iPhones To Date . 8.4.2010. <http://techcrunch.com/2010/04/08/apple-has-sold-450000-ipads-50-million-iphones-to-date/>[16] ARRINGTON, Michael. Hewlett-Packard To Kill Windows 7 Tablet Project. 29.4.2010. <http://techcrunch.com/2010/04/29/hewlett-packard-to-kill-windows-7-tablet-project/>[17] YouTube. (1/2) Playstation 3 Eye Camera - Removing IR Blocking Filter . <http://www.youtube.com/watch?v=7jJfuP7YgPA>
  22. 22. [18] SNÁŠEL, Jan. Už vím, jak fungují dotykové displeje. [cit. 2010-05-19]. <http://www.mobilmania.cz/default.aspx?article=1108570>[19] Shanzai.com. Android microwave oven spotted at CES. <http://www.shanzai.com/index.php/market-mayhem/news/614-android-microwave-oven-spotted-at-ces>[20] Notionink.in. Adam - Features. [cit. 2010-05-05]. <http://www.notionink.in/adamfeature.php>[21] Microsoft.com. Škoda Auto představila nový vůz prostřednictvím Microsoft Surface . <http://www.microsoft.com/cze/presspass/msg/20090309_news1.mspx>[22] Buchla and Associates. BUCHLA THUNDER [online]. Dostupné z: <http://www.buchla.com/historical/thunder>.[23] d-touch.org. d-touch drummachine [online]. c2009. Dostupné z: <http://www.d-touch.org/audio/drummachine/>.[24] James Patten’s portfolio. Audiopad, contact, info and FAQ [online]. Dostupné z: <http://www.jamespatten.com/audiopad/apfaq.php>.[25] JORDA, Sergi – KALTENBRUNNER, Martin – GEIGER, Günter – BECINA, Ross. THE REACTABLE*[online]. [cit. 2010-05-17]. Dostupné z: <http://modin.yuri.at/publications/reactable_icmc2005.pdf>.8. Použitá literaturaBuchla and Associates. BUCHLA THUNDER [online]. Dostupné z: <http://www.buchla.com/historical/thunder>.CERL Sound Group. Haken Audio – Continuum Overview [online]. Dostupné z: <http://www.cerlsoundgroup.org/Continuum/html/overview/Intro.html>.ČERNÝ, Michal. Dotkněte se bitů [online]. Dostupné z: <http://www.chip.cz/clanky/trendy/2010/04/dotknete-se-bitu>.DAVIDSON, Philip L. - HAHN, Jefferson Y. Synthesis and Control on Large Scale Multi-Touch SensingDisplays [online]. 2006. Dostupné z: <http://portal.acm.org/citation.cfm?id=1142269>.d-touch.org. [online]. c2009. Dostupné z: <http://www.d-touch.org>.d-touch.org. d-touch drummachine [online]. c2009. Dostupné z: <http://www.d-touch.org/audio/drummachine>.EDUCAUSE Learning Initiative. 7 things you should know about... Multi-Touch Interfaces .PDF <net.educause.edu/ir/library/pdf/ELI7037.pdf>, 2008. 2 s.GRESHAM-LANCASTER, Scot. Tactex Controls MTC Express [online]. 1.5.2001. Dostupné z: <http://emusician.com/mag/emusic_tactex_controls_mtc>.James Patten’s portfolio. Audiopad [online]. Dostupné z: <http://en.wikipedia.org/wiki/Lemur_Input_Device http://www.jamespatten.com/audiopad>.
  23. 23. James Patten’s portfolio. Audiopad, contact, info and FAQ [online]. Dostupné z: <http://www.jamespatten.com/audiopad/apfaq.php>.JazzMutant. Lemur, multitouch modular controller for sequencers, synthesizers, virtual instruments,vj and light [online]. Poslední aktualizace 21.5.2010. Dostupné z: <http://www.jazzmutant.com/lemur_overview.php>.JORDA, Sergi – KALTENBRUNNER, Martin – GEIGER, Günter – BECINA, Ross. THE REACTABLE* [online].Dostupné z: <http://modin.yuri.at/publications/reactable_icmc2005.pdf>.Reactable. Reactable [online]. c2010. Dostupné z: <http://www.reactable.com/products/reactable_experience/reactable>.Wikipedia. Lemur Input Device[online]. Poslední aktualizace 13.4.2010. Dostupné z: <http://en.wikipedia.org/wiki/Lemur_Input_Device>.

×