Dall'immagine alla realtà virtuale

Dall’immagine alla realtà virtuale Prof. Giuseppe Riva LICENT Università Cattolica del Sacro Cuore E-mail: [email_address] http://www.neurovr.org http://www.cybertherapy.info http://www.emergingcommunication.com

Sommario

In questa lezione vedremo:

Dalla percezione all’azione

L’evoluzione dell’immagine

Corpo, azione e percezione

Che cos’è la realtà virtuale

La realtà virtuale come tecnologia

La realtà virtuale come interfaccia

La realtà virtuale in pratica

Realtà virtuale come tecnologia esperienzale

Realtà virtuale come tecnologia cognitiva

NeuroVR: Un software open-source per sperimentare la realtà virtuale in ambito psico-pedagogico

PARTE 1: Dalla Percezione all’Azione

Dalla percezione all’azione (1)

Se analizziamo l’evoluzione degli strumenti di comunicazione negli ultimi 100 anni ci accorgiamo di due trend paralleli:

La multisensorialità : dal visivo al multimediale

La dinamicità : dall’immagine statica a quella in movimento

=> L’immagine si “incarna”

Dalla percezione all’azione (2) La logica di questo fenomeno è lo stretto legame tra azione e percezione: “La percezione non è qualcosa che ci accade, fuori o dentro di noi, ma è qualcosa che facciamo” (Noe, p. 12) La percezione e la consapevolezza percettiva dipendono dalle nostre capacita di azione e di pensiero Noe, A., (2004), Action In perception. Cambridge, MA: MIT Press

Dalla percezione all’azione (3) Il problema della costanza percettiva : vedendo una moneta rotolare sappiamo che è sempre la stessa anche se dal punto di vista percettivo le informazioni che ci arrivano sono diverse. Secondo Noe (2004), la percezione è dipendente sia dall’oggetto, sia dalle capacità di movimento del soggetto percepiente .

Dalla percezione all’azione (4)

A partire da queste riflessioni si sono sviluppate due aree di ricerca:

LA PSICOLOGIA COGNITIVA “CORPOREA/INCARNATA” che considera la mente come il risultato di un fenomeno distribuito, che risiede non solo nella testa, e descrive i processi cognitivi come il risultato dall’interazione in tempo reale e diretta verso un obiettivo tra un organismo e l’ambiente LO STUDIO DELL’INTERAZIONE CORPOREA che ha come principale obiettivo l’uso della corporeità per facilitare l’interazione uomo-computer, realizzando interfacce e metafore e oggetti fisici in grado di comprendere le necessità dell’utente

Psicologia Cognitiva Corporea (1) Embodied Cognition : considera i processi cognitivi come il risultato dall’interazione in tempo reale e diretta verso un obiettivo tra un organismo e l’ambiente . Conoscenza (Clancey, 1997): capacità verso un’azione interattiva . Tale capacità viene attivata attraverso una sequenza di coordinazioni sensomotorie in atto, cioè mediante la concettualizzazione di un’intera sequenza comportamentale. Per questo la conoscenza è necessariamente situata e incarnata: richiede un feedback esterno continuo per coordinare tra loro percezione e azione .

Psicologia Cognitiva Corporea (2) Come è possibile tale processo? : Secondo la Teoria dello Schema Rappresentazionale Comune (Common Coding Theory) le rappresentazioni di eventi percepiti (percezioni) e di eventi da eseguire (azioni) sono basate sullo stesso codice di tipo motorio (Prinz, 1997; Knoblich, 2003). Durante la pianificazione e l’osservazione di un’azione il soggetto attiva uno schema motorio collegato al contesto in cui si svolge o si svolgerà l’azione. Questa teoria ha avuto recentemente una verifica empirica attraverso le ricerche di un gruppo di neurofisiologi di Parma coordinati dal Prof. Rizzolatti.

Psicologia Cognitiva Corporea (3)

Le ricerche di Rizzolatti hanno scoperto nella corteccia premotoria della scimmia e in seguito anche in quella dell’uomo, l’esistenza di due gruppi particolari di neuroni ( bimodali – motori e percettivi):

il primo gruppo di neuroni (F5ab-AIP) – chiamati neuroni “ canonici ” si attivano anche quando il soggetto guarda un oggetto a cui potrebbe essere rivolta la propria azione;

il secondo gruppo di neuroni (F5c-PF) – chiamati neuroni “ specchio ” - si attivano invece quando il soggetto osserva un altro individuo che compie la stessa azione.

Psicologia Cognitiva Corporea (4) Rizzolatti e Sinigaglia (2006) descrivono così tale processo: Ma che cosa accade quando allunghiamo la mano verso la tazzina? Quale che sia la direzione del nostro sguardo, non appena la tazzina entra nei campi recettivi visivi pericutanei, la sua posizione è localizzata rispetto alla mano, all’avambraccio, ecc. Tale localizzazione anticipa il contatto cutaneo, sicché la mano non ha bisogno di toccare la tazzina per sapere dove questa si trova. Le basta essere sufficientemente vicina perché lo stimolo attivi i neuroni i cui campi percettivi visivi sono situati su di essa… La localizzazione visiva della tazzina dovrebbe consentire di attuare quei movimenti specifici del braccio che dirigono la mano verso di essa come se si trattasse di uno stimolo tattile, cioè senza richiedere nessuna trasformazione. (p. 59).

Psicologia Cognitiva Corporea (5) In pratica, i neuroni canonici consentono una comprensione immediata delle opportunità di interazione che gli oggetti offrono a un soggetto percepiente (nel caso del manico della tazzina da caffé la possibilità di essere afferrato). Mentre, i neuroni specchio permetterono una comprensione immediata delle intenzioni degli altri individui (l'intenzione ad esempio di portare la tazzina alla bocca per bere il caffé). Il quadro che abbiamo appena descritto porta a supporre l’esistenza di un sistema simulativo basato sui schemi di tipo motorio che consente al soggetto di organizzare e comprendere l’azione

PARTE 2: Che cos’è la realtà virtuale

La realtà virtuale come tecnologia “incarnata”

Nella storia dell’interazione uomo-computer è identificabile un trend costante : rendere l’interazione con il computer il più possibile simile a quella che ciascuno di noi ha all’interno di un ambiente reale

Nella realtà virtuale il corpo diviene la principale interfaccia con cui manipolare l’informazione disponibile

Che cos’è la realtà virtuale? Possiamo definire la realtà virtuale come un ambiente tridimensionale generato dal computer in cui il soggetto o i soggetti interagiscono tra loro e con l’ambiente come se fossero realmente al suo interno . Dal punto di vista tecnologico è possibile distinguere tra due tipi di realtà virtuale: quella immersiva e quella non immersiva .

RV Immersiva

La realtà virtuale è immersiva quando è in grado di creare un senso di assorbimento e «immersione» sensoriale nell’ambiente tridimensionale generato dal computer.

Questa sensazione viene generata mediante

un dispositivo di visualizzazione, normalmente un casco ;

uno o più sensori di posizione ( tracker )

I caschi € 4,000 € 10,000 € 20,000 € 800 € 24,000 € 1,200

I sensori di posizione € 1,800 € 5,000 € 1900 € 5,000 -15,000

RV non Immersiva La realtà virtuale non immersiva sostituisce il casco con un normale monitor che, grazie a speciali occhiali , consente la visione tridimensionale. In questo caso l’impressione dell’utente è quella di vedere il mondo tridimensionale creato dal computer attraverso una sorta di «finestra».

Dalla Tecnologia all’esperienza Analizzare la realtà virtuale partendo dalla tecnologia su cui è basata non consente però di comprendere totalmente le opportunità offerte da questo strumento. la RV può essere infatti considerata una sofisticata interfaccia comunicativa , in cui l’utente sperimenta il senso di presenza. per presenza si intende: «… l’esserci (being there), cioè la sensazione di essere all’interno del mondo sintetico generato dal computer» (Steuer, 1990).

PARTE 3: La realtà virtuale tra tecnologia ed esperienza

RV come tecnologia esperienziale (1) La principale opportunità offerta dalla realtà virtuale è la possibilità di partecipare attivamente nella creazione e nello sviluppo della propria conoscenza : l’apprendimento/cambiamento è legato allo «scoprire» e al «fare» in prima persona. Come rileva Antinucci [1999], la realtà virtuale, permette di «conoscere il mondo» mediante un apprendimento di tipo senso-motorio , più naturale per l’essere umano, rispetto all’apprendimento di tipo simbolico-ricostruttivo, mediato dalla scrittura.

Apprendimento sensomotorio (1)

La terapia sfrutta in maniera limitata la modalità di apprendimento « senso-motorio ».

In questa:

non si opera sui simboli => ma sulla realtà;

non si opera all'interno della propria mente => ma all'esterno con la percezione e l'azione;

può richiedere più tempo => ma i contenuti appresi non vengono dimenticati

Apprendimento sensomotorio (2)

Come funziona :

Si osservano fenomeni e comportamenti,

si interviene con la propria azione per modificarli ,

si osservano gli effetti della propria azione, si riprova a intervenire, e così via.

Si ripetono tipicamente cicli di percezione e azione ciascuno operante sul risultato dell'altro: si prova e riprova . => La conoscenza e il cambiamento emergono da questo «fare esperienza».

RV come tecnologia esperienziale (2) In quest’ottica, la realtà virtuale può essere considerata una interfaccia « esperienziale », in cui la componente percettiva (visiva, tattile, cinestetica) si fonde con l’interattività: Io conosco gli oggetti e/o le situazioni e imparo ad utilizzarli/controllarli attraverso l’esperienza diretta e in tempo reale delle mie reazioni (emozioni, pensieri, comportamenti) e delle loro in funzione delle mie azioni .

Come abbiamo visto, secondo l’ “ Embodied Cognition ” (Cognizione Incarnata/Corporea). il corpo è il sistema di riferimento dei processi percettivi e cognitivi: Tutto quanto siamo in grado di conoscere della realtà esterna non può essere conosciuto se non attraverso il nostro corpo che, mediante gli organi sensoriali, ci consente il rapporto con quanto è fuori di noi. RV come tecnologia cognitiva (1)

RV come tecnologia cognitiva (2) La seconda opportunità offerta dalla realtà virtuale immersiva è quella di alterare in maniera diretta e rapida i processi cognitivi legati alla corporeità . Diversi studi hanno mostrato la capacità della realtà virtuale immersiva di modificare in tempi rapidi il metabolismo cerebrale e la percezione corporea all’interno di terapie differenti: disturbi alimentari, distrazione dal dolore, disturbi sessuali maschili, ecc.

La realtà virtuale come strumento di distrazione dal dolore acuto produce una modificazione significativa nell’attività cerebrale . Non si ha un effetto simile utilizzando un videogioco.

Scientific American, April 2004

RV come tecnologia cognitiva (3) La RV crea una dissonanza tra le informazioni che arrivano al sistema visivo (mi muovo) e quelle che arrivano al sistema vestibolare (sono fermo). =>“simulation sickness” effetto collaterale della RV. Tale dissonanza costringe il nostro sistema cognitivo ad un processo di adattamento che provoca una modificazione dello schema corporeo. Tuttavia le modalità e gli effetti di tale cambiamento non sono ancora chiari.

Le aree applicative SI (>2) SI NO SI Disturbi di panico SI (>10) SI NO SI Disturbi d’ansia semplice SI (>3) NO NO SI Disturbo post-traumatico da stress SI (>2) NO SI SI Distrazione dal dolore acuto SI (>5) SI SI SI Obesità e disturbi alimentari SI (>3) NO SI SI Disturbi sessuali Trial clinici controllati Protocolli disponibili Dimensione cognitiva Dimensione esperienziale Patologia

PARTE 4: Realtà virtuale per la teatralità psico-pedagogica

RV e teatralità psicopedagogica (1)

La realtà virtuale , così come la teatralità classica include al suo interno sia la dimensione corporea/motoria sia quella simulativa :

Da una parte il soggetto nell’ambiente virtuale agisce utilizzando attivamente il proprio corpo.

Dall’altra la realtà virtuale consente di riprodurre contesti e azioni dando all’utente la possibilità di agire come se fosse nell’ambiente reale .

Ciò suggerisce la possibilità di utilizzare la realtà virtuale per intervenire sui processi di concettualizzazione attraverso la simulazione.

RV e teatralità psicopedagogica (2) E se volessi usare la realtà virtuale? Problema: Pochi docenti/operatori hanno familiarità con l’uso del computer, e una frazione ancora minore dispone di conoscenze relative alle tecnologie di simulazione 3D. Soluzione: Sviluppare uno strumento che sia semplice da utilizzare e facilmente accessibile anche da utenti non esperti. Problema: Per realizzare un ambiente virtuale ci sono solo due soluzioni: (a) modificare dei videogiochi del costo di 30/50 euro; (b) far costruire ad una media agency un software specifico con un costo di decine di migliaia di euro Soluzione: Sviluppare uno strumento che sia poco costoso e adattabile alle diverse esigenze degli operatori .

RV e teatralità psicopedagogica (3) La soluzione che vi propongo: Il software open source NeuroVR – http://www.neurovr.org Il sofware NeuroVR consente di progettare, sviluppare e testare ambienti virtuali di contenuto e complessità variabile, interattivi e modificabili in tempo reale . L’interfaccia utente di NeuroVR è totalmente grafica e non richiede la conoscenza di complessi linguaggi di programmazione. Gli ambienti di NeuroVR possono essere creati o modificati attraverso semplici operazioni, consentendo di sviluppare e testare ambienti virtuali di elevato realismo grafico .

RV e teatralità psicopedagogica (4) La soluzione che vi propongo: Flessibilità d’uso e portabilità sono altre due caratteristiche distintive degli ambienti NeuroVR: Essi possono essere utilizzati sia in modalità immersiva , ovvero attraverso l’uso di head-mounted display, joystick e sensori di head-tracking, sia in modalità non immersiva , con monitor o video proiettori. Un’altra utile funzionalità della piattaforma NeuroVR concerne la possibilità di salvare gli ambienti precedentemente sviluppati , ed utilizzarli nuovamente come strutture di base per costruire nuovi ambienti.

RV e teatralità psicopedagogica (5) NeuroVR: l’Editor Utilizzando l’Editor di NeuroVR, gli stimoli per ogni dato scenario possono essere scelti da un ricco database di oggetti 2D e 3D , e possono essere facilmente posizionati in scenari virtuali pre-configurati, attraverso l’utilizzo di un’interfaccia basata su icone. Oltre a oggetti statici, come fotografie e oggetti 3D, l’Editor di NeuroVR permette di inserire nella scena virtuale videoclip realizzati dall’utente .

RV e teatralità psicopedagogica (6)

NeuroVR: Il Player

Consente di navigare e di interagire con gli ambienti virtuali creati usando l’Editor. Per migliorare il realismo della scena simulata il Player consente:

La rilevazione delle collisioni per il controllo dei movimenti,

Tecniche avanzate di illuminazione

L’utilizzo di filmati

Il Player può essere configurato per essere utilizzato con un casco virtuale, sia in modalità stereoscopica che monoscopica; è inoltre predisposta la compatibilità con sensori head-tracking (movimento della testa).

RV e teatralità psicopedagogica (7) Prova Pratica Come usare NeuroVR Programma open source per la creazione di ambienti virtuali senza competenze tecniche http://www.neurovr.org

PARTE 5: Per saperne di più

Sulla RV, sulla presenza e i suoi effetti cognitivi:

Per saperne di più (1) Riva, G. (2004), Psicologia dei nuovi media , Bologna: Il Mulino Morganti, F., Riva G. (2006), Conoscenza, comunicazione e tecnologia: Aspetti Cognitivi della RV , Milano: LED

Hanno parlato dei nostri relativi all’uso della RV per la modifica della percezione corporea:

SCIENCE : Teletherapy for Eating Disorders, 26 October 2001, Volume 294, Number 5543, p.777

JAMA : Fake worlds offer real medicine, 290 (10), 2107-2109, 22/29 Oct 2003

Il National Institute of Health : Virtual Reality: opportunities for the NIH, Feb 2004.

Le nostre ricerche, articoli, protocolli ( solo in inglese ) sono disponibili sul sito:

http://www.neurotiv.org

Per saperne di più (2)

E’ disponibile il volume “ Psicologia Clinica dell’obesità ” di Enrico Molinari e Giuseppe Riva, Bollati Boringhieri, Torino.

Il sito del volume – http://www.obesita.info consente di scaricare uno degli ambienti virtuali – il supermercato – utilizzato nella terapia con la RV.

Per saperne di più (3)