Il documento tratta di un progetto di ricerca focalizzato sulla percezione neuroestetica e sinestetica in ambienti museali, analizzando l'interazione tra stimoli visivi e uditivi. Attraverso esperimenti con immagini 3D e 2D, si valuta come diverse condizioni sonore influenzino la reazione dei soggetti e l'attivazione delle aree cerebrali. I risultati indicano che i suoni modulatori aumentano la percezione delle immagini, suggerendo un'importante interazione tra modalità sensoriali nel contesto museale.

1. Gennaio 2014 Work in Progress
Easy Perception Lab

2. Our Brain and Neuroarchaeology: how we feel images and Environment

3. Neuroaesthetic and Synaesthetic Perception in Museum
and Learning Environment: The Making of Meaning

4. Neutral face and Chopin
Chopin

5. Neutral face and Albeniz
Albeniz

6. Neutral face and Mozart
Mozart

7. Sito schede Maus
• http://5.98.230.56:8181/MuseoAmbiente/

8. Scheda Paleontologia Sistematica
Classe: MAMMALIA Linnaeus, 1758
Ordine: CETACEA Brisson, 1762
Sottordine: MYSTICETI Flower, 1864
Famiglia: CETOTHERIIDE Miller, 1923
genere e specie indeterminati
Descrizione: parte del cranio, mascellare,
premascellare prossimale, parte frontale,
nasale e parte anteriore di entrambi i
parietali.
Foto:
Periodo: Miocene superiore
Località di ritrovamento: Cava Cisterna Collocazione:
Cavallino (LE) Museo dell’Ambiente – MAUS - Università del Salento
Anno di rinvenimento: /
Numero di inventario: /
Bibliografia: lavoro attualmente in corso di studio, Bisconti, Varola, Esposito, Landini: “
Miocene Baleen whales from south - eastern Italy “

9. Scheda Paleontologia Sistematica
Classe: MAMMALIA Linnaeus, 1758
Ordine: CETACEA Brisson, 1762
Sottordine: MYSTICETI Flower, 1864
Famiglia: ESCHRICHTIIDAE Ellerman and Morrison Scott, 1951
Nuovo Genere: ARCHAESCHRICHTIUS
nuova specie: Archaeschrichtius ruggieri
Foto:
Descrizione: Ramo mandibolare
sinistro
Periodo: Miocene superiore - Tortoniano
Località di ritrovamento: Cava Cisterna - Cavallino (LE)
Collocazione: Museo dell’ambiente – MAUS - Università del Salento
Anno di rinvenimento: 1989
Numero di inventario: 230/1
Bibliografia: 2005, Bisconti, Varola:” The oldest Eschrichtiidae and a new Morphologycal
diagnosis of Eschrichtiidae “- Paleontographia italica ‘87: 19-35

10. Maus – Tharby Corner

11. cetma

12. cetma

17. Calendario Uni-Maus-Cetma-Agilex
• http://5.98.230.56:81/agilex.it/competenze/ricerc

26. Perceptive Ergonomy: Sound and 3D in MAUS project
(secondo step)
Presentazione
Random oggetti:
-T-Rex e Tarbus
3D;
-Plancton 3D;
- Maus 2D
- Sfondi 2D
Input duration:
2500ms
Interstimulus: 1500ms
Condition A
Task: 600 sec
Co
nd
iti
on
B
Condition C

27. Scopo del secondo Step Perceptive Ergonomy: Sound
and 3D in MAUS project
• - valutare quali moduli cerebrali possono attivare delle
presentazioni in 3D rispetto a presentazioni 2D e colori
semplici
• - valutare l’effetto crossmodale visivo/uditivo in 3D e 2D
dissonante e consonante all’immagine vista
• - valutare la priorità percettiva (visiva vs uditiva) sui moduli
cerebrali
• - valutare effetto comportamentale sul Task (Reaction Time e
VAS)
• - valutare effetto familiarità con gli input visivi presentati.

28. Modularità e interazione cross modale visione/suono

29. Erp Study

30. esp
• Soggetti: 13 soggetti (6 uomini e 7 donne) età media
30,2
• dati comportamentali: tempi di reazione al
riconoscimento dello stimolo visivo
• VAS sulla familiarità dello stimolo
• Dati Psicofisiologici: ERP (ampiezza, latenza e
lateralizzazione di più componenti)

31. METODO
I soggetti dopo aver compilato il consenso informato hanno
iniziato il Task crossmodale (acustico – visivo 3D e visivo 2D).
Ogni Task, compreso di montaggio, aveva la durata di circa 30
minuti.
Al soggetto veniva chiesto di
Premere un tasto del Mouse
Se avesse visto un’immagine
3D o a colori.
I soggetti indossavano occhiali
3D e cuffia auricolare.
Le condizioni sonore:
Tharby, Bubble water e No sound
Montaggio internazionale n 25, EasyCap
EEG Recording Caps and Related
Products.

32. Condizioni di registrazione
Le registrazioni sono state effettuate tramite l’uso di un montaggio
standard internazionale a 16 elettrodi/canali: L’attività
elettroencefalografica è stata registrata dai canali Fz, Cz, Pz, Fp1,
Fp2, F3, F4, F7, F8, C3, C4, T7,T8, O1, O2 mediante il dispositivo
BrainAmp con il software BrainVisionRecorder (©2010
ProductsGmbH), durante lo svolgimento di un compito odd-ball,
L’elettrodo per valutare l’attività elettro-oculare (EOG), è stato
applicato sopra l’occhio sinistro. La banda rilevata a 0,2-50 Hz, l’
EEG campionato a 256 Hz per 1000 ms, con 100 ms di base
prestimolo infine, analizzato e filtrato tramite il software
BrainVision Analyzer (©2010 Brain ProductsGmbH).

33. ANALISI DEI DATI
- analisi descrittive e analisi inferenziali.
Per l'analisi statistica dei dati è stato utilizzato il software IBM ®
SPSS®Statistics 2.0
Anova univariata sui Peak detection ricavati tramite il software
Analizer di Brain Vision, considerando le ampiezze e le latenze delle
onde, la posizione degli elettrodi, la localizzazione emisferica, e i
differenti trials (Maus 2D, Dino 3D, sfondo 2D, Plancton 3D) per task
e le modalità sound (bubble water, no sound, tharby)
Livello di significatività α ˂ 0,05.
Nello specifico abbiamo scelto di analizzare, a livello preliminare, la
componente ERP N500 per le caratteristiche più lente dell’analisi
corticale per il segnale visivo 3D

34. Analisi Senza suoni Maus, Dino 3D, Plancton e Sfondi
• Left Latency=,003
• Right Latency=,000
Analisi necessaria come
baseline per i successivi
confronti:
Le immagini MAUS sono
più facilmente identificabili
dei 3D e color task, perché
semanticamente più vicine
alla ‘normalità’ percettiva.
Nessun effetto sulle
ampiezze ERP

35. T-Rex 3d and Sounds
Canali Significativi
•
•
•
•
•
•
•
Esempi di Andamento delle Medie
Fp1L=,080
Fp2 V=,018
F8=,008
P7=,006
P8=,044
Pz =0,51
Grand averaging: Black NoSound; Red BubbleWater; Blue Tharby
Post Hoc
Bonferroni indica
le tre condizioni
come
significativamente
diverse
Loreta Dino No Sound; Bubble Water and Tharby

36. Plancton 3D and Sounds
Fp1 V=,003
Fz L=,003
andamento medie Var Significative
Grand averaging: Black NoSound; Red BubbleWater; Blue Tharby
Loreta P No Sound
Loreta P Bubble Water
Loreta P Tharby

37. Maus 2D
P7 Latency=,007
O1 Latency=,048
Andamento Medie var significative
Grand averaging: Black NoSound; Red BubbleWater; Blue Tharby
Maus No Sound
Maus Bubble Water
Maus Tharby

38. Sfondi Colorati
•
•
•
•
•
•
Fp1L= ,031
Fp2V=,009
P7=,045
O1L=,030
O2L=,052
O2V=,003
Sfondo No Sound
Grand averaging: Black NoSound; Red BubbleWater; Blue Tharby
Sfondo Bubble water
Sfondo Tharby

39. Discussione e Conclusioni
• - Dai nostri Dati le rappresentazioni 3D attivano
maggiormente e con latenze maggiori le aree Frontali e
Frontoparietali (attentive) piuttosto che le aree visive
• l’effetto crossmodale visivo/uditivo in 3D Dino ha un effetto
di potenziamento/facilitazione di elaborazione nel 3D
consonante e un aumento di arousal attentivo nella modalità
dissonante.
• Nella Modalità Plancton, date le sue caratteristiche
‘geometriche’ non esiste un evidente effetto
consonante/dissonante ma un forte effetto crossmodale sonoro
(aumenta l’ampiezza in entrambe le condizioni sonore e
diminuisce la latenza nella condizione Tharby).

40. • -nella Modalità MAUS 2D vi è una
facilitazione in latenza per entrambi i suoni (in
questo caso non abbiamo la condizione
consonanza/dissonanza
• Nella Modalità Sfondo facilitazione in
ampiezza e Latenza per entrambi i suoni (no
condizione dissonanza/consonanza)

41. • Il forte effetto modulatorio del suono sulla
percezione di immagini 3D e 2D sembra
indicare una predominanza della condizione
acustica su quella Visiva

44. Analisi in progress
• - Valutazione delle componenti precoci degli
ERP
• Analisi dati comportamentali del Task
(Reaction Time e VAS)
• - analisi effetto familiarità con input visivi
presentati.

45. Prossimo Step
• Interazione 3D in proiezione e Sound contesto correlata (nel
Museo)
• Ipotesi complessa e ultima: valutando le priorità percettive e le
capacità di elaborazione dell’immagine presentata si possano
creare nuovi modelli di presentazione e comprensione di
Sistemi Naturali o Oggetti Naturali, usando delle
caratteristiche sensoriali fisiologicamente presenti nei moduli
cerebrali per presentare una comprensione ‘ergonomica’ legata
al mondo percettivo e filogenetico