Attraverso l’utilizzo di una tastiera prototipo che prevedeva l’implementazione della sensazione tattile, sono stati realizzati una serie di esperimenti qualitativi per individuare in che modo la componente vibratoria possa influenzare la qualità percepita dello strumento musicale e la rilevanza del contenuto spettrale dei segnali vibratori per la trasmissione di una risposta aptica simile a quella di un pianoforte acustico.

1. Valutazione sperimentale della qualit`a percepita
dall’esecutore al pianoforte digitale aumentato con
sistemi di feedback aptico
Relatore: prof. Giorgio Klauer Candidato: Lorenzo Malavolta
Correlatore: prof. Federico Avanzini
10 Marzo 2015
Lorenzo Malavolta 10 Marzo 2015 1 / 20

2. Scopi della tesi
Valutare l’influenza della componente vibrotattile sulla percezione qualitativa
di una tastiera digitale
Individuare gli eventuali condizionamenti delle performance musicali con
l’aggiunta di feedback aptico
Indagare l’importanza del contenuto spettrale dei campioni audio utilizzati
per la trasmissione delle vibrazioni
Lorenzo Malavolta 10 Marzo 2015 2 / 20

3. Pianoforte Digitale
Strumento elettronico che tenta di simulare le sonorit`a di un pianoforte acustico in
modo pi`u realistico possibile:
dimensione ridotte agevolano il trasporto
diverso utilizzo dei martelletti rispetto ad un pianoforte acustico
tasti pesati
Lorenzo Malavolta 10 Marzo 2015 3 / 20

4. Feedback Aptico
Risultato del contatto tra il corpo dell’esecutore ed il corpo vibrante dello
strumento musicale:
migliore playability dello strumento e della performance musicale
influenza della componente vibrotattile sulla qualit`a percepita dello strumento
Lorenzo Malavolta 10 Marzo 2015 4 / 20

5. Pianoforti digitali aumentati con feedback aptico
Implementazione del feedback tattile negli strumenti digitali:
1978 presso ACROE1
, primo feedback tattile su pianoforte
2002 presso NIME2
, MIKEY project di De Poli e Oboe (a)
2006 presso NIME, Viblotar di Marshall e Wanderley (b)
(a) (b)
1Association pour la Cr´eation et la Recherche sur les Outils d’Expression
2New Interfaces for Musical Expression
Lorenzo Malavolta 10 Marzo 2015 5 / 20

6. Le fasi del progetto
1 Analisi dei campioni vibratori a disposizione
2 Elaborazione e generazione di nuovi campioni audio
3 Implementazione dei diversi tipi di vibrazioni sulla tastiera digitale
4 Fase sperimentale
Lorenzo Malavolta 10 Marzo 2015 6 / 20

7. Analisi dei campioni
Disponibilit`a di un banco di campioni vibratori registrati per tutti i tasti di un
pianoforte acustico a diversi livelli di dinamica attraverso l’utilizzo di un
accelerometro.
Lorenzo Malavolta 10 Marzo 2015 7 / 20

8. Elaborazione e generazione dei campioni
Generare dei nuovi campioni con una forma d’onda piuttosto simile ai campioni di
partenza, ma con contenuto spettrale costituito da rumore bianco:
grafico d’esempio delle due forme d’onda sovrapposte
Lorenzo Malavolta 10 Marzo 2015 8 / 20

9. Tastiera prototipo
Viscount Galileo VP-91:
rimozione del case originale e fissaggio della tastiera su un pannello di
compensato (c)
implementazione di due attuatori al di sotto della tavola di legno (d)
(c) (d)
Lorenzo Malavolta 10 Marzo 2015 9 / 20

10. Setup sperimentale
Lorenzo Malavolta 10 Marzo 2015 10 / 20

11. Fase sperimentale
Durante il progetto sono stati svolti due esperimenti qualitativi:
1 scopo del primo esperimento era quello di indagare la qualit`a dello strumento
percepita dai soggetti in presenza o assenza di vibrazioni (esperimento A)
2 scopo del secondo esperimento era di comprendere se, con l’aggiunta di
feedback vibrotattile, il modo di suonare dei soggetti fosse cambiato
(esperimento B)
Lorenzo Malavolta 10 Marzo 2015 11 / 20

12. Esperimento A
Dettagli task sperimentale:
3 fasi della durata di 10 minuti, durante ciascuna fase confrontare i due setup
(alterabili attraverso il touchpad del laptop)
laptop a disposizione del soggetto per poter riportare punteggi dei test in
qualsiasi momento
suonare liberamente
Lorenzo Malavolta 10 Marzo 2015 12 / 20

13. Interfaccia esperimento A
Lorenzo Malavolta 10 Marzo 2015 13 / 20

14. Risultati esperimento A
Preferenza generale per i due setup con implementazione di vibrazioni (C/D)
Non emerge una differenza statisticamente significativa tra i diversi tipi di
vibrazioni
−0.5
0
0.5
dynamic.controlengagement richness naturalness preference
Rating scale
Qualityratings
vibes
B
C
D
Digital piano
Lorenzo Malavolta 10 Marzo 2015 14 / 20

15. Risultati esperimento A
A causa delle grandi differenze nelle valutazioni, i soggetti sono stati divisi in due
gruppi in base al loro giudizio riguardo il parametro preference utilizzando un
semplice k-means classificatore.
2/3 dei soggetti sono nel gruppo positivo (e)
setup D meno preferito
setup C preferito al setup B
0
0.5
dynamic.controlengagement richness naturalness preference
Rating scale
Qualityratings
vibration
B
C
D
Digital piano, positive group
(e)
−2
−1.5
−1
−0.5
0
0.5
dynamic.controlengagement richness naturalness preference
Rating scale
Qualityratings
vibration
B
C
D
Digital piano, negative group
(f)
Lorenzo Malavolta 10 Marzo 2015 15 / 20

16. Esperimento B
Dettagli task sperimentale:
eseguire scala di Re maggiore (ascendente/discendente) ad una sola mano,
partendo da Re2 lungo 3 ottave
dinamica prestabilita (pp, mf, ff)
metronomo 120 bpm, una nota al secondo
Lorenzo Malavolta 10 Marzo 2015 16 / 20

17. Interfaccia esperimento B
Lorenzo Malavolta 10 Marzo 2015 17 / 20

18. Risultati esperimento B
Le medie dei valori di velocity non presentano differenze significative tra i due
setup (g)
La presenza di vibrazioni d`a un’impressione complessiva di dinamica pi`u
elevata dello strumento (h)
0.ff 1.ff 0.mf 1.mf 0.pp 1.pp
406080100120
Scales data, subjects 1−8, whole range
MIDIvelocity
(g)
0
25
50
75
100
125
ff mf pp
dynamic
Velocity
vibes
0
1
Subjects 1−8, whole scale
(h)
Lorenzo Malavolta 10 Marzo 2015 18 / 20

19. Conclusioni
Realizzazione di una tastiera prototipo con l’aggiunta di feedback aptico
Percezione delle vibrazioni tradotta dai pianisti come un fattore che migliora
la qualit`a generale dello strumento musicale
Presenza della componente vibratoria sembrerebbe non influenzare
particolarmente la performance dell’esecutore
Importanza relativa del contenuto spettrale dei campioni utilizzati per la
trasmissione delle vibrazioni
Espansione del range dinamico dello strumento musicale
Lorenzo Malavolta 10 Marzo 2015 19 / 20

20. Sviluppi futuri
Realizzazione di esperimenti qualitativi pi`u approfonditi (accordi)
Indagare in maniera pi`u approfondita l’aspetto della trasmissione meccanica
della vibrazione
Creazione di un modello fisico che sintetizzi oltre al suono, anche i segnali di
vibrazione
Lorenzo Malavolta 10 Marzo 2015 20 / 20