Progettazione e sviluppo di interfaccia in Natural Language Generation per la descrizione di ambienti
1. PROGETTAZIONE E SVILUPPO DI INTERFACCIA
IN NLG PER LA DESCRIZIONE DI AMBIENTI
ANNO ACCADEMICO2018/2019
Relatori:
Prof. Andrea Maurino
Dott. Marco Cremaschi
Candidato:
GiovanniMoglia
2. Obiettivo
Brevità
Facilità di memorizzazione
Facilità di comprensione
2
Università degli Studi di Milano-Bicocca
Sviluppare un’esperienza interattiva che sfrutti gli studi sulla Natural
Language Generation (NLG) per descrivere in maniera automatica
ambienti simulati
Datala natura audio-vocale dell’esperimento, la descrizione
dell’ambiente deve rispondere ai requisiti di
3. Università degli Studi di Milano-Bicocca
3
Tematiche trattate
01
02
03
04
Agente conversazionale
Natural Language Generation
Text-based game
Descrizione ambientale
4. Università degli Studi di Milano-Bicocca
4
Tematiche trattate - 1
01 Agente conversazionale
Gli agenti conversazionalisono software in grado di effettuare
una conversazione(scritta e/o vocale) con un utente,
utilizzandoil linguaggio naturalecon lo scopo di simulare una
comunicazioneil più simile possibile a quellaumana
Questi agenti rappresentanol'implementazionepraticadella
linguisticacomputazionale,generalmenteimpiegatacome
chatbot per la Customer Care o come assistente virtuale su
dispositiviportatili
5. Università degli Studi di Milano-Bicocca
5
Tematiche trattate - 2
02
03
Fasi della NaturalLanguage Generation
• Aggregazione
• Lessico
• Generazione di espressioni di riferimento
• Sintesi
Natural Language Generation
Natural
Language
Processing
(NLP)
Natural
Language
Understanding
(NLU)
Natural
Language
Generation
(NLG)
6. Università degli Studi di Milano-Bicocca
6
Tematiche trattate - 3
03
03
Text-based game
I text-based games sono videogiochibasatisul testo, senza
l’ausiliodi grafica vettoriale,poligonaleo di altro tipo.
Esistono numerosi generi videoludiciderivatidai text-based
games, ma il principaleè quellodelle Interactive Fiction, o
Avventure Testuali
Si trattadi programmi informatici che simulanoun ambiente
nel qualei giocatori, usando comandi testualicome «vai nord»
o «raccogli secchio», possono interagire con la storia e
l’ambientestesso del gioco. In seguito si sono evoluti
sfruttando tecnologie di intelligenzaartificiale
Schermatadi giocodi Zork, titoloche haresocelebri le
Avventure testuali.
7. Università degli Studi di Milano-Bicocca
7
Tematiche trattate – 4a
04 Descrizione ambientale
Suddivisionedegli spazi cognitividi Tversky
1. Spazio del corpo
2. Spazio dell’esperienza
3. Spazio distante
4. Spazio all’orizzonte
Studi sulle fotografie, di Le Yaouane, Saux e Claramunt
• Dal generale al particolare
• Ordine di descrizione da sinistra a destra
• Preminenza di relazionidirezionali come “a destra/sinistra
di” rispetto ad aggettivi di prossimitàcome “vicino/lontano
a” o costrutti topologicicome “sopra/sotto”
Quadri di riferimento di Levinson
• Intrinseco
• Assoluto
• Relativo
Studi sul Blind e Sighted Approach
(rispettivamenteDescrizione Route e Survey),
di Noordzij,Zuidhoek e Postma
1 2
3 4
1 2
4
3
8. Università degli Studi di Milano-Bicocca
8
Tematiche trattate – 4b
04
03
04
Descrizione ambientale
9. Università degli Studi di Milano-Bicocca
9
Esempio di descrizione
“Guardando di fronte a te, da sinistra a destra, ci sono il tavolino con due poltrone ai lati e il divano.
Il tavolino con due poltrone ai lati è vicino. Il divano è lontano.
Guardando alla tua destra, da sinistra a destra, ci sono la piccola pianta e la pianticella.
La piccola pianta e la pianticella sono lontani.
Guardando alle tue spalle c’è la TV sopra ad un mobiletto.
La TV sopra ad un mobiletto è a portata di mano.
Guardando alla tua sinistra c’è la libreria doppia.
La libreria doppia è lontano.
Se vai a nord c’è il corridoio tra la sala da pranzo, il giardino e il soggiorno,
a est c’è la zona del giardino con lo stagno, mentre a sud c’è il corridoio del garage”.
10. Università degli Studi di Milano-Bicocca
10
Studi sulla memoria
Secondo uno studio dell’Università dell’Iowa,il nostro cervello
utilizza percorsi separati per elaborare le informazioni.
In particolare,la nostra memoria uditivaè sensibilmente
peggiore rispetto a quellavisiva e tattile
Secondo Atkinson e Shiffrin, tra gli aspetti chiave della memoria
a breve termine ci sono
• Capacitàlimitata(max 7 elementi memorizzabilialla volta)
• Duratalimitata(circa 15-30 secondi )
Lo stesso Miller sostiene che la maggior parte degli adultipuò
conservare da 5 a 9 elementi nellamemoria a breve termine,
avendoessa soltantoun certo numero di “slot” in cui gli oggetti
possono essere memorizzati: questa idea fu chiamata“numero
magico 7”. Ogni slot però può immagazzinarepiù informazioni
alla volta
5
6
7
12. Fasi dell’esperimento - 1
01
STEP
03 04
STEP
12
Università degli Studi di Milano-Bicocca
Progettazione
della mappa
Benchmark
13. Fasi dell’esperimento - 2
02
STEP
03 04
STEP
13
Università degli Studi di Milano-Bicocca
Programmazione
Benchmark
Sviluppodel programma di generazione delle descrizioni, con linguaggiodi
programmazione Javascriptin Node.js, seguendo le fasi di
NaturalLanguage Generation elencatein precedenza
Realizzazionedell’interfaccia difruizione (user mode), che simula il modelloa intenti
Sviluppodel programma di rilevazionedelle metriche (evaluation mode): i dati
vengono inviati in formato JSON a un Apache HyperText Transfer Protocol (HTTP) server.
In seguito, sviluppo di un programma che converte il JSON in CSV, per poter essere letto
con facilità da programmi come Microsoft Excel
14. Fasi dell’esperimento - 3
03
STEP
04
STEP
14
Università degli Studi di Milano-Bicocca
Esperienza
Benchmark
TUTORIAL
TEST A + Questionario A: Partendo dall’entrata, il giocatore
deve trovare l’uscita, orientandosi
tra le varie stanze
TEST B + Questionario B: Alla mappa sono state aggiunte 5 chiavi
e le porte dell’entrata e dell’uscita sono
state chiuse. Il giocatore, partendo da una
stanza della mappa, in base alla chiave
trovata, prende l’uscita corrispondente
15. Fasi dell’esperimento – 4
04
STEP
15
Università degli Studi di Milano-Bicocca
Analisi
Benchmark
Partendo da un campione di 20 tester, sono stati ricavati
Dati empirici, riguardantiil comportamentodurantei test (es. percorsi effettuati, stanze
visitate,errori commessi, tempo impiegato,numero di mosse, ripetizionidelle descrizioni)
Dati di performance, riguardantiacquisizionepassiva di informazioni e
capacitàdi orientamento
Dati qualitativichiedendodirettamenteai tester, riguardo chiarezza, lunghezza,
memorizzazione, difficoltàdi comprensione del testo ed efficacia delle
tecniche di descrizione utilizzate
17. 04
STEP
17
Università degli Studi di Milano-Bicocca
Esempio:
percorso
TEST B
(chiave entrata)
ZONA NOTTE
ZONA GIORNO
Esempio:
percorso
TEST B
(chiave uscita)
18. Conclusioni
18
Università degli Studi di Milano-Bicocca
Benchmark
Buon compromesso: ricchezza di info, memorizzazione, brevità, comprensione
Incrociandoi dati empirici, di performance e qualitativi,non sono state rilevateparticolaridiscordanze
tra dati dei test e opinioniqualitativedei tester
In particolare…
Il testo delle descrizioni è stato giudicato
• Facile da memorizzare,dal 55%
• Breve, dal 62%
• Molto o moltissimochiaro, dal 77%
Le tecniche utilizzateper costruirela descrizione si sono rivelate efficaci, sia empiricamente che in accordo
con le opinionidei tester
• Elencazionedegli oggetti da sinistra a destra e in senso orario
• Introduzionedi tre livellidi profondità (spazi cognitivi di Tversky)
• Utilizzo di un sistema misto di descrizione e approccio blinde sighted
Unica eccezione: elencazionedegli oggetti da sinistra a destra, ALLE SPALLE del tester
19. Università degli Studi di Milano-Bicocca
19
Gaming
Assistenza per
ipovedenti
Integrazione
Comandi
Vocali
Sviluppi futuri
• Integrazione con sistemi
di Indoor Positioning
• Modificastruttura delle
descrizioni
• Integrazione con assistenti vocali
• Aggiunta di elementi di game design,
come quest, indizi, ostacoli(porte
da aprire, oggetti con cui interagire)…
20. 20
Università degli Studi di Milano-Bicocca
Riferimenti
1. Tversky, B. and Lee, P. U. (1998). How space structures language. In Spatial cognition, pages 157–
175. Springer.
2. Le Yaouanc, J.-M., Saux, É., and Claramunt, C. (2010). A semantic and language-based
representation of an environmental scene. Geoinformatica, 14(3):333–352
3. Levinson, S. C. (1996). Frames of reference and molyneux’s question: Crosslinguistic evidence.
Language and space, 109:169.
4. Noordzij, M. L., Zuidhoek, S., and Postma, A. (2006). The influence of visual experience on the
ability to form spatial mental models based on route and survey descriptions. Cognition,
100(2):321–342.
5. Bigelow, J. and Poremba, A. (2014). Achilles’ ear? inferior human short-term and recognition
memory in the auditory modality. PLOS ONE, 9(2):1–8.
6. Atkinson, R. C. and Shiffrin, R. M. (1971). The control of short-term memory. Scientific American,
225(2):82–91.
7. Miller, G. A. (1994). The magical number seven, plus or minus two: Some limits on our capacity for
processing information. Psychological review, 101(2):343.
