Presentazione HMMs
- 1. Motivation Hidden Markov Model Text-To-Speech HiddenMarkov Model Hidden Markov Model applicato al Text-To-Speech Vannutelli Sofien1 1Facoltà di Ingegneria dell’Informazione, Informatica e Statistica Sapienza - Università di Roma September 11, 2016 Vannutelli Sofien Relazione su Hidden Markov Model
- 2. Motivation Hidden Markov Model Text-To-Speech Outline 1Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 3. Motivation Hidden Markov Model Text-To-Speech Abstract Problemiclassici Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 4. Motivation Hidden Markov Model Text-To-Speech Abstract Problemiclassici In breve . . . Gli Hidden Markov Models sono un modello probabilistico molto studiato in computer science, specialmente in ambito di telecomunicazioni e ricerca operativa. Vannutelli Sofien Relazione su Hidden Markov Model
- 5. Motivation Hidden Markov Model Text-To-Speech Abstract Problemiclassici Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 6. Motivation Hidden Markov Model Text-To-Speech Abstract Problemiclassici Idea Letteratura russa In particolare: Analisi delle sequenze delle lettere nella letteratura Russa. Esempio: La lettera th è piu lontana rispetto alla lettera te. Vannutelli Sofien Relazione su Hidden Markov Model
- 7. Motivation Hidden Markov Model Text-To-Speech Abstract Problemiclassici Altri campi Apprendimento automatico, linguistica computazionale, interazione multimodale . . . Speech Recognition, Text-To-Speech, POS Tagging, etc. Vannutelli Sofien Relazione su Hidden Markov Model
- 8. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 9. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Probabilità di una sequenze di eventi Esempio Assunzione (Catene di Markov di primo ordine): La probabilità di un evento dipende esclusivamente dal precedente Possiamo modellare i valori delle variabili aleatorie come STATI e etichettare le transizioni fra stati mediante probabilità condizionate: P(Xi = s |Xi−1 = s) = p(s |s) dove per ogni s, s ∈ Σ Vannutelli Sofien Relazione su Hidden Markov Model
- 10. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Formalmente Una Catena di Markov è una tripla (Q, (p(n1 = s)), A), dove: i. Q = (1,2 . . . k) è un insieme finito di stati. Ogni stato è un simbolo ottenuto da un alfabeto Σ. ii. p rappresenta l’insieme delle probabilità iniziali. iii. A è l’insieme delle probabilità di transizione denotate da as,s per ogni s,s’ in Q. Per ogni s,s’ in Q la probabilità di transizione è: as,s = P(πi = s |πi−1 = s) Vannutelli Sofien Relazione su Hidden Markov Model
- 11. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Cosa cerchiamo? Sia Π = (π1, π2 . . . πn) un processo random con memoria di lunghezza 1, si ha che: Il valore di πi dipende solo da πi−1. Per ogni s1 . . . si P(πi = si |π1 = s1 . . . πi−1 = si−1) = P(πi = si |π1 = s1 . . . πi−1 = si−1) P(πi = si |πi−1 = si−1) = asi−1,si Obiettivo: Dato Π, calcolare la probabilità P(π1 . . . πn) P(π1, π2 . . . πn) = P(π1) i P(πi+1|πi) Vannutelli Sofien Relazione su Hidden Markov Model
- 12. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 13. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione In una catena di Markov c’è una corrispondenza biunivoca tra i simboli emessi dall’automa e gli stati corrispondenti. In un HMM non è più così gli stati sono, appunto, "nascosti", e all’osservatore è accessibile soltanto una sequenza di simboli in base alla quale egli può inferire soltanto la probabilità degli stati corrispondenti. Vannutelli Sofien Relazione su Hidden Markov Model
- 14. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 15. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Formalmente Un HMM è una quintupla (s0, S, Y, P, Q), dove S = 1, 2 . . . k è un insieme di stati. s0 lo stato iniziale. Y un insieme di simboli di uscita y1 . . . yn. P è una distribuzione di probabilità delle transizioni, tra due stati qualsiasi s, s in S s → s : p(s |s), as ,s = P(πi = s |πi−1 = s). Q è una distribuzione di probabilità dei valori di emissione per ogni stato, ovvero per ogni simbolo b e per ogni s in S, la probabilità di osservare b quando siamo nello stato s: et (b) = P(xi = b|πi = t). In un HMM le transizioni fra stati sono nascoste, ciò che è visibile è solo la sequenza dei simboli emessi. Vannutelli Sofien Relazione su Hidden Markov Model
- 16. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Un esempio più correlato Parole e Part-Of-Speech (POS) Si nota che da ogni stato può essere emesso un sottoinsieme dei simboli in Y (es "suona" non può essere emesso nelle transizioni da art agg: q(suona|art, agg) = 0. In altri termini, "agg" non è un POS di "suona"). Vannutelli Sofien Relazione su Hidden Markov Model
- 17. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Un esempio più correlato (2) Parole e Part-Of-Speech (POS) Data una sequenza di simboli osservata, quale è la sequenza di stati più probabile che possa averla causata? Se osservo Il piano suona forte, le sequenze di POS possibili sono: art agg verbo avv, art avv verbo agg, art nome verbo avv, art nome verbo agg . . . quale è la più probabile? Vannutelli Sofien Relazione su Hidden Markov Model
- 18. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Tre algoritmi risolutivi per le HMM i. Forward-Backward ii. Viterbi iii. Baum-Welch Vannutelli Sofien Relazione su Hidden Markov Model
- 19. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Trellis (Reticolo) Un trellis è un grafo i cui nodi sono ordinati in slices verticali (di tempo), e dove ciascun nodo, ogni volta, è collegato ad almeno un nodo precedente ed almeno un nodo successivo. Vannutelli Sofien Relazione su Hidden Markov Model
- 20. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Forward-Backward Classe dei problemi di Valutazione. DATO un HMM M, ed una sequenza X = x1, x2 · · · xn . TROVARE P(X|M). Complessità di tempo Θ(k2 · n), dove k # stati e n lunghezza sequenza. Vannutelli Sofien Relazione su Hidden Markov Model
- 21. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Viterbi (1) Classe dei problemi di Decodifica. DATO un HMM M, ed una sequenza X = x1, x2 · · · xn . TROVARE la sequenza π di stati che massimizza P(X, π|M). Complessità di tempo O(k2 · n), dove k # stati e n lunghezza sequenza. Complessità di spazio O(k · n). Vannutelli Sofien Relazione su Hidden Markov Model
- 22. Motivation Hidden Markov Model Text-To-Speech Catenadi Markov Catene di Markov vs HMM Definizione Baum-Welch Classe dei problemi di Learning. DATO un HMM M, con probabilità di transizione/emissione non specificate, ed una sequenza X = x1, x2 · · · xn . TROVARE parametri M = (bi(. . . ), ai,j) che massimizzano P(X|M). Complessità di tempo # iterazioni per O(k2 · n). Vannutelli Sofien Relazione su Hidden Markov Model
- 23. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 24. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi In breve . . . I sistemi TTS noti anche come sistemi di sintesi vocali convertono il testo, inserito al loro interno, riproducendolo attraverso una voce umana artificiale. Alcune applicazioni: Educazione linguistica. Aiuto alle persone con handicap visivi e motori. Intereazione Multimodale. Ricerca Sperimentale. etc. Vannutelli Sofien Relazione su Hidden Markov Model
- 25. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Outline 1 Motivation Abstract Problemi classici 2 Hidden Markov Model Catena di Markov Catene di Markov vs HMM Definizione 3 Text-To-Speech Abstract Acquisizione e Sintesi Vannutelli Sofien Relazione su Hidden Markov Model
- 26. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi 2 moduli Naturale Language Processing (NLP). Digital Signal Processing (DSP). Vannutelli Sofien Relazione su Hidden Markov Model
- 27. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Natural Language Processing (1) Pre-elaborazione (Regular Expression). Analisi morfologica (Propone le categorie vocali per ogni parola). Analisi contestuale (Considera le parole nel loro contesto). Parser sintattico-prosodico (Trova la struttura del testo). Letter-To-Sound (Responsabile della trascrizione fonetica del testo). Produzione della metrica (Processore prosodico). Vannutelli Sofien Relazione su Hidden Markov Model
- 28. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Natural Language Processing (2) Letter-To-Sound Strategie adottate: fonetica basata su dizionario. fonetica basata sulle regole di trascrizione. Vannutelli Sofien Relazione su Hidden Markov Model
- 29. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Natural Language Processing (3) Produzione della metrica... Per la Produzione della metrica ci si basa su di un processore prosodico, il quale utilizza un HMM per determinare la sequenza più probabile dei valore di durata delle speech units, in cui ciascuno stato della HMM rappresenta un valore di durata e ciascuna uscita del HMM è uno speech unit. Per determinare la sequenza più probabile di valori di durata viene eseguita utilizzando l’algoritmo di Viterbi. Vannutelli Sofien Relazione su Hidden Markov Model
- 30. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Natural Language Processing (3) ...continua F = f1, f2, · · · , fn e D = d1, d2, · · · , dn , il TTS osserverà il fonema F per produrre la durata D, e calcolerà la probabilità condizionata P(D|F) per ogni possibile sequenza di valori. Con il Teorema di Bayes questo può essere espanso come: P(D|F) = P(F|D) · P(D) P(F) Ci interessa solo la migliore sequenza di durate il valore di massima verosimiglianza della probabilità condizionata o max D {P(D|F)} . Vannutelli Sofien Relazione su Hidden Markov Model
- 31. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Modulo DSP Il segnale d’uscita corrisponde ai requisiti d’ingresso. Due tecnologie principali: Sintesi basata sulle regole (ricerca la voce basandosi su di un modello acustico). Sintensi concatenativa (concatenazione e combinazione di frammenti di voce). Vannutelli Sofien Relazione su Hidden Markov Model
- 32. Motivation Hidden Markov Model Text-To-Speech Abstract Acquisizionee Sintesi Modulo DSP (2) Nella sintensi concatenativa Due moduli: Speech Processing. Sound Processing. Vannutelli Sofien Relazione su Hidden Markov Model
- 33. Appendix Bibliography Bibliography I M.R.Schroeder. Computer Speech - Recognition, Compression, Synthesis. Springer Series in Information Sciences. Romano Scozzafava. Incertezza e Probabilità. Editore Zanichelli, quinta edizione 2005. Prof.ssa Maria De Marsico. Multimodal Interaction Lesson 7. Corso di Interazione Multimodale, Università di Roma La Sapienza - Dipartimento di Informatica. Thierry Dutoit. An introduction to text-to-speech synthesis. Vannutelli Sofien Relazione su Hidden Markov Model
- 34. Appendix Bibliography Bibliography II Prof.Alfredo Pulvirenti. Analisi e Gestione dei Dati. Analisi e Gestione dei Dati, Università degli Studi di Catania - Dipartimento di Matematica e Informatica. Vannutelli Sofien Relazione su Hidden Markov Model