Presentation of my university thesis

1. Università degli Studi di Padova
Facoltà di Ingegneria
Corso di Laurea in Ingegneria Informatica
METODI KERNEL BASATI SU ALBERI PER
L’APPRENDIMENTO DEL LINGUAGGIO NATURALE
Relatore: Ch.mo Prof. Giorgio Satta
Laureando: Francesco Tonin
17 Dicembre 2007

2. Università degli studi di Padova
Metodi Kernel basati su alberi per l’apprendimento del linguaggio naturale
Outline
 Cenni alle Linear Learning Machines e ai Kernel Methods
 NLP e approcci discriminativi : Tree Kernels
 Risultati teorici: - kernel K m
- pre-computazione dei kernel
 Test eseguiti su WSJ treebank
 Conclusioni e potenziali sviluppi futuri
2

3. Università degli studi di Padova
Metodi Kernel basati su alberi per l’apprendimento del linguaggio naturale
Linear Learning Machines
 Compiti di Classificazione - Regressione (Supervised learning)
 Tipologie principali : Perceptron - SVM
h = sgn( w ⋅ x + b)
w ⋅ xi + b > 0 ⇒ xi ∈ A
w ⋅ xi + b < 0 ⇒ xi ∈ A
3

4. Università degli studi di Padova
Metodi Kernel basati su alberi per l’apprendimento del linguaggio naturale
Kernel Methods
 In generale, dati di input non separabili linearmente
mappare i dati in uno Spazio di Features dove siano linearmente
separabili
 Mappatura implicita, mediante una funzione K detta Kernel
   
K ( x, y) = φ ( x ) ⋅φ ( y )
4

5. Università degli studi di Padova
Metodi Kernel basati su alberi per l’apprendimento del linguaggio naturale
NLP: Tree Kernels
 NLP: Statistical Parsing, Relation Extraction, Semantic Role Labeling…
 Approccio discriminativo : Perceptron - SVM con Kernel
 Convolution Kernels definiti su strutture discrete: alberi di derivazione
(essenzialmente)
K (T , T ′) = ∑ λ ⋅ δ ( t , t ′)
t
t ⊆ T ,t′⊆ T ′ Φ( T )
(Collins e Duffy, 2001)
5

6. Università degli studi di Padova
Metodi Kernel basati su alberi per l’apprendimento del linguaggio naturale
Kernel K m
 Essenziale la complessità temporale del calcolo della funzione kernel
 Ammissibile anche calcolo approssimato, purché correlato alla
“somiglianza” tra alberi
 Definizione del kernel K m :
K m (T , T ′) = ∑ ) ∑ C ( n, n′ )
(
n∈N T n′∈N (T ′ )
m
Cm ( n, n′) = max t
t∈ A
A = { t : t ⊆ t (n) ∧ t ⊆ t (n′) }
 K m computabile con complessità temporale O ( r ⋅ | T | + | T ′ |)
6