Découverte du Traitement Automatique des Langues

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Introduction au
traitement automatique des
langues
Meet up TOULOUSE DATA SCIENCE
Estelle Delpech
Epitech, 28 janvier 2016

Objectifs
● Découvrir le TAL
○ Qu’est-ce que c’est ?
○ Quelles difficultés
● Adressé à tout public
○ apprentissage automat...

IRIT
Extraction d’
information
Lingua et
Machina
Traduction
automatique
Nomao
Génération de texte
Agrégation de données
Co...

Plan
4
1. Introduction au TAL : domaine,
problématiques
2. Chaîne d’analyse linguistique
3. Trois techniques essentielles
...

Introduction
● Qu’est-ce que le TAL ?
● Apprentissage automatique
● Linguistique
● Particularités de la donnée
“langue”
5

“TAL” aka...
6

Rendre le langage intelligible aux machines
● Traduction automatique
● Analyse d’opinion
● Correction orthographique
● Rec...

TA
L
8
Multi-disciplinarité

Apprentissage automatique
9

Apprentissage automatique
Rendre une machine capable de :
● prendre des décisions,
● produire des analyses,
● avoir des co...

Applications
11

Classifier des textes
SPORT
SCIENCE
PEOPLE
12
?

Associer des mots
13

Reconnaître des structures
14

Produire du texte
15

Classification de textes à partir d’exemples
POSITIF ?
16

Choix des “traits”
ou “variables explicatives”, “variables prédictives”, “features” :
● fréquence du mot “super”
● présenc...

Extraction et décompte des traits
super délicieux moyen bof
#1 positif ◾ ◾ ◼ ◼
#2 positif ◾ ◾ ◼ ◼
#3 négatif ◼ ◼ ◾ ◾
#4 né...

Matrice des observations
super délicieux moyen bof
#1 positif ◾ ◾ ◼ ◼
#2 positif ◾ ◾ ◼ ◼
#3 négatif ◼ ◼ ◾ ◾
#4 négatif ◼ ◼...

Apprentissage
super délicieux moyen bof
#1 positif ◾ ◾ ◼ ◼
#2 positif ◾ ◾ ◼ ◼
#3 négatif ◼ ◼ ◾ ◾
#4 négatif ◼ ◼ ◾ ◾
méthod...

Application du modèle
POSITIF
MODÈLE
super délicieux moyen bof
◼ ◾ ◼ ◼
21

Arbre de décision
¬ super
super
délicieux ¬ délicieux
NÉGATIF
POSITIF
POSITIF
22
super délicieux moyen bof
◼ ◾ ◼ ◼

Classifieur linéaire
poids valeur du
trait
biaisclasse

Classifieur linéaire
super délicieux moyen bof
0.7 0.8 0.3 0.15
super délicieux moyen bof w0
1.02 1.27 -0.77 -0.29 -0.17
2...

Modèle probabiliste
25
probabilité classe
a priori
probabilité classe
sachant mot i
probabilité classe
sachant les n
mots ...

Modèle probabiliste
26
super délicieux moyen bof A priori
POSITIF 0.7 0.8 0.3 0.15 0.6
NÉGATIF 0.2 0.1 0.6 0.65 0.4
super ...

Linguistique
27

Linguistique
● Étudier le fonctionnement des langues
○ ≠ parler plusieurs langues
● Approche descriptive
○ ≠ grammaire, pr...

Morphologie
● Études des “morphèmes” : plus petite unité de sens
● Identification par supression/substitution :
○ possible...

Morphologie
● Retrouver le lemme :
○ serveuses, serveurs, serveuse, serveur → serveur
○ mange, manger, manges, mangeait, m...

Unités lexicales, entités nommées
● mot : unité graphique, suite de caractères entre deux espaces
● unité lexicale :
○ plu...

Syntaxe
● Agencement des mots/groupes de mots
○ Groupe / Syntagme nominal : le petit chat → unités de sens pertinentes pou...

Sémantique lexicale
● Relations de sens entre les mots
○ Polysémie : pl. sens liés
○ Homonyme : 1 forme graphique, sens
di...

Sémantique distributionnelle
● Distributionnalisme : les unités de la langue sont commutables
34
a fait son nid.Le
pinson
...

Textométrie
● Exploration quantitative des textes
● Détermination des marqueurs
linguistiques d’un auteur, genre,
époque
●...

Une donnée “humaine”
36

37
source : http://www.synomia.fr/fr/vision-et-techno/big-data-et-entreprises

Pas de bijection forme ⟷ sens
38
toile
film

Ambiguïté : une forme → plusieurs sens
Un bon repas, un très beau cadre, pas cher : c’était parfait !
Loin d’être parfait ...

Paraphrase : un sens → plusieurs formes
La soupe était délicieuse.
Le potage était savoureux.
L’attente fut vraiment longu...

Des unités continues
galette
entremets
baba au rhum
tarte aux pommes
gateau de Simon
41
intégré - figé
libre
mot, unité le...

Des unités continues
mesure, nom fém.
● action de mesurer : la mesure du temps
● quantité servant à mesurer : le mètre est...

Instabilité
● temps
○ selfie, zadiste, souris
● contexte
○ quoi vs koi
○ maman vs mère
● géographique
○ abreuvoir (CA) vs ...

Multilinguisme
4444
film
picture
film
movie
pellicule
photo
● boite aux lettres ↔ letter box
● lampe de poche ↔ torch
● fa...

Subjectivité
● Nombreux cas de désacords
○ entre humains
○ pour 1 même humain (sur le temps)
● analyse d’opinion : 20%
● c...

Chaîne d’analyse
linguistique
● Mots
● Catégories grammaticales
● Lemmes
● Groupes syntaxiques
● Analyse syntaxique profon...

Objectifs de l’analyse linguistique
● Gérer les difficultés inhérentes au langage
○ Délimitation les unités linguistiques
...

48
TOKENIZATION
PARSING
CHUNKING
STEMMING
“Mon amie a absolument adoré le baba au rhum.”
DETp NOM VERpres ADV VERper DETa ...

Tokenisation : découper en mot
● relativement trival
● liste d’exceptions
○ apostrophe : entr’ouverte vs l’arbre
○ virgule...

Stemming : enlever les suffixes
● pas de la racinisation !
○ racinisation : anticonstitutionnellement → consitution
○ stem...

Lemmatisation : forme “neutre”
● Ôter les flexions
○ verbe infinitif
○ nom, adjectif masculin singulier
● Généralisation :...

POS tagging : catégories grammaticales
● Désambiguïsation
○ Il porte un beau costard. vs Elle ouvre la porte.
○ La belle f...

Chunking : groupes syntaxiques
● Unités correctement délimitées
○ [J’] [ai demandé] [un verre de vin] [au serveur].
● Trai...

Parsing : relations longue distance
54
Le cuisinier de ce restau est particulièrement doué.
SUJET
OBJET
NOM ÊTRE ADJ
cuisi...

Parsing : relations longue distance
55
● Correction grammaticale : accords sujet-verbe
● Traduction automatique : réordonn...

Trois techniques
essentielles
1. représenter la “sémantique”
d’un document
2. représenter le sens d’un mot
3. annoter un t...

“Sémantique” d’un document
57

Représenter la “sémantique” d’un document
● Pourquoi ?
○ lui attribuer une classe
○ trouver des documents similaires
○ l’i...

Constitution du sac de mots
● Élimination de certains mots
○ mots outils : stop list ou PREP, DET, CONJ, PRO
○ mots trop o...

Poids des mots
● Présence / absence
● Fréquence dans le document
● Fréquence dans le document vs dans la collection
○ TF.I...

Utilisation
61
java C# licence toulouse hausse ca web text mining
CV #1 ◾ ◾ ◾ ◾ ◼ ◼ ◾
MODÈLE
technicien
informatique
requê...

Le sens des mots
62

Représenter le sens d’un mot
● Pourquoi ?
○ identifier des synonymes : réduction taille vecteurs
○ généraliser :
■ dévelop...

Représenter le sens d’un mot
● Approche “statique”
○ Projection d’une ressource existante, exemple : WordNet
○ Proximité s...

Représenter le sens d’un mot
● Approche “distributionnelle” : le sens d’un mot est défini par son contexte
linguistique
● ...

Collecter le contexte d’un mot
● Relations syntaxiques :
○ verbe : tous les noms objets, sujets
○ nom : tous les adjectifs...

Rapprocher les mots
67
● Similarité :
○ cosine
○ jaccard
● Obtention d’un graphe
○ extraction de cliques, etc.

Annoter un texte
68

Identifier les structures linguistiques
● Pourquoi ?
○ analyse fine
○ tagging, chunking, parsing
○ extraction d’informatio...

Reconnaissance de patrons
70
Spécialiste J2EE et passionnée par mon métier, je possède 10 années d’expérience au sein de…
...

Approche empirique (apprentissage)
● Méthodes s’appuyant sur le contexte : CRF, HMM
● Exemples : corpus annoté… à la main ...

Approche symbolique procédurale
● Codage direct
○ matching expressions régulières
○ if-then-else
○ transducteurs à états f...

Approche symbolique déclarative
● Description des règles linguistiques
● Application par un moteur d’analyse
73
Link parser

Approche hybride
● Ambiguïté rattachement préposition :
74
J’ai demandé du vin au serveur. ?? demander au serveur ? vin au...

Ressources logicielles
et linguistiques
75

Librairies open source
76
POS Lem Stem EN Chunk Parse Class Opin Coref Autre
Java ✱ ✱ ✱ ✱ ✱ ✱ ✱ ✱ n-grammes
Stanford
Core
...

Logiciels open source FR
● Porter Stemmer : diverses implémentations C++, Python, Perl, Java…
● Lemmatisation : http://sta...

Logiciels propriétaires FR
● Univ. Stuttgart - TreeTagger
● Synapse - Cordial
● Témis/Xerox - Xelda
78
POS Tagging + Lemma...

Classification & annotation
● Approches empiriques
○ Scikit-learn : vectorisation
○ Weka : HMM
○ Mallet : CRF, HMM, Entité...

Gros Volume
● Classification, Espaces vectoriels :
○ Deeplearning4j
● Parallélisation chaîne d’analyse
○ Apache UIMA
■ wra...

Ressources linguistiques
● Modèles FR Open NLP : N. Hernandez, Nantes
● LEFF - lexique formes fléchies : B. Sagot, Inria
●...

Merci pour
votre attention
http://www.uima-fr.org/
82
http://www.atala.org/-Liste-LN-

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

NLTK in 20 minutes by Jacob Perkins 69853 views
Text classification-php-v4 by Glenn De Backer 3730 views
Le grand livre de la PNL by Anouar Chamsse-Ed... 16862 views
IA et Traitement Automatique des La... by Eric De la Clergerie 866 views
Practical Text Mining with SQL usin... by Ralph Winters 15697 views
Les défis des_langue-pour_le_tal by Jorge Baptista 848 views

View on Slideshare

1 of 82 Ad

View on Slideshare

1 of 82 Ad