La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Entités nommées
Jean Véronis
SeoCampus 2010

C’est quoi ?
jvTech • Jean Véronis Technologies

Extraction d’information
En France, il est interdit d’accrocher les mots “travailler”, “gagner” “plus” et “moins”, sur une façade.
C'est ironique,
quand on est un artiste chinois,
d'être censuré en France pour subversion politique. Critiquer Hu Jintao à Pékin, c'est possible. Mais Nicolas Sarkozy à Paris, ça non, c'est interdit. L'artiste Siu Lan Ko, 33 ans, en a fait les frais hier matin. Son installation a été décrochée en toute hâte de la façade des Beaux-Arts de Paris à la demande de son directeur Henry-Claude Cousseau…
Télérama – 11 février 2010

~Noms propres
Personnes, lieux, marques, entreprises, organismes, etc.
France
Hu Jintao
Pékin
Nicolas Sarkozy
Paris
Siu Lan Ko
Beaux-Arts
Henry-Claude Cousseau

Mais pas seulement…
Pourcentages, dates, montant monétaires, etc.
La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.

Tâche mal définie
Pourquoi entités « nommées » si on ne se limite pas aux noms propres ?
Où s’arrête-t-on ?
Dépend fortement de l’application
La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.

A quoi ça sert ?

Buzz
Navigation
SEO

Veille, suivi de tendances
polémique
Polanski
Exemples
propos sur l’Auvergnat…
Brice Hortefeux ~ Frédéric Mitterand

marques
épisode de la F1
Renault ~Peugeot

e-reputation
vague de suicides
France Télécom ~ Suicides

Moteurs de recherche
actu

Moteurs de recherche
pas d’actu

Nombreuses autres applications
Traduction automatique
Guillaume Portes a conçu le logiciel Fenêtres

Nombreuses autres applications
Classification de documents
« Textmining »
Constitution de bases de faits
etc.

Exemple:
siloBreaker

ClearForestGnosis — projet OpenCalais

Comment ça marche ?

Deux problèmes
...blabla… Orange …blabla…
détection
interprétation
…

Détection
Le problème semble simple
Détection de chaînes dans un texte
Exemple :
Oui, mais…
PARIS - Un bras de fer s'est engagé entre une artiste chinoise auteur d'une oeuvre faisant référence à un slogan du président Nicolas Sarkozy et l'école des Beaux-Arts de Paris, accusée de "censure".

Base de données
Sources
Wikipedia/DBPedia
Fichiers d’entreprises
Base Geonames
etc.
Aucune base n’est exhaustive
variabilité infinie
entités nouvelles

Variabilité
Personnes :
Ted Kennedy
Edward Kennedy
Edward M. Kennedy
Edward Moore Kennedy
Edward Moore Kennedy Sr.
Edward Moore "Ted" Kennedy
« Ted »

Variabilité
Sociétés :
Air France
Société Air France (nom officiel)
Air France-KLM (groupe)
AF (bourse)
AFR (code aviation civile)

Erreurs orthographiques
488941 britneyspears
40134 brittanyspears
36315 brittneyspears
24342 britanyspears
7331 britnyspears
6633 britenyspears
2696 brittenyspears
1807 brineyspears
1635 brittnyspears
1479 brinteyspears
1479 britannyspears
1338 britinyspears
1211 britnetspears
1096 britineyspears
991 britaneyspears
991 britnayspears
811 brithneyspears
811 brtineyspears
664 birtneyspears
664 brintneyspears
664 briteneyspears
601 bitneyspears
601 brintyspears
544 brittaneyspears
544 brittnayspears
364 briteyspears
364 brittinyspears
329 brtneyspears
269 bretneyspears
269 britneysspears
244 britnespears
244 brytneyspears
220 breatneyspears
220 britianyspears
199 britnneyspears
163 britnryspears
147 breatnyspears
147 brittineyspears
147 brittyspears
147 brotneyspears
147 brutneyspears
133 britteneyspears
121 bittanyspears
121 bridneyspears
121 britainyspears
121 britmeyspears
109 brietneyspears
109 brithnyspears
109 britnispears
109 brittantspears
…
http://labs.google.com/britney.html

Pas toujours exceptionnel :
Jean-Pierre Pernault ?
Jean-Pierre Pernaut ?

Multilinguisme
Exemples
Benoît XVI (fr)
Benedict XVI (en)
Benedikt XVI (de)
Benedetto XVI (it)
Benedicto XVI (es)
Londres ~ London

Translittérations
Pékin
Beijing
Mouhammar
Mohammar
Mouammar
Moammar
Muammar
Mu’ammar
…
Kadafi
Algathafi
al-Kadhafi
al-Gaddafi
Al Qadafi
Gueddafi
El-Gueddafi
…
X

Entités inconnues
Exemple : actualité
inconnu dans Wikipedia
12 février 2010

Heuristiques
Typographie : Majuscule, mais…
variantes
l’Ecole des Beaux-Arts (le Parisien)
l’école des Beaux-Arts (l’Express)
l’Ecole des beaux-arts (le Monde)
noms composés
Henri de la Ville de Mirmont
Hôtel de Ville de Mirmont
Jean Baptiste de la Croix de Chevrières de Saint –Vallier
Jean-Baptiste Belley de Saint-Domingue
autres langues
allemand (majuscule sur tous les noms)
arabe, chinois, etc. (pas de majuscules)

Heuristiques
Base patronymes et prénoms connus, mais :
Nombreuses ambiguïtés
Prénoms: April, Art, Earl, France, Israel, Logan, Noël, Renault, etc.
l’œuvre de Noël de Règemorte
le marché de Noël de Montbéliard
Patronymes: Charpentier, Mer, Vaillant
ministre de l'Economie Francis Mer
Charpentier fut remarqué et apprécié par Louis XIV
Charpentier au talent prometteur, ce compagnon…
Inconnus
Barack

Heuristiques
Statistiques (contexte)
Exemples :
le photographe italienPietro Mastrurzo a remporté
l’Italien Pietro Mastrurzo a reçu
le Français Alexis Contin s’est classé
le patineur de vitesse françaisAlexis Contin

Interprétation
Deux problèmes liés :
Désambiguïsation
Orange, Total, Opium, etc.
Catégorisation
Personne
Entreprise
Toponyme
etc.

page d’homonymie
Wikipedia :
Orange

Très difficile
Noms communs/marques
La majuscule ne suffit pas
Personnes/marques
etc.
Yves Saint Laurent lance Opium
Shangaï : Opium, jeux, prostitution
la turbulente histoire de la Chine depuis la Guerre de l'Opium
Alain Chamfort met Yves Saint Laurent en musique
il rend hommage à Yves Saint Laurent
Yves Saint Laurent lance une édition collector du parfum Elle

Typologie
Personnes, lieux, et…..?
Difficultés pour l’humain :
Orange = marque / entreprise ?
iPhone = produit / marque ?
Dépend de l’application
classification de Sekine

tant vont les fleuves à la mer
et la mer n’est jamais remplie…

http://www.seo-camp.org	49
http://www.slideshare.net	33

La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

by SEO Camp on Feb 22, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 82

Statistics

La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010 — Presentation Transcript