Samar - Premier bilan d'étape - Oct. 2010

1 er bilan d’étape 15 octobre 2010

Objectifs
Le projet SAMAR a pour objectif de développer une plateforme de traitement multimédia en langue arabe, et de valider ces travaux en menant les expérimentations :
Sur la totalité des dépêches arabes produites par l’AFP depuis 10 ans, soit environ un million de dépêches, représentant plus de 150 millions de mots.
Sur un ensemble de flux radios arabes
Sur un ensemble de flux télévisuels arabes
17/10/10

Vie du projet
Embauches
Locuteurs natifs arabe, nationalités représentées
Algérienne
Egyptienne
Jordanienne
Jordano-Palestinienne
Marocaine
Mauritanienne
Soudannaise
Tunisienne
17/10/10

Vie du projet
Embauches
Contrats
3 embauches CDI : Antidot, Mondeca
5 embauches CDD : Temis, Vecsys
1 contrat régie : AFP
1 ingénieur de recherche : GREYC
1 contrat thèse : LIMSI
1 contrat Post Doctorant: LIMSI
17/10/10

Vie du projet
Un communiqué de presse
Communiqués de Presse parus le 16 mars 2010 (FR US)
Article paru dans econtent mag (US)
http://www.econtentmag.com/Articles/News/News-Feature/SAMAR-Project-Mapping-Arabic-Language-to-Aid-News-Searchers-67535.htm
17/10/10

Vie du projet
Logo SAMAR
Site Web http://www.samar.fr/
17/10/10

Vie du projet
Réunions
4 plénières
Lancement du projet 01/10/2009
7 réunions thématiques
2 conférences téléphoniques
1 semaine de travail en équipe à Tunis (Greyc Llacan)
17/10/10

Objectifs Administratifs
Accord de consortium
Négociations en cours de finalisation (LIMSI AFP)
Accord de secret en cours de finalisation
Demande de prolongation du projet (6 mois)
Permettre des embauches sur 3 ans
Date de fin de projet
30/09/2012
17/10/10

Livrables
11 livrables attendus pour le 01/10/2010
9 livrables prêts à être remis
2 seront différés
L3.1: 12/2010
L5.1: 01/2011
17/10/10

SP1 Expression des besoins Denis Teyssou Bernard Apfeldorfer Dominique Ferrandini

L’AFP en arabe 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

La production arabe de l’AFP
Service arabe créé en 1974 au Caire puis migré à Nicosie en 1987.
Desk de 25 journalistes.
Production journalière de 300 dépêches environ.
En grande partie, de la traduction du français vers l’arabe.
Une production native en développement
Des produits multimédias avec photos, vidéos et infographies
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Taxonomie IPTC en arabe 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

De nouveaux services multimédia 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Un CMS adapté à la production 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Système Samar: vue fonctionnelle 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

SP1 Expression des besoins Hacène Cherfi Bernard Vatant

SP1 : Ressources terminologiques et ontologies
Mise en place d’un serveur termino-ontologique
Créer et gérer le Modèle ontologique SAMAR
Donner accès aux connaissances SAMAR pour les autres systèmes
Ressources multilingues et alignées dirigées par l’ontologie
Inférences et consolidation des entités dans la base de connaissances
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

V1 de l’ontologie SAMAR
Ressources référentielles
IPTC
Geonames (zone du Monde arabe)
Entités nommées du Joint Research Centre : JRC
début d’intégration
Démo
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

V2 de l’ontologie SAMAR
Intégration avec le système d’annotation
Export vers le système d’indexation
Ressources terminologiques
Consolider la base de connaissances
JRC + autres ressources
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Enrichir les référentiels
avec des ressources dialectales (avec Vecsys)
Ex. : dialecte égyptien
avec des ressources translittérées (LLACAN) si monolingues
Pour les entités nommées (personnes, lieux, etc.)
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

SP2 Analyse Morpho syntaxique de l’arabe Fathi Debili Ayadi Chabi r

Analyse Automatique vs Analyse Interactive O utils d'annotation interactifs et production de corpus annotés Voyellation, Etiquetage, Lemmatisation, et Analyse syntagmatique de l’arabe Appariement syllabique et Translittération Fr  Ar
Paris, 15 octobre 2010

Objectifs
Analyse Automatique vs Analyse Interactive Outils d'annotation interactifs et production de corpus annotés Voyellation, Etiquetage, Lemmatisation, et Analyse syntagmatique de l’arabe Appariement syllabique et Translittération Fr-Ar
Objectifs
Travail effectué
Travail en cours
Perspectives

Traitement de l’arabe: rappels
Réalisation d'outils d'annotation interactifs permettant la production de corpus annotés
Amélioration des performances de G-LexAr
Annotation effective d’environ 400 mille mots
Réalisation d’un système de translittération des nom propres Fr  Ar
Objectifs
Travail effectué
Travail en cours
Perspectives

Analyse morphologique de l’arabe Arborescence lexicale

Arborescence lexicale découpage 1 découpage 2 voyellation 21 voyellation 22 lemme 211 lemme 222 lemme 221 lemme 213 lemme 212 ht 2111 ht 2112 ht 2113 ht 2221 ht 2131 ht 2132 UM découpage n voyellation 2p … … … … voyellation 11 voyellation 12 ht 2121 ht 2122 ht 2211 ht 2212 lemme 111 ht 1111 ht 1112 …

Voyellation Lemmatisation Etiquetage
m 1 m 2 m 3 ... m L
V 11 V 12 V 21 V 22 V 23 V 31 V 32 V 33
L 111 L 112 L 121 L 211 L 221 L 222 L 311 L 321 L 322 L 323
t 1111 t 1211 t 2211 t 2213 t 3111 t 3221 t 3231
t 1112 t 2212 t 3211 t 3212 t 3213
t 1121 t 1122 t 2111 t 2221 t L111 ...t Lp L q L n L

Des niveaux d’ambiguïté élevés Niveaux d’ambiguïté de l’hyper-forme arabe Ambiguïté Segmentale Vocalique et Casuelle Lemmatique Grammaticale Dictionnaire (66.10 6 d’entrées) 1,08 2,17 1,68 2,99 Sous lexique (157 031) 1,26 6,40 2,65 9,16 En usage (2.10 6 ) 1,32 7,84 3,66 10,76

Coût de la voyellation exprimé en nombre de frappes
En arabe, la plupart des lettres ( 87% en définition, 77% en usage ) demandent pour être voyellées d’être accompagnées d’un signe diacritique dont la saisie coûte au minimum 2 frappes, à l’image du tréma en français.
Voyeller manuellement un mot arabe équivaut, en nombre de frappes au clavier, à le ressaisir entièrement voyellé.
La saisie de كتب ( ktb ) coûte 3 frappes.
La saisie de la forme voyellée كَتَبَ ( kataba ) coûte 9 frappes.
Voyeller كتب ( ktb ) préalablement saisie coûte aussi 9 frappes , soit autant que la forme voyellée كَتَبَ ( kataba ) entièrement ressaisie.

Les signes diacritiques
14 choix possibles si l’on inclut l’absence de voyelle
ـْـ ـَـ ـُـ ـِـ
ـًـ ـٌـ ـٍـ
ـَّـ ـُّـ ـِّـ
ـًّـ ـٌّـ ـٍّـ
Non voyellé

Des coûts d’annotation et de saisie élevés Coût moyen du caractère en nombre de frappes Coût moyen du caractère Proportion des signes diacritiques Proportion dans le coût de la saisie Anglais 1,00001 0,0005 % 0,001 % Français 1,003 3,51 % 3,84 % Arabe non voyellé 1,037 - - Arabe voyellé 1,46 45% 60%

Annotation interactive de corpus arabes
Les efforts doivent être fait dans deux directions:
De l’analyse automatique: performances autant sous l’angle de la pertinence linguistique que sous l’angle de la rapidité informatique
De l’ergonomie interactive: en introduisant de nombreuses fonctionnalités permettant:
De faciliter les choix linguistiques et d’assurer une meilleure reproductibilité de l’annotation manuelle
De réduire les coûts d’annotation et contrôle manuels

Analyse automatique vs Analyse interactive Analyse automatique Annotation interactive Élaboration des règles Un cercle vertueux

SAMSAr S ystème d’ A nnotation M orpho S yntagmatique de l’ Ar abe Sélection du mot à Voyeller Lemmatiser et Etiqueter Affichage de tous les contextes où apparaît le mot Sélection de l’une de ses occurrences Arborescence élaguée associée à l’occurrence sélectionnée Sélection de la branche VLT qui convient Attribution de la branche VLT retenue à l’occurrence sélectionnée Mise à jour des dictionnaires et des règles Sélection du Corpus puis du Texte à annoter
Objectifs
Travail effectué
Travail en cours
Perspectives

Annotation syntagmatique
Ce qui se présente à l'entrée de l'analyseur syntagmatique est la structure de données suivante:
La sortie attendue de l'analyseur syntagmatique est une structure de données où les syntagmes et entités nommées sont délimités et étiquetés
Etiquettes syntagmatiques : par ex. SN, SV.
Entités nommées : par ex. Date, Nom de personne, Nom de lieu, Distance, etc.
Objectifs
Travail effectué
Travail en cours
Perspectives
M 1 M 2 … M n Voyellation V 1 V 2 V n Lemme L 1 L 2 L n Etiquette T 1 T 2 T n

Annotation syntagmatique استقبل رئيس الجمهورية الوزير الأول اسْتَقْبَلَ CV رَئِيسُ الجُمْهُورِيَّةِ CN1 الوَزِيرَ الأَوَّلَ CN2
Objectifs
Travail effectué
Travail en cours
Perspectives

Analyse syntagmatique et Annotation interactive Délimitation des Syntagmes et Entités Nommées Arborescences lexicales élaguées issues de G-LexAr Apprentissage des Règles issues de l’annotation en cours Extraction des Syntagmes et Entités Nommées automatiquement reconnus Ré analyse syntagmatique après annotation morpho grammaticale ou apprentissage
Objectifs
Travail effectué
Travail en cours
Perspectives

S tation d’ A nalyse M orpho S yntaxique de l’ Ar abe SAMSAr
Annotation morpho grammaticale manuelle
Analyse morpho grammaticale: introduction de dictionnaires d’hyper formes donnant accès à des arborescences élaguées
Analyse syntagmatique et reconnaissance des entités nommées
Autres développements:
Voyellation
Translittération
Objectifs
Travail effectué
Travail en cours
Perspectives

Translittération Français ↔ Arabe
Objectif : passer d'un système d'écriture à un autre. Ici, du système d'écriture du français à celui de l'arabe, et inversement.
Les difficultés que pose la translittération sont relativement bien connues. Elles sont liées au fait que les systèmes alphabétiques n'ont pas le même nombre de lettres, et que les correspondances établies entre lettres ou groupe de lettres ne sont pas biunivoques.
Objectifs
Travail effectué
Travail en cours
Perspectives

Appariement Syllabique Amira أميرة
Objectifs
Travail effectué
Travail en cours
Perspectives
رَة مِي أَ a mi ra

Appariement segmental et Construction des règles de translittération Règles contextuelles Règles non contextuelles
Objectifs
Travail effectué
Travail en cours
Perspectives
Chaîne source Contexte avant Contexte après a mi mi a ra ra mi Chaîne cible Nombre d’occurrences أَ 1 مِي 1 رَة 1 Chaîne source a mi ra Chaîne cible Nombre d’occurrences أَ 1 مِي 1 رَة 1

Translittération Français ↔ Arabe
Forme générale d'une règle de translittération:

P( CC | CS , Ctx 1 , Ctx 2 )
où:
CS: Chaîne Source
CC: Chaîne Cible
Ctx 1 : Contexte avant
Ctx 2 : Contexte après
Objectifs
Travail effectué
Travail en cours
Perspectives

Translittération Français ↔ Arabe R: Règles, T: Translittération, C: Contextuelles, NC: Non Contextuelles, V: Voyellé, NV: Non Voyellé, F: Français, A: Arabe
Objectifs
Travail effectué
Travail en cours
Perspectives
Règles de translittération Français Arabe Arabe Français V oyellé N on V oyellé V oyellé N on V oyellé C ontextuelles RT C V FA RT C NV FA RT C V AF RT C NV AF N on C ontextuelles RT NC V FA RT NC NV FA RT NC V AF RT NC NV AF

Translittération Fr  Ar Appariement syllabique ou infra syllabique
Objectifs
Travail effectué
Travail en cours
Perspectives

Translittération Fr  Ar Segmentation de la chaîne source
Objectifs
Travail effectué
Travail en cours
Perspectives

Edward
Algèbre
Mars
Toyota
Neptune
Walter
Appariement des cognats Fr  Ar نِبْتُون إِدْوَارْد الجَبْر مَارْس
Objectifs
Travail effectué
Travail en cours
Perspectives

SP3 Moteur de recherche Jérôme Mainka Fabrice Lacroix

Moteur de recherche
Données à indexer
Données multilingues
Arabe
Anglais
Français
Données structurées
Format NewsML
Volumétrie :
1 million de news à indexer
200 news par jour
Support cross lingue
Utilisation de référentiels multilingues alignés
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Indexation de l'Arabe
Tokenisation
comme pour l'Anglais et le Français :
tokens séparés par des espaces / ponctuations
Lemmatisation
problématique
langue très flexionnelle
beaucoup d'agglutinations
utilisation prévue du lemmatiseur du SP2
Normalisation
recours au transcodage pas vraiment utile
translittération plus utile mais compliquée
fournie par le SP2
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Indexation transcription S2T
Mots associés à des indices de confiance
Possibilité de prise en compte de ces indices :
Booléen
Seuil
Proba
Pondération de l'indexation
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Indexation traduction
Deux démarches
Paresseuse
On se contente d'indexer les différentes versions comme l'original
Problème : environnement cross lingue. On doit avoir la possibilité d'afficher le résumé et la correspondance dans toutes les langues
=>
Innovante
Faire correspondre les traductions des segments de texte
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Démonstration 17/10/10

Perspectives
Incorporation du lemmatiseur SP2
Facettage multilingue
Indexation continue
Extension sémantique
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

SP4 Extraction entités nommées Leila Zighem Sylvie Guillemin-Lanne

Extraction des entités nommées
Skill Cartridge™ d’extraction d’entités nommées en arabe
Personnes
Organisations
Lieux
Dates
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Particularités de la langue arabe
Absence de majuscules
Contrairement à d’autres langues comme le français ou l’anglais
Sachant que la majuscule est un moyen très efficace dans le processus de reconnaissance des noms propres.
Absence de voyelles
L’absence des voyelles brèves entraîne de nombreuses ambiguïtés
Agglutination
La langue arabe est une langue agglutinante,
Une segmentation en Tokens seulement n’est pas suffisante
Nécessite une analyse morphologique de la langue
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

L’analyseur morpho-syntaxique
Intégration de Glexar dans la solution Luxid® Temis
L’analyseur morpho-syntaxique
Offre Arabic Pack distribuée aux partenaires du projet
Antidot, Vecsys, LIMSI
Désagglutination des préfixes et des suffixes
Basée sur les lemmes fournis par Glexar
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Skill Cartridge™ entités nommées
Intégration des lexiques
Personnes
Prénoms, noms,
Mots amorces (civilités, fonctions, gentilés)
Lieux
Noms de lieux,
Mots amorces introduisant un lieu
Organisations
Organisations commerciales,
Organisations gouvernementales
Organisations non gouvernementales
Variantes en sigles latins,
Mots amorces
Les dates et autres marqueurs temporels
chiffres, mois, jours de semaine, séparateurs (/ ou ou -)
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Implémentation des règles d’extraction
Expressions régulières décrivant un patron morpho-syntaxique
Manipulent des concepts, des tags grammaticaux, du lexique
Deux étapes de développement de la Skill Cartridge™
Règles simples
Construisent des concepts à partir des patrons morpho-syntaxiques et du lexique
<concept name=« Person" display="never" level="1">
~FirstName-LEX/LastName-LEX
</concept>
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Règles complexes
Introduisent des contextes pour guesser une entité nommée
Recours des mots amorces
<concept name="Person" display="always" level="5“ searchon="form">
~~Fonction/~~Gentille?{
(~~FirstName|~~LastName)/[ؠۿ]+ /(~~FirstName|~~LastName)
}
</concept>
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Matrice des combinaisons possibles
L’extraction des noms de personnes
Objectifs
Travail effectué
Travail en cours
Perspectives
abd-LEX nisba-LEX Al-LEX PSmasculin-LEX PSsacre-LEX PSfeminin-LEX prenom-compose-sacre prenom-masculin-compose prenom-feminin-compose NS-LEX nom-compose abd-LEX prénom-compose-sacre nisba-LEX nisba-abd nisba-Al nom-composé nom-composé nom-composé nom-composé nom-composé nom-composé Al-LEX Al-abd Al-nisba nom-composé nom-composé nom-composé nom-composé nom-composé nom-composé nisba-abd nom-composé nisba-Al nom-composé nom-composé nom-composé nom-composé nom-composé nom-composé Al-nisba nom-composé nom-composé nom-composé nom-composé nom-composé Al-abd nom-composé PSmasculin-LEX personne personne personne personne personne personne personne personne PSsacre-LEX personne personne personne personne personne personne personne personne PSfeminin-LEX personne personne personne personne personne personne personne personne prenom-compose-sacre personne personne personne personne personne personne personne personne prenom-masculin-compose personne personne personne personne personne personne personne personne prenom-feminin-compose personne personne personne personne personne personne personne personne NS-LEX personne personne personne personne personne personne personne personne nom-compose nom composé

abd-LEX nisba-LEX Al-LEX PSmasculin-LEX PSsacre-LEX PSfeminin-LEX prenom-compose-sacre prenom-masculin-compose prenom-feminin-compose NS-LEX nom-compose abd-LEX Abd Alhakim nisba-LEX Ben Abd Ben Al Ben Daoud Ben Aziz Ben Zouhra Ben Abd Allah Ben Laden Ben Al saoud Al-LEX Al Abd Al Ben Al Daoud Al Aziz Al Zouhra Al Abd Allah Al saoud Al Ben ali nisba-abd Ben Abd Ellah nisba-Al Ben Al Daoud Ben Al Aziz Ben Al Zouhra Ben Al Abd Allah Ben Al saoud Ben Al Ben ali Al-nisba Al Ben Daoud Al Ben saoud Al Ben Zouhra Al Ben Abd Allah Al Ben ali Al-abd Al Abd Ellah PSmasculin-LEX Nadjib Daoud Nadjib Abd El hafid Nadjib Zouhra Nadjib Abd Allah Nadjib chamse Eldin Nadjib Nour Elhouda Nadjib Daoud Nadjib Ben Al Ben ali PSsacre-LEX Aziz Daoud Aziz hakim Aziz Zouhra Aziz Abd Allah Aziz chamse Eldin Aziz Nour Elhouda Aziz Daoud Aziz Ben Al Ben ali PSfeminin-LEX Naouel Daoud Naouel hakim Naouel Zouhra Naouel Abd Allah Naouel chamse Eldin Naouel Nour Elhouda Naouel Daoud Naouel Ben Al Ben ali prenom-compose-sacre Abd Elbasit Daoud Abd Elbasit Aziz Abd Elbasit Zouhra Abd Elbasit Abd Esamad Abd Elbasit chamse Eldin Abd Elbasit Nour Elhouda Abd Elbasit Daoud Abd Elbasit Ben Al Ben ali prenom-masculin-compose Nour eldin Daoud Nour eldin Aziz Nour eldin Zouhra Nour eldin Abd Allah Nour eldin chamse Eldin Nour eldin Nour Elhouda Nour eldin Daoud Nour eldin Ben Al Ben ali prenom-feminin-compose Nour Elhouda Daoud Nour Elhouda Aziz Nour Elhouda Zouhra Nour Elhouda Abd Allah Nour Elhouda chamse Eldin Nour Elhouda Nour Elhouda Nour Elhouda Daoud Nour Elhouda Ben Al Ben ali NS-LEX Rezouk Daoud Rezouk Aziz Rezouk Zouhra Rezouk Abd Allah Rezouk chamse Eldin Rezouk Nour Elhouda Rezouk Daoud Rezouk Ben Al Ben ali nom-compose Ben daoud Ben Al Ben ali

‘ Le roi’ Abd Elah Ben Abd Elaziz Ben Abd Elrahman Al Saoud عبد الله بن عبد العزيز بن عبد الرحمن آل سعود Person عبد الله بن عبد العزيز بن عبد الرحمن آل سعود Simple العزيز Simple الرحمن First Name عبد الله Last Name بن عبد العزيز بن عبد الرحمن آل سعود Simple بن Simple عبد Simple عبد Simple بن Simple بن Simple آل Simple سعود Simple عبد Simple الله Composé عبد الرحمن Simple عبد Simple الرحمن Termes du lexique Concepts Intermédiaires Lien entre Concepts Simple الله Simple سعود Simple آل Composé آل سعود Composé بن عبد الرحمن Simple عبد Simple بن Composé بن عبد العزيز Simple عبد Simple العزيز Composé عبد العزيز

L’extraction des noms de personnes 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives
‘ Le roi’ Abd Elah Ben Abd Elaziz Ben Abd Elrahman Al Saoud

Règles complexes
Définition des contextes droits et gauches
L’extraction des noms de personnes
Objectifs
Travail effectué
Travail en cours
Perspectives
Droit Noyau Personne Gauche ~~VerbeCitation ~~Civilite ~~Fonction ~~Gentille? ~~Fonction ~~Gentille? ~~VerbeCitation ~~Fonction ~~Gentille? ~~Fonction ~~Gentille? ~~Civilite ~~Fonction ~~Gentille? ~~Fonction ~~Gentille?

L’extraction des noms de personnes Person محمد احمدي نجاد أعلن الرئيس الإيراني محمد احمدي نجاد A déclaré le président iranien Mohamed Ahmadi Najad Contexte أعلن الرئيس الإيراني Person محمد احمدي نجاد Fonction الرئيس Prénom نجاد Prénom محمد Nationalité الإيراني Verbe -Citation أعلن Mot pas dans le lexique
Objectifs
Travail effectué
Travail en cours
Perspectives

Evaluation
Corpus
Dépêches AFP
Dépêches de l’Agence France-Presse
Jeu de 1000 phrases extraites de dépêches (SP7)
Articles du journal égyptien (Elahram)
A partir d’articles sur le Web
Articles du monde diplomatique
Jeu d’articles fournis par ELRA
Ce jeu a servi pour le développement de la première version
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Evaluation
Protocole d’évaluation
Good
L’entité est bien extraite,
Le concept est correct
Good Type
Une partie seulement de l’entité est bien extraite,
‘ trop court ou bien trop long’
Le concept est correct
Wrong
L’entité est erronée
Le concept est faux
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Evaluation
Processus d’évaluation
Skill Cartridge™ Quality Tool (SCQT)
Procède à des extractions automatiques sur un jeu de documents
Affiche les concepts extraits
Garde en mémoire les concepts déjà validés
Calcule automatiquement la précision des concepts extraits
Pas de calcul de rappel pour le moment
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Evaluation 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives
Résultats
Corpus Alharam
Corpus AFP
Concepts Extracted Missed Good Good Concept Not validated precision /Entity/Location 354 0 352 354 0 99,7% /Entity/Organization 77 0 77 77 0 100,0% /Entity/Person 257 0 243 248 0 95,5% /Entity/Time-Expression/Duration 56 0 48 56 0 92,9% /Entity/Time-Expression/Exacte Time 36 0 36 36 0 100,0% /Entity/Time-Expression/Relative Time 121 0 107 121 0 94,2% Global 901 0 863 892 0 95,8% Concepts Extracted Missed Good Good Concept Not validated precision /Entity/Location 2047 0 1996 2010 0 97,9% /Entity/Organization 185 0 182 182 0 98,4% /Entity/Person 495 0 422 483 0 91,4% /Entity/Time-Expression/Duration 123 0 120 122 0 98,4% /Entity/Time-Expression/Exacte Time 97 0 97 97 0 100,0% /Entity/Time-Expression/Relative Time 644 0 635 644 0 99,3% Global 3591 0 3452 3538 0 96,1%

Perspectives
Skill Cartridge™
Etendre la couverture de la Skill Cartridge™
Ajout de règles contextuelles
Tester l’impact de règles « moins fiables »
Enrichir les lexiques
Lieux: introduire la base Geonames
Noms d’actualité « à ne pas rater »
Évaluations
Evaluer le rappel
Fonctionnalité d’annotation bientôt intégrée à la plateforme d’évaluation
Etendre la représentativité des corpus
Variation des corpus, des domaines (ex : des textes juridiques, scientifiques) et des styles (ex : Forum, blog)
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

CMS Nuxeo à l’AFP 17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

شكرا جزيلا
Choukran Djazilan
Merci

SP6 Transcription de la parole Samir Matrouf Cécile Woerhling Bernard Prouts

SP6 Reconnaissance de la parole
Objet de la tâche dans le projet
Transcription automatique en langue arabe destinée à la traduction et à l’indexation des documents audio
Développement du module de transcription automatique
Système existant pour l’arabe moderne standard BN: Emissions d’information Radio/TV
Adaptation du système à d’autres types de parole: Emissions de plateau, reportages
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Adaptation des modèles acoustiques et des modèles de langage
Adaptation des modèles à d’autres types de document: débat, interview, (dialectes: Egyptien, Levantin…)
Corpus
Audio: environ une centaine d’heures de données dialectales pour adapter modèles (débat, dialecte, thématique)
Texte: quelques millions de mots pour les modèles de langage
Collecte des données audio et texte
Définition des sources (Chaîne TV/Radio, web, AFP)
Infrastructure dédiée à la collecte et au traitement des transcriptions
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Transcription manuelle des données audio
Spécification des conventions (normalisation de l’écriture)
Transcription manuelle pour l’apprentissage
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Travail effectué
Description du corpus et spécification des conventions de transcription
Collecte des données Audio: 150 heures
Collecte des données texte: quelques millions de mots de l’AFP et 20 millions de mots du web.
Transcription manuelle des données pour l’apprentissage: 40 heures
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Démonstration (Vidéo)
Arabe journalistique
Arabe dialectale
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Exemple de résultat de transcription en MSA (Journalistique)
الخضروات والتي زرعها محمد غنيم لإ تبدو جيدة هذا العام بسبب شح المياه الخضروات والتي زرعها محمد حنين لا تبدو جيدة هذا العام ف بسبب شح المياه محاصيل موتور دون قطاف تقتطع منها بعض المواشي في المنطقة هنا في مدينة الخليل في الضفة الغربية كثيرون كمحمد يكافحون للتأقلم مع النقص الحاد في المياه بعد ان تورك بعضهم دون مياه لمدة خمسة أسابيع وترافق ذلك مع جفاف شديد بعد مرور فصل الصيف الحارة ومحمد يقول أن المشكلة تكمن بالمستوطنات الإسرائيلية التي تتحكم بكميات المياه
Exemple de résultat de transcription en dialecte égyptien
الزلزال بعرض الحقائق الموجودة في كتب الإخوان ومن أين كل أنهم يقولك كان ,, فهذا شأنهم وده يعني بطرقة هم أه اتفضل على
Exemple de résultat de transcription en dialecte palestinien
ولا مشروب ولا ينتظر الآن صراعا لحم موات ما واربح دولة من عشرين الجريمة ذاتها شيكل سنظل صدمة
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Perspectives
Finir les collectes et les transcriptions manuelles
Adapter les modèles acoustiques et modèles de langages pour prendre en compte le BC (Broadcast Conversation: Dialecte, interview, débat,…)
Enrichir le texte reconnu par les ponctuations
Evaluation
Intégration
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

SP7 Traduction Automatique Hélène Bonneau-Maynard François Yvon Souhir Gahbiche Gilles Adda Adrien Lardilleux

Objectifs
LIMSI : Traduction automatique
de l’arabe vers le français
de l’arabe vers l’anglais
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Travail effectué
Étude “Ressources nécessaires à l’amélioration des modèles de traduction automatique”
livrable SP7.1 avec GREYC
Acquisition des ressources en arabe :
ar:fr (7,6 M phrases), ar:en (5 M phrases)
Comparaison des outils linguistiques pour le traitement de la langue arabe.
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Construction d’un système de traduction
Système ar:fr de référence
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Système ar:fr de référence
Corpus parallèle pour le système ar:fr de référence :
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives
débats politiques 7 403 K phrases commentaires de nouvelles journalistiques 221 K phrases Nouvelles dans le domaine de la santé 18 K phrases

Travail effectué
Mise en place d'un flux FTP accessible aux partenaires.
Traduction périodique des dépêches de l’AFP de l’arabe vers le français (depuis déc. 2009) avec le système de référence.
37K dépêches, 729 K phrases arabes traduites en français.
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Système SAMAR-1
Objectif : construire un système adapté aux données AFP
Pas de données parallèles adaptées 
Beaucoup de dépêches en arabes sont des traductions de dépêches écrites en français 
Méthode pour extraire automatiquement les dépêches qui sont des traductions les unes des autres
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Système SAMAR-1
Au total 43090 phrases parallèles (41870 phrases pour entraînement, 1250 pour l’évaluation)
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Résultats obtenus
Evaluation sur 1250 phrases
BLEU = mesure d’évaluation pour la traduction.
Etat de l’art (Quaero ar:fr, BLEU = 18)
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives
Système de traduction Taille du corpus d’apprentissage BLEU Référence 7 643 717 29,1 SAMAR-1 41 840 31,4 Référence + SAMAR-1 7 685 557 34,2

Exemple de Traduction Automatique (AR-FR)
Système : Référence + SAMAR-1
Taille du texte à traduire : 1250 phrases extraites des dépêches AFP
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Perspectives
Traitement spécifique des entités nommées (Temis), en intégrant leur translittération (LLacan).
Constitution dynamique des corpus d'entrainement pour adapter les modèles de traduction à l'actualité => traduction plus performante.
Traduction de transcriptions automatiques de données audio (traduction de la parole).
difﬁcile pour la langue arabe
l’arabe parlé diffère de l’arabe écrit
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Merci pour votre attention
شكرا لاهتمامكم
17/10/10

SP7 Traduction Automatique Yves Lepage Nadine Lucas Wigdan Mekki

SP7: Traduction Automatique
Contribution du Greyc
Mise au point d’un module automatique de traduction de l’arabe vers le français et vers l’anglais
SP 7.1 : recueil et prétraitement des corpus arabe-anglais et arabe-français
SP 7.2 : développement de système de traduction « baseline »
SP 7.3 : amélioration des alignements sous-phrastiques
SP 7.4 : améliorations du système « baseline »
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Approche statistique en T. A.
Apprentissage :
À partir de données alignées au niveau des phrases, on apprend dans un premier temps des modèles qu’on appliquera dans un deuxième temps lors de la traduction sur des données nouvelles à traduire. Il est donc nécessaire de disposer de données alignées en quantité suffisante.
L’acquisition ou la production de telles données est donc à prendre en compte du point de vue financier dans la réalisation d’un système de traduction automatique par méthode statistique.
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Objectifs
Traitement des corpus acquis par l’analyseur du LLACAN
(SP 7.1) ‏
Constitution d’un système de traduction baseline
(SP 7.2) ‏
Production de tables de traduction avec GIZA++, Anymalign et retour au LLACAN
(SP 7.3 et SP 2) ‏
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Corpus analysé
LDC arabe-anglais
1 200 000 phrases alignées
32 855 000 mots
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Sortie avec GLexar
Forme brute : الهجمات àttaques’
Forme voyellée : الْهَجَمَاتُ àttaques’
Forme lemmatisée : هَجْمَة àttaque’
Forme segmentée : الْ هَجْمَة `l’attaque’
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Résultats
http://users.info.unicaen.fr/~jgosme/?traduction-arabe-original
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Conclusion
Résultats montrant que voyellation, lemmatisation ou segmentation n’apportent pas forcément en scores BLEU sur des données de petite taille.
La traduction à partir de l’original l’emporte (peut-être de façon significative). Les pré-traitements n’ont pas eu d’influence sur les données.
G-Lexar donne de meilleurs résultats avec la forme segmentée
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

Perspectives
Reproduction d’expériences de traduction avec GIZA++ et Moses sur le corpus arabe-anglais de la campagne IWSLT’10
(changement du domaine) :
Avec GLexar
Avec BAMA
Reproduction d’expériences sur les données de l’AFP (arabe-français) ‏
Définition d’un serveur local d’expériences de traduction
17/10/10
Objectifs
Travail effectué
Travail en cours
Perspectives

SP8 Integration Stefane Fermigier

Prérequis Techniques

API Web Services
Antidot: REST
Mondeca: SOAP, SPARQL
Nuxeo: CMIS, REST, SOAP
Temis: SOAP, UIMA
Vecsys: SOAP

Use case et flux globaux

Services et points d’intégration

Questions ouvertes
Finir de déterminer les points d’intégration et les protocoles / API utilisés
Choix de la méthode d’intégration: point-to-point, ESB, UIMA, FISE?
Packaging: une ou plusieurs machines virtuelles?

Conclusion

Samar - Premier bilan d'étape - Oct. 2010

by Stefane Fermigier

Accessibility

Categories

Upload Details

Usage Rights

2 Embeds 64

Statistics

Samar - Premier bilan d’étape - Oct. 2010 Presentation Transcript

http://www.samar.fr	61
http://coderwall.com	3