Génération automatique de questions à partir de textes en français
Upcoming SlideShare
Loading in...5
×
 

Génération automatique de questions à partir de textes en français

on

  • 1,538 views

 

Statistics

Views

Total Views
1,538
Views on SlideShare
1,512
Embed Views
26

Actions

Likes
1
Downloads
23
Comments
0

2 Embeds 26

http://www.linkedin.com 21
https://www.linkedin.com 5

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Génération automatique de questions à partir de textes en français Génération automatique de questions à partir de textes en français Document Transcript

    • Université catholique de Louvain Faculté de Philosophie, Arts et Lettres G ÉNÉRATION AUTOMATIQUE DEQ UESTIONS À PARTIR DE T EXTES EN F RANÇAIS Mémoire présenté par L OUIS DE V IRON en vue de l’obtention du diplôme de M ASTER EN L INGUISTIQUEà finalité spécialisée en Traitement Automatique du Langage P ROMOTEUR : D R . R ICHARD B EAUFORT Année académique 2010-2011
    • R EMERCIEMENTS Au moment de conclure ce mémoire, et de facto mes cinq années d’études, jetiens à adresser quelques remerciements aux personnes qui m’ont aidé à faire de cette période un passage inoubliable, tant sur le plan personnel que sur le plan académique. Je remercie d’abord Monsieur Richard Beaufort, mon promoteur, pour ces deuxannées de collaboration qui ont abouti au présent travail. Ses nombreux conseils, ses remarques, son souci de la perfection et les entretiens qu’il m’a accordésm’ont beaucoup appris et j’espère qu’ils auront contribué à faire de ce mémoire un travail de qualité. Je tiens également à exprimer ma profonde gratitude à Mesdames Delphine Bernhard et Véronique Moriceau, ainsi qu’à Monsieur Xavier Tannier pour leurencadrement d’une qualité exceptionnelle durant les deux mois de stage passésau LIMSI. Leurs conseils et encouragements à aller de l’avant m’ont énormémentstimulé et fait progresser. Je remercie aussi tous les membres du groupe ILES pour l’agréable accueil qu’ils m’ont réservé parmi eux. Merci à Mademoiselle Alice Bardiaux pour sa relecture attentive de ce travail et à Monsieur Michael Zock pour ses précieux conseils critiques. Si ces deux années de master en linguistique furent un succès pour moi et une si bonne formation, je le dois également à un encadrement de qualité. C’estpourquoi je tiens à remercier Messieurs Sébastien Combéfis, Thomas François et Hubert Naets pour leur disponibilité à toute épreuve. Je remercie également Mademoiselle Louise-Amélie Cougnon de m’avoir proposé une première immersion professionnelle dans le monde du TAL, et lesautres membres du CENTAL qui m’ont chaleureusement accueilli parmi eux pourmon baptême de feu dans le monde de la recherche en juin dernier à Montpellier. 3
    • On ne réalise heureusement pas ses études tout seul et si j’ai pu passerd’agréables moments sur les bancs des auditoires – et en dehors – durant ces deux années de master, je le dois à mes fidèles camarades de promotion Florence,Stéphanie, Cédric et Denis. Merci à vous pour cette entraide et l’amitié que nous avons pu nouer dans l’« adversité ». Je m’en voudrais d’oublier tous ceux qui ont partagé ma vie estudiantine et quiont collaboré à mon accomplissement extra-académique durant ces cinq années.Je pense à mes amis du Campagnol, du Cercle FLTR, de l’ANLO, de la Schola, desBlancs Chevaux, d’UTUC, à mes Amis de La Rue, et plus particulièrement à tous ceux qui ont accompagné mon quotidien, à la Rue des Sports et à La Coquille. Enfin, j’adresse mon dernier – et non le moindre – remerciement à Brieuc,Aymeric et Éléonore pour leur complicité fraternelle ainsi qu’à mes parents, qui m’ont donné la chance inestimable d’entamer des études et les moyens de les achever, grâce à un soutien sans faille et une écoute toujours attentive. Louis de Viron Août 2011 4
    • TABLE DES MATIÈRESRemerciements 3Introduction 12I État de l’art 171 La notion de question : définition, typologie et structure 19 1.1 Définition et typologie . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.1.1 Classification linguistique . . . . . . . . . . . . . . . . . . . . . 21 1.1.2 Catégorisation conceptuelle . . . . . . . . . . . . . . . . . . . 23 1.1.3 Synthèse : une classification « mixte » . . . . . . . . . . . . . . 29 1.2 La question d’un point de vue formel . . . . . . . . . . . . . . . . . . 31 1.2.1 Le marquage des questions . . . . . . . . . . . . . . . . . . . . 31 1.2.2 Les mots interrogatifs . . . . . . . . . . . . . . . . . . . . . . . 32 1.2.3 L’inversion sujet-verbe . . . . . . . . . . . . . . . . . . . . . . . 36 1.3 De la déclarative à l’interrogative : les règles transformationnelles de Langacker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 5
    • 1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 Génération automatique et génération automatique de questions 49 2.1 La génération automatique de textes . . . . . . . . . . . . . . . . . . 50 2.2 La génération automatique de questions . . . . . . . . . . . . . . . . 56 2.2.1 Les débuts : Les travaux de John Wolfe . . . . . . . . . . . . . 58 2.2.2 Une étude de Donna Gates . . . . . . . . . . . . . . . . . . . . 60 2.2.3 Heilman et Smith et l’apport de la simplification . . . . . . . 62 2.2.4 Kalady et l’apport des questions définitoires . . . . . . . . . . 64 2.2.5 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 2.3 Confrontation des deux domaines . . . . . . . . . . . . . . . . . . . . 67 2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70II Implémentation d’un outil de génération automatique dequestions pour le français 733 Présentation des outils utilisés 75 3.1 XIP : un analyseur syntaxique robuste . . . . . . . . . . . . . . . . . . 75 3.2 Tregex et Tsurgeon : manipulation d’arbres syntaxiques . . . . . . . 77 3.2.1 Tregex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 3.2.2 Tsurgeon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 3.2.3 Intérêt pour notre démarche . . . . . . . . . . . . . . . . . . . 80 3.3 Morflex : un fléchisseur morphologique . . . . . . . . . . . . . . . . . 81 3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 824 Architecture du système 83 4.1 Pré-traitements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.2 Le générateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.2.1 Typologie des questions générées . . . . . . . . . . . . . . . . 87 6
    • 4.2.2 Présentation générale de l’algorithme . . . . . . . . . . . . . . 89 4.2.3 Structure de base d’une règle . . . . . . . . . . . . . . . . . . . 89 4.2.4 Détail des différentes règles . . . . . . . . . . . . . . . . . . . . 90 4.2.5 Traitement des inversions . . . . . . . . . . . . . . . . . . . . . 93 4.3 Post-traitements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 4.4 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 955 Évaluation 97 5.1 Procédure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.2 Résultats et interprétations . . . . . . . . . . . . . . . . . . . . . . . . 100 5.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1106 Conclusion : apports et limites 113III Perspectives 1157 Problèmes rencontrés et solutions envisagées 117 7.1 Problèmes typographiques . . . . . . . . . . . . . . . . . . . . . . . . 117 7.2 Erreurs dues à l’analyseur . . . . . . . . . . . . . . . . . . . . . . . . . 120 7.3 Questions bruitées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 7.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1268 Une plus grande variété de questions 129 8.1 Élargissement de la typologie . . . . . . . . . . . . . . . . . . . . . . . 130 8.1.1 Questions en quel . . . . . . . . . . . . . . . . . . . . . . . . . . 130 8.1.2 Questions de quantité et de mesure . . . . . . . . . . . . . . . 134 8.1.3 Questions introduites par pourquoi . . . . . . . . . . . . . . . 136 8.1.4 Questions introduites par comment . . . . . . . . . . . . . . . 138 8.1.5 Questions sur les sigles et les acronymes . . . . . . . . . . . . 139 7
    • 8.1.6 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 8.2 Génération de paraphrases sur les questions . . . . . . . . . . . . . . 141 8.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145Conclusion générale 147Bibliographie 153Table des figures 163Liste des tableaux 165Annexes 167A Typologie des règles de simplification 169B Corpus d’évaluation 171 8
    • « Le savant n’est pas l’homme qui fournit lesvraies réponses, c’est celui qui pose les vraies questions. » Claude L ÉVI -S TRAUSS
    • I NTRODUCTION
    • Si le domaine des systèmes de questions-réponses 1 – consistant en la recherched’une réponse à une question donnée à partir d’une collection de documents –est aujourd’hui en pleine expansion dans le monde du Traitement Automatiquedu Langage (TAL), celui de la génération automatique de questions (GAQ) 2 estlargement moins populaire, du moins dans le monde francophone. En effet, alorsque de nombreuses recherches dans ce domaine ont été entamées pour l’anglais,la littérature ne recense aucun article traitant de cette problématique en français,à l’exception d’un travail d’étudiant introductif (Brette et Lescuyer, 2006). La génération automatique de questions à partir de textes, dans sa forme ac-tuelle, consiste en la transformation de phrases déclaratives en phrases interro-gatives et constitue globalement l’opération inverse des systèmes de questions-réponses. Grossièrement, elle part d’une réponse donnée sous forme de phrasepour formuler la question correspondante. La tâche est complexe et mobiliseun grand nombre de ressources et outils du TAL, comme l’analyse syntaxique, larésolution d’anaphores, la reconnaissance d’entités nommées ou encore la sim-plification de texte. Les domaines d’application de ce type d’outil sont par ailleursvariés et souvent motivés par un but pédagogique. Outre la création de tests et dequestionnaires à choix multiples, la génération automatique de questions peutégalement servir à améliorer les systèmes de dialogue homme-machine ou lessystèmes de questions-réponses interactifs. Notre mémoire se situe dans le contexte d’absence de ressources satisfaisantesen français. Notre objectif est de proposer une méthodologie pour générer desquestions en français qui puisse mener à la création d’un outil concret. Pour cefaire, une large réflexion théorique préalable est nécessaire pour implémenter 1. eng. : Question Answering (QA). 2. eng. : Question Generation (QG). 13
    • un système performant. Dès lors, le présent travail se compose de trois parties,articulées selon une dynamique temporelle que l’on pourrait qualifier de « passé-présent-futur ».Le passé. La première partie, intitulée état de l’art, définit le cadre théorique denotre objet d’étude. Nous y posons les réflexions préalables à l’implémentationd’un générateur de questions. D’une part, nous étudions en profondeur la notionde question. D’autre part, nous présentons le domaine de la génération automa-tique de questions à travers une comparaison avec la génération automatique detextes et un état de l’art de la discipline qui présente les principaux outils existantsen anglais.Le présent. La deuxième partie présente l’implémentation d’un générateur au-tomatique de questions pour le français. Elle fait suite à des travaux réalisés en2010 dans le cadre d’un stage de deux mois au LIMSI, sous l’encadrement deDelphine Bernhard, Xavier Tannier et Véronique Moriceau. Nous y développonsen détail notre méthodologie et exposons les résultats que nous avons obtenus,après les avoir soumis à une évaluation.Le futur. La troisième partie suggère des pistes de réflexions pour les éventuelsdéveloppements futurs de notre travail. Nous nous basons sur les limites soulevéespar l’évaluation pour identifier les problèmes majeurs et proposer des solutionspour y remédier. En outre, nous exposons des améliorations supplémentaires quimériteraient d’être implémentées pour rendre le générateur plus performant etplus complet. Par ce travail, nous espérons montrer l’intérêt de la génération automatiquede questions, souvent effacée au profit des systèmes de questions-réponses. Le 14
    • parallèle avec la citation de Lévi-Strauss qui ouvre ce mémoire est dès lors établi etpourrait constituer un bon slogan pour résumer notre travail si elle était traduitede la manière suivante : « Le meilleur système n’est pas celui qui fournit les vraies réponses, c’est celui qui pose les vraies questions. » Nous n’irons pas si loin et notre intention n’est évidemment pas de provoquerles chercheurs en questions-réponses, mais bien de montrer que la générationautomatique de questions est bel et bien un domaine qui mérite qu’on s’y attardequelque peu. Telle est la raison d’être de ce mémoire. 15
    • P REMIÈRE PARTIE É TAT DE L’ ART
    • Dans cette partie, nous présentons un état de l’art de la génération automa-tique de questions. Le premier chapitre propose une large réflexion sur la notionde question, que nous abordons selon deux points de vue principaux, en défi-nissant d’une part une typologie des questions et d’autre part leur structure àun niveau plus formel, tout en s’interrogeant sur les mécanismes mobilisés pourpasser d’une phrase déclarative à une phrase interrogative. Nous nous intéressonsensuite au domaine de la génération automatique et au statut particulier querevêt la génération de questions au sein de celui-ci. Nous présentons différentesméthodologies utilisées en génération automatique de questions tout en réfléchis-sant à ses différents domaines d’application, montrant que ce domaine d’étudesest susceptible de donner lieu à de nombreuses applications concrètes. 18
    • CHAPITRE 1 LA NOTION DE QUESTION : DÉFINITION, TYPOLOGIE ET STRUCTURE Les phrases interrogatives ont fait l’objet de nombreuses études, notammenten linguistique, en psychologie cognitive et en sciences de l’information et de ladocumentation (Pomerantz, 2005 ; Moignet, 1966 ; Jacques, 1981). En traitementautomatique du langage, la recherche sur ce thème s’est surtout concentrée surle développement des systèmes de questions-réponses, donnant lieu à de nom-breuses tentatives de typologies (Lehnert, 1978 ; Zock et Mitkov, 1991 ; Diekemaet al., 2003 ; Dang et al., 2006 ; Giampiccolo et al., 2007 ; Moriceau et al., 2010). Dans ce chapitre, après une première définition très générale de la notionde question, nous parcourons la littérature en vue d’établir une typologie dequestions qui puisse servir de base à la génération automatique. Nous étudionsensuite la question d’un point de vue plus formel en examinant ce qui la définitsyntaxiquement et la distingue des phrases déclaratives. Enfin, nous présentonsun système de règles écrit par Langacker (1965) pour transformer des phrases 19
    • déclaratives en phrases interrogatives. Le but de ce chapitre est d’obtenir une définition exhaustive de la notion dequestion, qui a pour vocation de constituer une base théorique pertinente pour lagénération automatique.1.1 Définition et typologie Le Bon Usage (Grevisse et Goosse, 2007) définit la phrase interrogative de lamanière suivante : « Par la phrase interrogative, on demande une information à l’interlocuteur. »Complétant cette définition basique, les auteurs relèvent quatre types de ques-tions : – disjonctive : la question énonce une alternative (Tu sors ou je te sors ?) – fictive : la question n’appelle pas de réponse (Qui sait ?) – oratoire : on admet comme évidente la réponse à la question (Ne vous avais- je pas averti ?) – délibérative : le locuteur s’adresse à lui-même (Que faire à présent ?) Zock et Mitkov (1991) notent que l’on peut classer les questions selon différentspoints de vue. Ils en relèvent trois : – Point de vue pragmatique, fonctionnel : ce point de vue fait référence à la théorie des actes de langage (Searle, 1995 ; Austin, 1999). Les questions sont classées selon l’acte qu’elles accomplissent. Néanmoins, cette théorie est très descriptive et peu applicable concrètement dans un système de génération. Nous ne l’abordons pas dans le cadre de ce travail. 20
    • – Point de vue linguistique : la classification passe outre le sens pour se baser sur la forme et la structure des questions. – Point de vue conceptuel : la typologie se base sur l’objet de la question (lieu, temps...). Cette section traite des classifications linguistique et conceptuelle en parcourantles travaux de quelques auteurs qui s’y sont intéressés. Nous mettons en exerguel’intérêt et la complémentarité de l’une et l’autre approche dans le cadre de lagénération automatique de questions.1.1.1 Classification linguistique Le Bon Usage (Grevisse et Goosse, 2007) opère deux distinctions au sein desquestions, menant à une première typologie basique : 1. Il oppose les phrases interrogatives directes, de forme interrogative (1) et les interrogatives indirectes qui sont contenues dans une phrase énoncia- tive, injonctive ou interrogative et introduites par un verbe de demande (2). (1) Reviens-tu demain à la maison ? (2) Il se demande si tu reviens demain à la maison. Dans le cadre de ce travail, nous laissons de côté ce deuxième type d’interro- gative pour se concentrer sur la formation des questions, entendues comme des phrases interrogatives directes. Dorénavant, nous utilisons indifférem- ment les termes question et phrase interrogative par souci de simplicité. 2. À l’instar de Danjoux-Flaux et Dessaux (1976), Le Bon Usage distingue les phrases interrogatives globales ou totales (exemple 3) 1 , dont la réponse 1. La littérature use indifféremment des appellations globales et totales. 21
    • peut-être oui ou non, des phrases interrogatives partielles, pour lesquelles l’interrogation porte sur un élément que le locuteur ignore (exemple 4) 2 . (3) Reviens-tu demain ? (4) Quand reviens-tu ? Le tableau 1.1 synthétise cette opposition sur la base de différents paradigmes. Question totale Question partielle Mot interrogatif / pronom (qui, que, quoi, lequel, combien) déterminant (quel, combien de) adverbe (comment, où, pourquoi, quand) Tournure est-ce en tête de phrase en tête de phrase, précédée du mot que interrogatif Portée de l’inter- sur le verbe (éventuellement en re- sur un élément que le locuteur rogation lation avec un autre élément) ignore Réponse oui/non conforme à l’interrogatif utilisé Ex : Où va-t-il ? À Bruxelles (où - lieu) Intonation montante en partie descendante TABLEAU 1.1 – L’opposition questions totales - questions partielles Certains auteurs ont également proposé de classifier les questions selon leurmot interrogatif. On parle alors de classification en wh-words. Cette classificationregroupe tous les interrogatifs anglais commençant par wh- (who, what, which,when, where, why), ainsi que l’adverbe interrogatif how 3 . Robinson et Rackraw(1972a ; 1972b) définissent ces mots comme le panel complet des mots lexicauxmarqués interrogativement et qui peuvent être utilisés dans un environnement lin-guistique similaire. Ces wh-words sont beaucoup utilisés en théorie journalistique. 2. Dans le domaine des systèmes de questions-réponses, on utilise également les oppositions« booléennes/factuelles » et « fermées/ouvertes ». 3. Les correspondants français de ces mots sont : qui, que/quoi, quel, quand, où, pourquoi etcomment. 22
    • Ils constituent en effet les éléments les plus importants qui doivent composer lepremier paragraphe d’un article (Pomerantz, 2005). Avec ces sept mots, une autre typologie de questions se dégage. Certes, toutesles questions ne s’y retrouvent pas – les questions totales, par exemples, sontmises de côté – et cette typologie n’est donc pas exhaustive, mais elle offre undébut de classification intéressant. Zock et Mitkov (1991) envisagent les limites de ce type de classification, relevantl’ambiguïté possible de ces mots interrogatifs. Ils donnent l’exemple du motcomment qui peut renvoyer à un état (5), à une méthode (6), à la valeur d’unattribut (7) ou encore ou à des éléments plus spécifiques, comme par exemple unmoyen de transport (8). (5) Comment vas-tu ? (6) Comment as-tu résolu ce problème ? (7) Comment est ta maison, rouge ou blanche ? (8) Comment es-tu venu, en train ou à vélo ?1.1.2 Catégorisation conceptuelle Lehnert (1978) introduit la notion de focus pour établir une catégorisationconceptuelle des questions. Elle définit le focus comme le concept qui incarnel’attente d’information exprimée par la question et postule que, tant que son focusn’est pas déterminé, une question ne peut être comprise clairement. Exemple : dans la question « Où est né Barack Obama ? », tant que le focus « compléter un concept » n’est pas clairement déterminé par l’interlocuteur ou la machine qui doit fournir la réponse, la question n’est pas comprise et la réponse adéquate ne peut être fournie. 23
    • La typologie de Lehnert est reprise en français dans le tableau 1.2. Catégorie Exemple 1 Antécédent causal Pourquoi Jean a-t-il quitté Paris ? 2 Orientation vers un but Pourquoi Marie a-t-elle acheté ce livre ? 3 Capacité Que doit-il faire pour gagner ? 4 Conséquence causale Que s’est-il passé après qu’il est parti ? 5 Vérification Est-il vraiment parti ? 6 Disjonction Est-il à Londres ou à Glasgow ? 7 Procédure Comment dois-je faire pour te rejoindre ? 8 Compléter un concept Quand est-il arrivé ? 9 Attente Pourquoi n’est-il pas parti ? 10 Jugement Que devrait-il faire pour survivre ? 11 Quantification Combien de personnes étaient présentes ? 12 Spécification d’un élément De quelle couleur sont ses yeux ? 13 Requête Peux-tu me passer le sel ? TABLEAU 1.2 – La typologie conceptuelle de Lehnert Graesser (1994) ajoute à cette typologie les cinq catégories reprises dans le ta-bleau 1.3. Notons que la catégorie assertion correspond aux phrases interrogativesindirectes que nous avons décidé de ne pas traiter dans le cadre de ce travail. Catégorie Exemple 1 Comparaison Dans quelle mesure ces deux villes sont- elles comparables ? 2 Définition Qu’est-ce qu’une onde magnétique ? 3 Exemple Qu’y a-t-il comme exemple de cette théo- rie ? 4 Interprétation Que s’est-il passé hier ? 5 Assertion J’ai besoin de savoir quelle est ta taille. TABLEAU 1.3 – Les cinq catégories additionnelles de Graesser Zock et Mitkov (1991) avancent quatre objections à la typologie de Lehnert : 1. Certaines catégories méritent d’être affinées. Quantification, par exemple, devrait comprendre les sous-catégories durée, fréquence... 2. Certaines catégories sont trop précises. Les questions 9, 10 et 11 seraient par exemple classées dans trois catégories différentes (jugement, procédure 24
    • et capacité) alors qu’elles pourraient toutes les trois être classées dans la catégorie procédure. (9) Comment t’es-tu arrangé avec John ? (10) Comment John a retrouvé son livre ? (11) Comment allons-nous manger ce soir ? 3. La catégorie compléter un concept est trop large pour définir les wh-questions. En effet, toute question, à part les questions totales, demande une complé- tion de concept. 4. Le métalangage, i.e. les explications relatives à la typologie et au choix des ca- tégories, est parfois trop exotique pour convenir à un locuteur quelconque. La campagne d’évaluation de systèmes de questions-réponses CLEF 4 établitune autre typologie de questions, plus générale. Trois types sont relevés et divisésen sous-catégories (Giampiccolo et al., 2007). Ces catégories se basent sur le typede réponse attendue à la question posée : 1. Questions factuelles : questions basées sur des faits – Personne (12) Qui est le président français ? Nicolas Sarkozy – Temps (13) Quand est mort Jean-Paul II ? En 2005 – Lieu (14) Où est né Mozart ? À Salzbourg – Organisation (15) À quel parti appartient Didier Reynders ? Au Mouvement Réformateur – Mesure (16) Quelle hauteur fait la tour Eiffel ? 324 mètres – Nombre (17) Combien d’habitants y a-t-il en Belgique ? 10 827 519 – Objet (18) De quoi est faite une table ? De bois 4. http://clef-campaign.org 25
    • – Autres (19) Quel traité a été signé en 1979 ? Le traité de paix entre Israël et Égypte 2. Questions définitoires : questions de type Qui/Qu(e) est X ? – Personne (20) Qui est Robert de Niro ? Un acteur de cinéma – Organisation (21) Qu’est-ce que la Douma ? Le parlement russe – Objet (22) Qu’est-ce qu’une assiette ? Un plat dans lequel on mange – Autres (23) Qu’est-ce que l’Eurovision ? Un concours de musique 3. Questions listes : questions qui requièrent une réponse contenant un nombre déterminé d’unités (24) Quels sont les aéroports de Londres ? Gatwick, Stansed, Heathrow, Luton et City Dans un article traitant des « questions complexes » (Moriceau et al., 2010), lesauteurs complètent cette typologie. Outre les catégories factuelle – qu’ils défi-nissent comme regroupant les questions globales et celles portant sur des entités– et définition 5 , ils mettent au jour deux nouvelles catégories : 1. Opinion (25) Que vous inspire ce film ? 2. Explication – Processus ou séquence de processus : correspond à la majorité des questions en comment (26) Comment faire une note de bas de page en LTEX ? A – Conséquence ou liste de conséquences : (27) Que provoque le gel sur les routes ? – Raison ou liste de raisons : correspond aux questions en pourquoi – Cause (28) Pourquoi un chercheur gagne-t-il moins qu’un trader ? – But (29) Pourquoi le gouvernement a-t-il prêté de l’argent aux banques ? – Obligation (30) Pourquoi doit-on obéir aux lois ? 5. Ils ne traitent pas dans l’article des questions de type liste. 26
    • Une typologie axée sur la question Zock et Mitkov (1991) reprochent à ces typologies d’être davantage axées surles réponses que sur les questions. Ils veulent pouvoir s’affranchir de la réponseet identifier le type d’élément sur lequel porte la question. À terme, l’intérêt estde créer un système sur la base de cette typologie qui permet à un utilisateurd’interagir librement avec une base de données. La démarche se situe donc dansune optique de génération de questions, davantage que les classements présentésjusqu’ici, comme l’indique la citation suivante : « Our goal [...] is not to specify how to answer a question, but how to ask it. To this end we need to make a taxonomy of questions. » (Zock et Mitkov, 1991) La taxonomie proposée est très fine. Elle ne traite par contre que des questionsportant sur un élément et non des questions portant sur des phrases entières,comme les questions globales. Les auteurs relèvent 14 grands types de questions,divisés chacun en catégories plus fines. Cette typologie est présentée dans letableau 1.4. Les exemples sont présents pour donner une indication de la structurede ces types de questions et des éléments qui doivent s’y trouver (préposition,mot interrogatif, sujet animé ou inanimé...). Type Sous-Type Exemple Question-rôle Agent-Objet Qui as-tu vu ? Co-agent Avec qui es-tu venu ? Bénéficiaire- À qui as-tu offert ce cadeau ? Destination Source De qui as-tu reçu ce cadeau ? Moyens-Instruments Qu’a-t-il utilisé pour creuser ? Instrumentalité Avec quoi vais-je creuser ? Possesseur-Relation À qui appartient ce livre ? À qui est cet enfant ? Question-évènement Évènement Qu’est-ce qu’il s’est passé ? Action Qu’a-t-il fait ? Spécification d’un trait Identité Quel est ton nom ? Origine D’où vient-il ? 27
    • Temps Quelle heure est-il à Londres ? Âge Quel âge a-t-il ? Taille Quelle est la taille de cette personne ? Couleur Quelle est la couleur de cette maison ? Prix Combien coûte cette moto ?Question de degré Vitesse À quelle vitesse roule-t-il ? Âge Quel âge a-t-il ?Question de manière (ac- Comment a-t-il dormi ?tion)Spécification (choix d’un Quel est le plus intelligent des deux ?élément parmi d’autres)Quantité Longueur De quelle longueur est ce lac ? Fréquence À quelle fréquence cela arrive-t-il ? Distance À quelle distance se situe Istanbul ? Intelligence À quel point John est-il intelligent ? État émotionnel À quel point l’aimes-tu ?Question spatiale Emplacement Où habites-tu ? Direction-Destination Où vas-tu ? Source-Origine D’où viens-tu ? Contenance Dans quoi gardez-vous le beurre ?Question temporelle Point À quelle heure décolle ton avion ? Unité de temps Quel jour sommmes-nous ? Fréquence À quelle fréquence prends-tu le train ? Durée Depuis combien de temps travailles- tu ? Passé-Présent Depuis quand travailles-tu ? Point final Jusque quand travailles-tu ?Raison Cause Pourquoi a-t-elle quitté son emploi ? Motivation Pourquoi veux-tu faire ça ? Convention Pourquoi dit-on « merci » ?Hypothèse Conséquence Que se passe-t-il si je fais ça ?Condition Quand pourrai-je dormir ?Méthode Comment résoudre ce problème ?Structure et fonctionne- Comment est organisé ce pays ?ment Comment éteindre l’ordinateur ? TABLEAU 1.4 : La Typologie de Zock et Mitkov 28
    • 1.1.3 Synthèse : une classification « mixte » Nous avons relevé deux types de classification, l’une axée sur un point de vuelinguistique et l’autre basée sur un point de vue conceptuel. Ces deux axes derecherche apportent chacun leurs éléments intéressants, mais ne sont pas contra-dictoires pour autant. Afin de montrer la complémentarité des deux approches,nous les avons synthétisées pour proposer une typologie « mixte » en établissantune catégorisation conceptuelle au sein d’une classification linguistique, baséesur les wh-words. Dans une optique de développement d’un système de règles degénération, nous pensons que les wh-words sont un point de départ intéressanten ce sens qu’ils réalisent globalement toutes les fonctions syntaxiques possiblesdans une phrase donnée 6 . Nous affinons ensuite cette première catégorisation enassociant à chacun de ces mots interrogatifs les concepts qui leur correspondent.De cette manière, chaque concept est relié au mot interrogatif approprié. Cettetypologie est reprise dans le tableau 1.5. Une catégorie est ajoutée afin de prendreen compte les questions globales, qui ne contiennent pas de mot interrogatif. 6. Nous incluons pour chaque wh-word la possibilité d’être précédé d’une préposition. 29
    • wh-word Concept Exemple Qui Personne Qui a offert ce cadeau à Pierre ? Que/Quoi Définition Qu’est-ce qu’une onde ? Matière De quoi est faite cette table ? Opinion Qu’en penses-tu ? Conséquence Que provoque le gel sur les routes ? Évènement Que s’est-il passé samedi ? Action Qu’a-t-il fait de mal ? Quand Point temporel fixe Quand est né Barack Obama ? Fréquence Quand prends-tu le train ? Passé-Présent Depuis quand travailles-tu ? Présent-Futur Jusque quand travailles-tu ? Où Emplacement Où habites-tu ? Source-Origine D’où viens-tu ? Direction-Destination Où vas-tu ? Pourquoi Cause Pourquoi a-t-elle quitté son emploi ? But Pourquoi roule-t-il si vite ? Convention-obligation Pourquoi doit-on dire « merci » ? Comment Procédure Comment faut-il écrire une lettre ? Structure Comment est organisé ce pays ? Spécification d’un élément Comment est cette fille ? Quel (lequel) Spécification d’un élément De quelle couleur sont ses yeux ? Quelle est la capitale de la Belgique ? Liste Quels sont les aéroports de Londres ? Combien Quantification Combien de chats a-t-elle ? Prix Combien coûte ce tableau ? Questions globales Vérification Est-il vraiment parti ? Requête Peux-tu me passer le sel ? TABLEAU 1.5 – Synthèse : typologie mixte des questions Cette typologie que nous avons élaborée prend tout son sens dans le cadre de lagénération de questions. De cette manière, dans une phrase quelconque, chaqueélément susceptible d’être interrogé devra pouvoir être associé à un concept. Unefois ce concept détecté, il suffira de le relier au mot interrogatif approprié afin degénérer une question à partir de celui-ci. 30
    • 1.2 La question d’un point de vue formel Dans cette section, nous étudions la question à un niveau plus grammatical.Nous y décrivons la façon dont elle se construit, en proposant une définitionqui se veut pertinente et précise et qui doit pouvoir servir de base à la généra-tion automatique de questions. À cette fin, nous développons trois éléments quinous semblent fondamentaux : le marquage des questions, en cherchant à déter-miner ce qui les distingue radicalement des propositions déclaratives, les motsinterrogatifs et l’inversion sujet-verbe.1.2.1 Le marquage des questions Le marquage de la question se fait principalement au niveau de l’intonationà l’oral et par un point d’interrogation final à l’écrit. La langue écrite soignéeaura tendance à y ajouter une inversion sujet-verbe tandis que l’oral et la langueécrite moins soignée préfèreront l’usage de l’introductif « est-ce que » (Grevisseet Goosse, 2007). Nuançant ce constat, Danjoux-Flaux et Dessaux (1976) s’inter-rogent sur le caractère distinctif de ces marques pour l’interrogation et objectentque s’il existe des traits qui indiquent l’interrogation, ceux-ci sont polyvalentset ne se limitent pas strictement à ce type d’énoncé. C’est le cas notamment del’inversion sujet-verbe que l’on retrouve tant dans les phrases assertives qu’inter-rogatives, comme le montrent les deux exemples suivants : (31) Comment va-t-il ? (32) Ainsi va-t-il de temps en temps au marché. Si les traits relevés sont donc bien représentatifs des questions, ils ne sontpas pour autant spécifiques à celles-ci et ne permettent pas de les distinguer detous les autres types de phrases. Néanmoins, à l’écrit, l’inversion sujet-verbe 31
    • et la tournure est-ce que semblent être de bons indicateurs pour déterminerqu’une phrase donnée est interrogative. Tout en émettant une certaine réserve,on pourrait également affirmer qu’ils constituent, avec le point d’interrogationfinal, les traits minimaux d’une question formulée dans un registre standard.1.2.2 Les mots interrogatifs Comme l’indique le tableau 1.1 à la page 22, les mots interrogatifs prennentprincipalement trois formes. Ils peuvent être soit un pronom, soit un détermi-nant, soit un adverbe. Ces mots interrogatifs se placent généralement en tête deproposition, même si trois exceptions quant à leur position sont à souligner : – Si la question comporte deux mots interrogatifs, le deuxième suit le verbe : (33) Qui fait quoi ? – Si le mot interrogatif est la tête d’un syntagme prépositionnel, la préposition le précède : (34) Depuis quand est-il là ? – Il arrive, dans un registre moins normé, que le mot interrogatif se retrouve à la place du mot qu’il substitue : (35) Il part quand [demain] ? Les pronoms interrogatifs Qui, que et quoi sont invariables et entrainent unaccord au masculin singulier pour tous leurs compléments. Par exemple, la phrase« Qui est heureuse ? » n’est normalement pas acceptée et doit être corrigée pourdonner « Qui est heureux ? » (Danjoux-Flaux et Dessaux, 1976 :149). Les adverbes où, quand, combien peuvent être précédés d’une préposition ausein de la question ou même contenir la préposition en eux. 32
    • (36) Luc va vers Lyon → Vers où Luc va-t-il ? (37) Luc est dans le jardin → Où Luc est-il ? Les mots interrogatifs ont donc des sources lexicales variables (substantifs, infinitifs, adjectifs, propositions complétives ou infinitives, syntagmes préposi- tionnels...). De ce fait, le panel d’éléments pouvant faire l’objet d’interrogations est large et, dans le cadre de la génération automatique de questions, il est nécessaire de pouvoir traiter tous ces cas afin de produire des interrogations sur chacun de ces éléments. Comportement face aux modifieurs Danjoux-Flaux et Dessaux (1976) soulignent le comportement différent des interrogatifs face aux modifieurs. Les modifieurs sont « les expansions du nom dans un groupe nominal » (Molinier et Levrier, 2000 :21) (adjectifs, compléments du nom, relatives). Nous illustrons ces différents comportements dans le tableau 1.6. Pour chaque type d’interrogatif, nous donnons trois exemples de phrases, chacun de ceux-ci utilisant un type de modifieur. Nous testons ensuite la validité de la paire « interrogatif-modifieur ». Les exemples précédés d’un astérisque sont non-valides. L’intérêt de cette recherche est de définir plus tard des patrons cor- rects de phrases interrogatives en évitant d’associer un mot interrogatif avec un modifieur qu’il n’accepte pas. Comp. adjectival en de Comp. nominal RelativeAdverbes interrogatifs *Pourquoi d’agréable *Pourquoi des gens *Pourquoi qui est agréablePronoms interrogatifs Qui d’agréable *Qui des gens Qui, qui est agréableDéterminants interrogatifs *Lequel d’agréable Lequel des gens Lequel, qui est agréable TABLEAU 1.6 – Interrogatifs et modifieurs 33
    • Le choix entre qui, que et quoi Le choix entre ces trois pronoms n’est pas anodin et mérite d’être expliqué dansune étude préalable au développement d’un outil de génération automatiquede questions. En effet, si ces trois occurrences ne peuvent être utilisées indiffé-remment, il est important de comprendre les facteurs qui président au choix del’une ou l’autre forme. Il faut pour cela distinguer trois cas, relatifs à la fonctiondu pronom dans la phrase. Si l’interrogatif a la fonction de sujet et que ce sujet est animé, il prendra laforme qui (38). En revanche, s’il est inanimé, il prendra la forme qu’est-ce qui (39),les formes que et quoi étant très rarement attestées (Danjoux-Flaux et Dessaux,1976 :150). (38) Jean joue avec son chien → Qui joue avec son chien ? (39) Fumer tue → Qu’est-ce qui tue ? Quand l’interrogatif a la fonction d’attribut du sujet, l’opposition entre quid’une part et que et quoi d’autre part, dépasse le clivage entre animé et inaniméet se résout dans la forme de la réponse à la question. Dans le cas des animéspar exemple, alors que qui demande un syntagme nominal comprenant un dé-terminant, comme dans l’exemple 40, que demande un syntagme nominal sansdéterminant, comme dans l’exemple 41. Si la réponse est un adjectif, on utiliseraplutôt l’interrogatif comment (voir l’exemple 42). (40) Luc est un concierge → Qui est Luc ? (41) Luc est concierge → Qu’est Luc ? (42) Luc est intelligent → Comment est Luc ? 34
    • Dans tous les autres cas, le choix entre ces termes est déterminé par le caractèreanimé ou inanimé du mot qu’il remplace. Si ce mot est animé, le pronom pren-dra la forme qui (43, 44) et dans le cas contraire, il prendra la forme que s’il estcomplément direct (45) et quoi sinon (46). (43) Le chat amuse Jean→ Qui amuse le chat ? (44) Jean donne une pomme à Pierre→ À qui Jean donne-t-il une pomme ? (45) Jean mange une pomme→ Que mange Jean ? (46) Jean joue au football → À quoi joue Jean ?Rôle de la construction du verbe dans le choix des interrogatifs Danjoux et Dessaux (1976) se basent sur les travaux de Maurice Gross (1968) etses tables de Lexique-Grammaire pour montrer que le choix des interrogatifs estsouvent contraint par le verbe utilisé dans la phrase. Ils étudient ce phénomène àtravers les constructions complétives et infinitives. Ils remarquent entre autresqu’avec des infinitives construites à partir d’un verbe de mouvement ou causatifde mouvement, la question qui en résulte sera régulièrement introduite par où. (47) Il emmène Luc voir Marie → Où emmène-t-il Luc ? Grévisse et Goosse (2007) montrent que quand l’interrogation porte sur leverbe, il n’existe pas de mot interrogatif qui permette de former la question. Pourcontrer ce problème, il faut alors recourir au verbe substitut faire ou, à défaut, auxverbes se passer ou y avoir pour former une question en que (Grevisse et Goosse,2007 ; Danjoux-Flaux et Dessaux, 1976). (48) Le vieux mur peut tomber – *Que peut le vieux mur ? – Que peut faire le vieux mur ? 35
    • Par ces deux exemples, les auteurs montrent que le choix de l’interrogatif estloin d’être évident et que les contraintes qui s’exercent sur lui ne sont pas seule-ment liées à son référent et à ses caractéristiques (animé, inanimé, complétive,infinitive), mais aussi au contexte linguistique dans lequel il s’inscrit.1.2.3 L’inversion sujet-verbe L’inversion se réalise différemment selon que le sujet est un pronom personnel(ou le pronom ce) ou non. Nous distinguons ci-dessous ces deux cas avant d’évo-quer l’introducteur est-ce que et son statut particulier (Grevisse et Goosse, 2007 ;Langacker, 1965 ; Danjoux-Flaux et Dessaux, 1976).Le sujet est un pronom personnel ou le pronom ce Aux temps simples, on procède à une inversion sujet-verbe classique, avecl’insertion d’un trait d’union entre les deux. (49) Il vient → Vient-il ? Aux temps composés et au passif, le pronom est inséré entre l’auxiliaire et leparticipe passé. (50) Il est venu → Est-il venu ? Ces deux règles comportent toutefois deux exceptions : – L’inversion n’est pas réalisée à la 1ère personne du singulier de l’indicatif présent pour les verbes ne se terminant pas par -e (*fais-je). – L’inversion n’est pas réalisée pour les temps composés de être quand le sujet est ce (*a-ce été) ainsi qu’à la troisième personne du pluriel de l’indicatif passé simple (*fussent-ce). 36
    • Dans certains cas par ailleurs, le verbe se voit modifié avec l’inversion : – À la première personne du singulier de l’indicatif présent, les verbes se terminant en -e changent leur e en é (aimé-je) – À la troisième personne, quand le verbe se termine par une voyelle, on ajoute, par analogie à la prononciation, un -t- avant le pronom.Le sujet n’est ni un pronom personnel, ni le pronom ce – Interrogations globales On procède à une inversion complexe. Cela signifie que le sujet reste à sa placeinitiale, mais qu’il est repris après le verbe sous la forme d’un pronom personnel àla troisième personne, accordé en genre et en nombre avec le sujet. (51) Jean est parti travailler → Jean est-il parti travailler ? – Interrogations partielles Cinq cas de figures sont à envisager : 1. L’interrogation commence par un pronom interrogatif sujet ou par un dé- terminant interrogatif se rapportant au sujet : pas d’inversion (52) Jean est parti → Qui est parti ? 2. L’interrogation commence par quel, qui est attribut ou se rapporte à l’attri- but : on procède à une inversion simple du sujet (53) Quels sont ces bruits sourds ? 3. L’interrogation commence par que, qui est complément direct ou attribut du sujet avec un verbe copule autre que être : inversion simple (54) Jean mange une pomme → Que mange Jean ? 4. Le mot interrogatif est pourquoi : on procède à une inversion complexe (sujet - verbe - reprise du pronom) 37
    • (55) Jean est parti parce qu’il était malade → Pourquoi Jean est-il parti ? 5. Dans tous les autres cas : on fait soit une inversion complexe, soit une inversion simple (56) Jean est parti à Paris → Où est parti Jean ? ou Où Jean est-il parti ?L’introducteur est-ce que « Ces tours avec est-ce que (interrogation globale et interrogation partielle) sont souvent considérés comme peu élégants et lourds. Ils sont très anciens pourtant, et les classiques ne les rebutaient pas. Ils se rencontrent parfois dans la langue littéraire la plus élaborée, mais moins souvent aujourd’hui qu’hier, semble-t-il. »(Grevisse et Goosse, 2007) Le Bon Usage évoque donc cette différence de prestige entre les deux variantes(inversion et tournure en est-ce que) dans la formulation des questions. Il cited’ailleurs une préférence de l’Académie française pour l’inversion dans les ques-tions. Néanmoins, cette tournure en est-ce que permet de contourner certains inter-dits liés à l’inversion. – Impossibilité d’inversion à la première personne du singulier de l’indicatif présent : (57) *Perds-je ? - Est-ce que je perds ? – Problème d’inversion avec le pronom (58) ce : *furent-ce ses derniers mot ? - Est-ce que ce furent ses der- niers mots ? – Interdiction du pronom interrogatif sujet neutre : (59) *Que m’oblige à faire ça ? - Qu’est-ce qui m’oblige à faire ça ? – Difficulté d’identifier sujet et objet : (60) Qui aime Jean ? - Qui est-ce qui aime Jean ? Ces constructions sont invariables en temps et en genre. Elles ne sont conju-guées qu’à l’indicatif présent, à la troisième personne du singulier. Les questionsde l’exemple 61 illustrent l’invariabilité de ces tournures. 38
    • (61) Est-ce que Jean est revenu ? Sont-ce que les enfants sons reve- nus ? Sera-ce que Jean reviendra ? L’utilisation de ces constructions diffère selon le caractère global ou partiel del’interrogation. – Interrogations globalesDans ce cas, l’introducteur est-ce que est en tête de phrase, suivi du sujet, sansreprise pronominale. – Interrogations partiellesLa tournure est-ce que se place après le mot interrogatif et est suivie du sujet, sansreprise pronominale. Si l’interrogatif est sujet, est-ce que se mue en est-ce qui.Synthèse L’inversion sujet-verbe est une thématique complexe et dépend entre autres dela nature nominale ou pronominale du sujet. Nous reprenons dans le tableau 1.7une synthèse des différents types d’inversion en jugeant de leur acceptabilité. Lesphrases non acceptées sont précédées d’un astérisque. Nom Pronom Inversion simple Interrogation partielle Quand vient Jean ? Quand vient-il ? Interrogation totale *Viendra Jean ? Viendra-t-il ? Interrogation totale est- *Est-ce que viendra Jean ? *Est-ce que viendra-t-il ? ce que Inversion complexe Interrogation partielle Quand Jean vient-il ? / *Que Luc dit-il ? *Qui nage-t-il bien ? Interrogation totale Jean viendra-t-il ? / Interrogation totale est- *Est-ce que Jean viendra-t-il ? / ce que TABLEAU 1.7 – L’inversion sujet-verbe 39
    • 1.3 De la déclarative à l’interrogative : les règles trans- formationnelles de Langacker Dans la lignée des travaux de Chomsky en grammaire générative et transfor-mationnelle, plusieurs auteurs ont proposé des règles pour formaliser la trans-formation de phrases déclaratives en interrogatives en français (Kayne, 1973 ;Langacker, 1965). Dans cette section, nous analysons le système de règles décritpar Langacker dans un article intitulé French Interrogatives : A TransformationalDescription (1965). Langacker distingue cinq procédés de formation différents : les questions to-tales avec inversion sujet-verbe, les questions en quel suivi d’un substantif, lesquestions en qui,que et quoi, les questions en est-ce que et les questions adver-biales (introduites par un adverbe interrogatif). Comme nous l’avons vu plus haut,les questions en est-ce que appartiennent à un registre moins normé et plus oral,raison pour laquelle nous ne les abordons pas ici.Les questions totales Quand une phrase déclarative est formée d’un sujet pronominal, la questiontotale correspondante peut être formée par inversion du pronom et du premierélément verbal (62). Quand le sujet n’est pas pronominal, la question est forméepar une inversion complexe, via une reduplication du sujet sous forme pronomi-nale, à la suite du premier élément verbal (63). (62) Il est fou → Est-il fou ? (63) Jean est fou→ Jean est-il fou ? 40
    • Langacker formalise cette transformation en trois règles successives. Danscelles-ci, chaque élément de la phrase est représenté par un symbole : – *Ti indique le numéro de la règle. L’astérisque souligne qu’elle est obliga- toire – wh correspond au mot interrogatif (ici fictif) – [+P RON ] correspond au trait syntaxique pronom – NP correspond à un syntagme nominal (qui peut être un pronom) – V correspond au premier élément d’une chaine verbale – X,Y,Z correspondent à des chaines quelconques de caractères Une règle correspond à la transformation d’un état de la phrase vers un autre.Les éléments sont associés à un numéro dans la partie gauche de la règle et lapartie droite donne le nouvel ordre de ces éléments. Certaines règles sont soumisesà une condition, exprimée sous la flèche de transformation. 1. Reduplication du sujet à la suite du premier élément verbal *T4 : wh NP V X ⇒ 1 2 3 +2 4 1 2 3 4 Exemple : - wh1 Le chat gris2 est3 parti4 → wh1 Le chat gris2 est le chat gris3+2 parti4 - wh1 Il2 est3 parti4 → wh1 Il2 est Il3+2 parti4 2. Pronominalisation du sujet dupliqué *T5 : wh NP + V DET [+N ] X Y ⇒ 12 4 6 1 2 3 4 5 6 [+P RON ] NP Exemple : - wh1 Le chat gris est2 le3 chat4 gris5 parti hier6 → wh1 Le chat gris est2 il4 parti hier6 - wh1 Il est2 Il4 parti hier6 → wh1 Il est2 il4 parti hier6 41
    • 3. Ellipse du sujet si celui-ci est un pronom *T7 : X NP V NP Y ⇒ 1 3 4 5 1 2 3 4 5 |si 2=4| Exemple : - wh1 Pierre2 est3 il4 parti5 → la règle n’est pas appliquée - wh1 Il2 est3 il4 parti5 → wh1 est3 il4 parti5Questions formées à partir d’un déterminant : questions en quel L’interrogatif quel est défini comme le résultat de l’ajout de l’interrogation audéterminant quelque (Langacker, 1965 :590). L’interrogation porte donc sur ledéterminant, et pas sur le nom. (64) Vous préférez quelque tableau → Quel tableau préférez-vous ? Pour réaliser l’interrogation, il faut donc déplacer le syntagme dont le détermi-nant est quelque en tête de proposition et joindre le déterminant au marqueurd’interrogation fictif wh pour donner quel. Trois cas sont à distinguer pour écrirecette règle : 1. L’interrogation porte sur le sujet : dans ce cas, le syntagme n’est pas déplacé. (65) Quelque médecin va venir → Quel médecin va venir ? 2. L’interrogation porte sur un syntagme prépositionnel : le syntagme entier est déplacé en tête de proposition. (66) Il parle à quelque femme → À quelle femme parle-t-il ? 3. L’interrogation porte sur un élément dominé par une P2 : on ne peut réaliser l’interrogation. (67) Nous partirons quand quelque femme partira → *Quelle femme partirons-nous quand partira ? 42
    • De ces trois cas, résulte la règle suivante : T3 : wh X (P) DET Y Z ⇒ 3 1+4 5 2 6 quelque 1 2 3 4 5 6 Condition : 4 + 5 n’est pas dominé par une P2 Exemple : wh1 Vous parlez2 à3 quelque4 femme5 aujourd’hui6 → À3 quelle1+4 femme5 vous parlez2 aujourd’hui 6 ? Une fois cette règle appliquée, il reste à réaliser l’inversion. Langacker proposed’adapter les règles exposées pour les questions totales en les généralisant. Lesdeux dernières règles (pronominalisation et ellipse) restent identiques, mais la pre-mière (duplication) doit être précisée pour prendre en compte les constructionsen quel : *T4 : wh (P) NP NP V Y ⇒ 1 2 3+2 4 wh+X 1 2 3 4 Exemple : - Quel tableau1 Henri 2 préfère3 voir4 → Quel tableau1 Henri2 préfère Henri3+2 voir4 - Quel tableau1 Il2 préfère3 voir4 → Quel tableau1 Il2 préfère il 3+2 voir4Questions formées à partir d’un syntagme nominal : questions en qui, que etquoi Ces questions sont formées selon la même procédure que celles précédem-ment décrites. En effet, le syntagme nominal sur lequel porte la question estdéplacé en tête de proposition, éventuellement précédé d’une préposition. La 43
    • différence tient au fait que la séquence quel + Nom est ici remplacée par les pro-noms Qui, que ou quoi en fonction du caractère humain non humain du Nom.Langacker relève trois objections principales à cette transposition simple : – Que ne peut pas être sujet d’une phrase. (68) *Qu’est tombé ? – Quand la question porte sur l’objet direct et quand le sujet est un nom, la reduplication se fait si l’objet est humain (69), mais pas si l’objet est non humain (70). (69) Qui Henri voit-il ? (70) *Que Henri voit-il ? – Quand la question porte sur un syntagme prépositionnel, l’inversion simple (71) et complexe (72) sont autorisées. (71) De qui parle Henri ? (72) De qui Henri parle-t-il ? Il est donc nécessaire d’incorporer ces restrictions dans les règles existantes etd’adapter celles-ci pour qu’elle conviennent aux questions en qui, que et quoi. Lan-gacker propose de remplacer les termes à interroger par des pro-formes [+PRO] :personne et chose, selon le caractère humain ou non-humain du terme concerné.De cette manière, la séquence quelque [+PRO] est ensuite remplacée par qui ouque selon les traits de la pro-forme. Cette règle intervient après le déplacementen tête de proposition du syntagme à interroger et la reduplication. Le trait [H]représente le caractère humain ou non du syntagme. 44
    • *T6 : (P) wh + quelque [+PRO] (NP) V (NP) X⇒ 12 3 4567 [+SG] [+M] 1 2 3 4 5 6 7 Quand 1 = P - si 4=6=NP : 3 = [-H] ou 6 = [+PRON] - sinon : 3 = [+H] Dans le cas où le syntagme à interroger est prépositionnel, le choix entre quiet quoi se fait grâce à l’analyse du trait humain ou non humain (73). Dans le cascontraire, la structure de la phrase est analysée pour déterminer le trait humainou non humain du syntagme et, en fonction de celui-ci, le pronom interrogatifsera choisi (74,75). (73) - À quelque jeu Jean a Jean joué → À quelle chose Jean a Jean joué → À quoi Jean a Jean joué - À quelque joueur Jean a Jean donné un cadeau → À quelle personne Jean a Jean donné un cadeau → À qui Jean a Jean donné un cadeau (74) Quel jeu Jean a Jean offert → Quelle chose Jean a Jean offert → Que Jean a Jean offert (75) Quel joueur a gagné → Quelle personne a gagné → Qui a gagné Comme pour les questions totales et les questions en quel, cette règle est suiviedes étapes de pronominalisation et d’ellipse.Questions adverbiales Langacker définit comme adverbiales les questions portant sur un élémentcirconstanciel de la phrase (76, 77, 78). (76) Quand part-il ? (77) Où votre père va-t-il ? (78) Où va votre père ? 45
    • Ces questions acceptent l’inversion simple et l’inversion complexe et ne néces-sitent pas l’ajout de nouvelle règles par rapport à celles développées jusqu’àprésent. En effet, l’élément interrogé peut être remplacé par une construction detype « P + quel + N » correspondant aux pronoms où et quand selon qu’il s’agit d’unlieu ou d’un complément de temps. Langacker évoque aussi le renforcement de laquestion par la forme est-ce que (79), mais nous ne traitons pas cette constructiondans le cadre de ce travail. (79) Quand est-ce que vous partez ?Remarques Ce système proposé par Langacker est pertinent dans la mesure où il formalisedes phénomènes complexes tels que l’inversion sujet verbe. Néanmoins, commenous l’envisageons dans la deuxième partie de ce travail (chapitre 3), il existeaujourd’hui des outils plus performants qui permettent d’effectuer ces transfor-mations. Les analyseurs syntaxiques actuels permettent, par exemple, de générerdes structures de phrases arborescentes et hiérarchisées qu’il est très facile de mo-difier en agissant sur les nœuds de celles-ci. De surcroit, ces analyseurs incluentdes modules de reconnaissance d’entités nommées qui permettent de déterminerles traits des syntagmes – le trait humain ou non humain par exemple – sansrecourir à une analyse de la structure de la phrase, comme le fait Langacker. Si ladémarche théorique est intéressante, nous pensons que la grammaire décrite esttrop complexe et quelque peu archaïque par rapport aux outils actuels.1.4 Conclusion En vue de développer un système de génération automatique de questions, ilimporte d’une part d’établir une typologie de celles-ci pour définir ce que notre 46
    • système doit être capable générer et, d’autre part, de définir formellement laphrase interrogative, en la distinguant des phrases déclaratives. Il existe deux grands types de classification de questions. Le premier, axé surun point de vue linguistique, se base sur la structure de la question et sur lesmots interrogatifs pour établir une typologie. Le second, basé sur un point devue conceptuel, classe les questions selon le focus, soit l’attente exprimée par cesdernières, ou le concept, soit l’élément sur lequel porte la question. Néanmoins,ces deux axes de recherche, loin de s’opposer, sont complémentaires. Nous avonsdonc synthétisé ces deux approches pour créer une typologie « mixte » associantdes catégories conceptuelles à des éléments linguistiques – les wh-words – pourpermettre de relier chaque concept au mot interrogatif le plus approprié. Laclassification que nous présentons permet donc de rendre compte des typesdes questions à la fois d’un point de vue linguistique et conceptuel et constitueun point de départ pertinent pour la mise en place d’un système de générationautomatique de questions. Formellement, la question peut être définie selon trois axes : son marquage, lesmots interrogatifs et l’inversion sujet-verbe. Ces trois concepts sont les élémentsstandards d’une question et nécessitent d’être clairement définis pour formulerdes phrases interrogatives correctes. Face à ce constat, Langacker (1965) proposeune grammaire transformationnelle qui formalise ces différents aspects grâce àdes règles de transformation. Néanmoins, cette grammaire, bien qu’intéressantepour son apport théorique, semble dépassée par les outils actuels et donc difficileà implémenter dans un outil complet de génération automatique de questions. La typologie et la définition formelle que nous proposons ont pour ambitionde donner une représentation complète de la notion de question et de construire 47
    • une base linguistique pertinente à la génération automatique de questions. Lechapitre suivant, consacré au domaine de la génération automatique, se situe àun niveau plus informatique. Il constitue la deuxième partie de la base théoriquesur laquelle reposera l’implémentation d’un générateur de questions. 48
    • CHAPITRE 2 GÉNÉRATION AUTOMATIQUE ET GÉNÉRATION AUTOMATIQUE DE QUESTIONS Le but de ce chapitre est de situer la génération automatique de questions(GAQ) au sein du domaine plus général de la génération automatique de textes(GAT) 1 . Nous commençons par présenter ce domaine en définissant ses grandsprincipes. Nous nous intéressons ensuite au domaine spécifique de la générationautomatique de questions afin de montrer les points communs et les pointsdivergents entre les deux types de systèmes. Au-delà de cette comparaison, notreobjectif est aussi de comprendre les enjeux et les défis qui pèsent sur notre objetd’étude en réalisant un état de l’art de la discipline. Pour ce faire, nous présentonsles principaux outils existants, en dégageant une méthodologie globale qui puisseservir de base à l’implémentation d’un nouvel outil. 1. L’appellation anglaise, plus couramment utilisée est Natural Language Generation (NLG). 49
    • 2.1 La génération automatique de textes Danlos et Roussarie (2000) définissent le domaine de la manière suivante : « La génération automatique de textes (GAT) est la branche du taln dont le but est de produire des énoncés en langage naturel à partir de représentations informatisées. Ceux-ci doivent être grammaticalement corrects, sémanti- quement cohérents et pragmatiquement pertinents. La génération assure donc la fonction émettrice de la communication homme-machine, et se présente globalement comme le processus réciproque de la compréhension automatique. » (Danlos et Roussarie, 2000) Pour étayer leur propos, les auteurs citent différents types d’application utili-sant un module de génération automatique de textes : – Systèmes de dialogue homme-machine : « le terme de système de dialogue indique généralement un système permettant une interaction entre un humain et un système dans un cadre restreint. (...) Un système de dialogue homme-machine interprète les requêtes de l’utilisateur en fonction de la tâche à accomplir, de l’his- toire du dialogue et du comportement de l’utilisateur. Son objectif est de donner à l’utilisateur les informations recherchées tout en assurant une interaction efficace et naturelle. » (Galibert et al., 2005). Dans ce cadre, les modules de génération permettent, par exemple, de chercher dans une base de données la réponse à une question entrée par un utilisateur et de lui renvoyer la réponse, correctement formulée. – Résumé automatique : un tel système utilisant un module de génération se distingue des outils de résumé automatique traditionnels qui extraient des phrases d’un texte sur la base de calculs probabilistes. En génération, le système fonctionne avec une simulation de l’activité humaine pour résumer le texte. Il s’agit d’un processus cognitif complexe qui connait actuellement peu de réalisations concrètes. Le projet SPORTIC, actuellement développé au Cental, a pour objectif le développement d’un tel outil, appliqué ici au domaine de commentaires sportifs de matchs de basket. Basé sur une onto- 50
    • logie, le générateur Gen-Tonic produit un résumé adapté aux préférences de l’utilisateur – longueur, focus sur une équipe ou un joueur particulier... – et destiné à être couplé à un résumé vidéo du match 2 . – Production de textes de commentaires générés à partir de données nu- mériques : il s’agit d’un outil très utile pour les entreprises qui part d’un ta- bleau de données numériques pour générer un commentaire sur les chiffres. EASYTEXT (Meunier et al., 2011), par exemple, traite les investissements publicitaires réalisés par des clients d’une société, et leur envoie chaque mois un commentaire généré automatiquement sur leurs investissements. – Production de manuels d’instruction : ces manuels sont générés automati- quement à partir de données entrées par un utilisateur. Le problème majeur des outils existants est le niveau d’abstraction très complexe de ces entrées qui rend ces générateurs difficiles à appréhender.L’architecture globale d’un système Danlos et Roussarie (2000) expliquent que la tâche de génération peut être di-visée en deux sous-tâches principales, correspondant à la manière dont l’humainconstruit son discours, selon les théories psycholinguistiques (Levelt, 1993) : 1. Le Quoi-Dire : ce module élabore le sens profond du texte en recourant à de nombreuses ressources encyclopédiques, pragmatiques... 2. Le Comment-Le-Dire : cette partie du système est chargée de construire linguistiquement le texte et se base sur des ressources linguistiques, princi- palement un lexique et une grammaire. Cette architecture peut être affinée en quatre étapes, la première entrant dansle cadre du Quoi-Dire tandis que les trois autres réalisent le Comment-Le-Dire.Pour ces quatre étapes, Bateman et Zock (2003), Danlos et Roussarie (2000) et 2. Nous remercions Stéphanie Audrit (UCL-Cental) pour ses explications à propos de ce projet. 51
    • Reiter et Dale (1997) proposent des schémas comparables que nous synthétisonsci-dessous. La figure 2.1, tirée d’un article de Zock et Sabah (2002) illustre notrepropos. 1. La macroplanification détermine, en fonction d’un but à atteindre et de bases de connaissances, le contenu du texte et la structure globale du dis- cours, aboutissant à un plan de texte. Le contenu profond est d’abord sé- lectionné dans des bases de connaissance, éventuellement en fonction de buts communicatifs, et représenté sous forme de réseaux conceptuels et sémantiques. Ensuite, un plan de texte est construit, dont le but est d’orga- niser le message dans une dynamique textuelle en établissant des relations rhétoriques entre les propositions du texte 3 . 2. La microplanification part du plan du texte pour en générer la structure syntaxique tout en choisissant les mots pleins 4 appropriés pour incarner le sens qui a été déterminé dans la macroplanification. Ces deux étapes – plani- fication syntaxique et lexicalisation – peuvent se dérouler successivement ou conjointement dans le cas où le générateur utilise un lexique-grammaire ou une grammaire lexicalisée. Cette phase s’accompagne d’un module d’agré- gation qui consiste à éliminer les redondances et à rendre le texte plus lisible et plus précis (voir exemple 80). Le but de ces opérations est d’assurer la cohésion du texte. 5 (80) le père et la mère de Paul → les parents de Paul 3. Une relation rhétorique relie des énoncés et non des constituants. De cette manière, « Mariemange une pomme et Pierre mange une banane » contient deux énoncés unis dans une relationde narration (Busquets et al., 2001) 4. noms, verbes, adjectifs et adverbes. 5. La cohésion est « l’ensemble des moyens linguistiques qui assurent les liens intra- et inter-phrastiques permettant à un énoncé oral ou écrit d’apparaître comme texte » (Charaudeau etMaingueneau, 2002 :99). Elle est à distinguer de la cohérence en ce sens que « la cohérence estune propriété du discours, qui est mis en relation avec les conditions d’énonciation, alors que lacohésion est une propriété du texte, qui est envisagé fermé sur lui-même. » (Riegel et al., 2009) 52
    • 3. La formulation prend en entrée les arbres syntaxiques lexicalisés et génère la forme de surface des différentes phrases du texte. C’est à cette étape que se déroule la flexion des différents termes – l’accord des noms, pronoms et adjectifs et la conjugaison des verbes – et que les mots secondaires 6 sont ajoutés. Cela implique des modifications graphiques telles la gestion des contractions (81) et des élisions (82) ou encore l’ajout des traits d’union. (81) de le beurre → du beurre (82) le animal → l’animal4. La présentation physique est l’étape de finition. La ponctuation est insérée et un éventuel formatage du texte, en HTML par exemple, est réalisé, pour le rendre présentable. Le cas échéant, ce formatage peut être remplacé par un module de synthèse vocale.6. déterminants, pronoms, conjonctions. 53
    • MACROPLANIFICATION Détermination du contenu Structuration du contenu Plan de texte MICROPLANIFICATION Spécifier les référents Agrégation/Segmentation Lexicalisation Plan de la phrase FORMULATION Ordre des mots Catégories lexicales Mots secondaires Flexion + Accords Texte non formaté PRÉSENTATION PHYSIQUE Ponctuation texte écrit formaté Mise en page chaîne Articulation sonoreF IGURE 2.1 – Architecture d’un système de génération automatique de textes (Zocket Sabah, 2002) Ce type d’architecture séquentielle est qualifié de fonctionnement en pipeline.Cela signifie que les étapes se déroulent successivement sans qu’aucun retouren arrière ne soit possible (Reiter et Dale, 2000). La pertinence d’un tel choix asouvent été critiquée et certains auteurs ont proposé une architecture utilisant desmodules interdépendants. Nous n’abordons cependant pas ces méthodologiesdans le cadre de ce travail étant donné que la majorité des systèmes de génération 54
    • actuels implémentent le modèle présenté (Danlos et Roussarie, 2000).Apports La génération automatique de textes présente de nombreux intérêts. Danloset Roussarie (2000) en citent une dizaine, que nous synthétisons en trois pointsmajeurs : 1. L’indépendance entre le stockage des informations et le système de géné- ration offre plusieurs avantages : (a) On peut actualiser très facilement un texte par une simple modification des éléments d’une base de données. (b) La recherche d’information est facilitée par l’utilisation d’une base de données structurée, sans qu’il soit nécessaire de recourir à une analyse textuelle complexe. (c) Une représentation abstraite d’un texte peut donner plusieurs formes de surface. On peut donc, à partir d’une même base, générer des textes de niveaux de langage différents ou de vocabulaire varié – grâce aux paraphrases par exemple – mais aussi dans des langues différentes. 2. Au-delà de la méthodologie, les résultats sont susceptibles d’intéresser un large public. Les systèmes sont capables de produire à la fois de la parole et du texte. Le texte peut par ailleurs être formaté et même allié à du contenu multimédia, ce qui rend les résultats d’autant plus attractifs. 3. Les fondements théoriques qui sous-tendent le développement de tous ces systèmes sont pertinents dans la mesure où ils permettent de s’interroger sur les mécanismes de production du langage humain, mais aussi sur le discours dans son intégralité, au-delà des phrases qui le composent.Limites Si les apports de la génération automatique de textes sont considérables,certains problèmes restent à résoudre pour augmenter la performance des géné-rateurs existants. 55
    • Claude Ponton (1997) évoque le manque de portabilité des systèmes actuelsqui sont « fortement liés à leur application et ceci tant au niveau des formalismesutilisés qu’au niveau, par exemple, des règles mises en œuvre dans le processus »(Ponton, 1997). Une autre limitation est liée à la définition de la GAT (page 50), qui implique lagénération d’énoncés « grammaticalement corrects, sémantiquement cohérentset pragmatiquement pertinents ». Si les deux premiers aspects – grammaticalitéet cohérence sémantique – sont pris en compte dans les systèmes actuels, ladimension pragmatique échappe encore à la modélisation. Zock et Sabah (2002)évoquent le problème du contrôle pour définir cette limite : « S’il est relativement aisé de décider de la bonne formation d’énoncés, il est beaucoup plus difficile de décider de leur adéquation à une situation. À quel moment utiliser une ressource linguistique particulière (voix passive, proposition relative, etc.) ? Que faire en cas de conflit ? Quand s’arrêter ? Comment décider qu’un texte est convenable ou optimal ? » (Zock et Sabah, 2002)2.2 La génération automatique de questions Selon Nielsen (2008), la définition de la génération automatique de questionsdiffère selon son type d’application. L’auteur relève deux domaines applicatifsmajeurs de la discipline : – Applications éducatives : des questions sont générées pour évaluer les connaissances ou la compréhension d’un utilisateur à propos d’un domaine déterminé. Ces applications peuvent également prendre la forme de ques- tionnaires à choix multiples (Mitkov et Ha, 2003). Dans ce cas, l’enjeu majeur se situe dans le choix des distracteurs 7 (Mitkov et al., 2006). Brown et al. (2005), par exemple, élaborent un outil d’évaluation du vocabulaire chez des 7. « Lorsque l’on rédige des questions fermées à choix multiple[s], l’énoncé de l’item est suivipar une série de réponses possibles, dont une est correcte et les autres ne le sont pas. Les optionsde réponse incorrectes sont désignées par le terme de distracteurs. » http://www.irdp.ch/edumetrie/lexique/distracteur.htm (Page consultée le 3 août 2011) 56
    • locuteurs qui doivent choisir parmi plusieurs propositions le sens correct pour un mot donné. – Systèmes de dialogue homme-machine : ces systèmes ont pour vocation de permettre à un ordinateur de mener un dialogue interactif avec un hu- main. Un des objectifs peut être l’aide à l’apprentissage. Dans ce cas, le but des questions est de mener un apprenant à la compréhension d’un concept qu’il ne comprend pas au départ. Chaque question doit donc se baser sur la réponse de l’apprenant à la précédente question (Nielsen, 2008). Cer- tains auteurs se sont également intéressés à produire des dialogues fictifs à propos de textes, pour permettre à un utilisateur d’accéder à ces textes de manière plus interactive (Piwek et Stoyanchev, 2010), par exemple à partir de notices de médicaments (83). (83) – Notice : Vous pouvez prendre une aspirine si vous avez mal à la tête. – Dialogue : – Q : Que puis-je faire si j’ai mal à la tête ? – R : Vous pouvez prendre une aspirine. Pour distinguer ces méthodologies, deux aspects sont concurrentiels : – Pragmatique : choisir la bonne question en fonction du type d’application et de ses contraintes. – Syntaxique : déterminer les étapes qui sont appliquées pour générer une question grammaticalement correcte.Le premier point de vue diverge entre les deux approches puisque les questionsgénérées dans le cadre d’un outil ne sont pas nécessairement pertinentes pourun autre. A contrario, le processus formel de création des questions est iden-tique. Nous étudions donc ce second point de vue, même si des références à lapragmatique peuvent survenir pour étayer notre propos. Pour bien comprendre la place particulière qu’occupe la génération automa-tique de questions (GAQ) au sein du domaine général de la génération automa-tique de textes (GAT), nous décrivons ici le fonctionnement global d’un outil.Cependant, aucune méthodologie généraliste n’ayant jamais été décrite, nous 57
    • procédons de manière empirique. Nous partons de la présentation d’outils exis-tants, constituant « l’état de l’art » en génération automatique de questions, pourdégager une architecture générique, comme nous l’avons fait dans la sectionprécédente pour la génération automatique de textes. La section 2.3 confronteles deux méthodologies afin de situer le sous-domaine de la GAQ au sein du do-maine principal et de déceler les points communs et divergents de leur mode defonctionnement. Si des grammaires de règles pour générer des questions existent pour le fran-çais (Danjoux-Flaux et Dessaux, 1976 ; Langacker, 1965), comme celle exposéeà la section 1.3, aucun outil complet n’a jamais été implémenté, à l’exceptiond’un travail d’étudiant (Brette et Lescuyer, 2006), extrêmement basique et peuflexible : il s’applique à des phrases très simples et les contraintes sur les entréesdu programme sont lourdes. Face à cette absence de ressources suffisantes pour le français, nous avonsexploré les outils existants pour l’anglais. Dans ce chapitre, nous exposons quatreméthodologies développées pour générer des questions en anglais dont nousdégageons les spécificités et les limites.2.2.1 Les débuts : Les travaux de John Wolfe Wolfe (1976) pose les bases de la génération automatique de questions. Lebut de l’outil qu’il a développé est pédagogique. Il s’agit d’aider des apprenantsà étudier des textes de manière indépendante. Le principe est le suivant : untexte est soumis à un programme qui va le segmenter en phrases et retournerà l’étudiant des questions auxquelles il doit répondre. Le programme vérifie laréponse donnée, l’accepte ou la refuse. Dans cette méthode, seule la forme dela phrase est traitée et son sens n’est pas pris en compte, ce qui présente deuxinconvénients : la réponse de l’étudiant doit parfaitement correspondre avec laréponse attendue par le programme et certaines ambiguïtés ne sont pas résoluesdans l’analyse de la phrase, ce qui engendre des erreurs dans la génération desquestions. 58
    • Fonctionnement du système Un paragraphe est soumis à la lecture de l’étudiant. Une phrase de ce para-graphe est sélectionnée aléatoirement par l’ordinateur 8 qui génère une questionà partir de celle-ci. Cette question est ensuite renvoyée à l’étudiant qui doit yrépondre correctement. Le système procède en quatre étapes : 1. Analyse morphologique : le programme étiquète les mots de la phrase en catégories grammaticales à l’aide d’un dictionnaire de verbes, conjonctions, pronoms, prépositions, articles et adverbes. Tout ce qui ne se retrouve pas dans le dictionnaire est alors automatiquement étiqueté comme nom. Le dictionnaire contient pour les verbes des informations morphologiques du type transitif, intransitif, régulier, irrégulier... 2. Génération d’une question à partir d’une table de patrons : le programme dispose d’une liste de patrons de phrases, chacun correspondant à un type de réponse à une question. Si un patron est retrouvé dans la phrase entrée au programme, le système peut donc générer la question correspondante. Exemple : I have a dog so that I walk everyday correspondant au pa- tron P1 so that P2 – Repérage et analyse des caractéristiques morphologiques du verbe de P1 pour générer une bonne forme du do et transformation en P1’ do I have a dog – Génération d’une question à partir de P1’ : Why do I have a dog ? – Génération d’une réponse attendue : so that + P2 (so that I walk everyday) 3. Post-traitements : le programme rejette les paires question-réponse qui ne satisfont pas certaines conditions (phrases trop longues, présence d’une virgule dans la question...). 4. Vérification de la réponse de l’étudiant : si plus de 50% des mots de plus de quatre lettres de la réponse attendue sont contenus dans la réponse donnée, celle-ci est acceptée (les mots-outils sont de cette manière éliminés dans l’évaluation). 8. Les phrases trop complexes ou trop longues sont d’emblée éliminées par le système 59
    • Résultats Le système a été évalué sur 50 questions générées. Parmi celles-ci, 34 ont étéjugées satisfaisantes. Les 16 autres ont été classées selon quatre types d’erreurs :les erreurs syntaxiques (11 occurrences), sémantiques (3 occurrences), pédago-giques (1 occurrence) et « bug du programme » (1 occurrence). Parmi les erreurssyntaxiques, beaucoup étaient liées à une mauvaise reconnaissance du verbeprincipal de la phrase. Notons que l’idée première de l’implémentation était de fonctionner sur labase d’une analyse syntaxique de la phrase, mais que celle-ci était beaucoup tropcoûteuse en mémoire et en temps 9 .2.2.2 Une étude de Donna Gates À l’instar de John Wolfe, Donna Gates (2008) envisage la fonction pédagogiquede la génération automatique de questions. Son but est d’offrir un outil d’aideà la compréhension à la lecture, en créant des questions factuelles à partir detextes. Les utilisateurs seraient donc contraints d’approfondir leur lecture dutexte et d’élargir leur compréhension de celui-ci pour être capable de répondreaux questions posées. Cette méthode de lecture se base sur ce qui se trouvedirectement dans le texte. Les questions générées sont uniquement des questionsfactuelles dont la réponse est intratextuelle (Gates, 2008 :10). Le procédé utiliséest le suivant : 1. Génération d’un arbre syntaxique grâce au Standford Syntactic Parser (Klein et Manning, 2003), augmenté d’informations sémantiques récupérées de Wordnet (Fellbaum, 1998) (animé-inanimé, personne, organisation, pays...). 2. En fonction de la phrase et des syntagmes qui la composent, plusieurs types de question sont possibles. Le système en traite quatre et génère un arbre par type de question accepté par la phrase (sujet, objet direct, complément d’agent, expressions temporelles). 9. Rappelons que l’article date de 1976... La puissance des ordinateurs était donc de loininférieure à celle de nos machines actuelles. 60
    • 3. Transformation de l’arbre à l’aide de règles Tsurgeon (voir 3.2) écrites à la main, le but étant de baliser la réponse à la future question et de transformer la structure de la phrase pour passer du mode déclaratif au mode interrogatif (inversion sujet-verbe, insertion d’un mot interrogatif...). 4. Phase de simplification (suppression des relatives et des syntagmes préposi- tionnels) 5. Règles pour affiner les mots interrogatifs en fonction d’informations séman- tiques 6. Transformation des arbres de questions (forme profonde) en format correct (forme de surface). A partir de l’arbre complexe et annoté, un script génère la question en recherchant les nœuds de surface (terminaux) et rend la phrase dans un anglais correct (bonne forme du « do », accord sujet-verbe...)Evaluation L’évaluation se base sur les paires question-réponse, à partir desquelles deuxévaluateurs attribuent une note à la question générée (parfaite, bonne, mauvaiseou très mauvaise) en regard de la réponse. Ces grades doivent être attribués à lalumière de deux critères : la pertinence sémantique et la grammaticalité. Pour cefaire, 693 questions, issues d’un corpus de 52 passages de CBC4Kids 10 ont étésoumises à l’évaluation. Sur toutes ces questions, 75% ont été retenues commeparfaites, 6% comme bonnes, 15% comme mauvaises et 4% comme très mauvaises.Ces résultats semblent corrects, mais sont à nuancer. Le corpus d’évaluation étantun corpus de textes destinés aux enfants, les passages traités et les phrases entréesau programme sont relativement simples, ce qui facilite l’analyse syntaxique etdonc la génération des questions.Limites L’auteur constate certaines limites dans son approche. Premièrement, l’outilse cantonne aux questions factuelles, au détriment des questions plus complexesde type comment ou pourquoi. En outre, l’auteur cite trois sources d’erreurs 10. www.cbc.ca/kids 61
    • dans les questions générées ; les erreurs d’analyse, celles dues à une mauvaisereconnaissance des entités nommées et celles liées à des patrons de modificationtrop peu précis et donc des règles trop restrictives.2.2.3 Heilman et Smith et l’apport de la simplificationLa simplification de phrases Heilman et Smith (2010a) développent un algorithme d’extraction de clauses àpartir de phrases complexes en vue de la génération automatique de questions.Cette étape permet de faciliter la création d’un formalisme pour générer des ques-tions concises à partir de phrases complexes. Les phrases étant plus simples, lesrésultats sont moins bruités et les ambiguïtés d’analyse sont largement moindreset plus facilement résolubles. Les auteurs définissent l’extraction de cette ma-nière : The task of extracting simple sentences from a complex input sentence is essentially the task of generating a particular subset of the possible sentences that a reader would assume to be true after reading the input.(Heilman et Smith, 2010a :2) La motivation de cette étape préalable est sémantico-pragmatique : globale-ment les présuppositions sont extraites de la phrase de base. Pour ce faire, l’algo-rithme se base sur la structure de la phrase (propositions relatives et subordonnées,adverbes, appositions...), générée par un analyseur syntaxique, pour la découperet supprimer les éléments moins significatifs. Une démonstration de l’outil estdisponible en ligne 11 . L’exemple 84 illustre une sortie du programme. (84) – Entrée : Alfred studied at Oxford, where he learned to speak English. – Sortie : – Alfred studied at Oxford. – He learned to speak English at Oxford. 11. http://www.ark.cs.cmu.edu/mheilman/qg-2010-workshop/ 62
    • La génération de questions Dans (Heilman et Smith, 2009), les mêmes auteurs développent les différentesétapes de l’implémentation d’un générateur de questions qu’ils ont créé. 1. Une phrase est soumise au programme. Elle est segmentée en clauses, via l’algorithme d’extraction développé précédemment. Il y a donc autant d’arbres syntaxiques qu’il y a de clauses dans la phrase. 2. A l’aide d’un question transducer 12 , une liste de questions possibles est générée à partir de chaque clause extraite. La méthodologie est la suivante : – Identification des termes susceptibles de faire l’objet d’une question (le système n’autorise que les syntagmes nominaux et prépositionnels) et remplacement de ceux-ci par un mot interrogatif approprié (who, what, when, where, how much) 13 . Pour choisir le mot adéquat, la phrase a été préalablement annotée dans une étape de reconnaissance d’entités nommées. – Décomposition du verbe principal pour obtenir la construction « do + infinitif » (au temps et à la personne correspondants) – Inversion sujet-verbe – Post-traitements pour obtenir une question correcte (ajout du point d’in- terrogation...) 3. Les textes et les questions générées sont données à des évaluateurs qui notent chaque question selon des critères d’acceptabilité. Notons qu’il s’agit ici d’une évaluation manuelle, mais que les auteurs ont également déve- loppé une méthode d’évaluation automatique (Heilman et Smith, 2010b) qui donne à chaque question générée une probabilité qu’elle soit acceptable, en se basant sur douze traits qui constituent les paramètres du modèle. 12. C’est le nom que donnent les auteurs à leur système de règles. 13. Les auteurs soulignent la flexibilité de leur implémentation, affirmant que leur système peutêtre assez facilement, par l’implémentation de quelques règles, être étendu aux questions de typecomment et pourquoi. 63
    • 2.2.4 Kalady et l’apport des questions définitoires Kalady et al. (2010) se situent dans la lignée des travaux d’Heilman et Smith.La particularité de leur approche est que, outre les questions factuelles, le pro-gramme sera également capable de générer des questions définitoires, toujours àpartir d’un texte de base. Les questions factuelles (wh-questions) sont générées àpartir de phrases uniques tandis que les questions définitoires peuvent avoir leurréponse distribuée à travers tout le texte, parmi lequel des mots-clés auront étérepérés. Nous synthétisons ici leur approche pour ces deux types de questions.Questions factuelles Le processus utilisé pour ces questions ne diffère que très peu de celui proposépar Heilman et Smith. C’est pourquoi nous nous contentons ici d’établir la liste desétapes concernées, sans entrer dans les détails de leur implémentation. Notonsque le système ne traite pas, au contraire d’autres outils présentés précédemment,les questions factuelles temporelles, ce qui en constitue une limite importante. 1. Analyse syntaxique et construction d’une structure en constituants 2. Extraction de clauses à partir des phrases complexes. À la différence d’Heil- man et Smith, cette étape ne consiste qu’en la séparation des phrases indé- pendantes liées par des conjonctions. Ce sont ces clauses qui sont données en entrée au générateur. 3. Résolution d’anaphores et remplacement des pronoms. 4. Repérage de tous les syntagmes pouvant faire l’objet de questions et sou- mission de ceux-ci à un reconnaisseur d’entités nommées. 5. Inversion sujet-verbe (insertion d’une forme de to do, sauf quand le verbe est issu de to be) 6. Suppression des appositives et des syntagmes prépositionnels. 7. Génération des questions. Pour la formation du mot interrogatif, les infor- mations issues du repérage d’entités nommées sont gardées en mémoire. – Questions globales – Questions sur les syntagmes nominaux sujets 64
    • – Questions sur les syntagmes nominaux objets – Questions sur les appositives préalablement supprimées (la question est posée sur le terme qui précède l’appositive) (85) Mexico city, the biggest city in the world, is beautiful → Which is the biggest city in the world – Questions sur les syntagmes prépositionnels préalablement supprimés : l’objet de la préposition est repéré et remplacé par le mot interrogatif approprié puis le syntagme complet est placé en tête de phrase. – Questions sur les adverbes : l’adverbe de la phrase est supprimé et rem- placé par how en tête de phrase.Questions définitoires Les auteurs définissent ces questions comme celles qui ont une réponse des-criptive et qui ne peuvent trouver réponse que si le document entier est comprispar le lecteur. Pour générer ces questions, ils se basent sur une notion qu’ilsapportent : les up-keys, qualifiés comme des mots-clés qui se rapportent au do-cument. Une fois ceux-ci extraits, un module repère le type de mot dont il s’agitpour en générer un mot interrogatif. Ensuite, le programme génère une questiondéfinitoire en faisant suivre ce mot interrogatif du verbe to be correctement conju-gué et du mot-clé concerné. Il est important de souligner que cette méthode, bienqu’originale, est encore imparfaite et approximative. En effet, le système génèreune question pour chaque mot-clé retrouvé, sans prendre en compte l’importancede celui-ci au sein du document.Évaluation Pour évaluer leurs questions, les auteurs utilisent la précision et le rappel. Cesdeux mesures sont calculées de la manière suivante : nombre de questions correctes – Précision : nombre de questions générées nombre de questions correctes – Rappel : nombre de questions correctes et manquantes 65
    • La difficulté de tenir compte du rappel est qu’il nécessite de demander à l’évalua-teur de relever manuellement pour chaque phrase toutes les questions possiblespour comparer cette liste à celle des questions effectivement générées par lesystème. Cette procédure est dès lors coûteuse en temps.2.2.5 Synthèse Les quatre méthodologies que nous avons étudiées ne sont pas les seules quiaient été créées pour l’anglais. Néanmoins, elles constituent un bon aperçu del’état de l’art actuel en génération de questions, apportant chacune un regardneuf sur la discipline. Au-delà des spécificités propres à chacun de ces outils, nouspouvons dégager un schéma générique de ces méthodologies, qui peut d’une partpermettre de situer la génération de questions par rapport au domaine global dela génération automatique, et d’autre part servir de base à la construction d’unoutil pour le français. Les différentes étapes de la méthodologie sont globalementles suivantes : 1. Analyse morphosyntaxique et/ou syntaxique du texte source 2. Identification du syntagme cible sur lequel portera la question 3. Déplacement du syntagme cible 4. Remplacement du syntagme cible par le mot interrogatif approprié 5. Inversion et accord sujet-verbe 6. Post-traitement de la question pour générer une forme de surface gramma- ticale et bien formée Il est également utile de disposer d’informations d’ordre sémantique telles quel’étiquetage en entités nommées (personne, organisation, pays, ville) ou la dis-tinction animé-inanimé. De plus, la génération automatique de questions estgénéralement associée à une étape de simplification. Cette étape peut se situer enamont de la génération, comme dans (Heilman et Smith, 2010a) où l’algorithmese base sur la structure de la phrase (propositions relatives et subordonnées,adverbes, appositions...) pour la découper et supprimer les éléments moins signi- 66
    • ficatifs. Cette étape peut également intervenir en fin de processus, afin d’améliorer les questions générées (Gates, 2008). À notre connaissance, il n’existe pas de système de génération de questions reposant sur des méthodes statistiques et les outils actuels n’exploitent donc que des méthodes symboliques. 2.3 Confrontation des deux domaines Afin de comprendre ce qui fait la spécificité de la génération automatique de questions, nous proposons en table 2.1 une comparaison des différentes phases d’un système de génération automatique de textes et d’un système de génération automatique de questions. Nous partons des étapes décrites dans la section 2.1 que nous mettons en parallèle avec celles exposées au point 2.2.5.GAT GAQ Macroplanification Détermination du contenu- sélection du contenu profond du texte - analyse du texte source et sélection d’une phrase (+ simplification)- structuration globale du discours - identification de syntagme sur lequel por- tera la question Microplanification Transformation syntaxique- génération de la structure syntaxique du - déplacement du syntagme cible texte- lexicalisation - remplacement du syntagme cible par le mot interrogatif approprié- agrégation - inversion sujet-verbe Formulation Formulation- génération de la forme de surface - génération de la forme de surface- flexions et accords - vérification des accords- ajout des mots secondaires- gestion des contractions, élisions Présentation physique - ponctuation - formatage/synthèse vocale TABLEAU 2.1 – Comparaison GAT-GAQ 67
    • Ce tableau met en évidence les différences de procédure entre les deux métho-dologies. Nous détaillons cette comparaison en synthétisant chacune des grandesétapes du processus de génération. 1. Macroplanification : sur ce premier point, les deux processus divergent. Si tous deux partent d’une base de données pour déterminer le contenu profond du texte à générer, la nature de cette base diffère. En effet, la géné- ration de textes prend en entrée une base de données structurée tandis que la génération de questions part de données textuelles en langage humain. Dès lors, le but n’est plus de produire du texte ex nihilo, mais plutôt de le transformer, de le manipuler, ce qui constitue la différence fondamentale entre les deux systèmes. La sortie de cette étape est également différente : dans le premier cas, on obtient un plan général du texte dans lequel les concepts sont reliés, alors qu’en génération de questions, on a déjà une structure syntaxique qui lie les éléments de la phrase et dans laquelle les éléments lexicaux sont déjà présents. Par contre, la dimension pragmatique qui peut être mise en œuvre dans cette étape de macroplanification unit les deux domaines. Nous avons vu que celle-ci était encore trop peu prise en compte en génération de textes, mais la génération d’un texte pertinent et répondant à des buts communi- catifs précis correspond à la formulation d’une bonne question, pertinente et utile dans le contexte communicatif. En outre, si les moyens utilisés à cette étape divergent, le but reste le même : déterminer le contenu, du texte comme de la question. Il y a un choix à opérer parmi les informations à prendre en compte et, en GAQ, ce choix revient à sélectionner une phrase – éventuellement en combinant cette sélection avec une simplification du texte source – et l’élément à interroger. 68
    • 2. Microplanification : cette étape oppose deux types de fonctionnement. En génération de textes, on construit une structure syntaxique tandis qu’en génération de questions, on la modifie pour transformer une phrase décla- rative en une phrase interrogative. La phase de lexicalisation ne doit donc pas être réalisée en GAQ, sauf pour le choix de l’interrogatif correspondant au syntagme cible, sur lequel porte la question. L’étape d’agrégation, corres- pondant à la simplification des phrases en GAQ, peut également intervenir à ce moment du processus, comme dans (Gates, 2008).3. Formulation : cette phase est globalement identique pour les deux sys- tèmes, dans la mesure où elle permet de récupérer la forme de surface du texte ou de la question à partir de leur forme profonde. La différence fonda- mentale réside dans le traitement des flexions et accords. En GAQ, les termes sont fléchis dès le départ et il ne s’agit dès lors que d’une vérification de ceux-ci, certains termes devant être modifiés au cours de la transformation. C’est le cas dans l’exemple 86 où les compléments du pronom qui doivent être fléchis au masculin singulier. En revanche, toutes les flexions et accords doivent encore être réalisés en GAT, les termes étant représentés sous forme d’une structure de traits (87). (86) Julie et Marie sont heureuses. → Qui est heureux ? (87) [le :f,s][jeune :f,s][femme :f,s][courir :P,3s] → La jeune femme court.4. Présentation physique : cette étape est commune aux deux types de géné- rateurs et, à l’exception de l’insertion de la ponctuation, dépend surtout de l’application dans laquelle ils sont intégrés. 69
    • 2.4 Conclusion La génération automatique de questions est un sous-domaine bien spécifiquede la génération automatique de textes. Si le processus général est globalementidentique dans les deux cas, la GAQ se distingue de la GAT dans le sens où, dansl’état actuel des recherches en tout cas, elle fonctionne par transformation dephrases déclaratives en phrases interrogatives. À l’inverse, la génération de textespart des données et d’une grammaire pour générer ex nihilo un texte construit.Un problème épistémologique peut dès lors se poser et on pourrait se demandersi les systèmes de GAQ correspondent réellement à de la génération, au sens strictdu terme. Le débat semble pertinent, mais nous n’y participons pas dans le cadrede ce mémoire, nous appuyant sur la terminologie employée dans l’état de l’arten génération de questions. La génération automatique, qu’elle soit de questions ou de textes, est un do-maine en expansion et connait quelques grandes limites, parmi lesquelles la plusimportante est celle de l’absence de réflexion pragmatique dans le processus.Dans le cas de la GAQ, les systèmes que nous avons exposés se contentent degénérer des questions sans prendre en compte leur pertinence ni leur adéquationau contexte de communication. Cette réflexion semble une piste intéressanteà explorer mais néanmoins ardue tant il est difficile d’évaluer formellement cecontexte. Dans le cadre de ce travail, nous laissons de côté cette limite et nouscantonnons à une approche de génération de questions par pure transformationsyntaxique. Les différents systèmes existants peuvent être synthétisés en une procéduregénérique. Les étapes décrites dans cette procédure nous donnent une excellentebase de structure pour l’implémentation d’un outil de génération automatique de 70
    • questions à partir de textes en français, que nous développons dans la deuxièmepartie de ce travail. 71
    • D EUXIÈME PARTIEI MPLÉMENTATION D ’ UN OUTIL DE GÉNÉRATION AUTOMATIQUE DE QUESTIONS POUR LE FRANÇAIS
    • Dans cette partie, nous présentons l’élaboration d’un système de générationautomatique de questions. Elle fait suite à des travaux que nous avons menés dansle cadre d’un stage qui s’est déroulé au Laboratoire d’Informatique pour la Méca-nique et les Sciences de l’Ingénieur (LIMSI-CNRS) 14 , situé à Orsay. Ce stage a eulieu en août et septembre 2010 et était encadré par Delphine Bernhard, VéroniqueMoriceau et Xavier Tannier, membres du groupe « Information, langue écrite etsignée » 15 . Les recherches que nous décrivons ici ont été partiellement financéespar OSEO, dans le cadre du programme QUAERO, un « programme fédérateur derecherche et d’innovation industrielle sur les technologies d’analyse automatique,de classification et d’utilisation de documents multimédias et multilingues » 16 .Notons que ces travaux ont été présentés dans le cadre de la session posters de la18e conférence sur le traitement automatique des langues en juin 2011 (de Vironet al., 2011). Après avoir présenté les quelques outils qui ont servi de base au développe-ment de notre système, nous exposons l’implémentation et l’architecture duprogramme avant de présenter la phase d’évaluation de celui-ci. Enfin, nous envi-sageons les apports et limites de notre travail et soulevons les points qui méritentd’être améliorés dans d’éventuels travaux ultérieurs. 14. http://www.limsi.fr 15. http://www.limsi.fr/Scientifique/lir/ 16. http://www.quaero.org/ 74
    • CHAPITRE 3 PRÉSENTATION DES OUTILS UTILISÉS Pour développer notre système, nous avons utilisé plusieurs outils qui nous ontaidé à réaliser certaines tâches. Dans cette partie, nous en présentons trois ensoulignant leur apport dans notre démarche. Outre ces outils, nous avons utiliséle langage de programmation Java – sous Eclipse 1 – pour écrire le code source duprogramme.3.1 XIP : un analyseur syntaxique robuste XIP (Xerox Incremental Parser) est un analyseur syntaxique robuste. Cela si-gnifie que, pour toute phrase, qu’elle soit ou non grammaticale, l’analyseur peutgénérer une structure syntaxique. Créé en 2001 au Xerox Research Centre Europeà Grenoble (Ait-Mokhtar et al., 2002), il fonctionne, comme l’indique son nom, demanière incrémentale, en trois étapes : 1. Désambiguïsation contextuelle par règles. 1. http://www.eclipse.org. 75
    • 2. Construction de syntagmes : application d’une série de règles ordonnées des plus spécifiques au plus générales. Une fois la règle appliquée, il n’y a aucun retour en arrière possible. 3. Construction de dépendances. Plusieurs raisons justifient l’utilisation de cet analyseur dans notre cas. D’abord,il offre en sortie un arbre de constituants très complet qui identifie pour chaquesyntagme ses dépendances. Malheureusement, et c’est ici une première critique ànotre travail, nous ne nous sommes rendu compte de l’intérêt de ces dépendancesque trop tard. Pensant qu’elles souffraient d’un taux d’erreur trop important etqu’elles étaient souvent imprécises, nous avons préféré réimplémenter des règlespour les identifier, ce qui était sans doute superflu. Nous ne pouvons affirmerque leur prise en compte aurait considérablement amélioré nos résultats, maisnous pensons les avoir abandonnées un peu tôt. L’intérêt de cette structure enarbre est qu’elle est facilement modifiable, ce qui est très utile dans un système degénération de questions par transformation syntaxique. En outre, si XIP donnepour chaque entité ses informations morphologiques, il donne également desinformations sémantiques intéressantes, repérant entre autres certaines entitésnommées (villes, pays, dates, personnes, célébrités...) qui affinent très clairementl’analyse et qui s’avèrent utiles pour une reformulation ultérieure des questionsgénérées. Néanmoins, cette analyse souffre parfois d’imperfections. Malheureusement,XIP étant très fermé et donc peu modifiable, il est difficile d’agir contre les erreursd’analyse qui surviennent. Dans la phrase 88, par exemple, le plus est considérécomme un syntagme nominal alors qu’il s’agit d’un marqueur du superlatif, cequi fausse l’analyse. (88) Le riz se cultive le plus souvent dans des rizières inondées d’eau. 76
    • 3.2 Tregex et Tsurgeon : manipulation d’arbres syntaxiques Tregex et Tsurgeon sont deux outils développés au sein du groupe Natural Lan-guage Processing de l’université de Stanford (Levy et Galen, 2006). Leur but est depermettre l’exploration automatique des corpus annotés syntaxiquement via desopérations sur des arbres. Il n’est pas question ici de générer ces arbres mais uni-quement de les explorer via un langage d’expressions régulières adapté et puissant.Il s’agit d’un double outil dont les deux volets sont largement complémentaires : – Tregex : recherches sur des arbres et étiquetage de ceux-ci – Tsurgeon : transformations des arbres étiquetés avec Tregex L’outil, indépendant d’un quelconque système linguistique, est complètementopen-source et disponible en ligne avec toute la documentation nécessaire à sonutilisation.3.2.1 Tregex Grâce à un formalisme d’expressions régulières, Tregex repère des séquencessur un arbre à partir des nœuds de ce dernier. Ce formalisme fonctionne parune combinaison de patrons utilisant principalement des relations de fratrieset de filiation entre les nœuds. Tregex prend en entrée un arbre correctementparenthésé (par exemple une sortie de XIP) ainsi qu’une expression régulière enaccord avec les standards du formalisme et donne en sortie, si le patron a étéappliqué à l’arbre, ce même arbre éventuellement annoté.Relations internodales Il existe quatre grands types de relations entre les nœuds, affinables à l’envivia d’autres éléments que nous ne détaillons pas ici, le but étant de présenter le 77
    • formalisme dans les très grandes lignes 2 . 1. les relations linéaires – X .. Y → X précède Y dans l’arbre – X „ Y→ X suit Y dans l’arbre 2. les relations de filiation (père-fils) – X >> Y → X descend de Y – X << Y → X est un ascendant de Y 3. les relations de fratries (frère-frère) – X $++ Y → X est un nœud frère droit de Y – X $−− Y → X est un nœud frère gauche de Y 4. l’absence de relation nécessaire – X : Y → X et Y sont présents dans l’arbre (c’est la seule condition nécessaire)Regrouper les patrons Le parenthésage est très important dans la construction de l’expression ré-gulière. Sans parenthèses, toutes les relations que l’on décrit se rapportent aupremier nœud de l’expression. La figure 3.1 donne un exemple basique pourillustrer cette importance.(1) X << Y << Z → Le nœud X domine un nœud Y et un nœud Z.(2) X << (Y << Z) → Le nœud X domine un nœud Y, qui lui même domine unnœud Z. X Y ZIci, le patron (1) sera repéré sur l’arbre, contrairement au patron (2) F IGURE 3.1 – Regrouper les patrons avec Tregex 2. Pour une documentation complète, voir (Levy et Galen, 2006) 78
    • On peut également regrouper les expressions au moyen des opérateurs logiquesbooléens détaillés dans le tableau 3.2.1 : Opérateur Exemple Interprétation & X << Y & << Z X domine Y et domine Z | X [<< Y | << Z] X domine soit Y, soit Z ! X !<< Y X ne domine pas Y ? X ?<< Y X domine ou non YTABLEAU 3.1 – Tregex : Regrouper des patrons au moyen d’opérateurs booléensEtiqueter les nœuds En vue d’une réutilisation par Tsurgeon de ce que l’on a repéré avec Tregex, il estnécessaire d’étiqueter les nœuds, c’est-à-dire de leur donner un nom unique (enminuscules par convention). Seuls les nœuds étiquetés seront repérables et doncmanipulables par la suite. Dans cette logique, on ne peut étiqueter un nœud quine sera pas assurément repéré en cas de matching de la séquence par le patron. X=nœud ?<< Y ⇒ OK X= ?<< Y=nœud ⇒ ERREUR3.2.2 Tsurgeon Tsurgeon se base sur ce qu’a repéré Tregex et, à l’aide d’un nouveau formalismede patrons de modifications, agit sur les nœuds de l’arbre en les modifiant, lessupprimant, les déplaçant...Ce formalisme contient une dizaine d’opérations etréutilise les mêmes expressions de fratries et de filiation que Tregex. Voici quelquesexemples de patrons Tsurgeon : – delete nœud : supprime de l’arbre le nœud repéré – insert nœud posi t i on : insère une copie du nœud ou un nouveau nœud à la position spécifiée, c’est-à-dire : 79
    • $+ nœud2 ⇒ comme nœud frère gauche de nœud2 $- nœud2 ⇒ comme nœud frère droit de nœud2 >i nœud2 ⇒ comme iième fils de nœud2 >-i nœud2 ⇒ comme iième fils de nœud2 (en partant de la droite) – relabel nœud LABEL : Change le label du nœud – move nœud position : supprime le nœud de l’arbre et le réinsère à la position demandée3.2.3 Intérêt pour notre démarche Dans le cadre de la génération de questions par transformation de phrasesdéclaratives en phrases interrogatives, il est intéressant de pouvoir agir sur lessyntagmes de la phrase à partir d’un arbre. La transformation porte essentielle-ment sur des déplacements d’éléments de la phrase (inversion...), ce que les outilsprésentés permettent de réaliser très facilement. Un deuxième intérêt se situe au niveau des prétraitements. En effet, XIP neregroupe pas les syntagmes selon leur fonction dans la phrase. Par exemple, unNdeN ne sera pas considéré comme un seul nœud, mais bien comme deux nœudsséparés : un NP, frère d’un PP. Tregex nous permet dès lors de créer des super-chunks (Blanc et al., 2007) en regroupant sous un même nœud tous les élémentsd’un syntagme réalisant ensemble une fonction au sein de la phrase. La figure 3.2donne un exemple de création d’un super-chunk. 80
    • But : Réunir sous un même nœud NP un groupe nominal et un com- plément du nom (ex : Le chat de Jean dort.) – Tregex : NP=nom $+ PP=cn [<</de/] (identification d’un NP suivi d’un PP dominant « de ») – Tsurgeon : move cn > −1 nom (déplacement du groupe préposi- tionnel PP sous le nœud NP) TOP TOP SC SENT SC SENT NP PP FV . NP FV . Le chat de Jean dort Le chat PP dort tête du NP de Jean F IGURE 3.2 – Exemple de règle de regroupement de constituants3.3 Morflex : un fléchisseur morphologique Morflex est un fléchisseur morphologique à base de règles développé dans lecadre d’un projet pour le cours de « Méthodologie d’analyse des données tex-tuelles » à l’UCL (Cédrick Fairon, Hubert Naets). Il prend en entrée un lemme, sanature grammaticale (nom, verbe ou adjectif) ainsi que la flexion que l’utilisateursouhaite lui appliquer et renvoie en sortie la forme fléchie après avoir parcouru undes trois fichiers de règles relatifs à chaque nature. Chaque fichier se présente sousforme d’un tableau, dont la première colonne contient une terminaison de lemme– voire un lemme entier – et les colonnes suivantes contiennent toutes les flexionsde la forme initiale. Le tableau part du cas le plus spécifique vers le plus général,de manière à ce que tout terme ne répondant pas aux « exceptions » soit fléchiselon la règle de base et que, à l’inverse, un terme représentant une « exception »rencontre l’exception avant la règle générale. À chaque appel du programme, onva donc chercher dans la première colonne la désinence la plus appropriée pourle lemme entré et on la remplace par ce qui se trouve à la colonne adéquate. 81
    • Nous utilisons cet outil dans un cadre bien particulier : la mise au singulier detous les éléments relatifs au sujet dans les questions portant sur ce dernier. Parexemple, on ne peut générer à partir de la proposition (89) la question (90). Ilest dès lors nécessaire de passer par une étape qui va transformer le verbe pourdonner la question (91). (89) Ces gens savent tout. (90) Qui savent tout ? (91) Qui sait tout ?3.4 Conclusion Les trois outils présentés ici sont les principales ressources extérieures qui ontappuyé notre implémentation. Ces outils interviennent à trois niveaux distinctsdans l’architecture du programme. Alors que XIP se situe en amont de la généra-tion et constitue la base de celle-ci, Tregex et Tsurgeon s’inscrivent au cœur del’implémentation et des règles de transformation. Quant à Morflex, il survient enfin de processus, pour proposer une question grammaticalement correcte. Cette structure en trois étapes est par ailleurs celle qui sous-tend l’architecturede notre système, que nous présentons au chapitre suivant. 82
    • CHAPITRE 4 ARCHITECTURE DU SYSTÈME Après avoir présenté les outils que nous avons utilisés, nous entrons en pleincœur de notre projet en détaillant dans ce chapitre l’implémentation du géné-rateur. Ce chapitre est divisé en trois sections bien distinctes, trois étapes quise déroulent successivement. Nous commençons par exposer l’étape de pré-traitements 1 , c’est-à-dire toutes les opérations qui s’appliquent pour passer dutexte donné au programme à celui qui est effectivement traité. Ensuite, nous pré-sentons la génération des questions proprement dite en détaillant les différentesrègles qui interviennent dans le processus. Enfin, nous terminons en expliquantles post-traitements, c’est-à-dire toutes les opérations qui interviennent pourrécupérer à partir de la structure profonde de la question sa structure de surface. Nous tâchons au long de cet exposé d’énoncer les motivations qui ont présidé ànos choix d’implémentation ainsi que les limites que nous entrevoyons dans cesderniers. Nous relevons également les éventuelles améliorations ou solutions quipourraient être apportées au programme, conscient que ce projet n’a pas atteintla perfection et soucieux des ses possibles évolutions futures. 1. Remarquons que ces opérations dépassent celles d’une étape traditionnelle de pré-traitements (découpage en phrases, en tokens...). Toutefois, nous optons pour cette appellationdans le sens où cette étape est préalable à la phrase de génération de questions, considérée commele cœur du programme. 83
    • 4.1 Pré-traitementsLa question de la simplification de phrases La question de la simplification de phrases telle qu’envisagée par Heilman etSmith (voir 2.2.3) constitue un enjeu crucial dans le domaine de la générationde questions et nous avons pu nous rendre compte au cours de ce projet à quelpoint un tel pré-traitement aurait, à la condition évidente qu’il soit de qualité,facilité grandement l’implémentation d’un générateur et garanti une qualité plushaute des résultats. Malheureusement, parallèlement à ce constat, nous avons dûadmettre que la conception d’un tel outil était lourde (besoin d’un algorithme derésolution d’anaphores, d’informations sémantiques précises...) et que les deuxmois dont nous disposions pour réaliser le projet seraient largement insuffisantspour en venir à bout. Nous avons donc décidé de laisser ce travail conséquent àune réalisation ultérieure et de nous contenter de quelques règles de simplificationprovisoires et moins performantes que nous détaillons plus loin dans ce chapitre,en espérant pouvoir un jour les remplacer par un algorithme de simplificationcomplexe et performant tel qu’il a été développé pour l’anglais par Heilman etSmith.Premières simplifications Les premières simplifications que nous avons développées sont très naïves etnégligent sans aucun doute une partie d’information. Au lieu de déduire d’unephrase complexe des clauses indépendantes, l’algorithme réduit ici la phrasede base afin d’éviter le bruit dans les questions générées. Concrètement, les élé-ments suivants sont supprimés, au risque de perdre des éléments d’informationimportants 2 : – Le contenu des parenthèses – Les éléments compris entre deux virgules – Les incises insérées entre des tirets – Ce qui se trouve entre crochets 2. Cette méthodologie est simpliste et critiquable, mais provisoire dans l’attente une meilleuresolution. 84
    • En outre, XIP possède un séparateur de phrases pour construire les arbres dedépendances. Celui-ci, dont nous ne connaissons pas les détails, se base gros-sièrement sur le point. Dans un but de simplification toujours, nous avons doncremplacé les « ; » et « : » par un point pour obtenir des phrases plus courtes etdonc plus facilement appréhendables mais qui gardent néanmoins une unité desens. La dernière étape avant la construction de l’arbre est une simplification desprésentatifs, difficiles à traiter. Dès lors, nous n’avons conservé que la structureinterne des groupes « c’est [...] qui » (92). En effet, cette structure ne fait que mettreen évidence et donc répéter le sujet. (92) C’est Jean qui est descendu le premier → Jean est descendu le premierConstruction d’un arbre syntaxique Le texte résultant est donné en entrée à XIP, qui représente chaque phrase sousforme d’un arbre de constituants. De cet arbre, on récupère le nœud racine à partirduquel on construit la forme parenthésée de la phrase. L’arbre obtenu est trèscomplet puisque pour chaque nœud, outre sa forme de surface, on peut trouverson lemme, ses informations morpho-syntaxiques, quelques informations séman-tiques (principalement pour les entités nommées) ainsi que ses dépendances.C’est à partir de cette forme parenthésée qu’on crée un objet Tree, manipulable àl’aide de Tregex et Tsurgeon.Construction de syntagmes complexes sur l’arbre et deuxième phase de simpli-fications Une fois l’arbre construit, il importe de le rendre utilisable. On rassemble alorssous un même nœud les éléments qui, ensemble, réalisent une seule fonctiongrammaticale en construisant des superchunks, comme nous l’expliquons auchapitre 3. Exemple : Dans « Jean et Marie sont partis en vacances » , Jean et Marie constituent trois nœuds dans l’arbre. Le but est de les regrouper sous un seul nœud puisqu’ils réalisent ensemble la fonction sujet. 85
    • Parallèlement, une fois les syntagmes complexes repérés, on supprime les élé-ments superflus dans la phrase, tels certains adverbes ou syntagmes préposi-tionnels. En outre, quand plusieurs syntagmes nominaux sont réunis sous unmême nœud, on détermine la tête du syntagme qu’on intègre dans des balisesSTARTHEAD - ENDHEAD. Le but est de garder en mémoire les informations mor-phologiques du groupe entier. Ainsi, il n’y a pas de confusion dans un syntagmetel Le chapeau de la dame puisqu’on considére ses traits en fonction de sa têtepréalablement balisée (i.e. chapeau, masculin singulier). Pour ce faire, une série de règles de transformation sont appliquées successi-vement sur l’arbre. L’ordre de celles-ci est important puisque les syntagmes sontconstruits de manière incrémentale, c’est-à-dire qu’on commence par regrouperdes syntagmes minimaux qui, au fur et à mesure des transformations, deviennentplus conséquents. Ainsi, dans le cas d’une suppression d’éléments par exemple,on commence par construire le syntagme afin de le supprimer dans son intégra-lité. Le formalisme est le même pour chaque règle : on définit un patron qu’onapplique à l’arbre et, s’il est repéré, on applique les transformations. Exemple de règle : But : Réunir sous un même nœud FV un FV et un infinitif (ex : je vais faire des courses) – Tregex : SC[<FV=verb] & $+ IV=inf – Tsurgeon : move inf > −1 verb Au total, 25 règles appliquées successivement réalisent deux types d’opéra-tions : 1. Adjonction : rassemblement sous un même nœud de plusieurs termes : – Termes unis par une conjonction de coordination – Termes consécutifs qui ont la même nature grammaticale – Un terme et son complément, s’ils réalisent ensemble une fonction gram- maticale (nom et adjectif, complément du nom, ...) 2. Suppression : élision d’éléments qui pourraient bruiter l’analyse de la phrase et donc la génération future de la question (syntagmes prépositionnels ini- tiaux, adverbes en -ment...) et qui ne sont pas indispensables à la compré- 86
    • hension de la phrase de base. La phrase 93 donne un exemple de suppres- sion d’un syntagme adjectival initial. (93) Issu d’une famille modeste, Pierre est maintenant PDG d’une grande société. La liste des transformations, réalisées chacune selon une méthode Java, estreprise en annexes (Annexe A) Cette méthodologie est critiquable. Si nous ne l’avons pas soumise à une éva-luation, ce qui aurait pu nous donner une idée des avantages et inconvénients decette méthode, nous avons constaté plusieurs limites dans son utilisation. Pre-mièrement, nous avons très peu utilisé les dépendances données par XIP pourles différents nœuds et qui auraient peut-être systématisé cette simplification,systématicité qui lui fait quelque peu défaut. De plus, nous avons implémentéces règles sans doute un peu naïvement, sans nous documenter sur le sujet etsur les différentes configurations de syntagmes possibles. Il y a donc des erreurs,certains syntagmes n’étant pas réunifiés et d’autres l’étant à tort. Dès lors, cetteméthodologie est quelque peu approximative et mérite d’être réétudiée, mais ilsemble important de souligner l’importance d’une telle étape qui permet de mieuxsaisir la structure de la phrase et d’ainsi éviter des questions opaques ou bruitées.L’exemple 94 illustre cette importance. Il s’agit d’une question générée avec etsans la règle NdeN qui réunit sous un nœud NP un Nom et son complément. (94) Phrase de base : Le chat de Jean dort – Avec regroupement : Qu’est-ce qui dort ? – Sans regroupement : Qu’est-ce qui de Jean dort ?4.2 Le générateur4.2.1 Typologie des questions générées Pour définir les types de questions que permettrait de générer notre outil, nousavons travaillé à la lumière de tout ce que nous avons étudié dans la premièrepartie de ce mémoire, c’est-à-dire d’une part sur notre réflexion sur la notion 87
    • de question (chapitre 1) et d’autre part sur les outils développés pour l’anglais(2.2). Synthétisant ces différentes approches, nous avons décidé de baser notretypologie sur la structure syntaxique et grammaticale de la phrase. Chaque typede question est lié à une fonction grammaticale au sein de la phrase. Nous avonsdonc, pour chaque fonction, recensé ses différents types de réalisations dans lebut d’un repérage ultérieur des éléments susceptibles de générer une question. Letableau 4.1 synthétise cette recherche. Fonction Réalisation de la fonction Sujet Groupe nominal Pronom Proposition infinitive Proposition en que Proposition relative Complément d’objet direct Groupe nominal Pronom Proposition subordonnée Complément d’objet indirect Groupe nominal Complément d’agent Pronom Attribut du sujet Adjectif Groupe nominal Complément de lieu Groupe nominal Pronom Complément de temps Groupe nominal Pronom TABLEAU 4.1 – Typologie des questions Sur la base de cette classification, nous avons implémenté une classe java partype de question recensé, en regroupant l’objet direct et l’attribut du sujet puisquela seule différence entre les deux catégories est qu’elles dépendent ou non d’unverbe copule. À ces questions partielles, portant sur un élément de la phrase,nous avons ajouté une classe qui génère des questions totales (dont la réponsepeut-être oui ou non) portant sur la globalité de la phrase. La typologie se limite ici, comme dans les travaux présentés à la section 2.2, àdes questions essentiellement factuelles et proches du texte. Dans un éventuel 88
    • développement de nos recherches, nous pourrions envisager de poser des ques-tions plus complexes de type comment ou pourquoi, mais nous avons laissé decôté cette piste dans le cadre du présent travail. De même, cette typologie peutparaitre simpliste en regard de celles exposées au chapitre 1. Il nous semble dèslors pertinent d’envisager de l’élargir dans des travaux ultérieurs.4.2.2 Présentation générale de l’algorithme Chaque règle se construit selon une même structure. Il s’agit d’une classe javaqui prend en paramètre une chaine de caractères, qui est la structure en arbre dela phrase de base sous forme parenthésée. On présuppose que cette chaine a subiles pré-traitements développés dans la section précédente. A partir de cette forme,un objet de type Tree est créé, afin qu’il soit lisible et manipulable par Tregex etTsurgeon. Une fois cet arbre créé, une méthode teste un patron Tregex sur ce dernier. Cepatron vérifie que la règle en question peut être appliquée à l’arbre. Par exemple,si l’on teste la règle pour former une question qui concerne le sujet, on vérifie laprésence d’un sujet dans la phrase et, s’il est présent, on le balise comme tel. Si lepatron est reconnu, la phrase est soumise à des transformations pour devenir unequestion. Dans le cas contraire, soit on ignore la règle, soit on teste un autre patronqui conviendrait également. Cette dernière étape est répétée jusqu’à un éventuelmatching. Si aucun patron n’est jamais repéré, la règle n’est pas appliquée pourla phrase et aucune question de ce type n’est donc générée. Les tests de patronssuccessifs partent toujours du cas le plus particulier pour aller vers le plus général.4.2.3 Structure de base d’une règle Globalement, chaque règle applique les opérations illustrées dans l’exempleexposé dans la figure 4.1, portant sur la génération d’une question concernant lecomplément de lieu. 89
    • TOP SC PP SENT NP FV en Angleterre +PAYS +LIEU . TOPLa locomotive a été inventée (a) SC SENT QUESTION NP FV . en Angleterre +PAYS +LIEU La locomotive a été inventée (b) Où | (c) Dans quel pays (d) a-t-elle été inventée 1. Identification du complément de lieu (Tregex) : PP=loc[<</LIEU/] $−− (SC < (FV=verb $−− NP=subj)) 2. Transformation : (a) Déplacement du complément de lieu en tête de phrase (b) Remplacement du complément de lieu par où (c) Si le complément de lieu est un pays, une région, ou une ville, on peut le remplacer par, respectivement dans quel pays, dans quelle région, dans quelle ville . À terme, une procédure de génération de paraphrases plus complexe est envisagée, mais le système actuel se limite à ces quelques règles. (d) Inversion Sujet-Verbe avec répétition d’un pronom, accordé avec le sujet, si celui-ci n’en est pas déjà un. Exemple : La locomotive a été inventée en Angleterre. ⇒ Où la locomotive a-t-elle été inventée ? Dans quel pays la locomotive a-t-elle été inventée ? F IGURE 4.1 – Génération de questions sur le complément de lieu. 4.2.4 Détail des différentes règles Nous citons brièvement ici les grandes étapes de chaque règle, en prenant soin de préciser pour chacune le patron Tregex que l’on doit repérer et les différentes opérations de transformation appliquées à la phrase pour obtenir la structure profonde de la question. 90
    • Questions sur le sujet 1. Le sujet est une proposition subordonnée – Tregex : SC=subj[<<CONJQUE] & [$++ FV=verb] & [>>,TOP] – Tsurgeon : On remplace toute la proposition SC par Qu’est-ce qui . – exemple : Que tu sois là ne m’étonne pas → Qu’est-ce qui ne m’étonne pas ? 2. Le sujet est une proposition infinitive – Tregex : IV=subj[ !<<,PREP] & $++ FV=verb – Tsurgeon : On remplace toute la proposition IV par Qu’est-ce qui . – exemple : Dormir est important pour vivre → Qu’est-ce qui est important pour vivre ? 3. Le sujet est un syntagme nominal – Tregex : NP=subj $++ (FV=verb[< VERB=verbalform]) – Tsurgeon : On balise le sujet puis sa tête – Si le sujet est impersonnel (ex : il pleut), on ne génère pas de question – Si le sujet est une personne (information donnée par XIP) ou un pronom de la première ou de la deuxième personne, on le remplace par qui . – Si le sujet est une entité nommée de type ville, région, pays ou organisation (information donnée par XIP), il est remplacé, respectivement par Quelle ville , Quelle région , Quel pays ou Quelle organisation . – Remplacement du verbe par sa forme de la 3ème personne du singulier et mise au singulier de tout ce qui se rapporte au sujet. – exemple : Nous sommes partis étudier en France → Qui est parti étudier en France ?Questions sur le complément direct et l’attribut du sujet 1. Le COD est une proposition subordonnée – Tregex : (SC = obj[<<BG] $− (SC[<<(FV=verb[<<VERB=verbalform] & $ NP = subj)])) – Tsurgeon : Remplacement de la proposition SC par que . – Inversion Sujet−Verbe et placement du pronom interrogatif en tête de phrase – exemple : Jean veut qu’il parte → Que veut Jean ? 2. Le complément est un attribut du sujet sous forme adjectivale – Tregex : (AP = obj[<<OBJ] $− (SC[<<(FV=verb[<<VERB=verbalform] & $ NP = subj)])) – Tsurgeon : Placement de l’adjectif en tête de phrase – Si le verbe est un verbe copule (dans le cas contraire, aucune question n’est générée puisque l’adjectif ne peut alors être attribut), remplacement de l’adjectif par comment – Inversion Sujet−Verbe – exemple : Pierre est généreux envers ses amis → Comment est Pierre envers ses amis ? 91
    • 3. Le complément est un syntagme nominal (soit attribut, soit COD) – Tregex : NP=cod $−− (SC < (FV=verb[<<VERB=verbalform] & $−− NP=subj)) – Tsurgeon : Placement du complément en tête de phrase – Cas où le verbe est copule (le complément est donc attribut) – Si le sujet est une personne, remplacement de l’attribut par qui – Si le sujet n’est pas une personne, remplacement de l’attribut par que – Inversion Sujet−Verbe – exemple : Eddy est un cycliste professionnel > Qui est Eddy ? – Cas où le verbe n’est pas copule (le complément est donc COD) – Si le complément est temporel ou locatif (information donnée par XIP), aucune question n’est générée (ex : Il habite Lyon) – Si le complément est une personne, remplacement de celui-ci par qui – Si le complément n’est pas une personne, remplacement de celui-ci par que – Inversion Sujet−Verbe – exemple : Il achète des pommes → Que achète-t-il ? 3Questions sur le complément indirect 1. Complément d’Objet Indirect « classique » – Tregex : PP=coi[<PREP=prep & <NP=obj] & $−− (SC < (FV=verb[<,VERB = verbalform] & $−− NP=subj)) – Tsurgeon : Placement de la préposition et de son objet en tête de phrase – Si le complément est temporel ou locatif (information donnée par XIP), on ne génère pas de question, une autre classe gérant ce cas. – Si le complément est une personne, remplacement de celui-ci par qui – Si le complément n’est pas une personne, remplacement de celui-ci par quoi – Inversion Sujet−Verbe avec répétition d’un pronom, accordé avec le sujet, si celui-ci n’en est pas déjà un. – exemple : François donne un cadeau à Marie → À qui François donne-t-il un cadeau ? 2. Le complément est un complément de lieu – Tregex : PP=loc[<</LIEU/] $−− (SC < (FV=verb $−− NP=subj)) – Tsurgeon : Placement de la préposition et de son objet en tête de phrase – Première transformation : on remplace la préposition et son objet par où – Deuxième transformation (reformulation) : Si le complément est un pays, une région, ou une ville, on le remplace par, respectivement dans quel pays , dans quelle région dans quelle ville 3. Le cas de l’élision du que sera résolu dans les post-traitements 92
    • – Dans les deux cas : Inversion Sujet−Verbe avec répétition d’un pronom, accordé avec le sujet, si celui-ci n’en est pas déjà un. – Alex se rend à Paris → Où Alex se rend-il ? Dans quelle ville Alex se rend-il ? 3. Le complément est un complément de temps – Tregex : PP=time[<<PREP = prep & << /TIME/] $−− (SC < (FV=verb $−− NP=subj)) – Tsurgeon : Placement de la préposition et de son objet en tête de phrase – Première transformation : on remplace la préposition et son objet par quand – Deuxième transformation (reformulation) : Si le complément est un mois, une année, ou un jour, on le remplace, tout en gardant la préposition de base, par, respectivement quel mois , quelle année et quel jour – Dans les deux cas : Inversion Sujet−Verbe avec répétition d’un pronom, accordé avec le sujet, si celui-ci n’en est pas déjà un. – exemple : Loïc est né en 1988 → Quand Loïc est-il né ? En quelle année Loïc est-il né ?Un cas à part : les questions globales La différence qui touche ce type de règles est qu’on ne se base pas sur la réponseà la question pour la générer, mais qu’on applique juste une très légère transfor-mation sur la phrase pour en générer une question du type est-ce que suivi dureste de la phrase. La seule complexité tient aux phrases négatives, desquelles onsupprime la négation pour rendre la question correcte. (95) Jean ne viendra pas demain → Est-ce que Jean viendra demain ? Notons que nous sommes en contradiction avec ce que nous développonsdans la première partie de ce mémoire, présentant les tours en est-ce que commeappartenant à un registre moins normé. Il aurait dès lors été plus cohérent deformer les questions totales par inversion simple ou complexe du sujet et du verbe,comme le décrit Langacker (1965).4.2.5 Traitement des inversions La méthode que nous avons développée pour gérer les inversions prend pourbase théorique ce que nous avons étudié dans la première partie de ce travail(section 1.2.3). Comme nous l’avons vu, il existe deux types d’inversion – les inver-sions simples et les inversions complexes – dont le processus diverge. Par ailleurs, 93
    • certaines questions ne demandent pas d’inversion. C’est le cas des questionsportant sur le sujet, sur le complément direct et sur l’attribut du sujet, mais aussides questions globales, que nous avons préféré générer avec l’introducteur est-ceque. En préambule à ces inversions, le sujet est balisé grâce à Tregex et Tsurgeon etest compris entre les étiquettes SUBJECT et ENDSUBJECT. La forme verbale com-plète, elle aussi, a été préalablement balisée et est comprise entre les étiquettesSTARTVERB et ENDVERB.Inversion simple Dans ce cas, on procède, grâce à des expressions régulières, à un déplacementde la forme verbale devant le sujet. Si la forme verbale est composée 4 , le sujetsera inséré entre l’auxiliaire et le reste de la forme. Une méthode gère ensuite lesélisions, traits d’union... pour donner une forme correcte à l’inversion. Exemples : – Temps simple : Il part à Londres → Où part-il ? – Temps composé : Il est parti à Londres → Où est-il parti ?Inversion complexe La tête du syntagme sujet est repérée grâce à la balise STARTHEAD-ENDHEAD.On en récupère le genre et le nombre 5 . Ensuite, on ajoute le pronom correspon-dant à ces traits à la suite du verbe si celui-ci est simple ou entre l’auxiliaire et lereste de la forme verbale dans le cas d’une forme composée. La même méthodeque pour les inversion simples est enfin appliquée pour donner la forme correcteà l’inversion. Exemples : – Temps simple : Jean part à Londres → Où Jean part-il ? – Temps composé : Jean est parti à Londres → Où Jean est-il parti ? 4. Pour vérifier ça, on regarde si on repère le trait AUXIL entre les balises STARTVERB etENDVERB 5. Si ceux-ci sont inconnus, le masculin singulier est appliqué par défaut 94
    • 4.3 Post-traitements Pour récupérer la question dans une forme « propre », nous appliquons unesérie d’opérations légères qui permettent, à partir de la structure profonde de laquestion générée, de récupérer la question de surface, nettoyée à l’aide d’expres-sions régulières. On n’agit ici que sur la forme et on ne touche plus au fond. Ce nesont finalement que des transformations mineures, mais néanmoins nécessairespuisqu’elles permettent de rendre un résultat final acceptable. Les opérationseffectuées sont les suivantes : – Suppression de toutes les informations données par XIP (informations mor- phologiques, dépendances et lemmes). – Résolution des problèmes typographiques (réduction des trop longues es- paces...). – Gestion des élisions (que + voyelle, se + voyelle...). – Ajout d’une majuscule en tête de phrase. – Ajout d’un point d’interrogation en fin de phrase.4.4 Synthèse L’architecture de notre système se déroule en trois grandes phases. La figure4.2 synthétise celles-ci dans un schéma récapitulatif qui reprend toutes les étapessuccessives du générateur, partant du texte source vers les questions générées. 95
    • TEXTE BRUT PRÉ-TRAITEMENTS Premières simplifications basiques Analyse syntaxique Construction de superchunks Simplification par suppression de syntagmesGÉNÉRATION DES QUESTIONS GÉNÉRATION DES QUESTIONS PARTIELLES TOTALES Identification du syntagme cible Insertion dun tournure est-ce que Déplacement du syntagme en tête de phrase en tête de phrase Remplacement par le mot interrogatif approprié Suppression de la négation Inversion sujet verbe POST-TRAITEMENTS Récupération de la forme de surface Résolution des problèmes typographiques LISTE DE QUESTIONS F IGURE 4.2 – Schéma de l’architecture du système 96
    • CHAPITRE 5 ÉVALUATION Nous détaillons dans ce chapitre la procédure d’évaluation que nous avons miseen place pour notre outil. Nous avons choisi une évaluation manuelle par desannotateurs humains plutôt qu’une évaluation statistique, plus complexe à mettreen place. Nous commençons par expliquer le constitution du corpus d’évaluationet le questionnaire soumis aux évaluateurs. Ensuite nous présentons en quelqueschiffres notre « population » d’évaluateurs avant d’envisager les résultats de laprocédure. Nous terminons par une brève conclusion sur ces résultats.5.1 ProcédureDélimitation du corpus d’évaluation Nous avons voulu évaluer les performances de l’outil sur des textes de typesdifférents mais aussi de niveaux différents afin d’évaluer le comportement dugénérateur en fonction de la difficulté des textes qui lui sont soumis. Pour ce faire,trois corpus de 10 phrases ont été créés, issus de trois sources différentes : – WIKI_SIMPLE a été extrait de Wikimini 1 et Vikidia 2 , deux encyclopédies web adaptées aux jeunes enfants. 1. http://fr.wikimini.org/ 2. http://www.vikidia.org 97
    • – WIKI est issu de Wikipédia 3 et traite de sujets similaires au premier. – PRESSE est tiré d’articles de presse en ligne. Étant donné que WIKI_SIMPLE contient des textes pour enfants, nous l’avonsconsidéré commme le corpus ayant le niveau de difficulté le plus faible. Au vude la qualité rédactionnelle présumée des articles de presse (écrits par des pro-fessionnels), nous avons considéré le corpus PRESSE comme celui au plus hautniveau de difficulté. WIKI, vu l’hétérogénéité de son contenu, a été considérécomme le corpus de niveau intermédiaire. À partir de ces corpus, 78 questions ont été générées. Toutes les phrases ducorpus sont reprises en annexe, accompagnées des questions générées à partir decelles-ci (Annexe B). Le tableau 5.1 donne la répartition de ces questions selon lecorpus. Corpus Nombre de questions WIKI_SIMPLE 36 WIKI 21 PRESSE 23 TABLEAU 5.1 – Nombre de questions générées par corpus D’emblée, on observe une forte disparité entre les différents corpus. Les deuxplus complexes génèrent apparemment moins de questions que celui considérécomme le plus simple. Nous discutons de cela plus loin dans ce chapitre.Le questionnaire soumis Les questions ont été divisées en quatre parties, en séparant le premier groupeen deux, de manière à ce que l’évaluation ne soit pas trop lourde pour les partici-pants et qu’ils puissent étaler leurs réponses dans le temps. Les quatre question-naires ont ensuite été soumis aux évaluateurs et ceux-ci devaient noter chaquequestion selon deux modalités. 3. http://www.wikipedia.org/ 98
    • D’abord, une évaluation quantitative leur était proposée, demandant d’attribuerune note à la question proposée, allant de 1 à 4. Les explications étaient lessuivantes : Attribuez un score à la question, allant de 1 à 4 selon son acceptabilité 1. irrecevable : la question est incohérente et grammaticalement incor- recte (ex : Pierre est en train de travailler → Que est en travailler train de ?) 2. mauvaise : la question contient des problèmes grammaticaux et/ou de sens (ex : Pierre est en train de travailler → En quoi Pierre est de tra- vailler ? (problème de sens), Qui suis en train de travailler ? (problème grammatical)) 3. correcte : la question est grammaticalement correcte et a du sens mais est juste un peu mal posée (ex : Pierre est en train de travailler → Qu’est-ce qui est en train de travailler ?) 4. parfaite : la question est grammaticale, bien formée et pertinente (ex : Pierre est en train de travailler → Qui est en train de travailler ?) Ensuite, les évaluateurs devaient réaliser une analyse plus qualitative de laquestion en répondant à un questionnaire de type « vrai ou faux ». Le but decette étape était de pouvoir déterminer quels critères d’acceptabilité posaientproblème et lesquels étaient satisfaisants. Voici les différentes affirmations qu’ilfallait évaluer : – Cette question est grammaticalement correcte – Cette question est facilement compréhensible – Cette question est non-ambigüe (la réponse est unique et claire) – Poser cette question me semble pertinent – Cette question ne présente pas de problèmes typographiques (majuscules intempestives, problèmes de ponctuation...) – Le mot introducteur est bien choisi pour cette question – Cette question contient assez d’information – Cette question ne contient pas trop d’information – Je retrouve facilement la réponse à cette question dans la phrase de base Une zone de texte était par ailleurs disponible pour les éventuelles remarques,propositions ou questions sur l’évaluation en elle-même ou sur les questionsgénérées. Ces remarques nous ont permis de nous rendre compte des problèmes 99
    • de clarté dans la procédure mise en place. De plus, quelques remarques récur-rentes sur les questions générées ont été relevées, ce qui est intéressant pour uneévolution future du logiciel.Profil des évaluateurs Le formulaire d’évaluation a été diffusé au sein du groupe ILES du LIMSI. Nousl’avons également envoyé à quelques enseignants de l’UCL, à des amis ayantsuivi une formation en linguistique, mais aussi dans notre entourage familial,afin d’avoir une distinction entre « linguistes » et « non-linguistes ». Nous n’avonsmalheureusement pas eu beaucoup de locuteurs non-natifs du français, ce qui nepourra donc pas être un critère à observer. Le tableau 5.2 présente le panel desparticipants à cette évaluation. Nombre d’éva- Pourcentage Pourcentage Age moyen luateurs de locuteurs de linguistes natifs Partie 1 17 100,00 70,50 30,35 Partie 2 15 93,33 80,00 30,35 Partie 3 11 100,00 63,63 31,91 Partie 4 9 100,00 55,55 32,33 TABLEAU 5.2 – Profil des évaluateurs La première constatation est que le nombre d’évaluateurs diminue fortementau fil du questionnaire, la procédure étant peut-être un peu lourde et quelquepeu rébarbative. Dès lors, il aurait peut-être été intéressant de cibler davantageles évaluateurs et de leur imposer de terminer le questionnaire. Concernant lesautres informations, on peut noter que seule la moyenne d’âge est stable et queles résultats seront peut-être biaisés vu la variation du pourcentage de linguistesayant répondu à chaque partie.5.2 Résultats et interprétations Avant d’analyser plus finement nos résultats, il est intéressant de donner deschiffres très généraux quant à ceux-ci. Le système obtient un score moyen pour 100
    • toutes les questions confondues de 2,87, ce qui est supérieur au score de 2,5 marquant le milieu de notre échelle de valeurs allant de 1 à 4. En outre, 41% des questions se voient attribuer un score majoritaire de 4 et 29,5% un score majoritaire de 3. Le tableau 5.3 donne quelques exemples de questions générées, avec le score qui leur est majoritairement attribué. Score Question Phrase de base 4 Qu’enregistre L’observatoire volcano- L’observatoire volcanologique du Piton de la Four- logique du Piton de la Fournaise de- naise enregistre depuis le 14 août une augmenta- puis le 14 août ? tion lente mais continue du nombre de séismes. 3 En quelle année la SNCF a-t-il mis en En France, pour permettre une meilleure fréquen- service le TGV ? tation de ses trains, la SNCF a mis en service le TGV en 1981. 2 De quoi Un train est-il composé et Un train est composé de plusieurs voitures (pour peut être tracté par une locomotive ? transporter des personnes) et/ou de plusieurs wa- gons (pour transporter des marchandises), et peut être tracté par une locomotive. 1 Que Le riz est plus utilisée comme ali- Le riz est la céréale la plus utilisée comme aliment ment par l’homme ? par l’homme.TABLEAU 5.3 – Exemples de questions générées associées à leur score majoritairement obtenu Nous avons également mesuré l’accord inter-annotateurs pour chaque sous- corpus de questions à l’aide de la mesure du kappa (Fleiss, 1971). En ce qui concerne le score, le kappa varie de 0,3 à 0,381, ce qui correspond à un accord faible. Toutefois, les accords pour les scores extrêmes 1 et 4 sont meilleurs et varient de 0,26 à 0,58 pour le score minimal de 1 et de 0,442 à 0,622 pour le score maximal de 4. Les scores intermédiaires 2 et 3 correspondent à des valeurs de kappa faible. Ceci démontre que l’échelle devrait être encore réduite dans des évaluations ultérieures, les scores intermédiaires étant apparemment moins bien compris et utilisés par les annotateurs. Ces quelques traits maintenant esquissés, nous étudions les résultats de l’éva- luation selon trois angles distincts et complémentaires avant de conclure sur le sujet. D’abord, nous envisageons l’évaluation selon les quatre parties du formu- laire, en émettant l’hypothèse que les résultats sont meilleurs pour la première 101
    • que pour la dernière partie, vu le niveau de difficulté présumé des corpus. Ensuite,nous nous attardons sur les résultats en fonction du nombre de mots que contientla phrase de base, postulant de meilleurs scores pour les phrases les plus courtes,celles-ci ayant un potentiel plus faible d’être bruitées. Enfin, nous analysons lesrésultats en regard du type de question générée, sans aucun a priori, mais simple-ment pour observer quel type est le plus performant et quelles règles devraient parcontre être améliorées. Pour chacune de ces parties, nous partons d’un tableau derésultats que nous analysons afin d’en tirer des conclusions.Évaluation par partie Part.1 Part.2 Part.3 Part.4 Moy. Nombre de phrases de base 6 4 10 10 7,5 Nombre de questions 19 17 21 21 19,5 Moyenne de questions générées par phrase 3,17 4,25 2,1 2,1 2,9 Moyenne de mots par phrase de base 10,33 12,25 24,3 26,7 18,39 Moyenne de mots par question 11,36 9,72 12,86 19,68 13,4 Nombre de questions de type suj 6 4 7 7 Nombre de questions de type cod 5 2 5 4 Nombre de quesions de type coi 2 3 2 0 Nombre de questions de type temps 0 2 0 1 Nombre de questions de type temps2 0 2 0 1 Nombre de questions de type lieu 0 0 0 2 Nombre de questions de type lieu2 0 0 0 1 Nombre de questions globales 6 4 7 5 Nbre de participants 17 15 11 9 13 Accord inter-évaluateurs 33,9 30 38,1 31,9 Âge moyen des participants 30,35 30,35 31,91 32,33 31,24 Pourcentage de locuteurs natifs 100,00 93,33 100,00 100 98,33 Pourcentage de linguistes 70,50 80,00 63,63 55,55 67,42 Score moyen obtenu (sur l’échelle 1–4) 2,9 2,95 2,75 2,89 2,87 Pourcentage de 1 16,71 10,19 24,24 12,69 15,96 Pourcentage de 2 14,55 20 13,85 22,75 17,79 Pourcentage de 3 30,34 34,11 28,13 25,39 29,49 Pourcentage de 4 38,39 35,68 33,76 39,15 36,75 Cette question est grammaticalement cor- 69,96 58,82 59,30 22,22 52,58 recte (%) Cette question est facilement compréhen- 62,84 71,37 54,54 60,84 62,4 sible (%) Cette question est non ambigüe (la réponse 57,27 78,03 54,97 63,49 63,44 est unique et claire) (%) 102
    • Part.1 Part.2 Part.3 Part.4 Moy. Poser cette question me semble pertinent 60,06 76,47 59,30 70,37 66,55 (%) Cette question ne présente pas de pro- 30,65 60,78 58,00 42,32 47,94 blèmes typographiques (%) Le mot introducteur est bien choisi pour 66,87 73,72 63,06 78,30 70,49 cette question (%) Cette question contient assez d’informa- 76,47 81,96 68,83 75,13 75,6 tion (%) Cette question ne contient pas trop d’infor- 70,58 90,58 71,86 70,37 75,85 mation (%) Je retrouve facilement la réponse à cette 77,77 89,80 61,36 76,11 76,26 question dans la phrase de base (%) TABLEAU 5.4 : Évaluation par partie On remarque en analysant ces résultats que l’on ne peut pas réellement dégagerune tendance générale quant à l’évolution entre les différentes parties. Le scoremoyen des questions, par exemple, ne varie pas significativement et les petites dif-férences vont même à l’encontre de ce que l’on pourrait attendre puisque le scorede la partie 4, soit le corpus considéré comme le plus complexe est légèrementplus élevé que celui de la partie 3, pourtant considéré comme plus simple. Enoutre, on peut remarquer que les différences de résultats sont relativement élevéesentre les deux premières parties, alors qu’elles proviennent du même corpus, cequi nuit à la pertinence des interprétations possibles. Notons aussi un accordinter-annotateurs (calculé à l’aide de la mesure de kappa de Fleiss (1971)) peuperformant, ce qui rend peu interprétables les résultats. Tout cela nous amène àconsidérer que cette évaluation par partie n’est pas très pertinente et qu’il seraitpeut-être intéressant de se baser sur d’autres critères, plus objectifs. 103
    • Évaluation par nombre de mots dans la phrase de base Longueur de la phrase de base (en mots) <10 10—14 15—19 >=20 Nombre de phrases 5,00 7,00 5,00 13,00 Nombre de questions générées 14,00 20,00 16,00 28,00 Moyenne de questions générées par phrase 2,80 2,86 3,20 2,15 Score moyen obtenu 3,36 2,56 2,28 3,16 Pourcentage de 1 1,81 27,43 29,89 7,18 Pourcentage de 2 11,81 19,09 26,63 14,05 Pourcentage de 3 34,54 23,26 28,26 33,66 Pourcentage de 4 51,81 30,28 15,21 45,09 Cette question est grammaticalement cor- 90,00 52,43 44,64 58,58 recte (%) Cette question est facilement compréhen- 82,72 56,59 36,41 69,93 sible (%) Cette question est non ambigüe (la réponse 69,09 65,97 41,84 69,28 est unique et claire) (%) Poser cette question me semble pertinent 71,36 64,93 51,63 71,89 (%) Cette question ne présente pas de pro- 35,00 45,13 43,47 59,15 blèmes typographiques (%) Le mot introducteur est bien choisi pour 80,45 60,00 70,10 71,83 cette question (%) Cette question contient assez d’informa- 79,54 73,61 67,93 80,06 tion (%) Cette question ne contient pas trop d’infor- 93,63 79,16 50,00 75,81 mation (%) Je retrouve facilement la réponse à cette 87,68 76,92 53,04 78,75 question dans la phrase de base (%) TABLEAU 5.6 – Évaluation en fonction de la longueur de la phrase de base Ces résultats vont à l’encontre de notre première intuition. En effet, les meilleursrésultats se retrouvent clairement dans les questions générées à partir de phrasessoit très courtes, soit très longues, comme le montre le graphique suivant (figure5.1), reprenant le score moyen des questions générées pour chacune des catégoriesenvisagées. 104
    • 4 3,5 Score moyen obtenu 3 2,5 2 1,5 1 <10 10-14 15-19 >=20 Longueur de la phrase de base (en mots)F IGURE 5.1 – Score des questions générées en fonction de la longueur de la phrasede base On observe que, jusqu’à vingt mots dans la phrase de base, les scores des ques-tions générées diminuent au fur et à mesure que cette dernière s’allonge. Or, lesphrases de plus de vingt mots voient le score de leurs questions augmenter consi-dérablement, atteignant presque celui des plus courtes, renversant l’hypothèseque plus la phrase serait longue, moins le générateur serait performant. Au-delàde l’étonnement qu’engendre ce constat, il semble intéressant de nuancer ici nospropos. En premier lieu, on constate que, entre les phrases très longues et les ques-tions qu’elles génèrent, le nombre de mots diminue significativement (de 32% enmoyenne). Ceci est dû au système de simplification de phrases que nous avonsimplémenté. Les éléments superflus ayant été supprimés, la phrase est nette-ment simplifiée et les questions générées le sont donc à partir d’occurrences pluscourtes. Ce constat, allié à de bons résultats, est positif puisqu’il conforte l’idée 105
    • de la nécessité d’une telle procédure 4 . Certes, quelques informations ne sont pasreprises dans les questions, mais ces dernières obtiennent globalement un scoreplus élevé. Ensuite, on remarque en analysant de manière plus fine les résultats dansl’évaluation dite « qualitative » que les meilleurs scores se retrouvent souvent dansles questions issues de phrases très courtes. Ce que l’on attendait se confirmedonc ici : le générateur pose moins de problèmes à partir de phrases courtes, cequi semble logique dès lors qu’elles sont relativement « pures » et non bruitées, cequi facilite nettement l’analyse syntaxique de la phrase. Pour certains critères parcontre, les longues phrases obtiennent un meilleur score que les plus courtes, maisavec une différence qui est alors très légère, ce qui ne contredit pas l’interprétation. Un dernier constat nuance les bons résultats engendrés par les longues phrasesde base : celles-ci génèrent en moyenne moins de questions que les phrases pluscourtes et certaines d’entre elles n’en génèrent même aucune. Le fait qu’on netienne pas compte du rappel biaise donc quelque peu les résultats 5 . Or le rappelest sans doute largement moins performant pour les plus longues phrases. Uneréflexion sur ce dernier point sera à mener dans une future évaluation. Partant du constat purement chiffré et des quelques limites que nous venons delui apporter, il est difficile de tirer une conclusion claire quant à la performance dugénérateur en fonction de la taille de la phrase. Néanmoins, certaines tendancesont été dégagées et on retiendra que, globalement, les meilleurs résultats sont ob-servées sur les plus courtes phrases, mais aussi que la procédure de simplification 4. Notons qu’il aurait été intéressant de comparer les résultats du générateur avec et sansl’algorithme de simplification de phrases pour évaluer précisément son apport 5. Pour calculer le rappel, il aurait fallu pour chaque phrase recenser toutes les questionspossibles et les comparer avec celles qui ont été effectivement générées, ce qui aurait été uneprocédure certes intéressante mais relativement lourde dans le cas qui nous occupe 106
    • que nous avons implémentée semble avoir son intérêt au vu des résultats obtenuspour les plus longues phrases.Évaluation par type de question générée Nous avons séparé, pour les catégories temps et lieu les questions standard(quand et où) et les questions reformulées à l’aide du repérage d’entités nommées(voir 4.2.4), d’où les distinctions tps – tps2 et lieu – lieu2. Type suj cod coi tps tps2 lieu lieu2 glob Nombre de questions 24 16 7 3 3 2 1 22 Pourcentage par rapport au 30,77 20,51 8,97 3,84 3,84 2,56 1,28 28,2 nombre total de questions Moyenne de mots par question 14,91 10,63 12,00 13,66 15,33 24,00 22,00 15,36 Score moyen obtenu 2,92 2,34 2,35 2,81 3,00 2,16 2,33 3,25 Pourcentage de 1 11,92 28,15 17,82 30,77 12,82 22,22 0,00 9,51 Pourcentage de 2 15,89 20,87 24,75 7,69 20,51 44,44 66,67 11,27 Pourcentage de 3 34,10 26,21 25,74 28,20 12,82 27,77 33,33 32,04 Pourcentage de 4 38,07 24,75 31,68 33,33 53,84 5,55 0,00 47,18 Cette question est grammaticale- 69,35 33,52 62,00 13,33 13,33 22,22 11,11 89,95 ment correcte (%) Cette question est facilement com- 64,23 34,46 40,59 66,66 71,79 38,88 11,11 90,84 préhensible (%) Cette question est non ambigüe (la 61,25 38,83 46,53 84,61 89,74 61,11 44,44 83,09 réponse est unique et claire) (%) Poser cette question me semble 65,23 45,14 46,53 82,05 92,30 72,22 55,55 83,09 pertinent (%) Cette question ne présente pas de 82,45 32,03 20,79 35,89 38,46 5,55 11,11 35,56 problèmes typographiques (%) Le mot introducteur est bien choisi 63,57 52,17 50,49 97,83 97,43 72,22 66,66 90,07 pour cette question (%) Cette question contient assez d’in- 79,47 57,76 71,28 79,48 79,48 88,88 55,55 85,56 formation (%) Cette question ne contient pas trop 74,50 66,50 75,24 87,17 94,87 44,44 22,22 84,15 d’information (%) Je retrouve facilement la réponse 75,49 55,82 66,33 92,30 94,87 72,22 44,44 91,09 à cette question dans la phrase de base (%) TABLEAU 5.8 – Évaluation par type de question générée 107
    • Sur le graphique 5.2, nous représentons la répartition des questions généréesen fonction de leur type. On y voit que les questions les plus nombreuses sontles questions globales et celles portant sur le sujet puis celles portant sur le com-plément direct. Toute phrase pouvant être acceptée par la règle générant lesquestions globales et le sujet étant l’élément le plus aisé à repérer dans une phrase,ces résultats semblent « logiques ». Sujet COD COI Temps Temps2 Lieu Lieu2 Globales F IGURE 5.2 – Répartition des types de questions générées Observons maintenant, via un graphique (5.3), le score moyen des différentstypes de questions : 108
    • 4,00 3,50 3,00Score moyen obtenu 2,50 2,00 1,50 1,00 Sujet COD COI Temps Temps2 Lieu Lieu2 Globales Type de question F IGURE 5.3 – Score moyen des questions en fonction de leur type Les questions qui obtiennent le meilleur score moyen sont les questions glo- bales, de type est-ce que, suivies par les questions sur le sujet. Viennent ensuite avec un score comparable les questions sur les objets directs et indirects. Les compléments de lieu et de temps ont des scores variables, mais il est plus difficile d’analyser leur score tant elles sont peu nombreuses. Ces résultats correspondent à la complexité des règles de génération pour les différents types de questions : la génération de questions globales et de questions sur le sujet est généralement plus simple. En effet, il n’est pas nécessaire d’iden- 109
    • tifier un syntagme spécifique dans la phrase pour les questions globales et, parailleurs, le sujet est généralement assez facile à identifier dans la phrase. Ceci cor-respond également aux capacités des analyseurs syntaxiques : les dépendancessujets sont les plus faciles à identifier.5.3 Conclusion Si ces résultats sont appréciables, au vu des 41% des questions considéréescomme parfaites et du score moyen de 2.87, cette phase d’évaluation a pu mettreau jour divers problèmes que nous présentons ici selon deux volets. D’une part,nous exposons les erreurs récurrentes trouvées dans les questions générées etd’autre part nous évoquons les problèmes liés à la phase d’évaluation proprementdite, dans la perspective d’une procédure automatique ultérieure.Problèmes récurrents dans les questions Nous relevons ici les principaux problèmes retrouvés dans les questions, ennous basant sur l’évaluation qualitative, mais aussi sur les commentaires desévaluateurs et sur notre propre lecture des questions. – Majuscules intempestives : la majuscule de début de phrase se retrouve au milieu de la question. A première vue, le problème semble facilement résoluble en supprimant d’emblée cette majuscule, mais le risque serait que les noms propres initiaux ne soient plus considérés comme tels par XIP Le . problème reste à régler mais semble surmontable. (96) Le train a un moteur → Qu’a Le train ? – Problèmes d’accord : si un terme féminin est considéré comme masculin par XIP, il y a une potentialité d’erreur dans la question générée dans le 110
    • cas où ce terme est réutilisé sous forme de pronom par exemple. On est dépendants ici de l’analyseur utilisé. (97) En France, pour permettre une meilleure fréquentation de ses trains, la SNCF a mis en service le TGV en 1981. → Quand la SNCF a-t-il mis en service le TGV ? – Confusion dans l’analyse : XIP identifie mal un terme et le générateur ren- voie une question non-désirée. Dans l’exemple 98, « le plus » est détecté comme substantif par XIP, le générateur l’identifie donc à tort comme un COD. (98) Le riz se cultive le plus souvent dans des rizières inondées d’eau. → Que se cultive Le riz souvent dans des rizières inondées d’eau ? – Questions trop peu précises dues à une phrase trop peu précise : si le ré- férent n’est pas clair dans la phrase de base, une question imprécise et parfois vide de sens est générée. Une détection de ce type de cas pourrait être implémentée pour résoudre ce problème. (99) Il a des roues en fer. → Est-ce qu’Il a des roues en fer ? – Questions bruitées ou incohérentes : ici, soit l’analyse de base est mau- vaise, soit il y a eu des erreurs dans le passage par la simplification, soit, simplement, il aurait été nécessaire de passer par un véritable algorithme de simplification de phrases, comme celui développé par Heilman et Smith (2010a). Cela montre l’importance d’une telle étape et de la nécessité de l’implémenter par la suite pour obtenir de meilleurs résultats. (100) Si tous les éléments du train sont motorisés, le train est une rame automotrice. → Si qu’est-ce qui est une rame automotrice ?Critiques de la procédure d’évaluation Une première erreur de notre part a été de ne jamais envisager le rappel, ce qui,on l’a déjà vu, a pu biaiser les résultats. Ce point ayant déjà été traité, nous ne 111
    • nous y attardons pas davantage dans cette partie. Ensuite, nous n’avons pas calculé l’accord inter-annotateurs dans toutes lesphases de l’évaluation, ce qui nuit à une bonne interprétabilité des résultats. Touteinférence sur ceux-ci se doit donc d’être prudente même si on peut y déceler unetendance. Le but n’était pas non plus d’avoir une évaluation exhaustive et parfaitedu générateur, mais bien d’avoir une idée globale de son taux de réussite. D’un point de vue plus pratique, la procédure d’évaluation était peut-être unpeu lourde pour les participants. Cependant, nous pensons qu’elle était nécessaireafin de pouvoir envisager les erreurs récurrentes pour les améliorer par la suite. Ilétait difficile de se contenter d’une évaluation purement quantitative et binairedans cette première version. Avoir un avis plus détaillé de la part des évaluateurssemblait plus intéressant.Perspectives : une évaluation automatique Depuis la fin du stage, le travail a déjà évolué et Delphine Bernhard a développéun outil statistique de classement binaire entre les questions acceptables et cellesà refuser, se basant sur le système d’Heilman et Smith (2010b). Pour ce faire, 639questions ont été générées et divisées en un corpus d’entraînement (500) et uncorpus de test (139). Nous les avons évaluées manuellement et un modèle a étéentraîné sur les 500 premières questions. Le modèle a ensuite été appliqué surle corpus de test et une probabilité qu’elle soit correcte a été attribuée à chaquequestion. Cette solution est évidemment beaucoup plus intéressante à terme pourpouvoir tester chaque question générée et la renvoyer à l’utilisateur uniquementsi elle obtient un taux d’acceptabilité jugé suffisant. 112
    • CHAPITRE 6 CONCLUSION : APPORTS ET LIMITES Dans cette partie, nous avons présenté l’implémentation d’un générateur dequestions à partir de textes en français. Le programme que nous avons développéfait figure d’une première pour le français et nous ne partions donc d’aucune baseconcrète pour développer les règles de génération. Nous avons donc adapté desoutils existant pour l’anglais sur lesquels nous nous sommes largement basé etqui nous ont indubitablement aidé dans nos démarches. Malgré tout, comme nous avons tenté de le souligner tout au long de notreexposé, de nombreuses limites subsistent encore. Un algorithme de simplificationefficace et puissant, tel que développé par Heilman et Smith (2010a), améliorerait,nous en sommes convaincu, nettement les résultats. En outre, nous pensonsqu’une analyse sémantique plus fine de la phrase de base pourrait diversifierdavantage les questions, par la génération de paraphrases notamment. Une autrepiste à envisager est celle de la génération de questions plus transversales, quiiraient récupérer des éléments dans plusieurs phrases d’un même paragraphe,avec tous les problèmes et solutions que cela engendre (algorithmes de résolution 113
    • d’anaphores, analyse sémantique complexe du texte...). Ce travail n’est qu’un début et surtout pas un aboutissement. Comme nousavons tenté de le montrer, le domaine est vaste et complexe et nous pensonsqu’il mérite que l’on s’y attarde encore davantage. C’est pour cette raison que latroisième partie de ce travail traite de pistes de réflexions pour améliorer notreoutil et propose un panorama du « chantier » qui attend les futurs chercheurs engénération automatique de questions. 114
    • T ROISIÈME PARTIE P ERSPECTIVES
    • La deuxième partie de notre travail a montré que, si notre système est un débutencourageant, il reste du chemin à parcourir avant qu’il ne soit réellement perfor-mant. Le but de cette partie est de présenter une série de pistes de réflexion envue d’une amélioration de l’outil déjà implémenté. D’une part, nous identifions, au chapitre 7, plusieurs problèmes mis en lumièrepar l’évaluation et nous envisageons différentes méthodologies qui pourraient lesrésoudre. D’autre part, nous exposons, au chapitre 8, différentes pistes qui mèneraientnotre outil à générer des questions plus variées que celles actuellement prises encompte par le système. Ces différentes perspectives restent néanmoins liées à notre méthodologie dedépart. Nous continuons à nous consacrer à des questions formées par transfor-mations syntaxiques d’une phrase de base. Cela implique que nous n’envisageonspas dans cette partie de générer des questions plus transversales, portant sur untexte dans sa globalité. En effet, la méthodologie utilisée dans ce cas est réso-lument différente et nécessite des traitements complexes, comme la résolutiond’anaphores, une compréhension poussée de la progression informationnelle...Toutefois, bien que nous ne les abordions pas dans le cadre de ce travail, cetype de questions constitue un enjeu considérable en GAQ et demeure donc uneperspective à envisager dans les travaux futurs. 116
    • CHAPITRE 7 PROBLÈMES RENCONTRÉS ET SOLUTIONS ENVISAGÉES Comme nous l’avons montré dans la partie précédente, un certain nombre deproblèmes diminuent la performance de notre système. Nous en identifions troiset proposons des pistes de réflexion afin de les éradiquer.7.1 Problèmes typographiques Les résultats montrent que les majuscules présentes en début de phrase décla-rative subsistent dans la question générée, ce qui implique des erreurs quand lemot n’est pas un nom propre et qu’il se situe au cœur de la question. (101) Le train a un moteur. → Qu’a Le train ? Comme nous l’avons déjà souligné, on ne peut pas supprimer cette majusculeen début de traitement. En effet, les noms propres initiaux ne seraient alors plusrepérés comme tels par l’analyseur, provoquant des erreurs de sens dans les 117
    • questions. (102) jean est revenu. → Qu’est-ce qui est revenu ? De même, une fois la question de surface générée, on ne peut se contenterde supprimer toutes les majuscules de la phrase en ne conservant que celle quiouvre la question. En effet, certains noms propres perdraient alors leur majusculeinitiale, ce qui mène à une nouvelle erreur typographique. (103) Jean a acheté une nouvelle voiture. → Qu’a acheté jean ? Face à ce constat, nous envisageons la procédure suivante, qui interviendrait enfin de traitement, c’est-à-dire à partir de la question de surface. 1. Identification des termes portant une majuscule et qui ne se situent pas en tête de phrase. 2. Identification des sigles et des acronymes : si le terme comporte plus d’une lettre majuscule, il est laissé intact. On présume alors qu’il s’agit d’un sigle ou d’un acronyme qui doit figurer en lettres capitales dans la question. 3. Comparaison du terme avec une liste des mots secondaires du français comprenant les déterminants, pronoms et conjonctions. Si le terme repéré se trouve dans la liste, sa majuscule initiale est transformée en minuscule. 4. Identification des noms propres. Si le terme n’est pas considéré comme tel, il est transformé en minuscules. Dans le cas contraire, il est laissé intact. L’identification peut se faire selon trois types de méthodes (Friburger, 2006) : (a) Méthodes symboliques : systèmes à base de règles qui « utilisent des descriptions linguistiques et des indices permettant de repérer les noms propres (majuscule, présence d’un mot particulier) » (Friburger, 2006 :641). 118
    • (b) Méthodes par apprentissage : les connaissances sur les noms propres sont construites en apprenant un modèle sur un corpus d’entraine- ment. (c) Méthodes hybrides : utilisation de règles écrites à la main et de règles tirées de données d’entrainement grâce à des algorithmes d’apprentis- sage. Friburger (2006) propose l’utilisation d’ExtracNP (Friburger, 2002), un systèmed’extraction de noms propres à base de règles développé dans le cadre du projetProlex 1 . L’outil, qui atteint une précision de 94,4% pour le français, applique encascade une série de transducteurs à états finis qui permettent d’« extraire lesnoms propres et de les catégoriser au moyen de leurs contextes gauches et droits,et de preuves internes (présence d’un prénom, d’un mot comme Société, etc.) »(Friburger, 2002), cité dans (Cori et al., 2003 :220). Un transducteur est un « automate à états finis particulier qui établit une cor-respondance entre deux ensembles de symboles » (Fairon et François, 2009) 2 .La figure 7.1, tirée de (Friburger et Maurel, 2001), donne un exemple de trans-ducteur pour le repérage des prénoms composés (Jean-Pierre) ou abrégés (J-P),l’appellation Prénom correspondant à un prénom déjà repéré. 1. « Le projet Prolex, piloté par le Laboratoire d’informatique (LI) de l’université François-Rabelais de Tours, a pour but de fournir, à la communauté du traitement automatique deslangues (Tal), des connaissances sur les noms propres, qui constituent, à eux seuls, 10% destextes journalistiques. Ceci par la création d’une plate-forme technologique comprenant undictionnaire électronique relationnel multilingue de noms propres (Prolexbase), des systèmesd’identification des noms propres et de leurs dérivés, des grammaires locales, etc. » http://www.cnrtl.fr/lexiques/prolex/ (Page consultée le 8 août 2011). 2. Un automate à états finis est un graphe orienté étiqueté comprenant un ensemble de nœuds(états) et de transitions orientées entre ces états (Beaufort, 2008 :23). 119
    • F IGURE 7.1 – Exemple de transducteur pour le repérage des prénoms composés La solution proposée peut paraitre complexe pour ce problème qui peut semblerbanal, mais elle est nécessaire. En effet, dans une optique de diffusion du système,on ne peut se permettre de garder ce genre d’erreur dans le résultat final.7.2 Erreurs dues à l’analyseur Notre évaluation a soulevé que certains problèmes dans nos résultats étaientliés à l’analyseur syntaxique utilisé (i.e. XIP). Malheureusement, comme nousl’avons déjà souligné, il est difficile d’agir sur cette analyse. Dès lors, plusieurssolutions s’offrent à nous. La première serait de changer simplement d’analyseuret de porter notre choix sur un outil plus performant. La deuxième, moins radicaleet proposée par Bernhard et al. (2011), est de combiner les résultats de plusieursanalyseurs pour atténuer les problèmes découlant d’une analyse erronée. La combinaison proposée est celle des analyseurs XIP (Ait-Mokhtar et al., 2002)et Bonsai (Candito et al., 2010). XIP a déjà été présenté dans ce travail (section 3.1)et nous ne nous y attardons pas ici. Quant à Bonsai, il s’agit d’une adaptation duBerkeley Parser (Petrov et al., 2006) 3 au français, entrainé sur le French Treebank 3. Il s’agit d’un analyseur syntaxique probabiliste. 120
    • (Abeillé et al., 2003) 4 . Bonsai ne comportant pas de modules de reconnaissanced’entités nommées, il devra être combiné avec d’autres outils qui permettent cettefonction. Nous revenons sur la détection d’entités nommées au chapitre suivant. Le but de la combinaison de plusieurs analyses est de générer les questions à par-tir des structures données par plusieurs outils et de choisir ensuite les meilleuresoccurrences, grâce à un classifieur automatique, tel qu’expliqué au chapitre pré-cédent, à la section 5.3. La combinaison de ces deux analyseurs permet doncd’augmenter à la fois le rappel et la précision : – Rappel : la méthode permet de générer davantage de questions. En effet, une mauvaise analyse peut perturber notre système et empêcher la généra- tion d’une question, qui pourra être générée grâce à une autre analyse. – Précision : le choix des meilleures questions permet d’être plus sélectif et, de cette manière, d’obtenir un meilleur score pour les questions générées.7.3 Questions bruitées Comme nous n’avons pas manqué de le souligner, de nombreuses erreursdans nos résultats sont imputables à l’absence d’un système de simplificationde phrases, qui interviendrait en amont ou en aval du processus de génération.Nous pensons, à l’instar d’Heilman et Smith (2009), qu’il serait pertinent de faireintervenir un tel système en préalable à la génération proprement dite. En effet,cela permettrait de faciliter la transformation syntaxique de la phrase et donc degénérer des questions plus concises. 4. Le French Treebank est un corpus de presse en français, comportant un million de mots etannoté syntaxiquement (informations morphologiques, mots composés, lemmes, dépendances...)(Abeillé et al., 2003). 121
    • Ayant déjà présenté les motivations qui président à une telle opération (voirsection 2.2.3), nous retraçons ici les étapes nécessaires à l’implémentation d’unsystème de qualité, tout en soulignant les enjeux mobilisés par la discipline. Les systèmes peuvent fonctionner à base de règles ou selon une approcheprobabiliste. Nous présentons donc brièvement ces deux méthodologies, par lebiais de deux outils implémentés pour l’anglais (Heilman et Smith, 2010a ; Zhuet al., 2010) .Approches par règles Il s’agit du type d’approche envisagée par Heilman et Smith (2010a) pour l’an-glais. Nous reprenons ici leur méthodologie, en vue d’une adaptation éventuellede l’outil pour le français. Les auteurs proposent deux procédés pour simplifierune phrase : 1. Simplification par implication sémantique. Levinson (1983) définit l’im- plication de la manière suivante : A implique sémantiquement B si et seulement si, partout où A est vrai, B est vrai aussi. Pour réaliser cette simplification, les auteurs proposent d’extraire les clauses en supprimant de la phrase de base les compléments et marqueurs de discours suivants : – Les appositives non restrictives (104) Jefferson, le troisième président des USA,... – Les relatives non restrictives (105) Jefferson, qui était le troisième président des USA,... – Les éléments entre parenthèses 122
    • (106) Jefferson (1743-1826),... – Les modifieurs (au participe) de syntagmes nominaux (107) Jefferson, étant le troisième président des USA,... – Les modifieurs du verbe, compris entre virgules (108) Jefferson a étudié beaucoup de sujets, comme l’artiste Léonard de Vinci,... – Les modifieurs qui précèdent le sujet (109) Étant le troisième président des USA, Jefferson... En outre, ils scindent les propositions liées par une conjonction de coordi- nation quand une des deux propositions implique l’autre (110). Cela signifie que les conjonctions ou et ni ne sont pas discriminantes dans le système puisqu’elles ne supposent pas l’implication (111). (110) John étudie le jeudi mais se détend le vendredi. → (a) John étudie le jeudi. (b) John se détend le vendredi. (111) John étudie le jeudi ou se détend le vendredi. → pas de scission2. Extraction des présuppositions : outre l’implication sémantique, il existe une implication pragmatique, que l’on reprend sous le nom de présupposi- tion. Levinson (1983) la définit de la manière suivante : A présuppose B si et seulement si (a) si A est vrai, alors B est vrai (b) si A est faux, alors B est vrai. Exemple : Soit la phrase Jefferson, qui est le troisième président des USA, est né en 1743. La première méthode, basée sur l’implication sémantique, supprimera la relative. Néanmoins, celle-ci peut tout à fait constituer une clause à part entière du type Jefferson est le troisième président des USA. La méthode basée sur les présuppositions va permettre l’extraction de cette clause. 123
    • Il existe des déclencheurs de présuppositions qui facilitent l’extraction de ces dernières. Il s’agit d’un sous-ensemble des constructions décrites plus haut pour les implications sémantiques, ne comprenant que les éléments susceptibles de constituer une clause sans qu’il ne soit nécessaire d’effectuer des opérations syntaxiques complexes. Les éléments entre parenthèses, par exemple, ne sont pas pris en compte puisqu’il nécessitent un traitement compliqué pour être intégrés dans une phrase. – Les appositives non restrictives 5 (112) Jefferson, le troisième président des USA,... – Les relatives non restrictives (113) Jefferson, qui était le troisième président des USA,... – Les modifieurs (au participe) de syntagmes nominaux (114) Jefferson, étant le troisième président des USA,... – Les propositions subordonnées temporelles. (115) Avant que Jefferson ne soit président, il... Le système proposé par Heilman et Smith (2010a) se base donc sur les deuxopérations que nous avons décrites pour supprimer et extraire des clauses à partird’une phrase complexe. Ils utilisent dans ce but les outils Tregex et Tsurgeon(Levy et Galen, 2006) 6 et développent leurs règles en agissant sur la structuresyntaxique des phrases entrées au programme. Les auteurs montrent que leursystème extrait en moyenne 1,63 clauses par phrase, celles-ci passant de 23,5 à13,4 mots (moyenne). 5. Le terme non restrictif signifie que l’appositive n’est pas indispensable à la compréhensionde la phrase. 6. Voir section 3.2. 124
    • Systèmes probabilistes Zhu et al. (2010) ont développé un système probabiliste de simplification dephrases, basé sur des modifications d’arbres syntaxiques. Les auteurs envisagentleur approche comme un outil de traduction de phrases complexes vers desphrases plus courtes et plus lisibles. Ils entrevoient l’utilité d’un tel outil à la foispour les humains (accès plus aisé à un texte complexe) et pour les machines.Dans ce dernier cas, l’opération pourrait être intégrée dans diverses applications,comme le résumé automatique ou la génération de questions. Les auteurs distinguent quatre types d’opération intervenant dans la simplifica-tion automatique et agissant sur un arbre syntaxique : – Le splitting : séparation de longues phrases en unités plus courtes. (116) Jean est parti avec la voiture qui appartient à son père. → (a) Jean est parti avec la voiture. (b) La voiture appartient à son père. – Le dropping : suppression de partie de phrases. (117) Jean est parti avec la voiture qui appartient à son père. → Jean est parti avec la voiture. – Le reordering : changement de l’ordre des parties de la phrase. (118) Albert offre à Marie un cadeau → Albert offre un cadeau à Marie. – La substitution : remplacement de syntagmes par des synonymes. (119) Jean est parti en Audi A4. → Jean est parti en voiture. À partir d’un modèle entrainé et d’une phrase complexe, une probabilité estdonnée à chaque opération et, si celle-ci est suffisante, l’opération est appliquée.Le modèle est appris sur un jeu de données dans lequel des phrases simples etcomplexes sont mises en parallèle. Le but n’est pas ici d’entrer dans les détails 125
    • du fonctionnement, mais bien de montrer que la possibilité d’une simplificationsyntaxique par apprentissage est possible et que ses résultats sont encourageants.En effet, les auteurs montrent que la lisibilité des phrases simplifiées est plushaute que celle des phrases de base.Synthèse Les deux approches présentées en simplification de phrases sont radicale-ment différentes, même si le but est identique et revient à proposer des phrasesplus courtes grâce à la modification de phrases complexes. Nous n’avons pas eul’occasion de proposer une évaluation comparée de ces outils, mais il sembleraitintéressant de l’envisager afin de choisir l’une ou l’autre méthodologie, à intégreren préalable à la génération de questions.7.4 Conclusion Trois problèmes majeurs peuvent être relevés dans la version actuelle de notresystème. Le premier est surtout un problème de surface et concerne les erreurstypographiques, et plus particulièrement la présence de majuscules intempestivesdans les questions générées. Les deux autres sont plus complexes et provoquentdes erreurs plus conséquentes dans les questions, nuisant à leur compréhension,voire à leur cohérence. Ces problèmes sont soit liés à l’analyseur, soit dus à unephrase de base trop complexe, dont la manipulation est difficile. Pour chacun deces problèmes, nous envisageons une solution. Pour ce faire, nous nous basonssur un panel de méthodologies et d’outils existants, que nous combinons pourproduire une nouvelle méthode, adaptée à nos besoins. 126
    • Pour les majuscules intempestives, notre approche se base grossièrement sur ladétection de noms propres pour décider du maintien ou de la suppression desmajuscules qui sont au cœur des questions générées. Afin d’affiner notre analyse et de proposer les meilleures questions possibles,nous envisageons la combinaison de plusieurs analyseurs syntaxiques pour géné-rer des questions à partir de différentes analyses de la phrase de base. L’objectifest de pouvoir choisir ensuite les questions les mieux formulées – voire les pluspertinentes 7 – grâce à un classifieur automatique. Une telle approche permettraitd’augmenter le rappel et la précision du système. Enfin, dans le but de rendre les questions moins bruitées, nous proposons, dansla lignée d’Heilman et Smith (2010a), de faire intervenir un module de simplifica-tion de phrases en amont de la génération de questions. Ce module peut prendrela forme d’un système symbolique ou probabiliste et permettrait de faciliter l’ana-lyse des phrases de base, préalablement réduites à une forme simple. Tant que ces différentes solutions n’auront pas été implémentées et intégréesdans l’outil actuel, nous ne pouvons assurer qu’elles permettent une nette amélio-ration du système. Néanmoins, ces pistes semblent pertinentes et il nous sembleintéressant de les mettre en œuvre afin de mesurer leur impact sur les résultats. 7. Ce problème de la pertinence, comme nous l’avons déjà remarqué, est complexe et mériteune réflexion qui dépasse le cadre de ce travail. 127
    • CHAPITRE 8 UNE PLUS GRANDE VARIÉTÉ DE QUESTIONS Le système que nous avons développé se base sur les catégories grammaticalesdes éléments d’une phrase pour définir la typologie des questions qu’il génère.L’intérêt d’une telle méthodologie est que les règles sont élaborées en fonctionde la structure de la phrase de base. Toutefois, l’approche est restrictive dansle sens où certains types de questions, repris dans la typologie mixte que nousavons présentée au point 1.1.3 (page 29), sont ignorés par le système. En outre, lesquestions générées restent très proches du texte de base, ce qui rend l’intérêt del’approche limité si le système est intégré dans un module de compréhension àla lecture par exemple, pour lequel on s’attend à devoir chercher plus loin que lasurface textuelle pour trouver la réponse à une question. Le but de ce chapitre est double. D’une part, nous proposons une extensionde la typologie à d’autres types de questions. Cela permettrait d’obtenir unegranularité plus fine dans les questions posées, mais aussi, très concrètement, deproposer un système à la fois plus complexe et plus complet, avec des questionsplus variées. D’autre part, nous envisageons la génération de paraphrases à propos 129
    • des questions posées, afin de poser des questions moins proches du texte de base.8.1 Élargissement de la typologie8.1.1 Questions en quel Pour traiter des questions en quel, deux cas de figure sont à envisager, dans lamesure où leur procédé de formation est différent.Règles s’appuyant sur la structure de la phrase Ces règles concernent les questions sur le sujet quand celui-ci est accompagnéd’un attribut nominal, ce qui implique nécessairement la présence d’une verbecopule. La transformation se base uniquement sur la structure de la phrase. Deuxconfigurations sont alors possibles : 1. L’attribut est un syntagme nominal défini : questions définitoires : pour que cette règle s’applique, la phrase doit comporter un syntagme nominal sujet et un attribut du sujet nominal défini. Pour former la question, il suffit alors de remplacer le sujet par le mot interrogatif quel, accordé en genre et en nombre avec le syntagme attribut du sujet. (120) Durbuy est la plus petite ville du monde → Quelle est la plus petite ville du monde ? 2. L’attribut est un syntagme nominal indéfini qui comporte un adjectif : pour que cette règle s’applique, la phrase doit contenir un syntagme no- minal sujet et un attribut du sujet qui soit un syntagme nominal défini, comprenant un adjectif en son sein. Pour former la question, on déplace l’attribut sans son adjectif en tête de phrase (b) et on remplace le détermi- nant par quel, à la bonne forme (c). (a) Durbuy est une petite ville 130
    • (b) Une ville est petite (c) Quelle ville est petite ?Règles mobilisant des ressources extérieures Ce deuxième cas pourrait être exposé dans la section consacrée aux paraphrases.En effet, il concerne la reformulation des mots interrogatifs en un syntagme « quel+ NP ». Certaines questions de ce type sont déjà prises en compte par notre systèmeet fonctionnent grâce à une détection des entités nommées. Ainsi, les questionsportant sur le sujet et introduites par qu’est-ce qui peuvent être reformulées si ellescorrespondent à un pays (121), une région (122), une ville (123) ou une institution(124). (121) La Belgique est magnifique → Quel pays est magnifique ? (122) Rome est magnifique → Quelle ville est magnifique ? (123) La Provence est magnifique → Quelle région est magnifique ? (124) Le FMI est corrompu → Quelle institution est corrompue ? Il en va de même pour les compléments de lieu et de temps pour lesquels desexpressions plus précises peuvent venir remplacer les pronoms où (dans quelleville, dans quel pays...) et quand (en quelle année, à quelle date...). Cependant, ces quelques reformulations sont basiques et nous pensons qu’ilserait intéressant de les élargir sans modifier profondément les règles existantes.Deux pistes, complémentaires, sont envisagées : 1. Appliquer un détecteur d’entités nommées plus performant que celui fourni par XIP. Il faudrait que ce détecteur soit plus précis et plus fin. Par exemple, Michael Jackson devrait pouvoir être identifié comme une per- sonne, mais aussi comme une célébrité, un chanteur...De cette manière, les 131
    • questions 126, 127 et 128 pourraient être générées à partir de la proposition 125. (125) Michael Jackson est mort le 25 juin 2009 à Los Angeles. (126) Qui est mort le 25 juin 2009 à Los Angeles ? (127) Quelle célébrité est morte le 25 juin 2009 à Los Angeles ? (128) Quel chanteur est mort le 25 juin 2009 à Los Angeles ? Outre ExtracNP (Friburger et Maurel, 2001), qui extrait les noms propres, comme expliqué au chapitre précédent, plusieurs autres détecteurs existent pour le français, dont Prolexbase, un « lexique relationnel multilingue de noms propres » 1 ou OpenCalais 2 , décrit dans la citation suivante : « Using natural language processing, machine learning and other me- thods, Calais categorizes and links your document with entities (people, places, organizations, etc.), facts (person "x" works for company "y"), and events (person "z" was appointed chairman of company "y" on date "x"). » 3 À première vue, nous ne pouvons porter notre choix sur l’un ou l’autre outil, n’ayant pas effectué d’étude comparative complète entre eux. Cependant, ils constituent trois possibilités à envisager pour un développement futur de notre système.2. Utiliser une ontologie pour remplacer chaque syntagme interrogé par un hyperonyme, « terme dont le sens inclut celui d’un ou de plusieurs autres » 4 . Wordnet, grande base de données lexicales (Fellbaum, 1998), modélise ces relations d’hyperonymie dans des réseaux lexicaux. Dans notre cas, il fau- drait alors accéder à la base de données et, pour le terme à interroger, re- chercher un hyperonyme. Le mot interrogatif serait alors remplacé par le1. http://www.cnrtl.fr/lexiques/prolex/ (Page consultée le 8 août 2011)2. http://www.opencalais.com/3. http://viewer.opencalais.com/ (Page consultée le 5 août 2011).4. http://atilf.atilf.fr/ (Page consultée le 4 août 2011) 132
    • syntagme « quel(le)(s) + hyperonyme ». De cette manière, les questions 130, 131 et 132 pourraient être générées à partir de la proposition 129 (129) Un cheval a été aperçu sur l’autoroute. (130) Qu’est-ce qui a été aperçu sur l’autoroute ? (131) Quel animal a été aperçu sur l’autoroute ? (132) Quel mammifère a été aperçu sur l’autoroute ? Wordnet n’existe que pour l’anglais, mais des chercheurs de l’INRIA l’ont adapté pour le français en créant le WOLF, WOrdnet Libre du Français (Sagot et Fišer, 2008). « le WOLF est une base de données lexicales dans laquelle les mots (lexèmes) sont répartis en catégories et organisés en une hiérarchie de nœuds. Chaque nœud a un identifiant unique, et représente un concept, ou synset (ensemble de synonymes). Il regroupe un certain nombre de lexèmes synonymes dénotant ce concept. (...) Les synsets sont précisés par une brève définition et sont liés à d’autres synsets (...) par un lien d’hypéronymie (...) Les lexèmes peuvent être simples ou composés. Les usages métaphoriques et idiomatiques sont pris en compte. » (Sagot et al., 2008) Avec cette méthodologie, une source d’erreur importante réside dans la potentialité polysémique et homonymique des mots 5 . En effet, certains mots appartiennent à plusieurs domaines et peuvent donc avoir plusieurs hyperonymes. Dès lors, on pourrait générer, à partir de la proposition 133, les questions 134 et 135, cette dernière étant incorrecte par rapport au contexte. (133) Jean a mangé un avocat à midi. 5. Ces termes désignent tous deux une « correspondance entre un seul signifiant et plusieurssignifiés » (Heger, 1969 :53). Dans le cadre de ce travail, nous ne distinguons pas les deux termes,même s’ils ne sont pas tout à fait synonymes. 133
    • (134) Quel légume Jean a-t-il mangé à midi ? (135) Quel magistrat Jean a-t-il mangé à midi ? Pour résoudre ce genre de cas, un module de désambiguïsation lexicale est nécessaire pour décider, à l’aide du contexte, si le terme avocat désigne le légume ou le magistrat et donc choisir l’hyperonyme approprié.8.1.2 Questions de quantité et de mesure Pour pouvoir générer des questions portant sur une quantité (combien) ou demesure (quelle taille ? quelle longueur ?), il est également nécessaire de se basersur un système de reconnaissance d’entités nommées. Nous envisageons deuxétapes à la génération de ces questions, à combiner avec celles du système actuel. 1. Repérage de l’entité chiffrée si elle est étiquetée comme déterminant. Celle- ci peut être précédée d’une préposition. (136) Il a habité pendant 3 mois à Londres. 2. Identification de l’élément nominal déterminé par l’entité repérée et gé- nération d’une question de type « combien de + NP » sur la base des règles existantes. (137) Il a habité pendant 3 mois à Londres. → Pendant Combien de mois a-t-il habité à Londres ? À ces deux étapes peut s’ajouter une règle optionnelle qui fournit une refor-mulation de la question. Pour ce faire, l’élément nominal est classé dans unecatégorie précise – temps, distance... – et une question de type « combien de +catégorie » est générée sur la base des règles existantes. Pour classifier le terme, ilsera nécessaire de recourir à une base de données qui puisse l’identifier. (138) Il a habité pendant 3 mois [TEMPS] à Londres. → Pendant Combien de temps a-t-il habité à Londres ? 134
    • Néanmoins, dans certains cas, une question en combien de ne convient pas etil est alors préférable de proposer une alternative. Pour la proposition 139, parexemple, on attendrait plutôt une question du type « Quelle distance a-t-il couruen dix minutes ? ». (139) Il a couru 3 kilomètres en dix minutes. → *Combien de distance a-t-il couru en dix minutes ? Pour résoudre ce problème, nous proposons de créer une table de corres-pondances entre les catégories préalablement repérées et le type d’interrogatif.Concrètement, la syntagme « nombre + élément nominal » se verra attribuer unecatégorie, puis remplacé par l’interrogatif approprié pour formuler la question. Ladifficulté majeure, et qu’il faudra résoudre, réside alors dans le choix de la catégo-rie appropriée pour le syntagme. Le tableau 8.1 donne une première typologie,non exhaustive, de ces correspondances. Catégorie Tournure interrogative Exemple Temps Combien de temps Combien de temps durent tes vacances ? Quantité Quelle quantité Quelle quantité contient ce récipient ? Distance Quelle distance Quelle distance a-t-il parcourue ? Taille Combien Combien mesure Anne ? Quelle taille Quelle taille mesure Anne ? Poids Combien Combien pèse Arthur ? Quel poids Quel poids pèse Arthur ? Prix Combien Combien as-tu payé ? Quel prix Quel prix as-tu payé ?TABLEAU 8.1 – Table de correspondances pour les questions de quantité et demesureIntégration dans le système Le but est d’intégrer ces règles de quantité et de mesure dans les règles existantes.Comme le montrent les exemples suivants, les syntagmes exprimant une notionde quantité ou de mesure peuvent se retrouver en position de sujet, complémentdirect ou indirect. 135
    • (140) 30 kilomètres ont été parcourus. → Quelle distance a été par- courue ? (141) Il a parcouru 30 kilomètres. → Quelle distance a-t-il parcou- rue ? (142) Il s’est arrêté de courir après 30km. → Après quelle distance s’est-il arrêté de courir ? Cela ne signifie pas que ces syntagmes remplissent nécessairement la mêmefonction, mais bien que les patrons syntaxiques pour les repérer sont identiques àceux déjà implémentés. Dès lors, il conviendra d’ajouter des contraintes dans lesrègles existantes pour repérer les entités chiffrées et de cette manière générer desquestions de quantité ou de mesure selon les modalités exposées plus haut.8.1.3 Questions introduites par pourquoi Comme nous le montrons au point 1.1.3, les questions introduites par pourquoipeuvent être de trois types : – Cause : Pourquoi a-t-elle quitté son emploi ? – But : Pourquoi roule-t-il si vite ? – Convention/obligation : Pourquoi doit-on dire merci ? Dans l’optique de notre travail, les questions doivent trouver leurs réponsesdans le texte à partir duquel elles sont générées. Dès lors, il importe de définir unpatron de phrase à partir duquel il est possible de générer une question de typepourquoi. Dans la plupart des cas, pourquoi peut être remplacé dans la phrasede base par une proposition de but ou de cause, comme en attestent exemplessuivants, répondant tous deux à la question Pourquoi a-t-elle quitté son emploi ? : (143) Elle a quitté son emploi parce qu’elle ne gagnait pas assez d’argent. (144) Elle a quitté son emploi pour gagner plus d’argent. 136
    • Empiriquement, on admet donc que, si le sens des trois types de questionrelevés est sensiblement différent, les phrases à partir desquelles ces questionssont générées obéissent à une même structure 6 . Avant de développer la règle pour générer ces questions, il convient de recensertoutes les constructions possibles pour les propositions de but et de cause afinqu’elle soient repérées par le système. Selon Le Bon Usage (Grevisse et Goosse, 2007), les propositions de but peuventêtre de deux types : – Propositions subjonctives introduites par les locutions conjonctives sui- vantes : pour que, afin que, de peur que, de crainte que, de sorte que, de manière à ce que, de façon à ce que. – Propositions infinitives introduites par les locutions suivantes : pour, afin de, de peur de, de crainte de, de manière à, de sorte à ou de façon à. Leur sujet est le même que celui de la proposition principale. Les propositions de cause, quant à elles, s’emploient avec l’indicatif et peuventêtre introduites par les locutions suivantes : comme, puisque, parce que, étantdonné que, vu que, du fait que, du moment que, dès lors que, d’autant que, attenduque, étant entendu que, sous prétexte que (Grevisse et Goosse, 2007). À partir de ces éléments, une version future de notre système pourrait facilementinclure ce type de question, en suivant les étapes suivantes : 1. Dans une phrase, repérage d’une éventuelle proposition de cause ou de but. 6. Pour éviter toute confusion, remarquons que le contre-exemple suivant, s’il peut paraitreadéquat, ne correspond pas à une question de type pourquoi mais bien à une question introduitepar pour quoi, déjà prise en compte par notre système (ici : Pour quoi a-t-elle quitté son emploi ?) :Exemple : Elle a quitté son emploi pour ses enfants 137
    • Elle a quitté son emploi parce qu’elle ne gagnait pas assez d’argent. 2. Remplacement de la proposition par l’interrogatif pourquoi. Elle a quitté son emploi pourquoi. 3. Déplacement de l’interrogatif en tête de phrase. Pourquoi Elle a quitté son emploi. 4. Inversion sujet-verbe. Pourquoi a-t-elle quitté son emploi ?8.1.4 Questions introduites par comment Nous avons vu au point 1.1.3 que les questions introduites par comment pou-vaient être de trois types : – Procédure : Comment faut-il écrire une lettre ? – Structure : Comment est organisé ce pays ? – Spécification d’un élément : Comment est cette fille ? Contrairement aux questions en pourquoi, « les propositions répondant à laquestion comment ? sont fort variées » (Grevisse et Goosse, 2007 :1494). Il est donctrès difficile de définir un patron de phrase sur lequel on puisse construire desrègles pour former ce type de question. Dès lors, nous envisageons deux casspécifiques : 1. Questions portant sur l’attribut du sujet ajdectival. Celles-ci sont en fait déjà prises en considération par notre système, raison pour laquelle notre explication est très succincte. (145) Cette fille est jolie. → Comment est cette fille ? 138
    • Concrètement, le système repère l’attribut du sujet sous forme adjectivale, le place en tête de proposition et le remplace par comment. 2. Questions sur le gérondif. Une proposition au gérondif (en + participe pré- sent) a toujours le même sujet que la proposition principale et « équivaut souvent à un complément adverbial (de temps, de manière, etc.) » (Grevisse et Goosse, 2007 :1152). (146) Il a traversé la rue en courant. La règle que nous proposons fonctionne selon les étapes suivantes : (a) Repérage de la proposition au gérondif. (147) Il a traversé la rue en courant. (b) Déplacement du terme repéré en tête de proposition principale. (148) En courant il a traversé la rue. (c) Remplacement du terme par l’interrogatif comment. (149) Comment il a traversé la rue. (d) Inversion sujet-verbe. (150) Comment a-t-il traversé la rue ?8.1.5 Questions sur les sigles et les acronymes Ces questions portent sur la signification des sigles et des acronymes et sontrelativement simples à générer. Pour ce faire, il est nécessaire de repérer un sigleou un acronyme dont l’appellation non abrégée se situe dans l’environnementimmédiat. Pour s’assurer de la correspondance entre l’abréviation et son corres-pondant, l’un des deux doit se trouver entre parenthèses. Pour générer la question, 139
    • il faut ensuite tester le caractère humain ou non humain de la dénomination com-plète de manière à déterminer si la question sera introduite par qui ou qu’est-ceque. Voici quatre exemples de questions générées sur les sigles et acronymes : (151) Dominique Strauss-Kahn (DSK) a été arrêté ? → Qui est DSK ? (152) JFK (John Fitzgerald Kennedy) a été assassiné ? → Qui est JFK ? (153) L’Union européenne (UE) compte 27 membres ? → Qu’est-ce que l’UE ? (154) l’UCL (Université catholique de Louvain) a été créée en 1425 ? → Qu’est-ce que l’UCL ? Une alternative qui permet d’éviter le choix entre qui et qu’est-ce que serait deproposer une question de type « Que signifie/représente l’abréviation X ? ». (155) Dominique Strauss-Kahn (DSK) a été arrêté ? → Que représente l’abréviation DSK ?8.1.6 Synthèse Les règles déjà implémentées dans notre système sont relativement faciles àadapter pour couvrir une typologie de questions plus large que celle actuellementutilisée. En effet, les nouvelles règles que nous proposons respectent globalementla même architecture et seules quelques modifications sont à apporter. Pourconcrétiser notre démarche, il reste à formaliser les patrons à repérer pour chaquenouveau type de question et à adapter les règles existantes pour que les questionsgénérées soient correctes. Par exemple, un problème que nous n’avons pas traitéet qui se posera certainement est celui des accords. Dans les questions en quel,comme dans les questions de quantité et de mesure, certains termes changent degenre et/ou de nombre avec le passage du mode déclaratif au mode interrogatif etces problèmes seront donc à gérer. (156) Eddy Merckx est né le 17 juin 1945.→ Quelle célébrité est née le 17 juin 1945 ? 140
    • (157) Il a parcouru 10 kilomètres.→ Combien de kilomètres a-t-il parcourus ?8.2 Génération de paraphrases sur les questions Ce que nous présentons ici a déjà fait l’objet d’une proposition d’article (Bern-hard et al., 2011) et a donc déjà été implémenté. Si ce passage ne constitue pasà cet égard une perspective à strictement parler pour nos travaux, il fait suiteau développement du système présenté dans la deuxième partie de ce mémoire.C’est pourquoi il prend place dans cette section du travail. « Le terme « paraphrase » a été utilisé par la tradition pour désigner une pra- tique langagière spécifique : la reformulation, dans une situation discursive donnée, d’un texte-source de départ – reformulation effectuée à des fins essentiellement pédagogiques. » (Fuchs, 1994 :3) Bernhard et al. (2011) évoquent deux intérêts majeurs à l’utilisation de para-phrases en génération automatique de questions : 1. Les questions sont moins proches du texte et donc plus complexes pour les utilisateurs. 2. Les différentes formulations des questions peuvent donner un niveau de précision plus fin à celles-ci. Deux procédés sont envisagés pour générer des paraphrases à partir des ques-tions : – Variation dans les mots interrogatifs : il s’agit essentiellement de la refor- mulation de la question de base en une question en « quel + NP », comme nous l’avons envisagée plus haut. 141
    • – Nominalisation : ce procédé consiste en la formation de noms à partir d’une mot appartenant à une autre catégorie grammaticale (Bernhard et al., 2011). Benetti et Corminboeuf (2004) ont étudié la nominalisation déverbale, c’est-à-dire la transformation d’une construction verbale en une construction nominale. (158) Quand a été couronné le Roi Baudouin ? → Quand a eu lieu le couronnement du Roi Baudouin ? Pour générer automatiquement ce type de nominalisations, Bernhard et al.(2011) proposent d’utiliser Verbaction, un lexique dans lequel les noms d’actionsont reliés à leur correspondant verbal (Hathout et al., 2002). La figure 8.2 donneun exemple de la présentation du lexique pour la paire « abandon–abandonner » : <couple> <verb> <lemma>abandonner</lemma> <tag>Vmn----</tag> </verb> <noun gender="masculine" number="singular"> <lemma>abandon</lemma> <tag>Ncms</tag> </noun> </couple> F IGURE 8.1 – Extrait du lexique Verbaction Le système se base sur 13 patrons Tregex qui identifient chacun une structurede question qui inclut un verbe d’action. Une fois qu’un patron est repéré dans laquestion, une règle de nominalisation est appliquée en recourant à Verbaction. (159) Quand le roi Talal de Jordanie abdiqua-t-il ? → Quelle est la date d’abdication du roi Talal de Jordanie ? La plus grande difficulté réside dans le choix de la meilleure nominalisation. Eneffet, certains verbes connaissent plusieurs déverbaux. tourner, par exemple, peutêtre nominalisé en tournée, tour, ou encore tournage. Pour contrer ce problème, 142
    • une requête est formulée pour chaque possibilité et entrée dans un moteur derecherche web. La requête comprend le terme nominalisé accompagné de soncontexte gauche et droit immédiat. La requête qui obtient le plus d’occurrencesdans le moteur de recherche est alors sélectionnée. (160) En quelle année a été tourné le film Star Wars ? 1. En quelle année a eu lieu le tournage du film Star Wars ? 2. En quelle année a eu lieu la tournée du film Star Wars ? 3. En quelle année a eu lieu le tour du film Star Wars ? ⇒ Après confrontation dans un moteur de recherche (les requêtes sont indiquées en gras dans les exemples), la première question, considérée comme la plus vraisemblable, est sélectionnée. Le système actuel, expérimental, a été évalué par des utilisateurs qui ont jugéque 30% des questions étaient bien formées. Le tableau 8.2 catégorise les pro-blèmes rencontrés avec leur fréquence, exprimée en pourcentage. Catégorie Question originale Question nominalisée % OK Quand le roi Talal de Jordanie ab- Quelle est la date d’abdication du 32 diqua-t-il ? roi Talal de Jordanie ? Nominalisation Quelle multinationale française Quelle est la multinationale de 40 impossible a changé son nom pour celui de changement de son nom pour ce- groupe Danone ? lui de groupe Danone ? Question in- Quand l’Australie, la Suède et Quelle est la date d’entrée de 28 complète la Finlande entreront-elles dans l’Australie, la Suède et la Finlande l’Union Européenne ? ? Mauvaise no- Quelle église a ordonné des Quelle est l’église d’ordre de des 22 minalisation femmes prêtres en mars 1994 ? femmes prêtres en mars 1994 ? Mauvais mot À qui appartient le Milan AC ? Quelle est l’appartenance du Mi- 20 interrogatif lan AC ? Nominalisation De combien d’étoiles se compose Quelles sont les étoiles de compo- 20 superflue notre galaxie ? sition de notre galaxie ? Verbe pronomi- Dans quel pays se trouve Euskir- Quel est le pays de trouvaille 18 nal chen ? d’Euskirchen ? TABLEAU 8.2 – Typologie des problèmes en génération de paraphrases À terme, il serait intéressant d’envisager d’autres procédures pour générer desparaphrases sur les questions. Dans un article concernant les révisions locales 143
    • de Wikipédia (Dutrey et al., 2011), les auteurs s’intéressent à la problématique dela reformulation. Ils en relèvent trois types, qui constituent trois pistes pour undéveloppement ultérieur de notre système : 1. Reformulation lexicale : il s’agit de remplacer un mot par une variante (changement de registre langagier, traduction d’un emprunt...) (161) L’implémentation de l’algorithme → La mise en œuvre de l’algorithme 2. Reformulation syntaxique : cela consiste en une modification de la struc- ture syntaxique de la phrase (permutation d’éléments, changement de type d’une proposition, passage de l’actif au passif...) (162) L’homme qui travaille toute la nuit → L’homme travaillant toute la nuit 3. Reformulation sémantique : utilisation d’hyperonymes ou d’hyponymes, jeu sur la synonymie... (163) Le journal francophone → Le quotidien francophone Si la reformulation syntaxique demande l’utilisation de règles complexes quiagissent sur la structure de la question, il semblerait intéressant de développer unmodule qui permette des reformulations lexicales et sémantiques de la question.Pour ce faire, comme pour les questions en quel (voir 8.1.1), le recours à une basede données lexicales hiérarchisée comme le Wolf (Sagot et Fišer, 2008) sembleune piste pertinente. Plus simplement, il peut être intéressant de faire appel à undictionnaire de synonymes standard, tel celui du CRISCO (Manguin, 2005) pourremplacer certains mots de la question par leurs synonymes. Néanmoins, celanécessite d’une part de résoudre l’ambiguïté lexicale qui peut peser sur le mot(164), et d’autre part d’évaluer l’adéquation de ce synonyme au contexte danslequel il s’inscrit. Dans la phrase 165, par exemple, le terme conserver n’est pasaussi pertinent que le terme maintenir. 144
    • (164) J’ai mangé un avocat à midi. → *J’ai mangé un magistrat à midi. (165) J’ai maintenu mon rendez-vous d’aujourd’hui. → J’ai conservé mon rendez-vous d’aujourd’hui. Ce ne sont là que des pistes, des idées de réflexions à mener dans le but d’amé-liorer notre système et de compléter le module de génération de paraphrases déjàimplémenté. Nous ne proposons aucune règle précise, ni complète, mais nousposons les prémisses théoriques minimales sur lesquelles une version ultérieuredu système pourra se baser.8.3 Conclusion Dans l’optique d’améliorer notre système de génération de questions, une pisteest de proposer une variété plus large des questions générées. Notre but n’est pasde modifier radicalement les règles déjà écrites, mais de repartir de cette basepour la diversifier. Pour ce faire, nous envisageons deux aspects. Le premier consiste à élargir la typologie existante, tout en proposant des ques-tions dont la réponse reste ancrée dans la phrase. Le mode d’action reste identiqueet consiste toujours en la transformation syntaxique de phrases déclaratives enphrases interrogatives. Nous repartons donc de la classification mixte proposéeau chapitre 1 pour proposer des esquisses de règles couvrant davantage de motsinterrogatifs que ceux déjà utilisés par le système. Nous montrons que la structureglobale des règles existantes peut être reprise dans la plupart des cas et qu’il suffitd’y modifier quelques éléments – comme le patron syntaxique nécessaire à laformulation de la question – pour intégrer de nouveaux types de question. 145
    • Le deuxième aspect vise à rendre la question moins proche de la phrase debase, principalement dans le but de la complexifier. Pour ce faire, nous propo-sons d’envisager la reformulation de la question par le biais de la génération deparaphrases. Nous pensons que la prise en compte de ces deux aspects dans une nouvelleversion du système pourrait lui donner une nouvelle dimension et le rendre plusperformant. 146
    • C ONCLUSION GÉNÉRALE
    • Le domaine de la génération automatique de questions, bien que déjà large-ment traité en anglais, en est à ses balbutiements pour le français, pour lequelles ressources sont presque inexistantes. Les systèmes actuels, développés enanglais, fonctionnent par la transformation de phrases déclaratives en phrasesinterrogatives, sur la base d’une analyse syntaxique préalable de la phrase. Cetype d’outil permet de créer des tests et questionnaires à choix multiples, maisaussi d’améliorer les systèmes de dialogue homme-machine ou les systèmes dequestions-réponses interactifs. L’objectif du présent travail est de combler ce videen français et de proposer un système de génération automatique de questions àpartir de textes en adaptant au français les systèmes existants pour l’anglais. Pour ce faire, une étude théorique préalable était nécessaire et deux aspectssemblaient pertinents à envisager, l’un se situant à un niveau plus linguistique etl’autre à un niveau plus informatique. Nous avons d’abord exploré la notion de question pour dégager ses caractéris-tiques formelles dans une optique transformationnelle, principalement à traverstrois aspects : le marquage de la question, les mots interrogatifs et l’inversionsujet-verbe. Ces concepts sont fondamentaux dans le sens où ils constituent leséléments de base qui définissent formellement la question. Parallèlement à cela,il a été nécessaire d’élaborer une typologie des questions qui brasse toutes lesquestions possibles en français. Sur la base de diverses catégorisations existantes,envisageables selon deux axes (classification linguistique et classification concep-tuelle), nous avons proposé une typologie mixte qui opère deux classifications.La première distingue les questions selon leur mot interrogatif et, au sein de cescatégories, une deuxième classification range les questions selon le concept quiles sous-tend. L’intérêt de cette démarche est qu’elle offre une typologie exhaus-tive et pertinente des questions et qu’elle permet, en fonction d’un concept, de 149
    • générer le mot interrogatif approprié pour la question. Ensuite, nous avons présenté le domaine de la génération automatique de textes,dans lequel nous avons situé celui de la génération automatique de questions,en montrant sur quels points les deux types de systèmes se rejoignaient ou sedistinguaient. Grâce à l’étude de systèmes de génération de questions existantpour l’anglais, nous avons pu dégager une méthodologie globale pour un teloutil. Comme nous l’avons souligné, la procédure consiste en la transformationde phrases déclaratives en phrases interrogatives et comporte généralement lesétapes suivantes, éventuellement couplées avec une phase de simplification dephrases : 1. Analyse morphosyntaxique et/ou syntaxique du texte source 2. Identification du syntagme cible sur lequel portera la question 3. Déplacement du syntagme cible 4. Remplacement du syntagme cible par le mot interrogatif approprié 5. Inversion et accord sujet-verbe 6. Post-traitement de la question pour générer une forme de surface gramma- ticale et bien formée Une fois cette base théorique construite, nous avons présenté dans la deuxièmepartie du travail l’implémentation d’un premier outil de génération automatiquede questions pour le français. Partant de la typologie exposée dans la premièrepartie et de la définition formelle de la question en français, nous avons reprisles méthodologies existantes pour les adapter au français. Si les étapes du dé-veloppement sont globalement les mêmes, la structure du français impose descontraintes nouvelles, qui ne se posent pas en anglais – système complexe pour 150
    • l’inversion sujet-verbe, problèmes d’accord...– et les règles doivent donc être re-créées. L’évaluation du système que nous avons menée a montré que 41% desquestions générées par notre système étaient considérées comme parfaites parles évaluateurs humains et que 29,5% d’entre elles ne nécessitaient qu’une petiteamélioration pour être correctes. De plus, l’ensemble des questions généréesobtient un score moyen de 2,87 sur une échelle de 1 à 4 7 , ce qui est supérieur auscore de 2,5 marquant le milieu de notre échelle de valeurs. L’évaluation a permis de rendre compte de l’imperfection du système et de déce-ler plusieurs limites dans son implémentation. Sur cette base, nous avons exposé,dans la troisième partie de notre travail, une série de pistes de réflexions en vued’améliorer notre système. D’une part, des solutions aux problèmes rencontrésdans l’évaluation ont été proposées. D’autre part, plusieurs méthodologies ontété décrites afin de générer des questions plus variées que celles proposées parle système actuel. Cette partie constitue un point de départ pour les recherchesfutures en génération de questions, brassant les grands défis qui se posent à courtterme dans le domaine. Comme nous l’avons souligné tout au long de notre exposé, notre systèmen’est pas parfait. Néanmoins, nous pensons qu’il constitue une première versionencourageante et qu’il mérite d’être amélioré. Ce mémoire, loin d’être un objetclos, a pour ambition de servir de porte ouverte pour les futurs chercheurs engénération de questions. Les bases sont jetées, mais il reste encore beaucoupde chemin à parcourir pour faire de ce type de système un outil performant,susceptible d’être commercialisé ou intégré dans des applications d’une plus largeenvergure. 7. Le niveau de « perfection » étant à 4 151
    • Il reste dès lors à espérer que les recherches menées ne seront pas trop viteoubliées et que la génération automatique de questions, à l’instar des systèmes dequestions-réponses, prendra un jour son essor et deviendra un domaine florissantdans la littérature en traitement automatique des langues. 152
    • BIBLIOGRAPHIEAnne A BEILLÉ, Lionel C LÉMENT et François T OUSSENEL : Building a Treebank for French. In Anne A BEILLÉ, éditeur : Treebanks : building and using parsed corpora, chapitre 10, pages 165–188. Kluwer Academic Publishers, Dordrecht, 2003.Salah A IT-M OKHTAR, Jean-Pierre C HANOD et Claude R OUX : Robustness beyond shallowness : incremental deep parsing. Natural Language Engineering, 8(3) : 121–144, 2002.John L. AUSTIN : How to Do Things with Words. Harvard University Press, Cam- bridge, 2 édition, 1999.John B ATEMAN et Michael Z OCK : Natural language generation. In Ruslan M ITKOV, éditeur : The Oxford Handbook of Computational Linguistics, pages 284–304. Oxford University Press, New York, 2003.Richard B EAUFORT : Application des Machines à États Finis en Synthèse de la Parole. Sélection d’unités non uniformes et Correction orthographique. Thèse de doctorat, Facultés Universitaires Notre-Dame de la Paix (Namur), 2008. 153
    • Laurence B ENETTI et Gilles C ORMINBOEUF : Les nominalisations des prédicats d’action. Cahiers de linguistique française, (26) :413–435, 2004.Delphine B ERNHARD, Louis de V IRON, Véronique M ORICEAU et Xavier TANNIER : Question Generation for French : Combining parsers and paraphrasing ques- tions. Dialogue and Discourse, 2011. Soumis.Olivier B LANC, Matthieu C ONSTANT et Patrick WATRIN : Segmentation in super- chunks with a finite-state approach. In Proceedings of FSMNLP 2007 – Finite- State Methods for Natural Language Processing, 2007.Julien B RETTE et Stéphane L ESCUYER : Étude du questionnement en français. Projet scolaire. École Nationale Supérieure des Télécommunications, 2006.Jonathan C. B ROWN, Gwen A. F RISHKOFF et Maxine E SKENAZI : Automatic ques- tion generation for vocabulary assessment. In HLT ’05 : Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing, pages 819–826, Morristown, NJ, USA, 2005. Association for Computational Linguistics.Joan B USQUETS, Laure V IEU et Nicolas A SHER : La SDRT : une approche de la cohérence du discours dans la tradition de la sémantique dynamique. Verbum, (23) :73–101, 2001.Marie C ANDITO, Joakim N IVRE, Pascal D ENIS et Enrique H ENESTROZA A NGUIANO : Benchmarking of Statistical Dependency Parsers for French. In Coling 2010 : Posters, pages 108–116, Beijing, China, août 2010. Coling 2010 Organizing Com- mittee.Patrick C HARAUDEAU et Dominique M AINGUENEAU : Dictionnaire d’analyse du discours. Le Seuil, Paris, 2002. 154
    • Marcel C ORI, Sophie D AVID et Jacqueline L ÉON, éditeurs. TAL : Problèmes épisté- mologiques du TAL, volume 43. mars 2003.Hoa Trang D ANG, Jimmy L IN et Diane K ELLY : Overview of the TREC 2006 Question Answering Track. In Proceedings of the Fifteenth Text REtrieval Conference (TREC 2006), 2006.Nelly D ANJOUX -F LAUX et Anne-Marie D ESSAUX : L’interrogation en français : données linguistiques et traitements transformationnels. In Jean-Claude C HE - VALIER , éditeur : Grammaire transformationnelle : syntaxe et lexique, pages 139–231. Publications de l’université de Lille III, Lille, 1976.Laurence D ANLOS et Laurent R OUSSARIE : La génération automatique de textes. In Jean-Marie P IERREL, éditeur : Ingéniérie des langues, pages 311–330. Hermès Science, Paris, 2000.Louis de V IRON, Delphine B ERNHARD, Véronique M ORICEAU et Xavier TANNIER : Génération automatique de questions à partir de textes en français. In Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles, volume 2, pages 33–38, Montpellier, 2011.Anne R. D IEKEMA, Ozgur Y ILMAZEL, Jiangping C HEN, Sarah H ARWELL, Lan H E et Elizabeth D. L IDDY : What Do You Mean ? Finding Answers to Complex Questions. In Proceedings of the AAAI Spring Symposium : New Directions in Question Answering, 2003.Camille D UTREY, Houda B OUAMOR, Delphine B ERNHARD et Aurélien M AX : Para- phrases et modifications locales dans l’historique des révisions de wikipédia. In Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles, volume 1, pages 457–468, Montpellier, 2011. 155
    • Cédrick FAIRON et Thomas F RANÇOIS : Introduction au Traitement Automatique du Langage Naturel. Cours dispensé à l’Université catholique de Louvain, septembre–décembre 2009.Christiane F ELLBAUM : Wordnet. An electronic lexical database. MIT Press, 1998.Joseph L. F LEISS : Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5) :378–382, november 1971.Nathalie F RIBURGER : Reconnaissance automatique des noms propres. Application à la classification automatique de textes journalistiques. Thèse de doctorat, Université de Tours (LI, Laboratoire d’informatique), 2002.Nathalie F RIBURGER : Linguistique et reconnaissance automatique des noms propres. Meta : journal des traducteurs, 51(4) :637–650, 2006.Nathalie F RIBURGER et Denis M AUREL : Finite-state transducer cascade to extract proper nouns in texts. In Proceedings of 2nd Conference on Implementing and Application of Automata (CIAA’2001), pages 115–124, Pretoria, 2001.Catherine F UCHS : Paraphrase et énonciation. Ophrys, Paris, 1994.Olivier G ALIBERT, Gabriel I LLOUZ et Sophie R OSSET : Ritel : dialogue homme- machine à domaine ouvert. In Actes de la 12e conférence sur le Traitement Automatique des Langues Naturelles, Dourdan, 2005.Donna M. G ATES : Automatically generating reading comprehension look-back strategy questions from expository texts. Mémoire de D.E.A., Carnegie Mellon University, may 2008.Danilo G IAMPICCOLO, Pamela F ORNER, Anselmo P EÑAS, Christelle AYACHE, Dan C RISTEA, Valentin J IJKOUN, Petya O SENOVA, Paulo R OCHA, Bogdan S ACALEANU 156
    • et Richard S UTCLIFFE : Overview of the CLEF 2007 Multilingual Question Answering Track. In Alessandro N ARDI et Carol P ETERS, éditeurs : Working Notes for the CLEF 2007 Workshop, Budapest, Hungary, 19-21 September 2007.Arthur C. G RAESSER : Question asking and answering. In Morton A. G ERNSBACHER, éditeur : Handbook of Psycholinguistics. Academic Press, San Diego, 1994.Maurice G REVISSE et André G OOSSE : Le bon usage. Grammaire francaise. De Boeck Université, Bruxelles, 14e édition, 2007.Maurice G ROSS : Grammaire transformationnelle du français : syntaxe du verbe. Larousse, Paris, 1968.Nabil H ATHOUT, Fiammetta N AMER et Georgette D AL : An experimentational constructional database : The MorTAL project. In Paul B OUCHER, éditeur : Many Morphologies, pages 178–209. Cascadilla Press, 2002.Klaus H EGER : L’analyse sémantique du signe linguistique. Langue française, (4) :44–66, 1969.Michael H EILMAN et Noah A. S MITH : Question Generation via Overgenera- ting Transformations and Ranking. http://www.cs.cmu.edu/~mheilman/ papers/heilman-smith-qg-tech-report.pdf, 2009.Michael H EILMAN et Noah A. S MITH : Extracting simplified statements for factual question generation. In Proceedings of QG2010 : The third workshop of Question Generation, Pittsburgh, 2010a.Michael H EILMAN et Noah A. S MITH : Good Question ! Statistical Ranking for Question Generation. In Proceedings of NAACL/HLT, 2010b.Francis J ACQUES : L’interrogation, force illocutoire et interaction verbale. Langue française, (52) :70–79, 1981. 157
    • Saidalavi K ALADY, Ajeesh E LIKKOTTIL et Das R AJARSHI : Natural language question generation using syntax and keywords. In Proceedings of QG2010 : The third workshop of Question Generation, Pittsburgh, 2010.Richard K AYNE : L’inversion du sujet dans les propositions interrogatives. Le Français Moderne, (41) :10–42, 1973.Dan K LEIN et Christopher D. M ANNING : Accurate Unlexicalized Parsing. In Proceedings of the 41st Meeting of the Association for Computational Linguistics, pages 423–430, 2003.Ronald W. L ANGACKER : French interrogatives : a transformational description. Language, 41(4) :587–600, october-december 1965.Wendy G. L EHNERT : The process of Question-Answering : a computer simulation of cognition. John Wiley & Sons Inc, 1978.Willem J.M. L EVELT : From intention to articulation. MIT Press, Cambridge, 1993.Stephen C. L EVINSON : Pragmatics. Cambridge University Press, Cambridge, 1983.Roger L EVY et Andrew G ALEN : Tregex and Tsurgeon : tools for querying and manipulating tree data structures. In 5th International Conference on Language Resources and Evaluation, 2006.Jean-Luc M ANGUIN : La dictionnairique internet : l’exemple du dictionnaire des synonymes du CRISCO. CORELA – Cognition, Représentation, Langage, (Numéro Spécial), 2005.Frédéric M EUNIER, Laurence D ANLOS et Vanessa C OMBET : EASYTEXT : un sys- tème opérationnel de génération de textes. In Actes de la 18e conférence sur le 158
    • Traitement Automatique des Langues Naturelles, volume 2, page 333, Montpel- lier, 2011.Ruslan M ITKOV et Le An H A : Computer-aided generation of multiple-choice tests. In Proceedings of the HLT-NAACL 2003 Workshop on Building Educational Applications Using Natural Language Processing, pages 17 – 22, Edmonton, Canada, 2003.Ruslan M ITKOV, Le An H A et Nikiforos K ARAMANIS : A computer-aided environ- ment for generating multiple-choice test items. Natural Language Engineering, 12(2) :177–194, 2006.Gérard M OIGNET : Esquisse d’une théorie psycho-mécanique de la phrase inter- rogative. Langages, (3) :49–66, 1966.Christian M OLINIER et Françoise L EVRIER : Grammaire des adverbes : description des formes en -ment. Librairie Droz, Paris–Genève, 2000.Véronique M ORICEAU, Xavier TANNIER et Mathieu FALCO : Une étude des ques- tions « complexes » en question-réponse. In Actes de la 17e Conférence sur le Traitement Automatique des Langues Naturelles, Montréal, Canada, juillet 2010.Rodney D. N IELSEN : Question generation : Proposed challenge tasks and their evaluation. In Workshop on the Question Generation Shared Task and Evaluation Challenge, Arlington, 2008.Slav P ETROV, Leon B ARRETT, Romain T HIBAUX et Dan K LEIN : Learning accurate, compact and interpretable tree annotation. In Proceedings of the 21st Inter- national Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, Sydney, 2006. Association for Computational Linguistics. 159
    • Paul P IWEK et Svetlana S TOYANCHEV : Generating Expository Dialogue from Monologue : Motivation, Corpus and Preliminary Rules. In Proceedings of the 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics and Human Language Technologies, pages 333–336, Los Angeles, California, June 2010.Jeffrey P OMERANTZ : A Linguistic Analysis of Question Taxonomies. Journal of the American Society for Information Science and Technology, 56(7) :715–728, 2005.Claude P ONTON : Génération automatique de textes : 30 ans de réalisations. In Actes du 1er colloque francophone sur la Génération Automatique de Textes (GAT’97), Grenoble, octobre 1997.Ehud R EITER et Robert D ALE : Building applied natural language generation systems. Natural Language Engineering, 3(1), 1997.Ehud R EITER et Robert D ALE : Building Natural Language Generation Systems. Cambridge University Press, 2000.Martin R IEGEL, Jean-Christophe P ELLAT et René R IOUL : Grammaire méthodique du français. PUF, 2009.William P. R OBINSON et Susan J. R ACKSTRAW : A questions of answers, volume 1. Routledge & Kegan Paul, 1972a.William P. R OBINSON et Susan J. R ACKSTRAW : A questions of answers, volume 2. Routledge & Kegan Paul, 1972b.Benoît S AGOT et Darja F IŠER : Construction d’un wordnet libre du français à partir de ressources multilingues. In Actes de la 15e conférence sur le Traitement Automatique des Langues Naturelles, Avignon, 2008. 160
    • Benoît S AGOT, Karën F ORT et Fabienne V ENANT : Extension et couplage de ressources syntaxiques et sémantiques sur les adverbes. In 27e Colloque inter- national sur le lexique et la grammaire, L’Aquila, 2008.John R. S EARLE : Speech Acts : An Essay in the Philosophy of Language. Cambridge University Press, New York, 1995.John H. W OLFE : Automatic question generation from text - an aid to independent study. SIGCUE Outlook, Proceedings of the SIGCSE-SIGCUE joint symposium on Computer science education, 10(SI) :104–112, 1976.Zhemin Z HU, Delphine B ERNHARD et Iryna G UREVYCH : A Monolingual Tree- based Translation Model for Sentence Simplification. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pages 1353–1361, Beijing, China, août 2010. Coling 2010 Organizing Committee.Michael Z OCK et Ruslan M ITKOV : How to ask a foreigner questions without knowing his language ? Proposal for a conceptual interface to communicate thought. In Proceedings of the Natural Language Processing Pacific RIM Sympo- sium, Singapore, 1991.Michael Z OCK et Gérard S ABAH : La génération automatique de textes. In Michel FAYOL, éditeur : Production du langage. Traité des sciences cognitives, pages 263–285. Hermès/Lavoisier, Paris, 2002. 161
    • TABLE DES FIGURES2.1 Architecture d’un système de génération automatique de textes (Zock et Sabah, 2002) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543.1 Regrouper les patrons avec Tregex . . . . . . . . . . . . . . . . . . . . 783.2 Exemple de règle de regroupement de constituants . . . . . . . . . . 814.1 Génération de questions sur le complément de lieu. . . . . . . . . . 904.2 Schéma de l’architecture du système . . . . . . . . . . . . . . . . . . 965.1 Score des questions générées en fonction de la longueur de la phrase de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1055.2 Répartition des types de questions générées . . . . . . . . . . . . . . 1085.3 Score moyen des questions en fonction de leur type . . . . . . . . . 1097.1 Exemple de transducteur pour le repérage des prénoms composés . 1208.1 Extrait du lexique Verbaction . . . . . . . . . . . . . . . . . . . . . . . 142 163
    • LISTE DES TABLEAUX1.1 L’opposition questions totales - questions partielles . . . . . . . . . 221.2 La typologie conceptuelle de Lehnert . . . . . . . . . . . . . . . . . . 241.3 Les cinq catégories additionnelles de Graesser . . . . . . . . . . . . . 241.4 La Typologie de Zock et Mitkov . . . . . . . . . . . . . . . . . . . . . . 281.5 Synthèse : typologie mixte des questions . . . . . . . . . . . . . . . . 301.6 Interrogatifs et modifieurs . . . . . . . . . . . . . . . . . . . . . . . . . 331.7 L’inversion sujet-verbe . . . . . . . . . . . . . . . . . . . . . . . . . . . 392.1 Comparaison GAT-GAQ . . . . . . . . . . . . . . . . . . . . . . . . . . 673.1 Tregex : Regrouper des patrons au moyen d’opérateurs booléens . . 794.1 Typologie des questions . . . . . . . . . . . . . . . . . . . . . . . . . . 885.1 Nombre de questions générées par corpus . . . . . . . . . . . . . . . 985.2 Profil des évaluateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1005.3 Exemples de questions générées associées à leur score majoritaire- ment obtenu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015.4 Évaluation par partie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 165
    • 5.6 Évaluation en fonction de la longueur de la phrase de base . . . . . 1045.8 Évaluation par type de question générée . . . . . . . . . . . . . . . . 1078.1 Table de correspondances pour les questions de quantité et de mesure1358.2 Typologie des problèmes en génération de paraphrases . . . . . . . 143 166
    • A NNEXES
    • ANNEXE A TYPOLOGIE DES RÈGLES DE SIMPLIFICATIONNom de la méthode Explication ExempleadvAdv Rassemble sous un même syntagme deux très calmement adverbes consécutifsadvCoordAdv Rassemble sous un même syntagme deux calmement et librement adverbes coordonnésremoveAdv Supprime de l’arbre tous les syntagmes Il avançait lentement dans la pé- adverbiaux qui ont comme descendant un nombre adverbe en -mentremoveInitAdv Si le nœud le plus à gauche de l’arbre est Alors, il partit adverbial, il est suppriméremoveInitCoord Si le nœud le plus à gauche est une Mais tout est bien qui finit bien conjonction de coordination, il est sup- priméparticipeToAdj Donne le label d’adjectif aux nœuds parti- Le livre commandé à la librairie cipes frères d’un nomadjPP Crée un syntagme adjectival à partir d’un le livre commandé à la librairie adjectif suivi d’un syntagme préposition- neladjAdj Regroupe sous un même syntagme les ad- la grande, majestueuse construc- jectifs qui se suivent tionadjCoordAdj Regroupe sous un même syntagme les ad- la grande et majestueuse construc- jectifs coordonnés tionremoveInitAdj Si le nœud le plus à gauche dans l’arbre Issu d’une famille modeste, il est est un syntagme adjectival, il est supprimé maintenant...nounNoun Regroupe sous un même syntagme les Jack l’éventreur noms qui se suiventnounAdj Si un nœud NP et un nœud AP sont frères, L’homme heureux on les regroupe sous un même NP 169
    • Nom de la méthode Explication ExempleNdeN On regroupe un NP et un PP ayant comme La statue de marbre préposition un « de » sous un même nœud NPnounRelClause un NP suivi d’une Proposition relative L’arbre qui borde la route sont rassemblés sous un nœud NPdoublePP Deux syntagmes prépositionnels dont le à la mer du Nord deuxième a comme préposition un « de » sont réuniscoordPP Deux syntagmes prépositionnels coordon- Dès aujourd’hui et pour trois jours nées sont réunis sous un même nœud PPcoordNP Deux syntagmes nominaux coordonnés Le lièvre et la tortue sont réunis sous un même nœud NPinfinitiveNoun Un infinitif et un NP consécutifs sont Faire des courses réunis sous le nœud infinitifinfinitiveAdv Un infinitif suivi d’un adverbe sont réunis parler fort sous le nœud infinitifinfinitivePP Un infinitif suivi d’un syntagme préposi- venir de loin tionnel sont réunis sous le nœud infinitifinfInf Deux infinitifs consécutifs sont réunis faire faire sous un même nœudverbAndInf Un verbe suivi d’un infinitif sous réunis Nous allons travailler sous le nœud verbalnounIV Un nom et un infinitif qui se suivent sont Un manque à gagner réunis sous le nœud nominalsupportVerbAnd- Un verbe support avec nom prédicatif Ils font partie d’un groupe extrê-PredicativeNoun sont réunis sous le nœud verbal misteremoveInitPP Si le nœud le plus à gauche de l’arbre est Dans la conjoncture actuelle, ce un syntagme prépositionnel, il est sup- n’est pas possible primé 170
    • ANNEXE B CORPUS D’ÉVALUATIONWIKI-SIMPLE 1. Le riz est la céréale la plus utilisée comme aliment par l’homme. – Qu’est-ce qui est la céréale la plus utilisée comme aliment par l’homme ? – Que Le riz est plus utilisée comme aliment par l’homme ? – Est-ce que Le riz est la céréale la plus utilisée comme aliment par l’homme ? 2. Cette graine contient beaucoup d’amidon, un sucre complexe apportant de l’énergie à l’organisme. – Qu’est-ce qui contient beaucoup d’amidon un sucre complexe apportant de l’énergie à l’organisme ? – Que contient Cette graine beaucoup d’amidon ? – De quoi Cette graine contient-elle beaucoup un sucre complexe apportant de l’énergie à l’organisme ? – Est-ce que Cette graine contient beaucoup d’amidon un sucre complexe apportant de l’énergie à l’organisme ? 3. Les locomotives peuvent avoir un moteur électrique ou diesel. – Qu’est-ce qui peut avoir un moteur électrique ou diesel ? – Est-ce que Les locomotives peuvent avoir un moteur électrique ou diesel ? 4. Le train a un moteur. – Qu’est-ce qui a un moteur ? – Qu’a Le train ? – Est-ce que Le train a un moteur ? 5. Le riz se cultive le plus souvent dans des rizières inondées d’eau. – Qu’est-ce qui se cultive le plus souvent dans des rizières inondées d’eau ? – Que se cultive Le riz souvent dans des rizières inondées d’eau ? 171
    • – Est-ce que Le riz se cultive le plus souvent dans des rizières inondées d’eau ? 6. Il a des roues en fer. – Qui a des roues en fer ? – Qu’a-t-Il en fer ? – En quoi a-t-Il des roues ? – Est-ce qu’Il a des roues en fer ? 7. En France, pour permettre une meilleure fréquentation de ses trains, la SNCF a mis en service le TGV en 1981. – Qu’est-ce qui a mis en service le TGV en 1981 ? – Qu’a mis la SNCF en service en 1981 ? – En quoi la SNCF a-t-il mis le TGV en 1981 ? – Quand la SNCF a-t-il mis en service le TGV ? – En quelle année la SNCF a-t-il mis en service le TGV ? – Est-ce que la SNCF a mis en service le TGV en 1981 ? 8. Le train roule sur les rails. – Qu’est-ce qui roule sur les rails ? – Sur quoi Le train roule-t-il ? – Est-ce que Le train roule sur les rails ? 9. Le riz blanc apporte environ 330 Kcal pour 100 grammes de grain. – Qu’est-ce qui apporte environ 330 Kcal pour 100 grammes de grain ? – Qu’apporte Le riz blanc environ pour 100 grammes de grain ? – Pour quoi Le riz blanc apporte environ 330 Kcal ? – Est-ce que Le riz blanc apporte environ 330 Kcal pour 100 grammes de grain ? 10. La locomotive qui tire le train a été inventée en 1804. – Qui est inventée en 1804 ? – Quand a-La locomotive qui tire été inventée ? – En quelle année a-La locomotive qui tire été inventée ? – Est-ce que le train a été inventée en 1804 ?WIKI 1. Il désigne l’ensemble des plantes du genre Oryza, parmi lesquelles deux espèces sont cultivées : Oryza sativa et Oryza glaberrima, ou riz de Casa- mance. – Qui désigne l’ensemble des plantes du genre Oryza ou riz de Casamance ? – Que désigne-t-Il ? – Est-ce qu’Il désigne l’ensemble des plantes du genre Oryza ou riz de Casamance ? 172
    • 2. Si tous les éléments du train sont motorisés, le train est une rame automo- trice. – Si qu’est-ce qui est une rame automotrice ? – Si que tous les éléments du train sont-ils motorisés est une rame automo- trice ? – Est-ce que le train est une rame automotrice ?3. En fonction des cultivateurs, on obtient du riz blanc (Chine, Inde, France), du riz cargo (Chine), rouge Madagascar, jaune (Iran), violet (Laos), du riz gluant (Chine, Indonésie, Laos). . . consommé en grains, en pâte, en soupe, ou en dessert (riz au lait) par exemple.4. Un train est un véhicule guidé circulant sur des rails. – Qu’est-ce qui est un véhicule guidé circulant sur des rails ? – Qu’Un train est-il ? – Est-ce qu’Un train est un véhicule guidé circulant sur des rails ?5. La riziculture pluviale, sans inondation du champ, se distingue de la rizi- culture inondée où le niveau d’eau n’est pas contrôlé, et de la riziculture irriguée où la présence d’eau et son niveau sont contrôlés par le cultivateur. – La riziculture pluviale et de la riziculture irriguée où qu’est-ce qui est contrôlé par le cultivateur ? – La riziculture pluviale et de la riziculture irriguée où par quoi la présence d’eau et son niveau sont-il contrôlés ? – Est-ce que la présence d’eau et son niveau sont contrôlés par le cultiva- teur ?6. Un train est composé de plusieurs voitures (pour transporter des personnes) et/ou de plusieurs wagons (pour transporter des marchandises), et peut être tracté par une locomotive. – Qu’est-ce qui est composé de plusieurs voitures et peut être tracté par une locomotive ? – De quoi Un train est-il composé et peut être tracté par une locomotive ? – Est-ce qu’Un train est composé de plusieurs voitures et peut être tracté par une locomotive ?7. Un champ cultivé en riz est nommé rizière. – Qu’est-ce qui est nommé rizière ? – Est-ce qu’Un champ cultivé en riz est nommé rizière ?8. C’est la première céréale mondiale pour l’alimentation humaine, la deuxième après le maïs pour le tonnage récolté. – Qui est la première céréale mondiale pour l’alimentation humaine la deuxième après le maïs pour le tonnage récolté ? – Qu’est-ce après le maïs pour le tonnage récolté ? 173
    • – Après quoi est-ce la première céréale mondiale pour l’alimentation hu- maine la deuxième pour le tonnage récolté ? – Est-ce que C’est la première céréale mondiale pour l’alimentation hu- maine la deuxième après le maïs pour le tonnage récolté ? 9. Bien avant l’invention de la voie ferrée, on appelait « train » un convoi de bateaux solidaires les uns des autres, pour mettre en commun les équipages et l’énergie du vent. 10. D’autres modes de traction marginaux ont été (et sont parfois encore) utili- sés : animaux (chevaux, bœufs), câbles, cordes et cabestans, gravité, pneu- matique, turbines, etc.PRESSE 1. Les expérimentations sur les animaux vont être très strictement encadrées et limitées en Europe, et celles sur les grands singes interdites, après le vote hier par le Parlement européen d’un texte sur la protection animale. – Qu’est-ce qui sur les animaux va être très encadrées et limitées en Europe après le vote hier par le Parlement européen d’un texte sur la protection animale ? – Où Les expérimentations sur les animaux vont être très encadrées-elles et limitées après le vote hier par le Parlement européen d’un texte sur la protection animale ? 2. Le but de ces internats est d’accueillir des collégiens, lycéens et étudiants «motivés» venant «de milieux modestes ou défavorisés» et qui «ne disposent pas de conditions matérielles favorables» chez eux pour étudier. – Qu’est-ce qui est d’accueillir des collégiens lycéens et étudiants motivés venant de milieux modestes ou dé favorisés et qui ne disposent pas de conditions matérielles favorables chez eux pour étudier ? – Que Le but de ces internats est-il d’accueillir des collégiens et étudiants de milieux modestes ou et qui ne disposent pas de conditions matérielles chez eux pour étudier ? – Est-ce que Le but de ces internats est d’accueillir des collégiens lycéens et étudiants motivés venant de milieux modestes ou dé favorisés et qui disposent de conditions matérielles favorables chez eux pour étudier ? 3. L’internat d’excellence de Marly-Le-Roy accueille 139 élèves allant de la cinquième à la première (76 collégiens et 63 lycéens). – Qu’est-ce qui - Le - Roy accueille 139 élèves allant de la cinquième à la première ? – Qu’accueille L’internat d’excellence de Marly ? – Est-ce que Roy accueille 139 élèves allant de la cinquième à la première ? 174
    • 4. Le poste de commandement de la SNCF a aussitôt stoppé la circulation des trains entre Rouen et Le Havre. – Qu’est-ce qui a aussitôt stoppé la circulation des trains entre Rouen et Le Havre ? – Où Le poste de commandement de la SNCF a-t-il aussitôt stoppé la circu- lation des trains et Le Havre ? – Dans quelle ville Le poste de commandement de la SNCF a-t-il aussitôt stoppé la circulation des trains et Le Havre ? – Est-ce que Le poste de commandement de la SNCF a aussitôt stoppé la circulation des trains entre Rouen et Le Havre ?5. En tout, 11 établissements de ce type ont ouvert en cette rentrée.6. L’observatoire volcanologique du Piton de la Fournaise enregistre depuis le 14 août une augmentation lente mais continue du nombre de séismes. – Qu’est-ce qui enregistre depuis le 14 août une augmentation lente mais continue du nombre de séismes ? – Qu’enregistre L’observatoire volcanologique du Piton de la Fournaise depuis le 14 août ? – Depuis quand L’observatoire volcanologique du Piton de la Fournaise enregistre-t-il une augmentation lente mais continue du nombre de séismes ? – Depuis quel mois L’observatoire volcanologique du Piton de la Four- naise enregistre-t-il une augmentation lente mais continue du nombre de séismes ? – Est-ce que L’observatoire volcanologique du Piton de la Fournaise enre- gistre depuis le 14 août une augmentation lente mais continue du nombre de séismes ?7. Les passagers blessés, dont un Britannique, se trouvaient à bord du train dont les deux premières voitures ont déraillé, sans se renverser, après avoir percuté le camion, qui avait glissé sur la voie après une sortie de route, près de Lambrecht, en Rhénanie-Palatinat (ouest de l’Allemagne).8. A ce stade, l’accès à l’enclos du Piton de la Fournaise demeure accessible au public. – Qu’est-ce qui à l’enclos du Piton de la Fournaise demeure accessible au public ? – Comment demeure l’accès ?9. Les expériences sur des grands singes tels que les chimpanzés, les gorilles et les orangs-outans vont être interdites. – Les expériences sur des grands singes tels que qu’est-ce qui les gorilles et les orangs-outans va être interdites ? – Est-ce que les gorilles et les orangs-outans vont être interdites ? 175
    • 10. Désormais, l’utilisation d’animaux ne pourra être réalisée que pour les expériences ayant pour but de faire avancer la recherche sur l’homme, les animaux et les maladies (cancers, scléroses multiples, maladie d’Alzheimer et de Parkinson). 176