1.
étude de la pertinence de critères derecherche en recherche dinformations surdes données structuréesKris JACK et Florence DUCLAYEFrance Télécom Recherche & DéveloppementPeCUSI (Prise en compte de lutilisateur dans les systèmes dinformation)INFORSID0722/05/07 recherche & développement

2.
sommaire1. problématique2. contexte de létude3. FTSem : un système de recherche dinformations personnalisées4. étude 1 : La pertinence relative des caractéristiques5. étude 2 : étude à lévaluation de FTSem personnalisé6. conclusions recherche & développement Groupe France Télécom

3.
1problématique recherche & développement Groupe France Télécom

4.
problématiqueproblématique  trouver une émission de télévision parmi uncontexte grand nombre de programmes proposés estFTSem difficileétude 1  les méthodes de recherches classiques (ex :étude 2 feuilleter un programme télé ou zapper)conclusions  peuvent être laborieuses  prendre beaucoup de temps  le téléspectateur ne trouvera pas forcément lémission la plus appropriée  solution possiblela personnalisation recherche & développement Groupe France Télécom

5.
problème abordéproblématique  pour choisir une émission, le téléspectateur vacontexte se baser sur plusieurs caractéristiques parmiFTSem lesquelles : le genre, le réalisateur, etc.étude 1  lors de la recherche dune émission, deuxétude 2 personnes peuvent donner à cesconclusions caractéristiques différentes valeurs  ex : une personne trouvera le réalisateur plus pertinent, tandis quune autre personne trouvera que cest le genre  est-il possible pour un système de recherche dinformations de prendre en compte la pertinence relative de la caractéristique? recherche & développement Groupe France Télécom

6.
2contexte de létude recherche & développement Groupe France Télécom

7.
profil utilisateurproblématique  un système dinformation est normalement personnalisécontexte en créant un profil utilisateur pour chaque personne  lors dune recherche le système consulte ce profil afinFTSem de personnaliser ses réponsesétude 1  différentes manières de le créer et de le mettre à jour :étude 2  en entrant des données explicitement (Gaush et al., 2003)conclusions  par apprentissage automatique (DeLuca et al., 2005)  en sauvegardant les opinions (Yu et al., 2004)  en dialoguant (Krulwich, 1997)  de nombreuses informations peuvent être enregistrées  les données personnelles, le style cognitif ou dapprentissage, les données concernant le but, lexpérience du système et du domaine recherche & développement Groupe France Télécom

8.
préférencesproblématique  les préférences “are multiple, heterogeneous,contexte changing (and) even contradictory” (Vallet etFTSem al., 2006)étude 1  différentes classification existent :étude 2  qualitative vs. quantitative (Chomicki, 2003)  persistante vs. éphémère (Sugiyama et al., 2004)conclusions  dure vs. douce (Berners-Lee et al., 2001)  indépendante vs. prioritaire (Siberski et al., 2006)  présente vs. positive vs. négative (Koutrika et al., 2005)  présente vs. absente (Koutrika et al., 2005)  exacte vs. élastique (Koutrika et al., 2005)  bruyante vs. pertinente (Vallet et al., 2006)  les préférences sont dépendantes du contexte (Vallet et al., 2006) recherche & développement Groupe France Télécom

9.
3FTSem : un système de recherche dinformations personnalisées recherche & développement Groupe France Télécom

10.
introduction de FTSemproblématique  FTSem est un système sémantique decontexte recherche d’information qui opère sur desFTSem données structurées intro  lors d’une requête FTSem cherche le résultat requête le plus pertinent dans sa base de données dist. pert.  il contient un profil pour chaque utilisateur apprentis.  le profil utilisateur est consulté afin de trouverétude 1 le résultat le plus pertinentétude 2conclusions Profil de Jack Acteur principal Genre Niveau de pertinence Très pertinent Pertinent Aime Arnold Schwarzenegger Action N’aime pas Woody Allen Comédie recherche & développement Groupe France Télécom

11.
la requêteproblématique  l’utilisateur effectue une requête [*, *, *, *]contexteFTSem  le système compare la requête a chaque intro donnée en utilisant le profil utilisateur requête dist. pert.  afin de trouver la distance entre une requête apprentis. et une réponse nous devons d’abord trouverétude 1 la distance pertinente entre leurs propresétude 2 élémentsconclusions recherche & développement Groupe France Télécom

12.
distance pertinenteproblématique  sachant que la pertinence d’unecontexte caractéristique est marquée sur une échelle àFTSem 3 niveaux, intro  très pertinent (r = 1), pertinent (r = 2) ou pas pertinent (r = 3). requête dist. pert.  la distance pertinente entre * et un paramètre, dépend de l’intérêt de l’utilisateur pour ce apprentis. paramètre (goût, pertinence)étude 1étude 2conclusions Profil de Jack Acteur principal Genre Niveau de pertinence Très pertinent Pertinent Aime Arnold Schwarzenegger Action N’aime pas Woody Allen Comédie recherche & développement Groupe France Télécom

13.
distance pertinente r=1 aime naime pas r=1 1 6 très pertinent (r = 1) r=2 r=2 pertinent (r = 2) r=3 r=3 pas pertinent (r = 3) 2 5 3 4distance pertinente entre * et Arnold Schwarzenegger pour Jack = 1distance pertinente entre * et Woody Allen pour Jack = 6distance pertinente entre * et Action pour Jack = 2distance pertinente entre * et Comédie pour Jack = 5 Profil de Jack Acteur principal Genre Niveau de pertinence Très pertinent Pertinent Aime Arnold Schwarzenegger Action N’aime pas Woody Allen Comédie recherche & développement Groupe France Télécom

14.
distance pertinente r=1 aime naime pas r=1 6 très pertinent (r = 1) r=2 r=2 pertinent (r = 2) r=3 r=3 pas pertinent (r = 3) 2 5 3 4distance pertinente entre * et Arnold Schwarzenegger pour Jack = 1distance pertinente entre * et Woody Allen pour Jack = 6distance pertinente entre * et Action pour Jack = 2distance pertinente entre * et Comédie pour Jack = 5 Profil de Jack Acteur principal Genre Niveau de pertinence Très pertinent Pertinent Aime Arnold Schwarzenegger Action N’aime pas Woody Allen Comédie recherche & développement Groupe France Télécom

15.
distance pertinente r=1 aime naime pas r=1 6 très pertinent (r = 1) r=2 r=2 pertinent (r = 2) r=3 r=3 pas pertinent (r = 3) 2 5 3 4distance pertinente entre * et Arnold Schwarzenegger pour Jack = 1distance pertinente entre * et Woody Allen pour Jack = 6distance pertinente entre * et Action pour Jack = 2distance pertinente entre * et Comédie pour Jack = 5 Profil de Jack Acteur principal Genre Niveau de pertinence Très pertinent Pertinent Aime Arnold Schwarzenegger Action N’aime pas Woody Allen Comédie recherche & développement Groupe France Télécom

16.
distance pertinenteproblématique  la distance entre la requête et la réponse est lacontexte somme des distances pertinentes entre chacunFTSem des éléments intro  donc une requête, r, dans laquelle chaque paramètre est, *, et chaque donnée, i = {f1, f2…fn}, requête a pour distance totale entre ses éléments : dist. pert. total_distance(r, i) = apprentis.étude 1 ∑ relevant_distance(α ,distance(*, f )) j j  plus un paramètre apprécié est pertinent plus la 1≤ j<nétude 2 distance est petiteconclusions  plus un paramètre non aimé est pertinent plus la distance est grande recherche & développement Groupe France Télécom

17.
apprentissage de valeurs pertinentesproblématique  le système peut apprendre des valeurscontexte pertinentes grâce a une liste ordonnée deFTSem données et les goûts de lutilisateur intro requête dist. pert. apprentis.étude 1étude 2conclusions recherche & développement Groupe France Télécom

18.
apprentissage de valeurs pertinentes ordre titre acteur principal genre 1 The Terminator Arnold Schwarzenegger action 2 Predator Arnold Schwarzenegger action 3 Terminator Time Arnold Schwarzenegger comedie 4 Kindergarten Cop Arnold Schwarzenegger comedie 5 Lone Terminator Woody Allen action 6 Rampant Sage Woody Allen action 7 Help a Terminator Woody Allen comedie 8 The Blues Woody Allen comedieprofil de Jack title acteur principal genreniveau de pertinenceaime *Terminator* Arnold Schwarzenegger actionnaimes pas *Love* Woody Allen comedie recherche & développement Groupe France Télécom

19.
apprentissage de valeurs pertinentes ordre titre acteur principal genre 1 The Terminator Arnold Schwarzenegger action 2 Predator Arnold Schwarzenegger action 3 Terminator Time Arnold Schwarzenegger comedie 4 Kindergarten Cop A comedieprofil de Jack title acteur principal genreniveau de pertinence plus pertinentaime *Terminator* Arnold Schwarzenegger actionnaimes pas *Love* Woody Allen comedie recherche & développement Groupe France Télécom

20.
apprentissage de valeurs pertinentes ordre titre acteur principal genre 1 The Terminator Arnold Schwarzenegger action 2 Predator Arnold Schwarzenegger action 3 Terminator Time Arnold Schwarzenegger comedie 4 Kindergarten Cop Arnold Schwarzenegger comedie 5 Lone Terminator Woody Allen action 6 Rampant Sage Woody Allen action 7 Help a Terminator Woody Allen comedie 8 The Blues Woody Allen comedieprofil de Jack title acteur principal genreniveau de pertinence plus pertinent pertinentaime *Terminator* Arnold Schwarzenegger actionnaimes pas *Love* Woody Allen comedie recherche & développement Groupe France Télécom

21.
apprentissage de valeurs pertinentes ordre titre acteur principal genre 1 The Terminator Arnold Schwarzenegger action 2 Predator Arnold Schwarzenegger action 3 Terminator Time Arnold Schwarzenegger comedie 4 Kindergarten Cop Arnold Schwarzenegger comedie 5 Lone Terminator Woody Allen action 6 Rampant Sage Woody Allen action 7 Help a Terminator Woody Allen comedie 8 The Blues Woody Allen comedieprofil de Jack title acteur principal genreniveau de pertinence moin pertinent plus pertinent pertinentaime *Terminator* Arnold Schwarzenegger actionnaimes pas *Love* Woody Allen comedie recherche & développement Groupe France Télécom

22.
4étude 1 : pertinence relative des caractéristiques recherche & développement Groupe France Télécom

23.
pertinence relative des caractéristiquesproblématique  personnaliser FTSem nest utile que si lescontexte utilisateurs ont des opinions différentes surFTSem ces même caractéristiquesétude 1  une étude a été effectuée auprès dindividusétude 2 afin de découvrir sil y a une vraie variétéconclusions d’opinions dans ce domaine  31 participants ont été recrutés  chacun a reçu un questionnaire • 26 caractéristiques de film (ex: titre, chaîne, etc.)  nous avons demandé a chaque participant d’indiquer le niveau de pertinence de chaque caractéristique pour sélectionner le film quil souhaite regarder à la télévision (pas pertinent, pertinent ou très pertinent). recherche & développement Groupe France Télécom

24.
pertinence relative des caractéristiquesproblématique  résultatscontexte  les 31 participants ont répondu (N= 31)FTSem  chaque caractéristique a reçu une note enétude 1 fonction de sa pertinence (pas pertinent = 0,étude 2 pertinent = 1, très pertinent = 2)conclusions recherche & développement Groupe France Télécom

25.
pertinence relative descaractéristiques la pertinence générale est calculée (la majorité indique la même valeur) Relevance Scores f Film Ch or aracteristics 60 very relevant 50 40 relevant 30 20 10 not relevant 0 Characteristics recherche & développement Groupe France Télécom

26.
pertinence relative des caractéristiquesproblématique  les classements sont-ils différents pourcontexte chaque participant?FTSem  51% de la pertinence classée par les participantsétude 1 est la même que la pertinence généraleétude 2  par conséquent si un système considère lesconclusions caractéristiques avec la même pertinence pour tous les utilisateurs, au mieux, il pourra prédire correctement 51% des opinions de l’utilisateur  les résultats confirment que la perception de la pertinence des caractéristiques par les utilisateurs varie considérablement lors de la recherche d’un film recherche & développement Groupe France Télécom

27.
5étude 2 : étude de lévaluation de FTSem personnalisé recherche & développement Groupe France Télécom

28.
étude de lévaluation de FTSem personnaliséproblématique  puisque les opinions des individus sur lacontexte pertinence des caractéristiques diffèrent nousFTSem avons testé notre système pour voir s’ilétude 1 pouvait les exploiterétude 2  une étude a été conduite :conclusions  24 participants ont été recrutés  les participants ont complété un questionnaire sur ordinateur • questionnaire portant sur 4 caractéristiques de films (genre, chaîne, réalisateur et acteurs) recherche & développement Groupe France Télécom

29.
données de lutilisateurproblématique utilisateurcontexteFTSem questionnaireétude 1étude 2conclusions recherche & développement Groupe France Télécom

30.
données de lutilisateurproblématique utilisateurcontexteFTSem questionnaireétude 1étude 2conclusions 3 listes de films profil utilisateur (explicite) exemples aimes pertinence des et naimes pas caractéristiques (explicite) recherche & développement Groupe France Télécom

31.
données de lutilisateurproblématique utilisateurcontexteFTSem questionnaireétude 1étude 2conclusions 3 listes de films profil utilisateur (explicite) 3 listes de films (ordonnées) exemples aimes pertinence des et naimes pas caractéristiques (explicite) recherche & développement Groupe France Télécom

32.
données de lutilisateurproblématique utilisateurcontexteFTSem questionnaireétude 1étude 2conclusions 3 listes de films profil utilisateur (explicite) 3 listes de films (ordonnées) exemples aimes pertinence des et naimes pas caractéristiques (explicite) 3 listes de films (ordonnées et appréciées) recherche & développement Groupe France Télécom

33.
étude de lévaluation de FTSem personnaliséproblématique  étude réalisée :contexte  FTSem personnalisé a été testé pour déterminerFTSem dans quelle mesure il permettait de prédire lordre des descriptions de films produites par lesétude 1 participantsétude 2  les valeurs du profil relatives à la pertinence ont étéconclusions fixées à laide de 2 méthodes : • daprès des notations fournies explicitement par le participant • apprises en utilisant les listes ordonnées recherche & développement Groupe France Télécom

34.
données du systèmeproblématique utilisateurcontexteFTSem questionnaireétude 1étude 2conclusions 3 listes de films profil utilisateur (explicite) 3 listes de films (ordonnées) exemples aimes pertinence des et naimes pas caractéristiques (explicite) 3 listes de films (ordonnées et appréciées) recherche & développement Groupe France Télécom

35.
données du systèmeproblématiquecontexte profil utilisateur (explicite)FTSemétude 1étude 2 exemples aimes pertinence desconclusions et naimes pas caractéristiques (explicite) pertinence des 3 listes de films système caractéristiques (ordonnées) (appris) recherche & développement Groupe France Télécom

36.
étude à lévaluation de FTSem personnaliséproblématique  résultats :contexte  22 participants sur 24 ont répondu à tout leFTSem questionnaire (N=22)étude 1  lordre des films quun participant ne veut pasétude 2 voir est ignoré car il nest pas significatifconclusions  principaux tests : • test de différents systèmes de scoring • comparaison de la pertinence donnée explicitement par les participants avec la pertinence apprise recherche & développement Groupe France Télécom

37.
tests du systèmeproblématique pertinence descontexte caractéristiques (explicite)FTSem 3 listes de filmsétude 1 (ordonnées par exemples aimesétude 2 et naimes pas utilisateur)conclusions système 3 listes de films (pas ordonnées) pertinence des caractéristiques (appris) recherche & développement Groupe France Télécom

38.
tests du système 3 système de scoringsproblématique pertinence descontexte caractéristiques (explicite)FTSem 3 listes de filmsétude 1 (ordonnées par exemples aimesétude 2 et naimes pas utilisateur)conclusions système 3 listes de films 3 listes de films (pas ordonnées) (ordonnées par système) pertinence des caractéristiques (appris) recherche & développement Groupe France Télécom

39.
tests du systèmeproblématique pertinence descontexte caractéristiques (explicite)FTSem 3 listes de filmsétude 1 (ordonnées par exemples aimesétude 2 et naimes pas utilisateur)conclusions système 3 listes de films 3 listes de films (pas ordonnées) (ordonnées par système) pertinence des caractéristiques (appris) 3 système dapprentissage s recherche & développement Groupe France Télécom

40.
comparaison de systèmes de scoringproblématique  résultats des test des systèmes de scoring (pourcontexte les pertinences données explicitement):  scoring à 3 pas (pas pert., pert., très pert.)FTSem  scoring à 4 pas (classement de 1 à 4)étude 1  scoring à 12 pas (combinaison des deux précédents)étude 2 Comparison of Scoring Systems for Perceived Relevanceconclusions 100% 90% 80% 70% 60% 3-Scale 50% 4-Scale 40% Combined Scale 30% 20% 10% 0% 1 (66) 2 (52) 3 (41) 4 (40) 5 (33) 6 (27) Number of Results (Given in Number of Trials) recherche & développement Groupe France Télécom

41.
comparaison de résultats dapprentissagesproblématique  résultats de la comparaison entre pertinencecontexte donnée explicitement et pertinence apprise :FTSem  le système apprend le score de pertinence dun participant à partir dune ou deux listes et prédit laétude 1 troisièmeétude 2 Learned Relevance Vs. Perceived Relevanceconclusions 100% 80% P erceived Relevance 60% Learned from List 1 40% Learned from List 2 Learned from Lists 1 & 2 20% 0% 1 2 3 4 Number of Results recherche & développement Groupe France Télécom

42.
profil A acteur chaîne réalisateur genrepertinence 5.5 11 0.5 3aime Keanu Reeves M6 Steven Spielberg Fantastiquenaime pas Woody Allen France 3 Abel Ferrara Erotiqueprofil B acteur chaîne réalisateur genrepertinence 2.5 11 3 5.5aime Brad Pitt France 2 Tim Burton Sci-finaime pas Tom Cruise TF1 James Cameron Romancesix films ordonnés par participant AOrdre acteur chaîne réalisateur genre Score A Score BDonnée1 Keanu Reeves M6 Steven Spielberg Fantastique 20 222 Keanu Reeves France 3 Steven Spielberg Fantastique 21 233 Woody Allen M6 Steven Spielberg Fantastique 32 404 Woody Allen France 3 Steven Spielberg Fantastique 33 419 Keanu Reeves M6 Steven Spielberg Erotique 37 3410 Keanu Reeves France 3 Steven Spielberg Erotique 38 35 recherche & développement Groupe France Télécom

43.
profil A acteur chaîne réalisateur genrepertinence 5.5 11 0.5 3aime Keanu Reeves M6 Steven Spielberg Fantastiquenaime pas Woody Allen France 3 Abel Ferrara Erotiqueprofil B acteur chaîne réalisateur genrepertinence 2.5 11 3 5.5aime Brad Pitt France 2 Tim Burton Sci-finaime pas Tom Cruise TF1 James Cameron Romancesix films ordonnés par participant BOrdre acteur chaîne réalisateur genre Score A Score BDonnée1 Brad Pitt France 2 Tim Burton Sci-fi 20 222 Brad Pitt France 2 Tim Burton Fantastique 37 343 Brad Pitt TF1 Tim Burton Sci-fi 21 234 Brad Pitt TF1 Tim Burton Fantastique 38 355 Tom Cruise France 2 Tim Burton Sci-fi 32 406 Tom Cruise TF1 Tim Burton Sci-fi 33 41 recherche & développement Groupe France Télécom

44.
étude à lévaluation de FTSem personnaliséproblématique  le FTSem personnalisé peut-il exploiter lacontexte pertinence des caractéristiques pourFTSem améliorer ses résultats ?étude 1  oui. lordre des films peut être amélioré enétude 2 prenant en compte la pertinence desconclusions caractéristiques :  plus la granularité de léchelle est fine, plus les résultats sont bons  plus il y a de données apprises, plus les résultats sont bons  lapprentissage de la pertinence des caractéristiques permet de meilleurs résultats que lutilisation dune pertinence des caractéristiques fournies explicitement recherche & développement Groupe France Télécom

45.
6conclusions recherche & développement Groupe France Télécom

46.
conclusionsproblématique  les individus considèrent que lescontexte caractéristiques ont des degrés de pertinenceFTSem différents.étude 1  un système peut le prendre en compte etétude 2 ainsi améliorer sa réponse à la requêteconclusions  la connaissance de la pertinence des caractéristiques pour un utilisateur donné peut permettre au système de personnaliser ses réponses pour cet utilisateur recherche & développement Groupe France Télécom

47.
Fin Merci de votre attention. recherche & développement Groupe France Télécom