Session 5 Traitement et diffusion des résultats de la veille Par Ahmed Bachr Février 2008

Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Session 1 : Veille et méthodologie de veille Session 2 : Utiliser les outils de recherche Session 3 : Réaliser une veille manuelle Session 4 : Automatiser une cellule de veille Session 5 : traitement et diffusion de l’information de veille

Plan Avant de commencer… Classification de l’information Résumé de texte automatique Traduction de texte automatique Cartographie de l’information Analyse sémantique du texte Livrables de veille Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire

Plan

Avant de commencer…

Classification de l’information

Résumé de texte automatique

Traduction de texte automatique

Cartographie de l’information

Analyse sémantique du texte

Livrables de veille

Avant de commencer… Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Identification des besoins Identification des sources (sourcing) Collecte de l’information Méthode pull (bookmarks, navigation) Méthode push (alertes email, RSS) Analyse traitement Diffusion Veille manuelle =

Avant de commencer…

Identification des besoins

Identification des sources (sourcing)

Collecte de l’information

Méthode pull (bookmarks, navigation)

Méthode push (alertes email, RSS)

Analyse traitement

Diffusion

Classification de l’information Face à l’accroissement de l’information disponible en ligne, la catégorisation automatique de textes s’impose de plus en plus comme une technologie clé dans la gestion de la connaissance, tant interne qu’externe, au sein des organisations. La catégorisation automatique de textes est un domaine scientifique et technique complexe qui requiert des technologies avancées en matière d’intelligence artificielle et de traitement du langage. Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire

Classification de l’information

Face à l’accroissement de l’information disponible en ligne, la catégorisation automatique de textes s’impose de plus en plus comme une technologie clé dans la gestion de la connaissance, tant interne qu’externe, au sein des organisations.

La catégorisation automatique de textes est un domaine scientifique et technique complexe qui requiert des technologies avancées en matière d’intelligence artificielle et de traitement du langage.

1. Classification de l’information : clustering, catégorisation La catégorisation automatique de textes consiste à classer de manière automatisée un corpus documentaire suivant certains critères (le sujet, le style, …). Elle connaît, depuis une douzaine d’années, un fort regain d’intérêt. Cela s’explique essentiellement par la croissance exponentielle des documents numériques disponibles et par la nécessité de les organiser de façon rapide. Séminaire sur la veille documentaire Session 5 : Traitement et diffusion des résultats de la veille

1. Classification de l’information : clustering, catégorisation

La catégorisation automatique de textes consiste à classer de manière automatisée un corpus documentaire suivant certains critères (le sujet, le style, …).

Elle connaît, depuis une douzaine d’années, un fort regain d’intérêt. Cela s’explique essentiellement par la croissance exponentielle des documents numériques disponibles et par la nécessité de les organiser de façon rapide.

1. Classification de l’information : clustering, catégorisation Pour les domaines qui génèrent d’importants flux d’information, il devient difficile d’envisager un système de veille stratégique n’intégrant pas un module de catégorisation automatique. Ainsi, en automatisant la classification du texte, la catégorisation libère des tâches de validation de l’information à faible valeur ajoutée et fortement consommatrice de temps. Tout cela au profit de la phase d’analyse à même d’optimiser le projet de veille. Séminaire sur la veille documentaire Session 5 : Traitement et diffusion des résultats de la veille

1. Classification de l’information : clustering, catégorisation

Pour les domaines qui génèrent d’importants flux d’information, il devient difficile d’envisager un système de veille stratégique n’intégrant pas un module de catégorisation automatique.

Ainsi, en automatisant la classification du texte, la catégorisation libère des tâches de validation de l’information à faible valeur ajoutée et fortement consommatrice de temps. Tout cela au profit de la phase d’analyse à même d’optimiser le projet de veille.

Classification de l’information Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Clusty est un moteur développé par l'équipe de Vivisimo spécialisée dans la fourniture de solution de clustering (catégorisation automatique des résultats par thématiques).

Classification de l’information

Classification de l’information Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire

Classification de l’information

Classification de l’information Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Option « All »

Classification de l’information

2. Résumé de texte automatique Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Le résumé automatique permet d’extraire « à la volée » les phrases essentielles d’un texte ou d’une page web, représentant le sens général du document. Utilisation d’algorithmes basés sur des calculs statistiques et des données linguistiques. Identification des concepts clés d'un texte et extraction des phrases les plus marquantes. Cette technique donne actuellement d’assez bons résultats en permettant de gagner un temps appréciable quand il s’agit d’étudier le contenu de nombreux documents. Moins de temps à lire, sans toutefois manquer l'information essentielle.

2. Résumé de texte automatique

Le résumé automatique permet d’extraire « à la volée » les phrases essentielles d’un texte ou d’une page web, représentant le sens général du document.

Utilisation d’algorithmes basés sur des calculs statistiques et des données linguistiques. Identification des concepts clés d'un texte et extraction des phrases les plus marquantes.

Cette technique donne actuellement d’assez bons résultats en permettant de gagner un temps appréciable quand il s’agit d’étudier le contenu de nombreux documents.

Moins de temps à lire, sans toutefois manquer l'information essentielle.

2. Résumé de texte automatique Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Il existe de nombreux outils de résumé : Faciles à utiliser Permettent d'augmenter de façon substantielle productivité et efficacité Résumés concis de documents ou de pages Web Paramétrage du résumé

2. Résumé de texte automatique

Il existe de nombreux outils de résumé :

Faciles à utiliser

Permettent d'augmenter de façon substantielle productivité et efficacité

Résumés concis de documents ou de pages Web

Paramétrage du résumé

2. Résumé de texte automatique Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Les fonctionnalités : Éventail de formats de textes supportés (html, pdf, txt, doc, rtf, …) Enregistrement des résumés dans différents formats Intégrable à différents navigateurs et clients de messagerie Obtention de résumés à la volée dans l’application tierce

2. Résumé de texte automatique

Les fonctionnalités :

Éventail de formats de textes supportés (html, pdf, txt, doc, rtf, …)

Enregistrement des résumés dans différents formats

Intégrable à différents navigateurs et clients de messagerie

Obtention de résumés à la volée dans l’application tierce

2. Résumé de texte automatique Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Les produits existants : Copernic Summarizer. Voir bref « tour animé » sur http://www.copernic.com/fr/products/summarizer/index.html Pertinence summarizer. Plusieurs langues. Écrit en Java Open Text Summarizer est un outil open source de résumé de texte automatique. http://libots.sourceforge.net/ Sinope summarizer. http://www.sinope.info/en/Download

2. Résumé de texte automatique

Les produits existants :

Copernic Summarizer. Voir bref « tour animé » sur http://www.copernic.com/fr/products/summarizer/index.html

Pertinence summarizer. Plusieurs langues. Écrit en Java

Open Text Summarizer est un outil open source de résumé de texte automatique. http://libots.sourceforge.net/

Sinope summarizer. http://www.sinope.info/en/Download

2. Résumé de texte automatique Outil Pertinence Summarizer Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire

2. Résumé de texte automatique

Outil Pertinence Summarizer

3. Traduction de texte automatique Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Les technologies de la langue, et notamment les logiciels de traduction automatique, représentent des outils essentiels dans les systèmes de veille. Les logiciels de traduction automatique ne remplaceront jamais un traducteur humain et vouloir les exploiter dans ce sens ne peut mener qu'à des déceptions. Toutefois, les outils actuels peuvent apporter une aide réelle pour des usages centrés sur la compréhension de langues peu ou mal connues de l'utilisateur. Les progrès réalisés dans les domaines de la linguistique et de l'informatique permettent aujourd'hui d'utiliser, sur de simples postes de travail, des logiciels performants qui permettent d'obtenir en « premier jet » l'accès à un texte en langue étrangère.

3. Traduction de texte automatique

3. Traduction de texte automatique Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Quelques logiciels de traduction automatique : BILINGUA Ingénierie Linguistique : http://www.bilingua.com/ GLOBALINK : http://www.bmsoftware.com/globalinkpowertranslator6.htm SOFTISSIMO : http://www.softissimo.com/ SYNAPSE : http://www.synapse-fr.com/ SYSTRAN : http://www.systran.co.uk/

3. Traduction de texte automatique

Quelques logiciels de traduction automatique :

BILINGUA Ingénierie Linguistique : http://www.bilingua.com/

GLOBALINK : http://www.bmsoftware.com/globalinkpowertranslator6.htm

SOFTISSIMO : http://www.softissimo.com/

SYNAPSE : http://www.synapse-fr.com/

SYSTRAN : http://www.systran.co.uk/

4. Cartographie de l’information : Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Présentation d’un corpus documentaire (ex. les résultats d’un moteur) sous forme d'une carte reliant entre eux les concepts voisins de la thématique de recherche.

4. Cartographie de l’information :

4. Cartographie de l’information : Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Quelques outils de cartographie Newzingo cartographie l’actualité en scrutant en permanence les actualités de Google en anglais. Il en extrait les faits majeurs sous forme de « tags » et les présente en nuage de mots dans lequel la taille de chaque nouvelle est proportionnelle à son poids relatif dans les faits collectés. Plus un mot est présent dans le flux analysé, plus il est de taille importante. Un clic sur un tag permet d’accéder aux articles détaillés correspondant.

4. Cartographie de l’information :

4. Cartographie de l’information : Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Quelques outils de cartographie Quintura, moteur visuel et textuel. Il représentent graphiquement le résultat des recherches. Quintura présente une fenêtre de résultats en deux sections : à gauche un nuage contextuel comprend les termes de la requête et des concepts déduits de la recherche, à droite, la liste classique des résultats.

4. Cartographie de l’information :

4. Cartographie de l’information : Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Quelques outils de cartographie TagCrowd : outil de navigation et de visualisation des sites du Web 2.0 qui exploite les tags générés par les utilisateurs.

4. Cartographie de l’information :

5. Analyse sémantique du texte : text mining Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Au vu du flot d'informations numériques que nous connaissons aujourd'hui , l’accès aux données textuelles utiles est devenu un vrai casse-tête. Le Text Mining répond, en parti, à cette problématique Son objectif est de donner du sens à des informations non structurées et de faciliter la prise de décision

5. Analyse sémantique du texte : text mining

Le Text Mining répond, en parti, à cette problématique

Son objectif est de donner du sens à des informations non structurées et de faciliter la prise de décision

5. Analyse sémantique du texte : text mining Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Le Text Mining est un processus permettant d'analyser le texte pour extraire les informations pertinentes en vue d'une réutilisation bénéfique pour des buts précis. Des outils logiciels s'appuyant sur des méthodes (linguistiques, réseaux neuronaux, statistiques, …) traduites dans des algorithmes spécialisés vont permettre de « comprendre » artificiellement le texte dans le but d’en extraire une quantité d'information limitée mais pertinente en vue du gain de temps et donc de productivité.

5. Analyse sémantique du texte : text mining

5. Analyse sémantique du texte : text mining Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Critères de sélection d’un logiciel de text mining dans le cadre d’une veille Nombre de formats de documents supportés en entrée (en plus des documents bureautiques traditionnels, il faut aussi pouvoir gérer le SGML, le SML et le HTML) Quantité de langues gérées nativement Acquisition des flux HTTPS et RSS par défaut

5. Analyse sémantique du texte : text mining

Critères de sélection d’un logiciel de text mining dans le cadre d’une veille

Nombre de formats de documents supportés en entrée (en plus des documents bureautiques traditionnels, il faut aussi pouvoir gérer le SGML, le SML et le HTML)

Quantité de langues gérées nativement

Acquisition des flux HTTPS et RSS par défaut

5. Analyse sémantique du texte : text mining Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Quelques exemples d'utilisation du Text Mining Analyse de clientèle : étude des réclamations des clients, raisons des changements de comportements de consommation, analyse de l'image de l'entreprise Veille technologique et stratégique : sur les produits et les tendances d'un marché, sur la concurrence, sur la qualité des prestations fournies Analyse de la presse, synthèse d'articles Questions ouvertes, sondage, enquête d'opinion et de satisfaction Routage et analyse d'email Filtrage de documents, (anti-spam)

5. Analyse sémantique du texte : text mining

Quelques exemples d'utilisation du Text Mining

Analyse de clientèle : étude des réclamations des clients, raisons des changements de comportements de consommation, analyse de l'image de l'entreprise

Veille technologique et stratégique : sur les produits et les tendances d'un marché, sur la concurrence, sur la qualité des prestations fournies

Analyse de la presse, synthèse d'articles

Questions ouvertes, sondage, enquête d'opinion et de satisfaction

Routage et analyse d'email

Filtrage de documents, (anti-spam)

6. Livrables de veille Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Définition : Les livrables de veille sont des documents émis périodiquement ou à la demande qui font la synthèse des recherches ponctuelles ou régulières sur des thèmes ou sur des concurrents selon les besoins d'un groupe d’utilisateurs.

6. Livrables de veille

6. Livrables de veille Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Rapports de veille Newsletters Portail Dossiers de synthèse Identification d’experts Indicateurs Tableaux de bord Rapports d’étonnement Flash infos Revue de presse

6. Livrables de veille

6. Livrables de veille Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Bulletin sous forme d’une page Web dynamique

6. Livrables de veille

6. Livrables de veille Session 5 : Traitement et diffusion des résultats de la veille Séminaire sur la veille documentaire Bulletin au format pdf

6. Livrables de veille

Séminaire sur la veille documentaire Merci pour votre attention