Este documento propone una metodología para evaluar sistemas de monitorización de contenidos generados por usuarios. Primero discute factores importantes como autoridad y polaridad. Luego, presenta métricas como temporalidad y agregación para evaluar la capacidad de los sistemas para identificar temas a través del tiempo. Finalmente, sugiere aplicar estas métricas a modelos existentes y desarrollar interfaces de usuario para mejorar la interpretación.
Caracterización de una entidad basada en opiniones: un estudio de caso
Evaluación de sistemas de monitorización de contenidos generados por usuarios
1. Evaluación de sistemas de monitorización de
contenidos generados por usuarios
Enrique Amigó, Damiano Spina Bernardino Beotas
Grupo PLN y RI de la UNED Grupo ALMA
{enrique,damiano}@lsi.uned.es b.beotas@almatech.es
nlp.uned.es www.grupoalma.com
Workshop on Opinion Mining and Sentiment Analysis
CAEPIA 2009
Sevilla, España
2. Evaluación de sistemas de monitorización de
contenidos generados por usuarios (UGCs)
Introducción
› Gestión de reputación online
› Informe de monitorización
Estado del arte
› Modelos para la monitorización de temas
› Evaluación de modelos
Propuesta de metodología de evaluación
Conclusiones y posibilidades futuras
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
3. UGCs y Gestión de reputación online
Contenido Generado por Usuario
› User Generated Content (UGC)
› Blogs, Foros, Sitios de valoraciones, redes sociales
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
4. UGCs y Gestión de reputación online
Contenido Generado por Usuario
› User Generated Content (UGC)
› Blogs, Foros, Sitios de valoraciones, redes sociales
Gestión de la reputación online (Online Reputation Management, ORM)
› Auditoría de imagen
Fotografía: la entidad en la Web
› Monitorización
Alertas
Análisis continuo
› Definición de Estrategia
Participación en las conversaciones
Generación de Contenido
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
5. UGCs y Gestión de reputación online
Contenido Generado por Usuario
› User Generated Content (UGC)
› Blogs, Foros, Sitios de valoraciones, redes sociales
Gestión de la reputación online (Online Reputation Management, ORM)
› Auditoría de imagen
Fotografía: la entidad en la Web
› Monitorización
Alertas
Análisis continuo
› Definición de Estrategia
Participación en las conversaciones
Generación de Contenido
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
6. Monitorización de la reputación online
UGCs
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
7. Monitorización de la reputación online
UGCs
Informe de
monitorización
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
8. El informe de monitorización
Informe de monitorización
› Opiniones más relevantes en un intervalo de tiempo
› Estructurado por fuentes
› Referencias a los documentos
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
9. El informe de monitorización
Informe de monitorización
› Opiniones más relevantes en un intervalo de tiempo
› Estructurado por fuentes
› Referencias a los documentos
Relevancia de un documento
› Polaridad a nivel de reputación
"Las acciones de X han bajado un 40%"
› Autoridad de la fuente
Nº de comentarios, posicionamiento en buscadores, nº de visitas…
› Novedad
› Propagabilidad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
10. Monitorización: ¿Qué tienen en cuenta los expertos?
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
11. Monitorización: ¿Qué tienen en cuenta los expertos?
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
12. Monitorización: ¿Qué tienen en cuenta los expertos?
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
13. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
14. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
TREC Blog Track,
MOAT NTCIR Subjetividad
Feature-based
Opinion mining Polaridad SemEval2007
Swotti Frecuencia
Temas
Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
15. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Frecuencia
BlogPulse, Technorati Temas
Temporalidad
Herramientas Autoridad
SEO
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
16. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
distribución de términos, Temas
modelos probabilísticos
Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
17. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
18. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
19. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
20. Monitorización: ¿Qué tienen en cuenta los expertos?
Opinión Factual
Ambigüedad (IR) Opinion Mining &
Sentiment Analysis
Subjetividad Análisis de la
blogosfera
Polaridad
Monitorización de
Frecuencia temas
Temas
Informe de
monitorización Temporalidad
Autoridad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
21. Requisitos del problema
Requisitos
› Agregación
Identificación de temas tratados en las opiniones
Conocer los temas nuevos y las tendencias
› Temporalidad
Identificación de fenómenos temporales
Novedad
› Interpretabilidad
Interpretar los temas identificados
› Accesibilidad
Exploración de documentos asociados a los temas
Selección de documentos para el informe de monitorización
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
22. Estado del arte
Modelos para la monitorización de temas
› Tema ≈ término
tfcidf (Gruhl et al., 2004)
› Tema ≈ variable oculta en una red bayesiana
pLSI (Chou & Chen, 2008)
Mixture models (Mei et al., 2006)
Topics Over Time (Wang & McCallum, 2006)
Dynamic Topic Model (Blei & Lafferty, 2006)
Multiscale Topic Tomography (Nallapati et al., 2007)
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
23. Estado del arte
Metodologías de evaluación
› Evaluación cualitativa de los resultados
Subjetiva
No permite comparar modelos
› Evaluación intrínseca
No permiten evaluar todos los requisitos
Métricas de clustering
Perplejidad -> sólo modelos probabilísticos
› Evaluación extrínseca
Temas extraídos automaticamente vs. Temas extraídos manualmente
– Gold standard para subtemas
Topic Detection and Tracking (TDT)
– Centrada en eventos periodísticos
– documento-evento: relación uno-a-uno
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
24. Propuesta de metodología de evaluación
P(x|y): distribución de probabilidad de x dada una instancia de la variable y.
Métricas:
› Temporalidad y agregación
› Accesibilidad
› Capacidad predictiva e Interpretabilidad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
25. Métrica 1: Temporalidad
Identificación de fenómenos temporales
Documentos conectados por un tema deberían de estar
temporalmente próximos
Dos documentos están conectados si hablan de un mismo
tema
: Distancia temporal entre los documentos d y d’
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
26. Métrica 2: Agregación
Capacidad de agrupar documentos que comparten un mismo
tema
Documentos explícitamente relacionados deberían de
compartir temas
Relaciones explícitas:
› Fuente
’
<da,da> : explícitamente relacionados
› Autor <db,d’ > : no explícitamente relacionados
c
› Enlaces
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
27. Métrica 3: Accesibilidad
Capacidad de dar acceso a los n documentos más relevantes
de cada tema
Anotación de los expertos
Curvas de precisión y cobertura
: conjunto de los n documentos con mayor P(d|θ) de cada
tema
: conjunto de documentos relevantes según el experto
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
28. Métrica 4: Capacidad predictiva
Capacidad de predecir el comportamiento de los temas en un
futuro próximo
P(t|θ)
Evaluación indirecta (Wang & McCallum, 2006)
› Un modelo capaz de predecir la fecha de un documento tiene más
capacidad predictiva en general
› P(t|d)
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
29. Métrica 5: Interpretabilidad
Capacidad de generar temas interpretables por el usuario
P(w| θ)
No es posible anotar manualmente todas las palabras
representativas posibles
Evaluación manual con usuarios de prueba
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
30. Conclusiones
Factores importantes para la
monitorización de la reputación online
› autoridad, polaridad, novedad, propagabilidad
› Contenido Generados por Usuarios (UGCs)
Esbozo de una metodología de evaluación
› Comparar modelos de monitorización de temas
› Temporalidad y agregación
› Accesibilidad
› Capacidad predictiva e interpretabilidad
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
31. Posibilidades futuras
Aplicar métricas a modelos existentes de monitorización de
temas (temporalidad y agregación)
Definir un modelo que tenga en cuenta la autoridad de las
fuentes
Definir una metodología de anotación para aplicar la métrica
de accesibilidad
Aplicación de las métricas capacidad predictiva e
interpretabilidad
› Definición de interfaces de usuario comunes para los modelos
existentes
Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Natural Grupo ALMA
nlp.uned.es www.grupoalma.com
32. Evaluación de sistemas de monitorización de contenidos
generados por usuarios
¡Muchas gracias!
Enrique Amigó, Damiano Spina Bernardino Beotas
Grupo PLN y RI de la UNED Grupo ALMA
{enrique,damiano}@lsi.uned.es b.beotas@almatech.es
nlp.uned.es www.grupoalma.com
Workshop on Opinion Mining and Sentiment Analysis
CAEPIA 2009
Sevilla, España