My presentation at SEPLN 2009 on September 9th, 2009

1. Clasificaci´n de P´ginas Web con Anotaciones Sociales
o a
SEPLN 2009
Arkaitz Zubiaga, Raquel Mart´
ınez, V´
ıctor Fresno
NLP & IR Group @ UNED
9 de septiembre de 2009

2. Introducci´n
o
´
Indice
1 Introducci´n
o
2 Conjunto de Datos
3 Experimentos
4 Conclusiones
5 Trabajo Futuro
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 2 / 25

3. Introducci´n
o
¿Qu´ es la Clasificaci´n Autom´tica?
e o a
Disponiendo de un conjunto de documentos:
D = {d1 , ..., d|D| }
Y una serie de categor´ predefinidas:
ıas
C = {c1 , ..., c|C | }
La clasificaci´n autom´tica se conoce como:
o a
dj , ci ∈ D × C
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 3 / 25

4. Introducci´n
o
¿Qu´ son los marcadores sociales? (I)
e
Sitios web que permiten almacenar enlaces de Internet asignando
metadatos.
Delicious1
1
http://delicious.com
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 4 / 25

5. Introducci´n
o
¿Qu´ son los marcadores sociales? (II)
e
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 5 / 25

6. Introducci´n
o
Tipos de Anotaciones Sociales
Etiquetas (Tags): Palabras clave. Ej.: photography, web2.0, images.
Notas (Notes): Descripciones mediante texto libre. Ej.: Flickr is a
website for photo sharing and photo online management.
Destacados (Highlights): Selecciones de partes relevantes de la
p´gina.
a
Cr´ıticas (Reviews): Textos libres haciendo valoraciones subjetivas.
Ej.: Interesting web page with photos.
Valoraciones (Ratings): Puntuaciones ofrecidas. Ej.: de 1 a 5.
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 6 / 25

7. Introducci´n
o
Motivaci´n
o
Los m´todos cl´sicos de clasificaci´n de p´ginas web se basan en el
e a o a
contenido de las propias p´ginas.
a
Motivaci´n: ¿Podr´ ayudar las anotaciones sociales en esta tarea?
o ıan
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 7 / 25

8. Introducci´n
o
Trabajo relacionado
Varios trabajos (Bao et al., 2007; Heymann et al., 2008) muestran la
utilidad de las anotaciones sociales para recuperaci´n de informaci´n.
o o
(Ramage et al., 2009) muestra mejoras en tareas de clustering
utilizando etiquetas.
(Noll y Meinell, 2008) realizan un estudio de las anotaciones sociales,
concluyendo que podr´ resultar interesantes para su utilizaci´n en
ıan o
clasificaci´n de p´ginas web.
o a
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 8 / 25

9. Conjunto de Datos
´
Indice
1 Introducci´n
o
2 Conjunto de Datos
3 Experimentos
4 Conclusiones
5 Trabajo Futuro
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 9 / 25

10. Conjunto de Datos
Conjunto de Datos
Diciembre de 2008 - Enero de 2009: obtenci´n de URLs con m´s de
o a
100 anotaciones en Delicious.
87.096 URLs.
Clasificaci´n de estas URLs en Open Directory Project2 (ODP).
o
Coincidencia sobre 12.616 URLs.
17 categor´ de primer nivel.
ıas
No balanceado.
Obtenci´n de anotaciones:
o
N´m. usuarios que lo anotan3 .
u
Lista Top 10 de etiquetas3 .
Actividad Completa de Etiquetas (ACE)3 .
Notas3 .
Cr´ıticas4 .
Destacados5 .
2
http://www.dmoz.org
3
Delicious
4
StumbleUpon - http://www.stumbleupon.com
5
Diigo - http://diigo.com
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 10 / 25

11. Experimentos
´
Indice
1 Introducci´n
o
2 Conjunto de Datos
3 Experimentos
4 Conclusiones
5 Trabajo Futuro
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 11 / 25

12. Experimentos
Configuraci´n
o
M´quinas de Vectores de Soporte (SVM).
a
SVMmulticlass6
Evaluaci´n: Accuracy.
o
M´ltiples conjuntos de entrenamiento.
u
6 ejecuciones por cada conjunto.
6
http://svmlight.joachims.org
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 12 / 25

13. Experimentos
Clasificaci´n con Etiquetas (I)
o
Etiquetas sin pesos.
Etiquetas ordenadas.
Porcentaje de usuarios.
Etiquetas con pesos (Top 10).
Etiquetas con pesos (ACE).
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 13 / 25

14. Experimentos
Clasificaci´n con Etiquetas (II)
o
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 14 / 25

15. Experimentos
Clasificaci´n con Comentarios (I)
o
S´lo notas.
o
Uniendo notas y cr´
ıticas.
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 15 / 25

16. Experimentos
Clasificaci´n con Comentarios (II)
o
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 16 / 25

17. Experimentos
Comparaci´n con Baseline (Contenido) (I)
o
Contenido.
Comentarios.
Etiquetas.
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 17 / 25

18. Experimentos
Comparaci´n con Baseline (Contenido) (I)
o
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 18 / 25

19. Experimentos
Combinaci´n de Clasificadores (I)
o
Etiquetas + contenido.
Etiquetas + comentarios.
Comentarios + contenido.
Etiquetas + comentarios + contenido.
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 19 / 25

20. Experimentos
Combinaci´n de Clasificadores (II)
o
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 20 / 25

21. Conclusiones
´
Indice
1 Introducci´n
o
2 Conjunto de Datos
3 Experimentos
4 Conclusiones
5 Trabajo Futuro
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 21 / 25

22. Conclusiones
Conclusiones
Hemos analizado y evaluado la utilizaci´n de anotaciones sociales
o
para clasificaci´n de p´ginas web.
o a
Algunas anotaciones no son suficientemente populares.
Las etiquetas y los comentarios lo son.
Tanto las etiquetas como los comentarios superando los resultados
basados en contenido.
La combinaci´n de los 3 tipos de datos mejora a´n m´s.
o u a
Corroboramos la conclusi´n de (Noll y Meinell, 2008), demostrando
o
de forma cuantitativa la utilidad de las anotaciones sociales para
clasificaci´n de p´ginas web.
o a
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 22 / 25

23. Trabajo Futuro
´
Indice
1 Introducci´n
o
2 Conjunto de Datos
3 Experimentos
4 Conclusiones
5 Trabajo Futuro
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 23 / 25

24. Trabajo Futuro
Trabajo Futuro
Clasificaci´n a m´s bajo nivel.
o a
Filtrado de etiquetas y comentarios inadecuados.
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 24 / 25

25. Trabajo Futuro
Muchas Gracias
Achiu Arigato Danke Dhannvaad Dua Netjer en ek Efcharisto
Gracias Gr`cies
a Gratia Grazie Guishepeli
Hvala Kiitos K¨sz¨n¨m Merc´ Merci Mila
o o o e
esker Obrigado Shukran Tack Tak Takk Shukriya
T¨nan Tapadh leat Tesekk¨r ederim Thank
a u
you Toda
Zubiaga, Mart´
ınez, Fresno (UNED) Clasificaci´n con Anotaciones Sociales
o 9 de septiembre de 2009 25 / 25