Etiketa-lainoen ikuskera hobetzeko multzokatzea

  • 149 views
Uploaded on

My presentation at IEB 2009 on May 7th, 2009 (in Basque language)

My presentation at IEB 2009 on May 7th, 2009 (in Basque language)

More in: Technology , Spiritual
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
149
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Etiketa-lainoen Ikuskera Hobetzeko Multzokatzea Informatikari Euskaldunen Bilkura ’09 Arkaitz Zubiaga Alberto P. Garc´ıa-Plaza V´ ıctor Fresno Raquel Mart´ ınez NLP & IR Group @ UNED 2009ko maiatzaren 7a
  • 2. SarreraAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 2 / 26
  • 3. SarreraEtiketatze sinplea Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 3 / 26
  • 4. SarreraElkarlanean etiketatzea Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 4 / 26
  • 5. SarreraEtiketa-lainoa Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 5 / 26
  • 6. SarreraEtiketa-lainoa Antolaketa eza. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 5 / 26
  • 7. SarreraEtiketa-lainoa Antolaketa eza. 3 etiketa mota ezberdindu ohi dira: Gaiari lotutako etiketak: programming. Etiketa subjektiboak: interesting. Etiketa pertsonalak: toread. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 5 / 26
  • 8. SarreraMotibazioa Antolaketa ezaren aurrean, etiketen arteko zerikusiaren araberako multzokatzea. Ondorioz: Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 6 / 26
  • 9. SarreraMotibazioa Antolaketa ezaren aurrean, etiketen arteko zerikusiaren araberako multzokatzea. Ondorioz: Ikuskera eta bilaketa erraztea. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 6 / 26
  • 10. SarreraMotibazioa Antolaketa ezaren aurrean, etiketen arteko zerikusiaren araberako multzokatzea. Ondorioz: Ikuskera eta bilaketa erraztea. Modu errazean lotuta dauden etiketetara harpidetzea. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 6 / 26
  • 11. SarreraMotibazioa Antolaketa ezaren aurrean, etiketen arteko zerikusiaren araberako multzokatzea. Ondorioz: Ikuskera eta bilaketa erraztea. Modu errazean lotuta dauden etiketetara harpidetzea. Aurreko lan batzuek etiketak batera agertzearen arabera egin dute hau. Edukia kontuan hartu nahi dugu guk. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 6 / 26
  • 12. Datuak EskuratzeaAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 7 / 26
  • 13. Datuak EskuratzeaDatuak eskuratzea Hasiera puntua: Deliciouseko 140 etiketa erabilienak (T140, etiketa-lainoa). Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 8 / 26
  • 14. Datuak EskuratzeaDatuak eskuratzea Hasiera puntua: Deliciouseko 140 etiketa erabilienak (T140, etiketa-lainoa). Etiketak monitorizatzea: ∼6.000 dokumentu/etiketa (∼840.000 dok., html eta pdf). Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 8 / 26
  • 15. Datuak EskuratzeaDatuak eskuratzea Hasiera puntua: Deliciouseko 140 etiketa erabilienak (T140, etiketa-lainoa). Etiketak monitorizatzea: ∼6.000 dokumentu/etiketa (∼840.000 dok., html eta pdf). Datuak jaistea: Dokumentu bakoitzaren etiketa-informazioa. Web dokumentuen edukia jaistea. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 8 / 26
  • 16. Datuak EskuratzeaDatuak eskuratzea Hasiera puntua: Deliciouseko 140 etiketa erabilienak (T140, etiketa-lainoa). Etiketak monitorizatzea: ∼6.000 dokumentu/etiketa (∼840.000 dok., html eta pdf). Datuak jaistea: Dokumentu bakoitzaren etiketa-informazioa. Web dokumentuen edukia jaistea. Iragazpena: Ingelesezko dokumentuak, eta etiketa informaziodunak. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 8 / 26
  • 17. Datuak EskuratzeaDatuak eskuratzea Hasiera puntua: Deliciouseko 140 etiketa erabilienak (T140, etiketa-lainoa). Etiketak monitorizatzea: ∼6.000 dokumentu/etiketa (∼840.000 dok., html eta pdf). Datuak jaistea: Dokumentu bakoitzaren etiketa-informazioa. Web dokumentuen edukia jaistea. Iragazpena: Ingelesezko dokumentuak, eta etiketa informaziodunak. Emaitza: 144.574 dokumentu (balantzatu gabea). Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 8 / 26
  • 18. Proposatutako MetodoaAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 9 / 26
  • 19. Proposatutako MetodoaAdierazpena Dokumentu bakoitzeko etiketa esanguratsuenak: lehenaren %40,7 gutxienez Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 10 / 26
  • 20. Proposatutako MetodoaAdierazpena Dokumentu bakoitzeko etiketa esanguratsuenak: lehenaren %40,7 gutxienez Etiketa bakoitzeko dokumentuak bakarrean batzea. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 10 / 26
  • 21. Proposatutako MetodoaAdierazpena Dokumentu bakoitzeko etiketa esanguratsuenak: lehenaren %40,7 gutxienez Etiketa bakoitzeko dokumentuak bakarrean batzea. Hitz hutsak. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 10 / 26
  • 22. Proposatutako MetodoaAdierazpena Dokumentu bakoitzeko etiketa esanguratsuenak: lehenaren %40,7 gutxienez Etiketa bakoitzeko dokumentuak bakarrean batzea. Hitz hutsak. Stemming. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 10 / 26
  • 23. Proposatutako MetodoaAdierazpena Dokumentu bakoitzeko etiketa esanguratsuenak: lehenaren %40,7 gutxienez Etiketa bakoitzeko dokumentuak bakarrean batzea. Hitz hutsak. Stemming. TF-IDF (DF bidez moztuz). Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 10 / 26
  • 24. Proposatutako MetodoaAdierazpena Dokumentu bakoitzeko etiketa esanguratsuenak: lehenaren %40,7 gutxienez Etiketa bakoitzeko dokumentuak bakarrean batzea. Hitz hutsak. Stemming. TF-IDF (DF bidez moztuz). 1 bektore/etiketa. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 10 / 26
  • 25. Proposatutako MetodoaMultzokatzea (SOM) Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 11 / 26
  • 26. Proposatutako MetodoaMultzokatzearen konfigurazioa 12x12ko mapa: 144 multzo. 17.518 dimentsiotako bektoreak. Ikasketa-tasa: 0,1. Mugakidetasuna: 12. Iterazioak: 50.000. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 12 / 26
  • 27. Proposatutako MetodoaTerminologia erauztea Multzo bakoitzeko dokumentuak bateratu. Multzo bakoitzeko terminologia erauzi. Esanguratsua multzoan, baina ez gainontzekoetan. Lengoaia-ereduak (KLD, Kullback-Leibler Divergence). Emaitza: Multzo bakoitzeko termino esanguratsuak. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 13 / 26
  • 28. EmaitzakAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 14 / 26
  • 29. EmaitzakEmaitzakMapa osoa ikusteko: http://nlp.uned.es/social-tagging/ Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 15 / 26
  • 30. EmaitzakEmaitzak: Informatika Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 16 / 26
  • 31. EmaitzakEmaitzak: Diseinua Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 17 / 26
  • 32. EmaitzakEmaitzak: Sukaldaritza Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 18 / 26
  • 33. EmaitzakEmaitzak: Koherentzia Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 19 / 26
  • 34. EmaitzakEmaitzak: Terminologia Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 20 / 26
  • 35. OndorioakAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 21 / 26
  • 36. OndorioakOndorioak Etiketen multzokatzea eta dagozkien termino esanguratsuenen erauzketa aztertu ditugu. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 22 / 26
  • 37. OndorioakOndorioak Etiketen multzokatzea eta dagozkien termino esanguratsuenen erauzketa aztertu ditugu. Datu-sorta eskuratu dugu. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 22 / 26
  • 38. OndorioakOndorioak Etiketen multzokatzea eta dagozkien termino esanguratsuenen erauzketa aztertu ditugu. Datu-sorta eskuratu dugu. Aurreko lanek ez bezala, dokumentuen edukia kontuan hartu dugu. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 22 / 26
  • 39. OndorioakOndorioak Etiketen multzokatzea eta dagozkien termino esanguratsuenen erauzketa aztertu ditugu. Datu-sorta eskuratu dugu. Aurreko lanek ez bezala, dokumentuen edukia kontuan hartu dugu. Mapak emaitza interesgarriak erakusten ditu, erabiltzaileen etiketatzearen zentzuzkotasuna azalduz. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 22 / 26
  • 40. OndorioakOndorioak Etiketen multzokatzea eta dagozkien termino esanguratsuenen erauzketa aztertu ditugu. Datu-sorta eskuratu dugu. Aurreko lanek ez bezala, dokumentuen edukia kontuan hartu dugu. Mapak emaitza interesgarriak erakusten ditu, erabiltzaileen etiketatzearen zentzuzkotasuna azalduz. Komunitateak aurkitzea ahalbidetzen du. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 22 / 26
  • 41. OndorioakOndorioak Etiketen multzokatzea eta dagozkien termino esanguratsuenen erauzketa aztertu ditugu. Datu-sorta eskuratu dugu. Aurreko lanek ez bezala, dokumentuen edukia kontuan hartu dugu. Mapak emaitza interesgarriak erakusten ditu, erabiltzaileen etiketatzearen zentzuzkotasuna azalduz. Komunitateak aurkitzea ahalbidetzen du. Etiketa-lainoaren ikuskera errazten da, nabigazioa eta harpidetza hobetuz. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 22 / 26
  • 42. Etorkizunerako IldoakAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 23 / 26
  • 43. Etorkizunerako IldoakEtorkizunerako Ildoak Gure metodoa etiketak batera agertzearen araberakoekin alderatu. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 24 / 26
  • 44. Etorkizunerako IldoakEtorkizunerako Ildoak Gure metodoa etiketak batera agertzearen araberakoekin alderatu. Etiketen analisi semantikoa (zein esanahi du kasu bakoitzean?). Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 24 / 26
  • 45. Etorkizunerako IldoakEtorkizunerako Ildoak Gure metodoa etiketak batera agertzearen araberakoekin alderatu. Etiketen analisi semantikoa (zein esanahi du kasu bakoitzean?). Ingurune eleanitzetara egokitu. Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 24 / 26
  • 46. EskerrakAurkibidea1 Sarrera2 Datuak Eskuratzea3 Proposatutako Metodoa4 Emaitzak5 Ondorioak6 Etorkizunerako Ildoak7 Eskerrak Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 25 / 26
  • 47. EskerrakEskerrak Mila esker! Galderarik? http://blog.zubiaga.org Arkaitz Zubiaga et al. (UNED) Etiketa-lainoen Multzokatzea (IEB ’09) 2009ko maiatzaren 7a 26 / 26