UI2 predstavitev - avtomatizirana analiza in primerjava besedil

Avtomatizirana analiza in primerjava besedil
Predstavitevseminarskenaloge
pripredmetu
UmetnaInteligenca 2
8. junij 2011

Kajiščemo … ?
Ali obstajapovezava med besedili?
Ali lahko to povezavoovrednotimokotinformacijo o besedilu?
Ali lahko to informacijoekstrahiratudiračunalnik?
Kakolahkoračunalnik to informacijopredstavinačlovekuprijazennačin?

Kjeiščemo … ?Podatkovnebaze
Pridobljenebazebesedil:
Cnnmoney.com ekonomskičlanki med letoma 2002 – 2011
SlovenskeLjudskePesmi – 76 pesmi, 860 različic
Amebisslovarslovenskegajezika(s skloni – 1m+ besed)

Besedilokotvektor
Besedilo silahkopredstavljamokotvektorbesed, kjer je v vsakidimenzijizapisanošteviloponovitevtebesede:
Primer:
Mur murmur, murenčki.
𝑣=3, 1

Zbirkabesedilkotmatrika
Besedilo1: Mur murmur, murenčki.
Besedilo2:Murenčkismo mi.
Besede - korpus:
{Mur, murenčki, smo, mi}
Matrika:
Mur, murenčki, smo, mi
𝑥=|3 1 0 00 1 1 1|

Alogritmi – Tf-idf
Term frequency – inverse document frequency
Tf-idf – “obtežitevbesed”
Vsebesedeobravnavamoenako (bag of words), upoštevamo pa pojavitvegledenaopazovanobesedilo (term frequency) in pojavitve v ostalihbesedilih (inverse document frequency)
Bolj “podobne” člankena ta načinpribližamo, ostaleoddaljimo (v nekem n-dimenzionalnemprostoru)
Besediluspecifičnebesedepostanejoboljšiopistegabesedilagledenaostale

Rezultati – Tf-idf
Pridobimolestviconajboljpodobnih
Primer:
1. Lansko leto sam se ženo,
edno mlado sam si zeo.
2. Lansko leto san se ženo,
edno mlado san si zeo.

Algoritmi - LSA
Latent semantic analysis
V principuisticiljkottf-idf
Izračundekompozicije SVD
Preslikavaprostorabesedil v k-podprostor s pomočjo SVD
Izračunpodobnosti v podprostoru
Tudienaizmedopcijvizualizacije k = 2, 3

Primer vizualizacije LSA

Algoritmi - pLSA
Probabilistic latent semantic analysis
Izračunaverjetnostnoporazdelitevpotemah
Za k – tem s pomočjokonvergencematrik z verjetnostnoporazdelitvijodoločiverjetnostpripadnostizaposamezenčlanek
Odličnamožnostvizualizacije s pomočjometode RADVIZ!

Rezultati – pLSA

Možnostizanadaljnjirazvoj
Uporabanaštevilnihpodročjih, namestobesedatributniopisientitet – neomejenomožnosti
Avtomatizacijaklasifikacijbazpodatkov, kjer je podatkovenostavnopreveč
Uporaba v iskalnikih (google), iskanjepozaprtihbazahpodatkov

Q & A
HvalazaVašopozornost!

http://naspletu.org	407
http://matevzp.naspletu.org	15
http://magija.naspletu.org	8
http://www.pirotehnika.naspletu.org	7
http://vse.naspletu.org	6
http://brom.naspletu.org	2
http://forum.naspletu.org	2
http://denar.naspletu.org	2
http://www.mo-pd-zabukovica.naspletu.org	2
http://matevz.naspletu.org	1
http://garaza.naspletu.org	1
http://pirotehnika.naspletu.org	1

UI2 predstavitev - avtomatizirana analiza in primerjava besedil

by matevzp on Jun 08, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

12 Embeds 454

Statistics

UI2 predstavitev - avtomatizirana analiza in primerjava besedil — Presentation Transcript