Razumevanje naravnega jezika, tekst, kontekst [email_address] AI urice IV

Kaj pomeni pomen ?

“ Pomen je uporaba sama.” – Wittgenstein

Od filozofije k nevroznanosti Epizodičen spomin >> Konkreten dogodek kontekst Hebbovo pravilo semantičen spomin Abstrakten koncept

Epizodičen spomin >>

Konkreten dogodek

kontekst

Hebbovo pravilo

semantičen spomin

Abstrakten koncept

Ozemljitev ali zakaj je mačka mačka

Ozemljitev Zunanji sklic Čim komuniciramo prevajamo v prenosljivo obliko Pomen gradimo sloj za slojem iz primitivnih izkustev

Zunanji sklic

Čim komuniciramo prevajamo v prenosljivo obliko

Pomen gradimo sloj za slojem iz primitivnih izkustev

Pomen je uporaba Sopojavitve krma kobilica krava živina x x jadrnica x x travnik x x

Sopojavitve

Od pomena k prostoru Pomensko podobne besede blizu skupaj

Razdalja Kosinusna d = (/ (dot a b) (l2-norm a) (l2-norm b)) Evklidska d = (sqrt (sum #’square (vector- a b)))

Kosinusna

d = (/ (dot a b) (l2-norm a) (l2-norm b))

Evklidska

d = (sqrt (sum #’square (vector- a b)))

Problem: sopomenke Rešitev: Latenten pomen Izjemno x fantastično x x odlično x izvrstno x

Rešitev: Latenten pomen

Latenten pomen Zmanjšanje dimenzionalnosti (kompresija) Kategorije (ozemljitev) Sorodne besede se sesedejo v eno Pomeni višjega reda (koncepti)

Zmanjšanje dimenzionalnosti (kompresija)

Kategorije (ozemljitev)

Sorodne besede se sesedejo v eno

Pomeni višjega reda (koncepti)

Z vsakim branjem vnašamo pomen

Praktični pomisleki

Obteževanje Besede nosijo različno pomena: vsaj v. dideskalije Stopwords Tf-idf Kurtoza

Besede nosijo različno pomena:

vsaj v. dideskalije

Stopwords

Tf-idf

Kurtoza

Stopwords Prepogoste besede Preredke besede

Prepogoste besede

Preredke besede

Tf-idf (defun tf-idf (word document documents) (* (/ (count word document) (length document)) (/ (length documents) (count (lambda (document) (find word document)) documents)))

(defun tf-idf (word document documents)

(* (/ (count word document)

(length document))

(/ (length documents)

(count (lambda (document)

(find word document)) documents)))

Kurtoza (defun mean (xs) (/ (sum xs) (length xs))) (defun central-moment (k xs) (/ (sum (lambda (x) (expt (- x (mean xs)) k)) xs) (length xs)) (defun kurtosis (xs) (/ (central-moment 4 xs)) (expt (central-moment 2 xs) 2)))

(defun mean (xs)

(/ (sum xs) (length xs)))

(defun central-moment (k xs)

(/ (sum (lambda (x)

(expt (- x (mean xs)) k))

xs)

(length xs))

(defun kurtosis (xs)

(/ (central-moment 4 xs))

(expt (central-moment 2 xs) 2)))

Kurtoza = 7.6 Kurtoza = 1.4 Kurtoza = 5.1

Korenske oblike Sklon/spregatev, število, spol, velike/male črke Problem: včasih oblike niso enakomerno porazdeljene po vseh pomenih

Sklon/spregatev, število, spol, velike/male črke

Problem: včasih oblike niso enakomerno porazdeljene po vseh pomenih

Random Indexing

Ideja Beseda je vsota svojih kontekstov Kontekst je vsota svojih besed

Beseda je vsota svojih kontekstov

Kontekst je vsota svojih besed

Random indexing Za vsak kontekst: Nov indeks konteksta [epizodični spomin] Prištej indeks konteksta [Hebbovo vsem besedam konteksta pravilo]

Za vsak kontekst:

Nov indeks konteksta [epizodični spomin]

Prištej indeks konteksta [Hebbovo

vsem besedam konteksta pravilo]

Indeks konteksta Visoko-dimenzionalen (> 1000) Naključen Redek Trojiški Skoraj pravokotni (ohranjanje razdalj) Peščica naključno posejanih 1 in -1

Visoko-dimenzionalen (> 1000)

Naključen

Redek

Trojiški

Skoraj pravokotni (ohranjanje razdalj)

Peščica naključno posejanih 1 in -1

Uporaba Primerjanje besed med sabo Dopolnjevanje poizvedb Primerjanje teksta s tekstom Grozdenje Iskanje Priporočila Primerjanje teksta in besede Iskanje ključnih besed Priporočanje tagov

Primerjanje besed med sabo

Dopolnjevanje poizvedb

Primerjanje teksta s tekstom

Grozdenje

Iskanje

Priporočila

Primerjanje teksta in besede

Iskanje ključnih besed

Priporočanje tagov