Razumevanje naravnega jezika, tekst, kontekst [email_address] AI urice IV
Kaj pomeni  pomen ?
“ Pomen je uporaba sama.” –   Wittgenstein
Od filozofije k nevroznanosti <ul><li>Epizodičen spomin   >> </li></ul><ul><li>Konkreten dogodek </li></ul><ul><li>konteks...
Ozemljitev ali zakaj je mačka mačka
Ozemljitev <ul><li>Zunanji sklic </li></ul><ul><ul><li>Čim komuniciramo prevajamo v prenosljivo obliko </li></ul></ul><ul>...
Pomen je uporaba <ul><li>Sopojavitve  </li></ul>  krma kobilica krava živina x   x jadrnica x x   travnik   x x
Od pomena k prostoru Pomensko podobne besede blizu skupaj
Razdalja <ul><li>Kosinusna </li></ul><ul><li>d = (/ (dot a b) (l2-norm a) (l2-norm b)) </li></ul><ul><li>Evklidska </li></...
Problem: sopomenke <ul><li>Rešitev: Latenten pomen </li></ul>        Izjemno x     fantastično   x x odlično   x   izvrstn...
Latenten pomen <ul><li>Zmanjšanje dimenzionalnosti (kompresija) </li></ul><ul><ul><li>Kategorije (ozemljitev) </li></ul></...
Z vsakim branjem vnašamo pomen
Praktični pomisleki
Obteževanje <ul><li>Besede nosijo različno pomena: </li></ul><ul><li>vsaj  v.  dideskalije </li></ul><ul><li>Stopwords </l...
Stopwords <ul><li>Prepogoste besede </li></ul><ul><li>Preredke besede </li></ul>
Tf-idf <ul><li>(defun tf-idf (word document documents) </li></ul><ul><li>(* (/ (count word document)  </li></ul><ul><li>  ...
Kurtoza <ul><li>(defun mean (xs)  </li></ul><ul><li>(/ (sum xs) (length xs))) </li></ul><ul><li>(defun central-moment (k x...
Kurtoza = 7.6 Kurtoza = 1.4 Kurtoza = 5.1
Korenske oblike <ul><li>Sklon/spregatev, število, spol, velike/male črke </li></ul><ul><li>Problem: včasih oblike niso ena...
Random Indexing
Ideja <ul><li>Beseda je vsota svojih kontekstov </li></ul><ul><li>Kontekst je vsota svojih besed </li></ul>
Random indexing <ul><li>Za vsak kontekst: </li></ul><ul><li>Nov indeks konteksta [epizodični   spomin] </li></ul><ul><li>P...
Indeks konteksta <ul><li>Visoko-dimenzionalen (> 1000) </li></ul><ul><li>Naključen </li></ul><ul><li>Redek </li></ul><ul><...
Uporaba <ul><li>Primerjanje besed med sabo </li></ul><ul><ul><li>Dopolnjevanje poizvedb </li></ul></ul><ul><li>Primerjanje...
Upcoming SlideShare
Loading in …5
×

Razumevanje Naravnega Jezika, Tekst, Kontekst

1,361 views
1,225 views

Published on

Published in: Technology, Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,361
On SlideShare
0
From Embeds
0
Number of Embeds
20
Actions
Shares
0
Downloads
4
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Razumevanje Naravnega Jezika, Tekst, Kontekst

  1. 1. Razumevanje naravnega jezika, tekst, kontekst [email_address] AI urice IV
  2. 2. Kaj pomeni pomen ?
  3. 3. “ Pomen je uporaba sama.” – Wittgenstein
  4. 4. Od filozofije k nevroznanosti <ul><li>Epizodičen spomin >> </li></ul><ul><li>Konkreten dogodek </li></ul><ul><li>kontekst </li></ul><ul><li>Hebbovo pravilo </li></ul><ul><li>semantičen spomin </li></ul><ul><li>Abstrakten koncept </li></ul>
  5. 5. Ozemljitev ali zakaj je mačka mačka
  6. 6. Ozemljitev <ul><li>Zunanji sklic </li></ul><ul><ul><li>Čim komuniciramo prevajamo v prenosljivo obliko </li></ul></ul><ul><li>Pomen gradimo sloj za slojem iz primitivnih izkustev </li></ul>
  7. 7. Pomen je uporaba <ul><li>Sopojavitve </li></ul>  krma kobilica krava živina x   x jadrnica x x   travnik   x x
  8. 8. Od pomena k prostoru Pomensko podobne besede blizu skupaj
  9. 9. Razdalja <ul><li>Kosinusna </li></ul><ul><li>d = (/ (dot a b) (l2-norm a) (l2-norm b)) </li></ul><ul><li>Evklidska </li></ul><ul><li>d = (sqrt (sum #’square (vector- a b))) </li></ul>
  10. 10. Problem: sopomenke <ul><li>Rešitev: Latenten pomen </li></ul>        Izjemno x     fantastično   x x odlično   x   izvrstno x    
  11. 11. Latenten pomen <ul><li>Zmanjšanje dimenzionalnosti (kompresija) </li></ul><ul><ul><li>Kategorije (ozemljitev) </li></ul></ul><ul><li>Sorodne besede se sesedejo v eno </li></ul><ul><li>Pomeni višjega reda (koncepti) </li></ul>
  12. 12. Z vsakim branjem vnašamo pomen
  13. 13. Praktični pomisleki
  14. 14. Obteževanje <ul><li>Besede nosijo različno pomena: </li></ul><ul><li>vsaj v. dideskalije </li></ul><ul><li>Stopwords </li></ul><ul><li>Tf-idf </li></ul><ul><li>Kurtoza </li></ul>
  15. 15. Stopwords <ul><li>Prepogoste besede </li></ul><ul><li>Preredke besede </li></ul>
  16. 16. Tf-idf <ul><li>(defun tf-idf (word document documents) </li></ul><ul><li>(* (/ (count word document) </li></ul><ul><li> (length document)) </li></ul><ul><li> (/ (length documents) </li></ul><ul><li> (count (lambda (document) </li></ul><ul><li> (find word document)) documents))) </li></ul>
  17. 17. Kurtoza <ul><li>(defun mean (xs) </li></ul><ul><li>(/ (sum xs) (length xs))) </li></ul><ul><li>(defun central-moment (k xs) </li></ul><ul><li>(/ (sum (lambda (x) </li></ul><ul><li> (expt (- x (mean xs)) k)) </li></ul><ul><li> xs) </li></ul><ul><li>(length xs)) </li></ul><ul><li>(defun kurtosis (xs) </li></ul><ul><li>(/ (central-moment 4 xs)) </li></ul><ul><li>(expt (central-moment 2 xs) 2))) </li></ul>
  18. 18. Kurtoza = 7.6 Kurtoza = 1.4 Kurtoza = 5.1
  19. 19. Korenske oblike <ul><li>Sklon/spregatev, število, spol, velike/male črke </li></ul><ul><li>Problem: včasih oblike niso enakomerno porazdeljene po vseh pomenih </li></ul>
  20. 20. Random Indexing
  21. 21. Ideja <ul><li>Beseda je vsota svojih kontekstov </li></ul><ul><li>Kontekst je vsota svojih besed </li></ul>
  22. 22. Random indexing <ul><li>Za vsak kontekst: </li></ul><ul><li>Nov indeks konteksta [epizodični spomin] </li></ul><ul><li>Prištej indeks konteksta [Hebbovo </li></ul><ul><li>vsem besedam konteksta pravilo] </li></ul>
  23. 23. Indeks konteksta <ul><li>Visoko-dimenzionalen (> 1000) </li></ul><ul><li>Naključen </li></ul><ul><li>Redek </li></ul><ul><li>Trojiški </li></ul><ul><li>Skoraj pravokotni (ohranjanje razdalj) </li></ul><ul><li>Peščica naključno posejanih 1 in -1 </li></ul>
  24. 24. Uporaba <ul><li>Primerjanje besed med sabo </li></ul><ul><ul><li>Dopolnjevanje poizvedb </li></ul></ul><ul><li>Primerjanje teksta s tekstom </li></ul><ul><ul><li>Grozdenje </li></ul></ul><ul><ul><li>Iskanje </li></ul></ul><ul><ul><li>Priporočila </li></ul></ul><ul><li>Primerjanje teksta in besede </li></ul><ul><ul><li>Iskanje ključnih besed </li></ul></ul><ul><ul><li>Priporočanje tagov </li></ul></ul>

×