Your SlideShare is downloading. ×
Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Konekcionizam i modeli neuronskih mreža
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Konekcionizam i modeli neuronskih mreža

394
views

Published on

Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Konekcionizam i modeli neuronskih mreža

Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Konekcionizam i modeli neuronskih mreža

Published in: Education

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
394
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. UČENJE I VIŠI KOGNITIVNI PROCESI Prolećni semestar 2013. Predavač: Goran S. Milovanović Predavanje 9 SIMBOLIČKE FUNKCIJE – Deo II: Konekcionizam i modeli neuronskih mreža
  • 2. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 2 TEORIJE REPREZENTACIJA Kako kognitivni sistem reprezentuje koncepte i kategorije? 1. Učenje koncepata vodi ka formiranju propozicionih, simboličkih reprezentacija: • C = {f1(w1) AND f2(w2) AND f3(w3)... ... AND fn(wn)} • PTICA = {Perje(.99) i Leti (.70) i... ... Kljun(.99)...} • Postoji formalni jezik čijim predikatima i kombinatornom sintaksom kognitivni sistem može da razvije deskripciju ma kog entiteta koji može da mu bude interesantan. Prototip neke kategorije C f – karakteristike, w – važnost karakteristika C f4 f3 f2 f1 f5 w1 w2 w3 w4 w5
  • 3. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 3 TEORIJE REPREZENTACIJA Kako kognitivni sistem reprezentuje koncepte i kategorije? 2. Učenje koncepata vodi ka formiranju asocijativnih struktura: Prototip neke kategorije C f – karakteristike, w – važnost karakteristika C f4 f3 f2 f1 f5 w1 w2 w3 w4 w5 Ptica Leti leže jaja trči perje kljun a1 a2 a3 a4 a5
  • 4. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 4 TEORIJE REPREZENTACIJA, TEORIJE UČENJA ASOCIJATIVNA TEORIJA UČENJA KOGNITIVNA TEORIJA UČENJA Princip dodira Princip potkrepljenja Učenje je automatsko stvaranje asocijacija po određenim principima Učenje je stvaranje propozicionog znanja koje sledi iz kontrolisanih procesa rezonovanja Kognitivni sistem formira verovanja o odnosima između događaja i reprezentuje ta verovanja u simboličkom (propozicionom) kodu.
  • 5. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 5 TEORIJE REPREZENTACIJA, TEORIJE UČENJA ASOCIJATIVNA TEORIJA UČENJA KOGNITIVNA TEORIJA UČENJA Učenje je automatsko stvaranje asocijacija po određenim principima Učenje je stvaranje propozicionog znanja koje sledi iz kontrolisanih procesa rezonovanja X Y • Ponovljeno izlaganje dva stimulusa dovodi do automatskog stvaranja asocijativne veze. • Dikinson: asocijacije su samo ekscitatorne veze između mentalnih reprezentacija – veze koje nemaju drugih osobina do asocijativnosti, da kada je aktivno (pobuđeno) X, aktivno postaje i Y. X Y • Ponovljeno izlaganje dva stimulusa pruža kognitivnom sistemu mogućnost da postavi hipotezu o vezi dva događaja: Kada čujem zvuk zvona, dobiću hranu. • U ponovljenim izlaganjima, ova hipoteza može da se testira; • Simbolička (propoziciona) forma: Pred(X, Y) X predviđa pojavu Y.
  • 6. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 6 KONEKCIONIZAM Konekcionizam kao savremeni razvoj asocijacionističke teorije učenja • Naše pitanje danas: gde su granice asocijativnih teorija učenja? • Da li asocijativni mehanizmi mogu da objasne kategorizaciju i učenje koncepata? • Osnovna osobina simboličkih reprezentacija jeste posedovanje konstituentne strukture: predikati imaju svoju semantiku, a složeni izrazi se dobijaju primenom kombinatorne sintakse nad osnovnim značenjima. Drugim rečima, simboličke, propozicione reprezentacije su nastale kao deo nekog jezika.  Da li asocijativni mehanizmi mogu da postignu nešto slično ovome? Jedna od najvećih i najznačajinijih debata u istoriji psihologije uopšte. B BS R A X Y
  • 7. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 7 DONALD HEB Hebovo pravilo učenja (hebijansko učenje) Donald Heb (1904-1985) „Organizacija ponašanja: Neuropsihološka teorija“, 1949: prema nekima najznačajnija knjiga za nauke o životu posle Darvinovog „Porekla vrsta“. Tri Hebova postulata 1. Hebijansko učenje: efikasnost konekcija između neurona raste propocionalno stepenu povezanosti između pre- i post-sinaptičke aktivnosti konekcije o kojoj govorimo. B A frekvencija frekvencija intenzitet 2. Ansambli neuronskih ćelija: neuralnu osnovu mentalnih reprezentacija predstavljaju grupe tj. ansambli neurona koji teže da budu istovremeno (paralelno) aktivni zahvaljujući hebijanskom učenju. Ansambl 3. Sekvenciranje faza: mišljenje (kognitivni procesi) jesu sekvencijalna aktivacija neuralnih ansambla.
  • 8. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8 FRENK ROZENBLAT Perceptron (1962) SEMJUEL PEJPERT I MARVIN MINSKI Kritika Perceptrona (1969) 1 0Input Ulazne jedinice w = +1 w = +1 .5 Izlazna jedinica i1 i2 i3 i4 i5 i6 i7 O w1 w2 w3 w4 w5 w6 w7 Jednostavan (najjednostavniji) perceptron: implementacija logičkog ILI (logical OR) Ideja: klasifikacija složajeva sa inputa Kako rešiti XOR problem? – Izlazna jedinica treba da je aktivna ako je aktivna samo jedna od njenih ulaznih jedinica, ali ne i ako su aktivne obe. Perceptron ne rešava ovakav problem: 1 0Input Ulazne jedinice w = +1 w = +1 0.5 Izlazna jedinica 1.5 w = +1 w = +1 w = -2 Skrivena jedinica Najjednostavniji perceptron sa skrivenim slojem: implementacija logičkog ekskluzivno ILI (logical XOR)
  • 9. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8b SEMJUEL PEJPERT I MARVIN MINSKI Kritika Perceptrona (1969) Kako rešiti XOR problem? – Izlazna jedinica treba da je aktivna ako je aktivna samo jedna od njenih ulaznih jedinica, ali ne i ako su aktivne obe. Perceptron ne rešava ovakav problem: 1 0Input Ulazne jedinice w = +1 w = +1 0.5 Izlazna jedinica 1.5 w = +1 w = +1 w = -2 Skrivena jedinica Najjednostavniji perceptron sa skrivenim slojem: implementacija logičkog ekskluzivno ILI (logical XOR) Input2=0 Input2=1 Input1=0 0 1 Input1=1 1 1 Logičko ILI (logical OR) Input2=0 Input2=1 Input1=0 0 1 Input1=1 1 0 Logičko ekskluzivno ILI (logical XOR) ? Linearno separabilna klasifikacija Nelinearno separabilna klasifikacija
  • 10. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9 BERNARD VIDROU I TED HOF (1960) Vidrou-Hof pravilo učenja (Widrow-Hoff Rule) o1 o2 o3 o4 o5 o6 o7 Input: [1 1 0 0 1 0 1] Input jedinice: i = 1, 2, .., N. Čvor j Odgovor čvora j Pravilo aktivacije w1 w2 w3 w4 w5 w6 w7 Pravilo odgovora Najčešće je to funkcija identiteta, odn: pa imamo:
  • 11. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9b BERNARD VIDROU I TED HOF (1960) Vidrou-Hof pravilo učenja (Widrow-Hoff Rule) o1 o2 o3 o4 o5 o6 o7 Input: [1 1 0 0 1 0 1] Input jedinice: i = 1, 2, .., N. Čvor j Odgovor čvora j w1 w2 w3 w4 w5 w6 w7 Željeni odgovor dj Greška Pravilo korekcije težine veza „Δ pravilo“ Za koliko treba promeniti težinu veze Parametar rate učenja: koliko brzo se menjaju težine veza greška aktivacija jedinice čija se veza menja
  • 12. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9c BERNARD VIDROU I TED HOF (1960) Vidrou-Hof pravilo učenja (Widrow-Hoff Rule): PRIMER US1 US2 UR ton svetlo w1 = 0 w2 = 0 Željeni odgovor dj = 1 o1 = 1 o2 = 0 Korak 1:
  • 13. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9d BERNARD VIDROU I TED HOF (1960) Vidrou-Hof pravilo učenja (Widrow-Hoff Rule): PRIMER US1 US2 UR ton svetlo w1 = .2 w2 = 0 Željeni odgovor dj = 1 o1 = 1 o2 = 0 Korak 2:
  • 14. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9e BERNARD VIDROU I TED HOF (1960) Vidrou-Hof pravilo učenja (Widrow-Hoff Rule): PRIMER US1 US2 UR ton svetlo w1 = .36 w2 = 0 Željeni odgovor dj = 1 o1 = 1 o2 = 0 Korak 3:
  • 15. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10a KONTINUITET IZMEĐU TEORIJA UČENJA Vidrou-Hof je Reskorla-Vagner... Odgovor = ukupna aktivacija Greška Pravilo korekcije težine veza „Δ pravilo“ rata učenja željeni odgovor ukupna aktivacija nivo aktivacije ulazne jedinice rata učenja željeni odgovor = asimptota učenja ukupna aktivacija Zasićenost US Reskorla-Vagner teorija „R-W pravilo“ Pravilo korekcije težine veza „Δ pravilo“ promena intenziteta asocijativne veze promena težine asocijativne veze
  • 16. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10b KONTINUITET IZMEĐU TEORIJA UČENJA Vidrou-Hof je Reskorla-Vagner... rata učenja željeni odgovor ukupna aktivacija nivo aktivacije ulazne jedinice rata učenja željeni odgovor = asimptota učenja ukupna aktivacija Zasićenost US Reskorla-Vagner teorija „R-W pravilo“ Pravilo korekcije težine veza „Δ pravilo“ promena intenziteta asocijativne veze promena težine asocijativne veze i1 i2 i3 i4 i5 i6 i7 O w1 w2 w3 w4 w5 w6 w7 Vidrou-Hofovo pravilo je dizajnirano da trenira perceptrone u kategorizaciji složajeva sa inputa • Postoji dokaz da će sukcesivna, ponovljena primena Vidrou-Hof algoritma učenja voditi ka minimizaciji greške u odgovoru perceptrona. • Sada znamo da to važi i za R-W, dakle. • Ah, da: R-W (pod određenim uslovima) izračunava ΔP – probabilistički kontrast... SVE JE POVEZANO.
  • 17. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11a GLUK I BAUER (1988) Model adaptivne mreže (Adaptive Network Model): R-W uči kategorije... i1 i2 i3 i4 i5 i6 i7 w1 w2 w3 w4 w5 w6 w7 w1 w2 w3 w4 w5 w6 w7 C1 C2 Kako problem klasično uslovljavanja postaje problem kategorizacije... s1 s2 s3 s4 midoza burloza Eksperiment 1 Gluk i Bauer (1988) • Simptomi 1-4 dati su sa tačno određenim kontingencijama u odnosu na dva ishoda (dve izmišljene bolesti). • Ispitanici vide 250 složajeva simptoma i svaki klasifikuju. • Računa se verovatnoća sa kojom ispitanici svaku kombinaciju simptoma klasifikuju u jednu ili drugu kategoriju.
  • 18. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11b GLUK I BAUER (1988) Model adaptivne mreže (Adaptive Network Model): R-W uči kategorije... s1 s2 s3 s4 midoza burloza Eksperiment 1 Gluk i Bauer 1988. • Simptomi 1-4 dati su sa tačno određenim kontingencijama u odnosu na dva ishoda (dve izmišljene bolesti). • Ispitanici vide 250 složajeva simptoma i svaki klasifikuju. • Računa se verovatnoća sa kojom ispitanici svaku kombinaciju simptoma klasifikuju u jednu ili drugu kategoriju. • Gluk i Bauer (1988): da li model adaptivne mreže koji uči po R-W pravilu učenja (tj. koristi Vidrou-Hof algoritam) može da nauči takve težine asocijativnih veza da klasifikuje složajeve simptoma s1-s2-s3-s4 sa istim verovatnoćama sa kojima to čine ljudski ispitanici?
  • 19. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 12 KONEKCIONISTIČKI POKRET PDP: Paralelno distribuirani procesi Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations, Cambridge, MA: MIT Press Volume 2: Psychological and Biological Models, Cambridge, MA: MIT Press
  • 20. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13 KONEKCIONIZAM Višeslojne neuronske mreže sa propagacijom signala unapred (Feedforward Multilayer Perceptron) 1 0Input Ulazne jedinice w = +1 w = +1 .5 Izlazna jedinica i1 i2 i3 i4 i5 i6 i7 O w1 w2 w3 w4 w5 w6 w7 Implementacija logičkog ILI (logical OR) Ideja: klasifikacija složajeva sa inputa 1 0Input Ulazne jedinice w = +1 w = +1 0.5 Izlazna jedinica 1.5 w = +1 w = +1 w = -2 Skrivena jedinica Najjednostavniji perceptron sa skrivenim slojem: implementacija logičkog ekskluzivno ILI (logical XOR) NEURONSKE MREŽE SA JEDNIM SLOJEM JEDINICA UČE SAMO LINEARNO SEPARABILNE KATEGORIJE.
  • 21. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13 KONEKCIONIZAM Višeslojne neuronske mreže sa propagacijom signala unapred (Feedforward Multilayer Perceptron) krila krzno perje trči roni leti doji leže jaja reži SISAR PTICA RIBA GMIZAVAC Greška = Predikcija mreže – Željena vrednost Povratna propagacija signala greške kroz mrežu  podešavanje težine veza
  • 22. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 14 KONEKCIONIZAM Učenje algoritmom povratne propagacije signala greške (Backpropagation Learning Algorithm) • Algoritam povratne propagacije signala za učenje u višeslojnim perceptronima otkriven je, po svemu sudeći, više puta, od strane istraživača koji su radili nezavisno jedni od drugih, tokom istorije psihologije druge polovine XX veka. • „Kanonička forma“ je ona koju daju konekcionisti okupljeni oko PDP grupe 80-ih godina. • U suštini, čuveni back-prop algoritam je generalizacija Vidrou-Hof (tj. R-W) algoritma za učenje jednoslojnih neuronskih mreža. „Kvaka“ je u načinu na koji se izračunava korekcija za težine veza jedinica u skrivenim slojevima + par tehničkih detalja. • Back-prop uči nelinarno separabilne kategorije, naravno. • Back-prop ima svojih ograničenja, i ona nisu trivijalna, ali... back-prop će sa lakoćom slomiti ogromnu većinu problema učenja koje smo uopšte razmratrali.J. McClleland D. Rummelhart
  • 23. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 15 RODŽERS I MEK KLILEND, 2004. Konekcionistička teorija semantičkog znanja

×