Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Distribuirane reprezentacije, emergentizam i dinamički sistemi

543 views
448 views

Published on

Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Distribuirane reprezentacije, emergentizam i dinamički sistemi

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
543
On SlideShare
0
From Embeds
0
Number of Embeds
265
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Distribuirane reprezentacije, emergentizam i dinamički sistemi

  1. 1. UČENJE I VIŠI KOGNITIVNI PROCESI Prolećni semestar 2013. Predavač: Goran S. Milovanović Predavanje 9 – vežbe SIMBOLIČKE FUNKCIJE – Deo IIb: Distribuirane reprezentacije, emergentizam i dinamički sistemi
  2. 2. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 2 KONEKCIONISTIČKI POKRET PDP: Paralelno distribuirani procesi Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations, Cambridge, MA: MIT Press Volume 2: Psychological and Biological Models, Cambridge, MA: MIT Press
  3. 3. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 3 KONEKCIONIZAM Višeslojne neuronske mreže sa propagacijom signala unapred (Feedforward Multilayer Perceptron) 1 0Input Ulazne jedinice w = +1 w = +1 .5 Izlazna jedinica i1 i2 i3 i4 i5 i6 i7 O w1 w2 w3 w4 w5 w6 w7 Implementacija logičkog ILI (logical OR) Ideja: klasifikacija složajeva sa inputa 1 0Input Ulazne jedinice w = +1 w = +1 0.5 Izlazna jedinica 1.5 w = +1 w = +1 w = -2 Skrivena jedinica Najjednostavniji perceptron sa skrivenim slojem: implementacija logičkog ekskluzivno ILI (logical XOR) NEURONSKE MREŽE SA JEDNIM SLOJEM JEDINICA UČE SAMO LINEARNO SEPARABILNE KATEGORIJE.
  4. 4. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 4 KONEKCIONIZAM Višeslojne neuronske mreže sa propagacijom signala unapred (Feedforward Multilayer Perceptron) krila krzno perje trči roni leti doji leže jaja reži SISAR PTICA RIBA GMIZAVAC Greška = Predikcija mreže – Željena vrednost Povratna propagacija signala greške kroz mrežu  podešavanje težine veza
  5. 5. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 5 KONEKCIONIZAM Učenje algoritmom povratne propagacije signala greške (Backpropagation Learning Algorithm) • Algoritam povratne propagacije signala za učenje u višeslojnim perceptronima otkriven je, po svemu sudeći, više puta, od strane istraživača koji su radili nezavisno jedni od drugih, tokom istorije psihologije druge polovine XX veka. • „Kanonička forma“ je ona koju daju konekcionisti okupljeni oko PDP grupe 80-ih godina. • U suštini, čuveni back-prop algoritam je generalizacija Vidrou-How (tj. R-W) algoritma za učenje jednoslojnih neuronskih mreža. „Kvaka“ je u načinu na koji se izračunava korekcija za težine veza jedinica u skrivenim slojevima + par tehničkih detalja. • Back-prop uči nelinarno separabilne kategorije, naravno. • Back-prop ima svojih ograničenja, i ona nisu trivijalna, ali... back-prop će sa lakoćom slomiti ogromnu većinu problema učenja koje smo uopšte razmratrali.J. McClleland D. Rummelhart
  6. 6. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 6 KONEKCIONIZAM Učenje algoritmom povratne propagacije signala greške: uloga skrivenog sloja jedinica s1 s2 s3 s4 C1 C2 • Pretpostavimo da je tipičan C1 onaj koji ima visoko s1 i visoko s2, a nisko s3 i nisko s4. • Pretpostavimo da je tipičan C2 ona koji ima visoko s3 i visoko s4, a nisko s1 i nisko s2. • Pretpostavimo da postoji član C1 koji ima visoko s1 i visoko s3, a nisko s2 a nisko s4. Izuzetak, zar ne? + +- - + - Uvođenje jedinica u skrivenom sloju obezbeđuje mogućnost kodiranja „ekscentričnih“ inputa, ako i kada ih ima – tako je moguće kodirati strukture nelinearno separabilnih problema kategorizacije.
  7. 7. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 7 KONEKCIONIZAM Teorija distribuiranih reprezentacija C1 C2 + +- - + - LOKALIZACIJA INFORMACIJA U KOGNITIVNIM REPREZENTACIJAMA Propozicija: Golub je ptica. Propozicija: Njujork je grad. - Gde tačno se nalazi informacija o tome da je golub ptica, a Njujork grad? Odgovor: nigde tačno, ta informacija nije lokalizovana. Konekcionizam je teorija distribuiranih reprezentacija. Sve informacije u neuronskoj mreži su uskladištene u formi strukture intenziteta asocijativnih veza. Sve ostalo je interakcija aktivacije na inputu i te strukture intenziteta veza.
  8. 8. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8 RODŽERS I MEK KLILEND, 2004. Konekcionistička teorija semantičkog znanja
  9. 9. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9 RODŽERS I MEK KLILEND, 2004. Konekcionistička teorija semantičkog znanja KONCEPTI (input) Kanarinac Crvendać Orah Bor Ljubičica Ruža Losos Som RELACIJE ISA „ima“ „može da“ „je “ REPREZENTACIJE KONCEPATA SKRIVENI SLOJ ATRIBUTI (autput) Riba Ptica Cvet Drvo Životinja Biljka Živo biće Visoko Lepo Brzo Mirišljavo... Raste Leti Trći Peva... Kljun Krila Krzno Lišće Peraja... = sve povezano sa svim
  10. 10. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10 KONEKCIONIZAM: DINAMIČKA EVOLUCIJA DISTRIBUIRANIH REPREZENTACIJA Reprezentacioni sistem evoluira tokom procesa minimizacije greške predikcije t = 1 faza t = 2 faza t = 3 faza Dinamička evolucija sličnosti između reprezentacija koncepata odgovara dobro poznatim empirijskim nalazima o razvoju sistema koncepata i kategorija kod ljudi.
  11. 11. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11 EMERGENTIZAM Emergentističko naučno objašnjenje kognitivnih funkcija u konekcionizmu Video-demonstracija Konvejeve „Game of Life“: http://www.youtube.com/watch?v=OEbCsKJKXaE
  12. 12. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 12 EMERGENTIZAM Emergentističko naučno objašnjenje kognitivnih funkcija u konekcionizmu Sve je u interakcijama. Definiši pravila igre i pusti sistem da evoluira spontano poštujući definisana pravila. Tokom dinamičke evolucije sistema, primetićeš javljanje i lokalnu održivost kvalitativno različitih struktura. Te strukture su emergentne strukture. One nigde nisu planirane. One nikad nisu pre-programirane. Zavera ne postoji.
  13. 13. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13 Donald Heb (1904-1985) 3. Sekvenciranje faza: mišljenje (kognitivni procesi) jeste sekvencijalna aktivacija neuralnih ansambla. t = 1 faza t = 2 faza t = 3 faza

×