Učenje i viši kognitivni procesi 8. Simboličke funkcije, IV Deo: Analogija i ...Goran S. Milovanovic
Učenje i viši kognitivni procesi 8. Simboličke funkcije, IV Deo: Analogija i strukturalno mapiranje, konceptualne kombinacije i interpretacija karakteristika u kategorizaciji
Učenje i viši kognitivni procesi 8. Simboličke funkcije, IV Deo: Analogija i ...Goran S. Milovanovic
Učenje i viši kognitivni procesi 8. Simboličke funkcije, IV Deo: Analogija i strukturalno mapiranje, konceptualne kombinacije i interpretacija karakteristika u kategorizaciji
KogPsi2012, Fmk, Singidunum. 3. Modeli organizacije kognitivne obrade informa...Goran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
III predavanje: Modeli organizacije kognitivne obrade informacija/Čulna memorija
KogPsi2012, Fmk, Singidunum. 2. Istorijski razvoj kognitivne psihologijeGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
II predavanje: Istorijski razvoj kognitivne psihologije
KogPsi2012, Fmk, Singidunum. 8. Analogne predstave i epizodička memorijaGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
VIII predavanje: Analogne predstave i epizodička memorija
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
VI predavanje: Semantička memorija
KogPsi2012, Fmk, Singidunum: Upoznavanje sa sadržajem predmetaGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
I predavanje: Upoznavanje sa sadržajem predmeta
KogPsi2012, Fmk, Singidunum. 7. Osnovni teorijski sistemi kognitivne psihologijeGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
VII predavanje: Osnovni teorijski sistemi kognitivne psihologije
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
V predavanje: Operativna memorija
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
X predavanje: Jezik 2: Mentalni leksikon
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
IV predavanje: Rani kognitivni procesi: prepoznavanje oblika, pažnja, kontrola i automatizacija
KogPsi2012, Fmk, Singidunum. 3. Modeli organizacije kognitivne obrade informa...Goran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
III predavanje: Modeli organizacije kognitivne obrade informacija/Čulna memorija
KogPsi2012, Fmk, Singidunum. 2. Istorijski razvoj kognitivne psihologijeGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
II predavanje: Istorijski razvoj kognitivne psihologije
KogPsi2012, Fmk, Singidunum. 8. Analogne predstave i epizodička memorijaGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
VIII predavanje: Analogne predstave i epizodička memorija
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
VI predavanje: Semantička memorija
KogPsi2012, Fmk, Singidunum: Upoznavanje sa sadržajem predmetaGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
I predavanje: Upoznavanje sa sadržajem predmeta
KogPsi2012, Fmk, Singidunum. 7. Osnovni teorijski sistemi kognitivne psihologijeGoran S. Milovanovic
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
VII predavanje: Osnovni teorijski sistemi kognitivne psihologije
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
V predavanje: Operativna memorija
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
X predavanje: Jezik 2: Mentalni leksikon
Predmet "Kognitivna psihologija", predavač: Goran S. Milovanović, jesenji semestar 2012, Fakultet za medije i komunikacije, Univerzitet Singidunum, Beograd, Srbija.
IV predavanje: Rani kognitivni procesi: prepoznavanje oblika, pažnja, kontrola i automatizacija
Session 1 of Introduction to R for Data Science, Data Science Serbia in cooperation with Startit, Belgrade, lecturers: ing Branko Kovač and dr Goran S. Milovanović
Uvod u R za Data Science :: Sesija 1 [Intro to R for Data Science :: Session 1]Goran S. Milovanovic
Prezentacija za sesiju 1 kursa Uvod u R za Data Science, Data Science zajednica Srbije u saradnji sa Startit, Beograd, 28. april 2016.
Session 1 Presentation for Intro to R for Data Science course, Data Science Community Serbia in co-operation with Startit
Milovanović, G.S., Krstić, M. & Filipović, O. (2015). Kršenje homogenosti pre...Goran S. Milovanovic
Homogenost preferencija (PH) predstavlja nužan i dovoljan uslov za reprezentaciju donosioca odluka sa stepenom funkcijom korisnosti pod Kumulativnom teorijom izgleda (CPT). Ukoliko ekvivalent u izvesnosti (CE) loza oblika (x, p; 0, 1-p) uzima vrednost CE, PH je zadovoljena ako CE loza (kx, p; 0, 1-p) uzima vrednost kCE. Ipak: pretpostavimo da je donosilac odluka spreman da prihvati siguran iznos od oko 2000 RSD za loz koji sa 50% donosi 4000 RSD; donosilac odluka bi možda prihvatio siguran iznos mnogo manji od 20 miliona RSD za loz koji sa 50% donosi 40 miliona RSD. U literaturi ne postoje direktni testovi PH već se o njenom važenju zaključuje posredno. U ovom radu predstavljamo dva direktna eksperimentalna testa PH.
U Eksperimentu 1 (N=49) ispitanici su dali direktne numeričke ocene CE za 27 lozova oblika (x, p; 0, 1-p), gde je x varirano kao 100, 1000, 100000, 200, 2000, 200000, 500, 5000, i 500000 u RSD, a p kao 5%, 50%, i 90%. Vrednosti na lozovima su uvek bile umnošci osnovnih vrednosti x od 100, 200, i 500 RSD faktorima k = 10 i k = 1000 . Test PH koji smo razvili je semi-parametrijski i sastoji se od sledećih koraka. Prvo se na osnovu medijane CE lozova sa osnovnim vrednostima x određuju očekivane medijane za CE lozova koji nude vrednost x sa umnošcima k = 10 i k = 1000, na odgovarajućim nivoima verovatnoće dobitka: te vrednosti medijana su očekivane ukoliko je PH zadovoljena. Zatim se binomijalnim testom ispituje da li je raspodela CE ispitanika strogo iznad i strogo ispod očekivane medijane simetrična, i ukoliko nije, donosi se zaključak da PH nije zadovoljena. Intuitivno, ako se PH krši, očekuje se veća proporcija ispitanika ispod očekivane medijane. U devet od 18 binomijalnih testova PH nije bila zadovoljena na nivou p < .05; pored toga, dva puta je vrednost testa bila statistički marginalno značajna (p < .07). Svaki put kada je PH kršena, kršena je na očekivani način. U Eksperimentu 2 (N=37), koji je izveden po istom dizajnu sa nivoima p od 25%, 50%, i 75%, dobijeni su isti rezultati (devet kršenja PH na nivou p < .05, i dva marginalno značajna na p < .09 od kojih jedno u nepredviđenom pravcu). U Eksperimentu 2, sa faktorom k = 1000, svi ispitanici na svim lozovima krše PH u očekivanom pravcu.
U 50% eksperimentalnih situacija u ovoj studiji PH nije bila zadovoljena; pri tom, njena kršenja su sistematske prirode i konzistentna sa intuicijom. Važenje PH ne predstavlja solidnu pretpostavku za izgradnju deskriptivne teorije odlučivanja.
Ključne reči: kumulativna teorija izgleda, homogenost preferencija, rizik, stepena funkcija korisnosti.
Učenje i viši kognitivni procesi 7. Učenje, IV Deo: Neasocijativno učenje, ef...
Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Konekcionizam i modeli neuronskih mreža
1. UČENJE I VIŠI KOGNITIVNI PROCESI
Prolećni semestar 2013.
Predavač: Goran S. Milovanović
Predavanje 9
SIMBOLIČKE FUNKCIJE – Deo II: Konekcionizam i modeli neuronskih mreža
2. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 2
TEORIJE REPREZENTACIJA
Kako kognitivni sistem reprezentuje koncepte i kategorije?
1. Učenje koncepata vodi ka formiranju
propozicionih, simboličkih reprezentacija:
• C = {f1(w1) AND f2(w2) AND f3(w3)...
... AND fn(wn)}
• PTICA = {Perje(.99) i Leti (.70) i...
... Kljun(.99)...}
• Postoji formalni jezik čijim
predikatima i kombinatornom sintaksom
kognitivni sistem može da razvije
deskripciju ma kog entiteta koji može
da mu bude interesantan.
Prototip neke kategorije C
f – karakteristike, w – važnost karakteristika
C
f4
f3
f2
f1
f5
w1
w2
w3
w4
w5
3. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 3
TEORIJE REPREZENTACIJA
Kako kognitivni sistem reprezentuje koncepte i kategorije?
2. Učenje koncepata vodi ka formiranju
asocijativnih struktura:
Prototip neke kategorije C
f – karakteristike, w – važnost karakteristika
C
f4
f3
f2
f1
f5
w1
w2
w3
w4
w5
Ptica
Leti
leže jaja
trči
perje
kljun
a1
a2
a3
a4
a5
4. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 4
TEORIJE REPREZENTACIJA, TEORIJE UČENJA
ASOCIJATIVNA TEORIJA UČENJA KOGNITIVNA TEORIJA UČENJA
Princip dodira
Princip potkrepljenja
Učenje je automatsko stvaranje
asocijacija po određenim principima
Učenje je stvaranje propozicionog znanja
koje sledi iz kontrolisanih procesa rezonovanja
Kognitivni sistem formira verovanja o
odnosima između događaja i reprezentuje
ta verovanja u simboličkom (propozicionom) kodu.
5. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 5
TEORIJE REPREZENTACIJA, TEORIJE UČENJA
ASOCIJATIVNA TEORIJA UČENJA KOGNITIVNA TEORIJA UČENJA
Učenje je automatsko stvaranje
asocijacija po određenim principima
Učenje je stvaranje propozicionog znanja
koje sledi iz kontrolisanih procesa rezonovanja
X Y
• Ponovljeno izlaganje dva stimulusa
dovodi do automatskog stvaranja
asocijativne veze.
• Dikinson: asocijacije su samo
ekscitatorne veze između mentalnih
reprezentacija – veze koje nemaju
drugih osobina do asocijativnosti, da
kada je aktivno (pobuđeno) X, aktivno
postaje i Y.
X Y
• Ponovljeno izlaganje dva stimulusa
pruža kognitivnom sistemu mogućnost
da postavi hipotezu o vezi dva
događaja:
Kada čujem zvuk zvona, dobiću hranu.
• U ponovljenim izlaganjima, ova
hipoteza može da se testira;
• Simbolička (propoziciona) forma:
Pred(X, Y)
X predviđa pojavu Y.
6. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 6
KONEKCIONIZAM
Konekcionizam kao savremeni razvoj asocijacionističke teorije učenja
• Naše pitanje danas: gde su granice asocijativnih
teorija učenja?
• Da li asocijativni mehanizmi mogu da objasne
kategorizaciju i učenje koncepata?
• Osnovna osobina simboličkih reprezentacija jeste
posedovanje konstituentne strukture:
predikati imaju svoju semantiku, a složeni izrazi se
dobijaju primenom kombinatorne sintakse
nad osnovnim značenjima. Drugim rečima,
simboličke, propozicione reprezentacije su nastale
kao deo nekog jezika.
Da li asocijativni mehanizmi mogu da
postignu nešto slično ovome? Jedna od
najvećih i najznačajinijih debata u istoriji
psihologije uopšte.
B BS
R
A
X Y
7. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 7
DONALD HEB
Hebovo pravilo učenja (hebijansko učenje)
Donald Heb
(1904-1985)
„Organizacija ponašanja: Neuropsihološka teorija“, 1949: prema nekima
najznačajnija knjiga za nauke o životu posle Darvinovog „Porekla vrsta“.
Tri Hebova postulata
1. Hebijansko učenje: efikasnost konekcija između neurona raste
propocionalno stepenu povezanosti između pre- i post-sinaptičke
aktivnosti konekcije o kojoj govorimo.
B A
frekvencija frekvencija
intenzitet
2. Ansambli neuronskih ćelija: neuralnu osnovu mentalnih
reprezentacija predstavljaju grupe tj. ansambli neurona koji
teže da budu istovremeno (paralelno) aktivni zahvaljujući
hebijanskom učenju.
Ansambl
3. Sekvenciranje faza:
mišljenje (kognitivni procesi)
jesu sekvencijalna aktivacija
neuralnih ansambla.
8. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8
FRENK ROZENBLAT
Perceptron (1962)
SEMJUEL PEJPERT I MARVIN MINSKI
Kritika Perceptrona (1969)
1 0Input
Ulazne jedinice
w = +1 w = +1
.5 Izlazna jedinica
i1 i2 i3 i4 i5 i6 i7
O
w1 w2 w3 w4 w5 w6 w7
Jednostavan (najjednostavniji) perceptron:
implementacija logičkog ILI (logical OR)
Ideja: klasifikacija složajeva sa inputa
Kako rešiti XOR problem? – Izlazna jedinica
treba da je aktivna ako je aktivna samo jedna
od njenih ulaznih jedinica, ali ne i ako su
aktivne obe. Perceptron ne rešava ovakav
problem:
1 0Input
Ulazne jedinice
w = +1 w = +1
0.5
Izlazna jedinica
1.5
w = +1 w = +1
w = -2
Skrivena jedinica
Najjednostavniji perceptron sa skrivenim slojem:
implementacija logičkog ekskluzivno ILI (logical XOR)
9. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8b
SEMJUEL PEJPERT I MARVIN MINSKI
Kritika Perceptrona (1969)
Kako rešiti XOR problem? – Izlazna jedinica
treba da je aktivna ako je aktivna samo jedna
od njenih ulaznih jedinica, ali ne i ako su
aktivne obe. Perceptron ne rešava ovakav
problem:
1 0Input
Ulazne jedinice
w = +1 w = +1
0.5
Izlazna jedinica
1.5
w = +1 w = +1
w = -2
Skrivena jedinica
Najjednostavniji perceptron sa skrivenim slojem:
implementacija logičkog ekskluzivno ILI (logical XOR)
Input2=0 Input2=1
Input1=0
0 1
Input1=1
1 1
Logičko ILI (logical OR)
Input2=0 Input2=1
Input1=0
0 1
Input1=1
1 0
Logičko ekskluzivno ILI
(logical XOR)
?
Linearno separabilna klasifikacija
Nelinearno separabilna klasifikacija
10. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9
BERNARD VIDROU I TED HOF (1960)
Vidrou-Hof pravilo učenja (Widrow-Hoff Rule)
o1 o2 o3 o4 o5 o6 o7
Input: [1 1 0 0 1 0 1]
Input jedinice: i = 1, 2, .., N.
Čvor j
Odgovor čvora j Pravilo aktivacije
w1 w2 w3 w4 w5 w6 w7
Pravilo odgovora
Najčešće je to funkcija identiteta, odn:
pa imamo:
11. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9b
BERNARD VIDROU I TED HOF (1960)
Vidrou-Hof pravilo učenja (Widrow-Hoff Rule)
o1 o2 o3 o4 o5 o6 o7
Input: [1 1 0 0 1 0 1]
Input jedinice: i = 1, 2, .., N.
Čvor j
Odgovor čvora j
w1 w2 w3 w4 w5 w6 w7
Željeni odgovor dj
Greška
Pravilo korekcije težine veza
„Δ pravilo“
Za koliko treba
promeniti težinu veze
Parametar rate učenja:
koliko brzo se menjaju težine veza
greška
aktivacija jedinice
čija se veza menja
12. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9c
BERNARD VIDROU I TED HOF (1960)
Vidrou-Hof pravilo učenja (Widrow-Hoff Rule): PRIMER
US1 US2
UR
ton svetlo
w1 = 0 w2 = 0
Željeni odgovor dj = 1
o1 = 1 o2 = 0
Korak 1:
13. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9d
BERNARD VIDROU I TED HOF (1960)
Vidrou-Hof pravilo učenja (Widrow-Hoff Rule): PRIMER
US1 US2
UR
ton svetlo
w1 = .2 w2 = 0
Željeni odgovor dj = 1
o1 = 1 o2 = 0
Korak 2:
14. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9e
BERNARD VIDROU I TED HOF (1960)
Vidrou-Hof pravilo učenja (Widrow-Hoff Rule): PRIMER
US1 US2
UR
ton svetlo
w1 = .36 w2 = 0
Željeni odgovor dj = 1
o1 = 1 o2 = 0
Korak 3:
15. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10a
KONTINUITET IZMEĐU TEORIJA UČENJA
Vidrou-Hof je Reskorla-Vagner...
Odgovor = ukupna aktivacija
Greška
Pravilo korekcije težine veza
„Δ pravilo“
rata
učenja
željeni
odgovor
ukupna
aktivacija
nivo aktivacije
ulazne
jedinice
rata
učenja
željeni odgovor = asimptota učenja
ukupna
aktivacija
Zasićenost
US
Reskorla-Vagner teorija
„R-W pravilo“
Pravilo korekcije težine veza
„Δ pravilo“
promena
intenziteta
asocijativne
veze
promena težine
asocijativne
veze
16. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10b
KONTINUITET IZMEĐU TEORIJA UČENJA
Vidrou-Hof je Reskorla-Vagner...
rata
učenja
željeni
odgovor
ukupna
aktivacija
nivo aktivacije
ulazne
jedinice
rata
učenja
željeni odgovor = asimptota učenja
ukupna
aktivacija
Zasićenost
US
Reskorla-Vagner teorija
„R-W pravilo“
Pravilo korekcije težine veza
„Δ pravilo“
promena
intenziteta
asocijativne
veze
promena težine
asocijativne
veze
i1 i2 i3 i4 i5 i6 i7
O
w1 w2 w3 w4 w5 w6 w7
Vidrou-Hofovo pravilo je dizajnirano
da trenira perceptrone u kategorizaciji
složajeva sa inputa
• Postoji dokaz da će sukcesivna, ponovljena
primena Vidrou-Hof algoritma učenja voditi
ka minimizaciji greške u odgovoru
perceptrona.
• Sada znamo da to važi i za R-W, dakle.
• Ah, da: R-W (pod određenim uslovima)
izračunava ΔP – probabilistički kontrast...
SVE JE POVEZANO.
17. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11a
GLUK I BAUER (1988)
Model adaptivne mreže (Adaptive Network Model): R-W uči kategorije...
i1 i2 i3 i4 i5 i6 i7
w1 w2 w3 w4 w5 w6 w7
w1 w2 w3 w4 w5 w6 w7
C1
C2
Kako problem klasično uslovljavanja
postaje problem kategorizacije...
s1 s2 s3 s4
midoza burloza
Eksperiment 1 Gluk i Bauer (1988)
• Simptomi 1-4 dati su sa tačno određenim
kontingencijama u odnosu na dva ishoda (dve
izmišljene bolesti).
• Ispitanici vide 250 složajeva simptoma i svaki
klasifikuju.
• Računa se verovatnoća sa kojom ispitanici svaku
kombinaciju simptoma klasifikuju u jednu ili
drugu kategoriju.
18. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11b
GLUK I BAUER (1988)
Model adaptivne mreže (Adaptive Network Model): R-W uči kategorije...
s1 s2 s3 s4
midoza burloza
Eksperiment 1 Gluk i Bauer 1988.
• Simptomi 1-4 dati su sa tačno određenim
kontingencijama u odnosu na dva ishoda
(dve izmišljene bolesti).
• Ispitanici vide 250 složajeva simptoma i
svaki klasifikuju.
• Računa se verovatnoća sa kojom ispitanici
svaku kombinaciju simptoma klasifikuju u
jednu ili drugu kategoriju.
• Gluk i Bauer (1988): da li model adaptivne mreže koji
uči po R-W pravilu učenja (tj. koristi Vidrou-Hof
algoritam) može da nauči takve težine asocijativnih
veza da klasifikuje složajeve simptoma s1-s2-s3-s4 sa
istim verovatnoćama sa kojima to čine ljudski
ispitanici?
19. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 12
KONEKCIONISTIČKI POKRET
PDP: Paralelno distribuirani procesi
Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986).
Parallel Distributed Processing: Explorations in the Microstructure of Cognition.
Volume 1: Foundations, Cambridge, MA: MIT Press
Volume 2: Psychological and Biological Models, Cambridge, MA: MIT Press
20. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13
KONEKCIONIZAM
Višeslojne neuronske mreže sa propagacijom signala unapred
(Feedforward Multilayer Perceptron)
1 0Input
Ulazne jedinice
w = +1 w = +1
.5 Izlazna jedinica
i1 i2 i3 i4 i5 i6 i7
O
w1 w2 w3 w4 w5 w6 w7
Implementacija logičkog ILI (logical OR)
Ideja: klasifikacija složajeva sa inputa
1 0Input
Ulazne jedinice
w = +1 w = +1
0.5
Izlazna jedinica
1.5
w = +1 w = +1
w = -2
Skrivena jedinica
Najjednostavniji perceptron sa skrivenim slojem:
implementacija logičkog ekskluzivno ILI (logical XOR)
NEURONSKE MREŽE SA JEDNIM SLOJEM JEDINICA
UČE SAMO LINEARNO SEPARABILNE KATEGORIJE.
21. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13
KONEKCIONIZAM
Višeslojne neuronske mreže sa propagacijom signala unapred
(Feedforward Multilayer Perceptron)
krila
krzno
perje
trči
roni
leti
doji
leže
jaja
reži
SISAR
PTICA
RIBA
GMIZAVAC
Greška =
Predikcija
mreže –
Željena
vrednost
Povratna propagacija signala
greške kroz mrežu
podešavanje težine veza
22. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 14
KONEKCIONIZAM
Učenje algoritmom povratne propagacije signala greške
(Backpropagation Learning Algorithm)
• Algoritam povratne propagacije signala za učenje
u višeslojnim perceptronima otkriven je, po
svemu sudeći, više puta, od strane istraživača koji
su radili nezavisno jedni od drugih, tokom istorije
psihologije druge polovine XX veka.
• „Kanonička forma“ je ona koju daju konekcionisti
okupljeni oko PDP grupe 80-ih godina.
• U suštini, čuveni back-prop algoritam je
generalizacija Vidrou-Hof (tj. R-W) algoritma za
učenje jednoslojnih neuronskih mreža. „Kvaka“ je
u načinu na koji se izračunava korekcija za težine
veza jedinica u skrivenim slojevima + par tehničkih
detalja.
• Back-prop uči nelinarno separabilne kategorije,
naravno.
• Back-prop ima svojih ograničenja, i ona nisu
trivijalna, ali... back-prop će sa lakoćom slomiti
ogromnu većinu problema učenja koje smo
uopšte razmratrali.J. McClleland D. Rummelhart
23. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 15
RODŽERS I MEK KLILEND, 2004.
Konekcionistička teorija semantičkog znanja