Učenje i viši kognitivni procesi 8. Simboličke funkcije, II Deo: Distribuirane reprezentacije, emergentizam i dinamički sistemi

1. UČENJE I VIŠI KOGNITIVNI PROCESI
Prolećni semestar 2013.
Predavač: Goran S. Milovanović
Predavanje 9 – vežbe
SIMBOLIČKE FUNKCIJE – Deo IIb: Distribuirane reprezentacije, emergentizam i
dinamički sistemi

2. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 2
KONEKCIONISTIČKI POKRET
PDP: Paralelno distribuirani procesi
Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986).
Parallel Distributed Processing: Explorations in the Microstructure of Cognition.
Volume 1: Foundations, Cambridge, MA: MIT Press
Volume 2: Psychological and Biological Models, Cambridge, MA: MIT Press

3. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 3
KONEKCIONIZAM
Višeslojne neuronske mreže sa propagacijom signala unapred
(Feedforward Multilayer Perceptron)
1 0Input
Ulazne jedinice
w = +1 w = +1
.5 Izlazna jedinica
i1 i2 i3 i4 i5 i6 i7
O
w1 w2 w3 w4 w5 w6 w7
Implementacija logičkog ILI (logical OR)
Ideja: klasifikacija složajeva sa inputa
1 0Input
Ulazne jedinice
w = +1 w = +1
0.5
Izlazna jedinica
1.5
w = +1 w = +1
w = -2
Skrivena jedinica
Najjednostavniji perceptron sa skrivenim slojem:
implementacija logičkog ekskluzivno ILI (logical XOR)
NEURONSKE MREŽE SA JEDNIM SLOJEM JEDINICA
UČE SAMO LINEARNO SEPARABILNE KATEGORIJE.

4. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 4
KONEKCIONIZAM
Višeslojne neuronske mreže sa propagacijom signala unapred
(Feedforward Multilayer Perceptron)
krila
krzno
perje
trči
roni
leti
doji
leže
jaja
reži
SISAR
PTICA
RIBA
GMIZAVAC
Greška =
Predikcija
mreže –
Željena
vrednost
Povratna propagacija signala
greške kroz mrežu
 podešavanje težine veza

5. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 5
KONEKCIONIZAM
Učenje algoritmom povratne propagacije signala greške
(Backpropagation Learning Algorithm)
• Algoritam povratne propagacije signala za učenje
u višeslojnim perceptronima otkriven je, po
svemu sudeći, više puta, od strane istraživača koji
su radili nezavisno jedni od drugih, tokom istorije
psihologije druge polovine XX veka.
• „Kanonička forma“ je ona koju daju konekcionisti
okupljeni oko PDP grupe 80-ih godina.
• U suštini, čuveni back-prop algoritam je
generalizacija Vidrou-How (tj. R-W) algoritma za
učenje jednoslojnih neuronskih mreža. „Kvaka“ je
u načinu na koji se izračunava korekcija za težine
veza jedinica u skrivenim slojevima + par tehničkih
detalja.
• Back-prop uči nelinarno separabilne kategorije,
naravno.
• Back-prop ima svojih ograničenja, i ona nisu
trivijalna, ali... back-prop će sa lakoćom slomiti
ogromnu većinu problema učenja koje smo
uopšte razmratrali.J. McClleland D. Rummelhart

6. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 6
KONEKCIONIZAM
Učenje algoritmom povratne propagacije signala greške:
uloga skrivenog sloja jedinica
s1 s2 s3 s4
C1
C2
• Pretpostavimo da je tipičan C1 onaj koji
ima visoko s1 i visoko s2, a nisko s3 i nisko s4.
• Pretpostavimo da je tipičan C2 ona koji ima
visoko s3 i visoko s4, a nisko s1 i nisko s2.
• Pretpostavimo da postoji član C1 koji ima
visoko s1 i visoko s3, a nisko s2 a nisko s4.
Izuzetak, zar ne?
+
+-
-
+ -
Uvođenje jedinica u skrivenom sloju obezbeđuje
mogućnost kodiranja „ekscentričnih“ inputa, ako
i kada ih ima – tako je moguće kodirati strukture
nelinearno separabilnih problema kategorizacije.

7. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 7
KONEKCIONIZAM
Teorija distribuiranih reprezentacija
C1
C2
+
+-
-
+ -
LOKALIZACIJA INFORMACIJA U KOGNITIVNIM
REPREZENTACIJAMA
Propozicija: Golub je ptica.
Propozicija: Njujork je grad.
- Gde tačno se nalazi informacija
o tome da je golub ptica, a Njujork grad?
Odgovor: nigde tačno, ta informacija
nije lokalizovana.
Konekcionizam je teorija distribuiranih
reprezentacija.
Sve informacije u neuronskoj mreži su
uskladištene u formi strukture intenziteta
asocijativnih veza.
Sve ostalo je interakcija aktivacije na inputu i te
strukture intenziteta veza.

8. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8
RODŽERS I MEK KLILEND, 2004.
Konekcionistička teorija semantičkog znanja

9. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9
RODŽERS I MEK KLILEND, 2004.
Konekcionistička teorija semantičkog znanja
KONCEPTI
(input)
Kanarinac
Crvendać
Orah
Bor
Ljubičica
Ruža
Losos
Som
RELACIJE
ISA
„ima“
„može da“
„je “
REPREZENTACIJE
KONCEPATA
SKRIVENI
SLOJ
ATRIBUTI
(autput)
Riba
Ptica
Cvet
Drvo
Životinja
Biljka
Živo biće
Visoko
Lepo
Brzo
Mirišljavo...
Raste
Leti
Trći
Peva...
Kljun
Krila
Krzno
Lišće
Peraja...
= sve povezano
sa svim

10. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10
KONEKCIONIZAM: DINAMIČKA EVOLUCIJA DISTRIBUIRANIH REPREZENTACIJA
Reprezentacioni sistem evoluira tokom procesa minimizacije greške predikcije
t = 1 faza
t = 2 faza
t = 3 faza
Dinamička evolucija sličnosti između reprezentacija koncepata odgovara
dobro poznatim empirijskim nalazima o razvoju sistema koncepata i kategorija kod ljudi.

11. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11
EMERGENTIZAM
Emergentističko naučno objašnjenje kognitivnih funkcija u konekcionizmu
Video-demonstracija Konvejeve „Game of Life“:
http://www.youtube.com/watch?v=OEbCsKJKXaE

12. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 12
EMERGENTIZAM
Emergentističko naučno objašnjenje kognitivnih funkcija u konekcionizmu
Sve je u interakcijama.
Definiši pravila igre i pusti sistem da
evoluira spontano poštujući
definisana pravila.
Tokom dinamičke evolucije sistema,
primetićeš javljanje i lokalnu
održivost kvalitativno različitih
struktura.
Te strukture su emergentne strukture.
One nigde nisu planirane.
One nikad nisu pre-programirane.
Zavera ne postoji.

13. Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13
Donald Heb
(1904-1985)
3. Sekvenciranje faza: mišljenje (kognitivni procesi) jeste sekvencijalna
aktivacija neuralnih ansambla.
t = 1 faza
t = 2 faza
t = 3 faza