Your SlideShare is downloading. ×
Sc
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

Sc

616
views

Published on


0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
616
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Seminarski rad: Soft Computing - raˇunska inteligencija c (Computational Intelligence) Popovi´ Zoran c Centar za multidisciplinarne studije Univerzitet u Beogradu 4. septembar 2006 Saˇetak z Ovaj tekst je zamiˇljen kao pregled sadrˇaja knjiga i radova iz s zoblasti raˇunske inteligencije. Rad je pisan pomo´u TEX-a tj. L TEX-a c c Akao njegovog dijalekta i jfig alata - [PG] i [TB]. Profesor: Dragan Radojevi´ c
  • 2. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 1Sadrˇaj z1 Poglavlje 1 - Soft Computing, uvod 42 Fazi logika i fazi sistemi 5 2.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Fazi skupovi - osnovni pojmovi i definicije . . . . . . . . . . . 5 2.3 Operacije i relacije nad fazi skupovima . . . . . . . . . . . . . 7 2.4 Fazi relacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4.1 Fazi relacije indukovane preslikavanjem . . . . . . . . . 10 2.5 Konveksnost, ograniˇenost i druge osobine . . . . . . . . c . . . 10 2.6 Reprezentovanje, princip proˇirenja . . . . . . . . . . . . s . . . 11 2.7 Lingvistiˇke promenljive, t-norme i s-norme . . . . . . . c . . . 12 2.8 Fazi logika i fazi zakljuˇivanje . . . . . . . . . . . . . . . c . . . 16 2.8.1 Konaˇna Bulova algebra . . . . . . . . . . . . . . c . . . 17 2.8.2 Percepcija, Haseov dijagram strukture BA . . . . . . . 18 2.8.3 Generalizovan Bulov polinom . . . . . . . . . . . . . . 21 2.8.4 Logiˇka agregacija i primer mreˇe . . . . . . . . . c z . . . 24 2.8.5 Fazi logika, formalna definicija . . . . . . . . . . . . . . 25 2.8.6 Hajekov pristup, fazi teorija modela i ontologije . . . . 27 2.8.7 Zadeov pristup . . . . . . . . . . . . . . . . . . . . . . 28 2.8.8 Kompoziciono pravilo zakljuˇivanja . . . . . . . . c . . . 29 2.8.9 Max-Min zakljuˇivanje . . . . . . . . . . . . . . . c . . . 30 2.8.10 Max-Proizvod zakljuˇivanje . . . . . . . . . . . . c . . . 31 2.8.11 Pravila sa viˇe premisa, viˇe pravila i procedura s s za- kljuˇivanja . . . . . . . . . . . . . . . . . . . . . . c . . . 32 2.9 Defazifikacija (Defuzzification) . . . . . . . . . . . . . . . . . . 34 2.10 Kompleksnost i izraˇunljivost . . . . . . . . . . . . . . . c . . . 35 2.11 Fazi logika i alternativne teorije verovatno´e . . . . . . . c . . . 35 ˇ 2.11.1 Dempster-Sejferova teorija . . . . . . . . . . . . . . . . 36 2.11.2 Zakljuˇivanje s uverenjem . . . . . . . . . . . . . c . . . 37 2.11.3 Mere verovanja i neverovanja i ukupno uverenje . . . . 37 2.11.4 Propagiranje uverenja . . . . . . . . . . . . . . . . . . 38 2.11.5 Mogu´nost i potrebnost . . . . . . . . . . . . . . c . . . 39 2.12 Raˇunanje s reˇima . . . . . . . . . . . . . . . . . . . . . c c . . . 40 2.13 Fazi algoritmi . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
  • 3. 2 Seminarski rad3 Neuronske mreˇe z 47 3.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.2 Osnovni model neurona . . . . . . . . . . . . . . . . . . . . . . 48 3.3 Grupisanje neurona i struktura NM . . . . . . . . . . . . . . . 53 3.4 Obuka i uˇenje NM . . . . . . . . . . . . . . . . . . . . c . . . . 56 3.5 Propagiranje unazad . . . . . . . . . . . . . . . . . . . . . . . 58 3.5.1 Varijante povratnog propagiranja . . . . . . . . . . . . 62 3.5.2 Perceptron . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.5.3 (M)ADALINE . . . . . . . . . . . . . . . . . . . . . . . 64 3.6 Vrste NM i oblasti primene . . . . . . . . . . . . . . . . . . . . 66 3.7 NM takmiˇenja, klasifikacije i druge . . . . . . . . . . . c . . . . 66 3.7.1 Kvantizacija vektora sa uˇenjem . . . . . . . . . c . . . . 67 3.7.2 Protiv-propagaciona NM (Counter-propagation) . . . . 68 3.7.3 Adaptivno-rezonantna teorija (ART) . . . . . . . . . . 68 3.7.4 Stohastiˇke (verovatnosne) NM . . . . . . . . . c . . . . 70 3.8 (Neo)kognitron . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.9 Asocijaciranje podataka . . . . . . . . . . . . . . . . . . . . . 71 3.9.1 Asocijativne memorije, BAM . . . . . . . . . . . . . . 71 3.9.2 Hofildove memorije . . . . . . . . . . . . . . . . . . . . 73 3.9.3 Hemingova mreˇa . . . . . . . . . . . . . . . . . z . . . . 75 3.9.4 Bolcmanova maˇina . . . . . . . . . . . . . . . . s . . . . 76 3.9.5 Prostorno-vremensko prepoznavanje . . . . . . . . . . . 774 Genetski algoritmi 79 4.1 Uvod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.2 Kodiranje i problemi optimizacije . . . . . . . . . . . . . . . . 79 4.3 Kanonski GA . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.3.1 Operatori GA . . . . . . . . . . . . . . . . . . . . . . . 81 4.3.2 Primer kanonskog GA . . . . . . . . . . . . . . . . . . 81 ˇ 4.4 Seme, teorema ˇeme i posledice . . . . . . . . . . . . s . . . . . 82 4.4.1 Uloga i opis prostora pretrage . . . . . . . . . . . . . . 82 4.4.2 Teorema ˇeme . . . . . . . . . . . . . . . . . . s . . . . . 84 4.4.3 Binarni alfabet i n3 argument . . . . . . . . . . . . . . 86 4.4.4 Kritike ˇema teoreme, uopˇtena teorema ˇeme s s s . . . . . 86 4.5 Ostali modeli evolucionog raˇunanja . . . . . . . . . . c . . . . . 87 4.5.1 Dˇenitor . . . . . . . . . . . . . . . . . . . . . z . . . . . 88 4.5.2 CHC . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.5.3 Hibridni algoritmi . . . . . . . . . . . . . . . . . . . . . 89
  • 4. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 3 4.6 Alternativni operatori odabiranja GA . . . . . . . . . . . . . . 89 4.7 Paralelni GA . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 4.7.1 Globalne populacije sa paralelizmom . . . . . . . . . . 90 4.7.2 Model ostrva . . . . . . . . . . . . . . . . . . . . . . . 90 ´ 4.7.3 Celijski GA . . . . . . . . . . . . . . . . . . . . . . . . 90 4.8 Primeri GA . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 4.8.1 Evoluiraju´e NM . . . . . . . . . . . c . . . . . . . . . . 91 4.8.2 Klasifikacija i konceptualizacija . . . . . . . . . . . . . 92 4.8.3 Uˇenje fazi pravila evolucijom . . . . c . . . . . . . . . . 92 4.8.4 Evoluiranje programa . . . . . . . . . . . . . . . . . . . 93
  • 5. 4 Seminarski rad1 Poglavlje 1 - Soft Computing, uvod Pojam Soft Computing odnosno pojam raˇunske inteligencije (RI = Com- cputational Intelligence / Computational Science, ponegde se javlja i pojambioinformatika, ˇto nije sluˇajno - mnogi modeli raˇananja i ideje su potekle s c cod bioloˇkih modela i uzora) u koje se ubrajaju oblasti fazi (Fuzzy) logike i sis- stema, neuronskih mreˇa (NM) i genetskih algoritama (GA) se nekako posebno zizdvajaju iz tema i oblasti pokrivenih temama i oblastima veˇtaˇke inteligen- s ccije (VI). Jedan od osnovnih razloga za to potiˇe od bliske povezanosti VI sa cklasiˇnom logikom i teorijom algoritama i izraˇunljivosti u matematici (kako c czbog aspekta deklarativnog znanja prisutnog u VI, tako i zbog same prirodeproblema po definiciji) naspram oblasti RI gde je ta veza slabija ili bar nijeiste prirode kao kod klasiˇne matematike. Iz istih razloga se npr. fazi logika cnemoˇe svesti prosto na neki oblik (primene) teorije verovatno´e i statistike z ciako to moˇe izgledati na prvi pogled tako (karakteristiˇna funkcija liˇi na z c cfunkciju raspodele sluˇajne promenljive). c Svaka od ovih oblasti se ˇesto kombinuje sa nekom oblasti VI (jedna od czajedniˇkih osobina i ciljeva RI i VI su inteligentni agenti) ali postoje i mnoge cmed ¯uveze i hibridi NM, GA, fazi sistema i srodnih oblasti ˇto ih takod ˇini s ¯e cposebnom celinom. Poznato je, primera radi, da se neke klase problemakoji se koriste za obuˇavanje i optimizaciju koeficijenata NM ili nekih fazi csistema najefikasnije reˇavaju upotrebom GA, ili da se neke klase fazi mreˇa s zzakljuˇivanja mogu jednostavno pretoˇiti u NM i obratno, itd. c c Ova oblast raˇunarstva je danas jedna od najˇivahnijih u smislu novih c zteoretskih otkri´a, ali i novih praktiˇnih primena. Jedna od osnovnnih za- c cjedniˇkih osobina razliˇitih disciplina RI jeste borba sa kompleksnoˇ´u i ne- c c scpreciznoˇ´u konceptualizacije sveta i percepcije sveta (pored pojma modela scraˇunanja) - jednostavnost konceptualizacije je suprotstavljena sa komplek- csnoˇ´u i nejasno´om realnog sveta, ali je isto tako sloˇenost konceptualizacije cc c zusko grlo primenjivosti i efikasnosti u VI. Mnoge podoblasti nisu joˇ uvek do- svoljno dobro prouˇene - bilo da su tek u nastajanju ili se preispituju nove cmogu´nosti i produbljuju teoretske osnove kao ˇto je kod fazi sistema sluˇaj. c s cJedan od najpoznatijih Zadeovih kritiˇara, R. E. Kalman (inaˇe poznat i po c cistraˇivanjeima u oblasti linarnih dinamiˇkih sistema, filtera i NM), navodi z cu jednoj prepisci kao osnovnu zamerku fazi logici i fazi sistemima nedostataknjihove primene u veoma sloˇenim oblastima gde se to oˇekivalo viˇe - [birth] z c s- zamerka stoji, ali i VI i RI kao discipline raˇunarstva su prolazile kroz krize cu kojima se oˇekivalo viˇe i izlazile iz njih - novi rezultati se tek oˇekuju. c s c
  • 6. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 52 Fazi logika i fazi sistemi2.1 Uvod Fazi logika (,,fuzzy” - nejasan, neodred ¯en) na neki naˇin potiˇe joˇ od c c s1930. kada je Lukasiewicz predloˇio da domen poznatih operatora Bulove zalgebre bude proˇiren nekim vrednostima izmed 0 i 1 (⊥ i ). Zade (Lotfi s ¯uA. Zadeh, 1965.) tu ideju dalje formalizuje i tako nastaje formalna teorijafazi logike. Godinama su se mnogi pojmovi i problemi naknadno reˇavali, ali streba pre svega imati na umu ˇinjenicu da fazi logika nije isto ˇto i klasiˇna c s caristotelovska logika (samo u nekim specijalnim trivijalnim sluˇajevima se csvodi na nju - npr. u fazi logici princip iskljuˇenja tre´eg nemora da vaˇi, c c zˇtaviˇe ne vaˇi uopˇte ako je prava fazi logika u pitanju) i zato predstavljas s z spogled na svet koji je drugaˇiji od onog uvreˇenog i baziranog na klasiˇnoj c z clogici tj. predikatskom raˇunu i ZF (Zermelo-Frankel) teoriji skupova. Kod cfazi logike je osobina egzaktnosti nekako ,,labavija” u odnosu na klasiˇnu clogiku, ˇto ne znaˇi da je fazi logika manje formalna. Pod fazi sistemima se s cpodrazumevaju razliˇite teoretske i praktiˇne primene fazi teorije (skupova i c clogike).2.2 Fazi skupovi - osnovni pojmovi i definicije Fazi logika se zasniva na skupovima i elementima ˇija se pripadnost meri cpre nego da egzaktno pripradaju ili ne pripadaju skupu.Definicija 2.1 Neka je X domen tj. prostor elemenata ili objekata x, ˇto se smoˇe oznaˇiti i sa X = {x}. z cFazi skup (ili fazi klasa) A u X je karakterisan funkcijom pripadnosti tj.karakteristiˇnom funkcijom c µA (x) : X → [0, 1]koja dodeljuje elementu x stepen pripadnosti skupu A.U opˇtem sluˇaju, domen µA moˇe biti podskup od X, a vrednost moˇe biti s c z zelement nekog zadatog parcijalno ured¯enog skupa P umesto [0, 1]. To se moˇezzapisati i kao µA (x) = Degree(x ∈ A) gde je 0 ≤ µA (x) ≤ 1. NAPOMENA:(fazi) pripadnost skupu ovde ne treba shvatati kao pripadnost u klasiˇnomcsmislu - trivijalno ,,x pripada A” akko µA (x) > 0 - netrivijalno, treba uvesti
  • 7. 6 Seminarski raddva broja α > β td. 0 < α, β < 1, i tada ,,x pripada A” akko µA (x) ≥ α,,,x ne pripada A” akko µA (x) ≤ β, ,,x je je neodred ¯ene pripadnosti premaA” akko β < µA (x) < α (ovo vodi ka trovalentnoj logici sa vrednostimanpr. , ⊥ i ? respektivno - Kleene, 1952). Ako je A skup u klasiˇnom smislu c(,,crisp” - oˇtar), tada ako je µA (x) = 1 onda je x ∈ A, odnosno ako je sµA (x) = 0 onda je x ∈ A (za skupove u klasiˇnom smislu, ili jednostavno / creˇeno za skupove, karakteristiˇna funkcija uzima samo dve vrednosti: 0 i c c1). Fazi skupovi kod kojih karakteristiˇna funkcija dostiˇe 1 su normirani. c zPrimer: ˇesto se koristi trougao (ili fazi broj c, neki put zgodnije shva´en kao c cinterval sa pesimistiˇkom i optimistiˇkom granicom), fazi skup A = A(c, a, b) c cu X = R ˇija karakteristiˇna vrednost ima vrednost 0 u svim taˇkama na c c crealnoj osi osim izmed temena (c − a, 0) i (c + a, 0) trougla koja leˇe na osi, ¯u za u tre´em temenu (c, µA (c)) linearno dostiˇe najve´u vrednost: c z c  b  a (x − c + a), c − a ≤ x < c; b µA(c,a,b) (x) = − a (x − c − a), c ≤ x ≤ c + a;  0, x ∈ [c − a, c + a]. / c−a c c+a gde je 0 ≤ b = µA(c,a,b) (c) ≤ 1 najve´a vrednost koju cdostiˇe karakteristiˇna funkcija. z c Pored ovih koriste se i drugi oblici osnovnih vrsta karakteristiˇnih funkcija c(trapezoid i druge krive) kao ˇto su (navedeni su normirani fazi skupovi): ss-krivina X1 X2   0, x < x1 ; 1 1 x−x µs(x1 ,x2 ) (x) = 2 + 2 cos[ x2 −x21 π], x 1 ≤ x ≤ x2 ;  1, x > x2 . gde su x1 i x2 leva i desna prevojna taˇka. cz-krivina X1 X2   0, x < x1 ; 1 x−x µs(x1 ,x2 ) (x) = 2 + 1 cos[ x2 −x11 π], x1 ≤ x ≤ x2 ; 2  1, x > x2 . (simetriˇna prethodnoj u odnosu na x osu) c
  • 8. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 7π-krivina (zvono) X1 X2 X3 X4 µπ(x1 ,x2 ,x3 ,x4 ) (x) = min[µs(x1 ,x2 ) (x), µz(x3 ,x4 ) (x)] gde je vrh zvona ravan izmed x2 i x3 . ¯uU literaturi (npr. u [LPROFS]) se npr. definiˇe i kardinalnost fazi skupa kao: s card(A) = µA (x) x∈Xili kao kardinalnost skupova nosaˇa Supp(A) ili jezgra Ker(A) gde je c Supp(A) =def {x| µA (x) = 0}, Ker(A) =def {x| µA (x) = 1}Ako se kardinalnost posmatra kao mera skupa, alternativnim definicijama,,i” ili ,,ili” operatora (t-norme i s-norme kasnije u tekstu) se moˇe dobiti kar- zdinalnost koja nije aditivna mera, ali se zadrˇava bitna osobina monotonosti z(ˇto se dovodi u vezu sa osobinama fazi logike naspram klasiˇne logike). Na s cosnovu ovoga se moˇe definisati entropija fazi skupa (Kosko, 1986): zE(A) = Card(A ∩ A)/Card(A ∪ A) ili kaoE(A) = −k u∈U [µA (u) log µA (u)+µA (u) log µA (u)] gde je k neka konstanta.2.3 Operacije i relacije nad fazi skupovima • Jednakost - Dva fazi skupa A i B su jednaka, ˇto se piˇe A = B, akko µA (x) = µB (x) s s za svako x ∈ X (skra´eno, µA = µB ). c • Podskup - Fazi skup A je podskup fazi skupa B, ˇto se oznaˇava sa A ⊂ B, akko s c µA ≤ µ B . • Komplement - komplement fazi skupa A se oznaˇava sa A i definiˇe sa: c s µA (x) =def 1 − µA (x) • Presek - za presek C = A ∩ B vaˇi: µA∩B (x) =def min[µA (x), µB (x)] = z µA (x) ∧ µB (x) za sve x ∈ X, skra´eno: µC = µA (x) ∧ µB c
  • 9. 8 Seminarski rad • Unija - za uniju C = A ∪ B vaˇi: µA∪B (x) =def max[µA (x), µB (x)] = z µA (x) ∨ µB (x) za sve x ∈ X, skra´eno µC = µA ∨ µB c • Oduzimanje - µA−B = µA ∧ (1 − µB )Za ovako definisane operacije vaˇe poznate lepe osobine kao ˇto su to npr. z sDe Morganovi i distributivni zakoni (ovo sledi iz samih definicija, npr. DeMorganovi zakoni slede iz 1 − max[µA , µB ] = min[1 − µA , 1 − µB ] za sluˇajeve cµA (x) > µB (x) i µA (x) < µB (x)). Ovakve relacije skupova su ,,oˇtre” (nisu sfazi, ili vaˇe ili ne vaˇe), i postoje predlozi kako se mogu i one definisati kao z zfazi u (Gottwald, Pedrycz): inclt (A, B) = (µA (x)φµB (x)), xφy =def {z| t(x, z) ≤ y} x∈Xgde je funkcija t neka t-norma (obiˇno minimum). Tada je A ⊆ B ⇔ cinclt (A, B) = 1. Jednakost A = B ⇔ A ⊆ B ∧ B ⊆ A se tada moˇe zzapisati i kao eqt (A, B) =def t(inclt (A, B), inclt (B, A)). Osim ˇto su ovim sdefinisani komplement, presek i unija fazi skupova, ovo se kasnije koristikod lingvistiˇkih promenljivih (dalje u tekstu) za logiˇke operacije negacije i c cveznike ,,i” i ,,ili”, respektivno. Pored ovih operacija i relacija koriste se i algebarske operacije nad faziskupovima: • Algebarski proizvod - µAB = µA µB Oˇigledno vaˇi: AB ⊂ A ∩ B. c z • Algebarski zbir - µA+B = µA + µB - pod uslovom da vaˇi µA (x) + µB (x) ≤ 1 za svako x ∈ X. z • Mnoˇenje skalarom - z µαB = α µB , α ∈ [0, 1]
  • 10. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 9 • Apsolutna razlika - µ|A−B| = |µA − µB | (za obiˇne skupove |A − B| se svodi na komplement A ∩ B u odnosu c na A ∪ B) • Konveksna kombinacija - za fazi skupove A, B i Λ: (A, B; Λ) = ΛA + ΛB ˇto u obliku karakteristiˇnih funkcija izgleda ovako: s c µ(A,B;Λ) (x) = µΛ (x)µA (x) + [1 − µΛ (x)]µB (x), za svaki x ∈ X. Osnovna osobina ovakve kombinacije je A ∩ B ⊂ (A, B; Λ) ⊂ A ∪ B za svaki Λ ˇto je posledica nejednakosti min[µA (x), µB (x)] ≤ λµA (x) + s ˇ (1 − λ)µB (x) ≤ max[µA (x), µB (x)], x ∈ X, 0 ≤ λ ≤ 1. Staviˇe, zas svaki fazi skup C td. A ∩ B ⊂ C ⊂ A ∪ B postoji fazi skup Λ - njegova karakteristiˇna funkcija je onda: c µC (x) − µB (x) µΛ (x) = , x∈X µA (x) − µB (x) • Fazifikacija Ovim operatorom se moˇe napraviti fazi skup od oˇtrog z s ili fazi skupa, a karakteriˇe ga jezgro K(x) = 1/x koje svakom x ∈ X s dodeli odgovaraju´i fazi skup koji se moˇe zapisati skra´eno kao 1/x. c z c Fazifikacija F (A) (fazi) skupa A se takod oznaˇava sa A i vaˇi: ¯e c z F (A) = F (A; K) = X µA (x)K(x) = X µA (x)x. U praksi se ˇesto koriste dodatne operacije nad karakteristiˇnom funkci- c cjom kojom se odred ¯uju (odnosno modifikuju) dodatno granice tj. ograniˇenja cili odredbe (hedges) pripadnosti skupu (proˇiruju je ili skupljaju - u nared- snim primerima se moˇe pretpostaviti da je A fazi skup visokih osoba): z • Koncentracja (VEOMA) - µCON (A) (x) = (µA (x))2 npr. koncetracija daje skup VEOMA visokih osoba • Dilatacija (DONEKLE) - µDIL(A) (x) = (µA (x))1/2 npr. dilatacija ˇ daje skup DONEKLE (MANJE ILI VISE) visokih osoba
  • 11. 10 Seminarski rad • Intenziviranje (ZAISTA) - 2(µA (x))2 , ako je 0 ≤ µA (x) ≤ 1/2 µIN T (A) (x) = 1 − 2(1 − µA (x))2 , ako je 1/2 < µA (x) ≤ 1 npr. dilatacija daje skup zaista visokih osoba (intenzivira pripadnost izraˇeno visokih, a smanjuje pripadnost ostalih) z • Snaˇno (VEOMA VEOMA) - µP OW (A,n) (x) = (µA (x))n pojaˇanje z c µP OW za n=3 ili ve´e ... cOperatorima i ograniˇenjima se prave derivati fazi skupova. c2.4 Fazi relacija Fazi relacija je prirodno proˇirenje pojma fazi skupova kao i relacije su klasiˇnoj teoriji skupova (funkcija je specijalan sluˇaj relacije). Tako c c nse n-arnoj fazi relaciji A u X pridruˇuje n-arna karakteristiˇna funckija z cµ(x1 , · · · , xn ) gde je xi ∈ X, i = 1, n. Kod binarnih relacija A i B se uvodikompozicija (tzv. max-min kompozicija, moˇe biti i max-proizvod ako se zkoristi proizvod umesto min operatora) B ◦ A definisana sa: µB◦A (x, y) = Supν min[µA (x, ν), µB (ν, y)]Kompozicija ima osobinu asocijativnosti A ◦ (B ◦ C) = (A ◦ B) ◦ C).2.4.1 Fazi relacije indukovane preslikavanjem Neka je T preslikavanje prostora X u Y i B fazi skup u Y sa karak-teristiˇnom funkcijom µB (y). Inverzno preslikavanje T −1 indukuje fazi skup cA u X ˇija je karakteristiˇna funkcija odred c c ¯ena sa µA (x) = µB (y), za svakox ∈ X: T(x)=y. Obratno, ako je A fazi skup u X, karakteristiˇna funkcija za cfazi skup B indukovan preslikavanjem T za y ∈ Y moˇe imati viˇe vrednosti z sako T nije 1-1 pa se zato definiˇe sa µB (y) = maxx∈T −1 (y) [µA (x)], y ∈ Y . s2.5 Konveksnost, ograniˇenost i druge osobine c Osobina konveksnosti se takod moˇe izgraditi i biti korisna kao i kod ¯e zobiˇnih skupova. U narednoj definiciji se pretpostavlja da je X realan euk- clidski prostor Rn .
  • 12. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 11Definicija 2.2 Fazi skup A je (strogo) konveksan akko su skupovi Γα ={x| µA (x) ≥ α} (strogo) konveksni za svako α ∈ (0, 1].Alternativna i neposrednija definicja je:Definicija 2.3 Fazi skup A je konveksan akko µA [λx1 + (1 − λ)x2 ] ≥ min[µA (x1 ), µA (x2 )]za svako x1 i x2 u X i svako λ ∈ [0, 1] (ako se ≥ zameni sa > dobija se jakakonveksnost).Iz prve definicije sledi druga (ako α = µA (x1 ) ≤ µA (x2 ), onda x2 ∈ Γα iλx1 + (1 − λ)x2 ∈ Γα i odatle sledi i µA (x1 ) = min[µA (x1 ), µA (x2 )]) kao iobratno (ako α = µA (x1 ) onda je Γα skup svih x2 td. µA (x2 )geqµA (x1 ) isvaka taˇka λx1 + (1 − λ)x2 , 0 ≤ λ ≤ 1 je u Γα pa je to onda konveksan cskup). Moˇe se dokazati teorema: zTeorema 1 Ako su A i B konveksni, onda je to i njihov presek.Definicija 2.4 Fazi skup je ograniˇen akko su skupovi Γα = {x| µA (x) ≥ α} cograniˇeni za svako α > 0 (za svako α > 0 postoji konaˇna vrednost R(α) c ctakva da je ||x|| ≤ R(α) za svako x ∈ Γα ).Poˇto je X euklidski mogu se definisati -okoline i supremum M = supx [µA (x)] s(M je ,,maksimalna ocena u A”) je esencijalno dostignut u nekoj taˇki ako csvaka -okolina te taˇke sadrˇi taˇke iz Q( ) = {x| µA (x) ≥ M − }. Core(A) c z cje skup svih takvih taˇaka i moˇe se pokazati da je takod konveksan ako je c z ¯eA konveksan. Mogu se dalje izgrad ¯ivati i druge vaˇne osobine fazi skupova zkao ˇto je Zade pokazao (npr. separabilnost fazi skupova). s2.6 Reprezentovanje, princip proˇirenja s Do sada smo razmatrali neprekidne karakteristiˇne funkcije zadate anal- citiˇki. Fazi skup s diskretnim vrednostima se moˇe jednostavno prikazati kao c zvektor karakteristiˇnih vrednosti A = (µ1 , ..., µn ) ako se domen posmatra ckao konaˇan (ili prebrojiv) vektror vrednosti. Taˇnije, fazi skup se posmatra c ckao oˇtar skup ili joˇ bolje, niz ured s s ¯enih parova A = ((µ1 , x1 ), ..., (µn , xn ))gde je µi = µA (xi ). Uz konvenciju zapisa ured ¯enih parova sa ,,/” i unije nkao ,,+” to se moˇe zapisati i kao A = i=1 µA (xi )/xi ako je X diskretan, z
  • 13. 12 Seminarski radodnosno A = X µA (x)/x ako nije. Skra´eni zapis koji se najˇeˇ´e koristi c c scje samo µA (x) uz podrazumevane vrednosti domena X. Fazi skup se moˇe zposmatrati kao unija fazi singltona gde je fazi singlton fazi skup sa samojednom vrednoˇ´u A = {(µA (x), x)} (njegov nosaˇ Supp(A) je kardinalnosti sc c1) za neko x ∈ X, tj. skra´eno A = µ/x gde je µ = µA (x), x ∈ X. Npr. coˇtar skup se onda zapisuje kao X = 1/x1 + · · · + 1/xn ili X = x1 + · · · + xn . s Relacija se onda prikazuje npr. kao: R = X µR (x1 , · · · , xn )/(x1 , · · · , xn ) ili R = µ1 /(x1 , · · · , x1 ) + · · · + µm /(xm , · · · , xm ). R 1 n R 1 n Sami stepeni pripadnosti mogu biti fazi skupovi, na primer ako je domenU = {P era, M ika, Slavko} i ako su fazi skupovi {malo, srednje, puno} defin-isani nad domenom V = 0.0 + 0.1 + · · · + 1.0 onda bi npr. fazi podskup Ateˇkih mogao da bude: s A = malo/M ika + srednje/P era + puno/Slavko Zade definiˇe princip proˇirenja za preslikavanja na slede´i naˇin: ako je s s c cf : U → V preslikavnje, fazi skup A = µ1 /u1 + · · · µn /un nad U tj. A = µ (u)/u onda vaˇi f (A) = µ1 /f (u1 )+· · ·+µn /f (un ) = U µA (u)/f (u). Za U A zsluˇaj funkcije viˇe promenljivih takod vaˇi F (A) = U ×V µA (u) ∧ µG (v)/f (u, v). c s ¯e zPrincipom proˇirenja uopˇte se svaka dobra osobina klasiˇne teorije skupova s s c(i nekih njenih posledica) prenosi na fazi teoriju skupova (ili odgovaraju´u cfazi teoriju) kada je to mogu´e (fazifikacijom). Ovo je napravilo dosta nevolja, ckao ˇto ´e u daljem tekstu biti objaˇnjeno - fazi logika i teorija skupova je s c suopˇtenje klasiˇne logike i teorije skupova, a ne obratno. s c2.7 Lingvistiˇke promenljive, t-norme i s-norme c Oznake vrednosti lingvistiˇke promenljive su reˇenice nekog (prirodnog c cili veˇtaˇkog) jezika L koje mogu imati donekle nejasno znaˇenje kao npr. s c cstarost sa vrednostima mlad, srednje, star - onda je svakoj od vrednosti do-deljen fazi podskup vrednosti iz domena skupa starosti (broj godina). Stepenpripadnosti V al(x is A) = µA (x) elementa fazi skupa A je stepen istinitostiizraza x is A gde fazi skup A postaje osobina. Lingvistiˇka promenljiva moˇe c zuzeti vrednost iz svog skupa termova T (term set) koji predstavlja (oˇtar, s
  • 14. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 13jednostavnosti radi) skup oznaka kojima se dodeljuju fazi skupovi nad istimdomenom (ponegde se u literaturi kaˇe za domen da je bazna promenljiva) zfazi relacijom µN (t, x), t ∈ T, x ∈ X td. oznaci t ∈ T odgovara skup M (t)sa karaktersiˇnom funkcijom µM (x) = µN (t, x) i ˇesto se kra´e piˇe samo t c c c sumesto M(t). Primer: 1, x ≤ 25; µN (mlad, x) = x−25 2 −1 (1 + ( 5 ) ) , x > 25.onda je fazi podskup mlad skupa godina X = {0, · · · , 100}: 25 100 −1 x − 25 2 mlad = 1/x + 1+( ) /x 0 25 5Term moˇe biti atomski ili sloˇen, gde kod sloˇenih uˇestvuju: z z z c 1. logiˇka negacija i veznici (i i ili ) c 2. odredbe 3. zagrade i sl. simboliPomenuta relacija µN se moˇe definisati rekurzivno za sloˇene terme na os- z znovu vrednosti za atomske terme i prema definicijama logiˇkih operatora i codredbi. Primer: ako je u atomski term a h odredba onda se moˇe posm- ztrati h kao operator koji slika fazi skup M (u) u M (hu) - npr. x = veomane mlad = (¬mlad)2 tj. V al(x) = (1 − V al(mlad))2 kao karakteristiˇna cfunkcija. Formalnije, svaki operator i veznik nad fazi skupovima M (x) vrˇi sneku promenu koja se moˇe analitiˇki zapisati, npr. M (x∧y) = M (x)∩M (y) z ctj. V al(x ∧ y) = x ∧ y. Vrednost terma sa veznicima se moˇe definisati uopˇteno t-normama z sza ,,i” veznik i s-normama (t-konormama) za ,,ili” veznik (pored ranijepomenute definicije preseka i unije fazi skupova za ,,i” i ,,ili”, respektivno). Preslikavanje t : [0, 1]2 → [0, 1] je t-norma ako ispunjava slede´e uslove c(tj. aksiome generalizovane konjunkcije, fazi-logiˇkog I-veznika): c 1. t(x, 1) = x (granica) 2. t(x, y) = t(y, x) (komutativnost)
  • 15. 14 Seminarski rad 3. y1 ≤ y2 ⇒ t(x, y1 ) ≤ t(x, y2 ) (monotonost) 4. t(x, t(y, z)) = t(t(x, y), z) (asocijativnost)Klasiˇne t-norme su: c • tmin (x, y) = min(x, y) (Gedelova t-norma ∧G , odnosno Zadeova t-norma ili standardni presek) • tL (x, y) = max(0, x + y − 1) (t-norma Lukasiewicz-a ∧L ) • tproizvod (x, y) = xy (proizvod t-norma ∧P )   x, y = 1; ∗ • t (x, y) = y, x = 1; (drastiˇni presek) c  0, inaˇe. cVaˇi t∗ ≤ tL ≤ tproizvod ≤ tmin i za proizvoljnu t-normu t moˇe se pokazati z zda vaˇi t∗ ≤ t ≤ tmin . Karakterstiˇna funkcija preseka je onda µA∩B (x) = z ct(µA (x), µB (x)). Preslikavanje c : [0, 1]2 → [0, 1] je s-norma (t-konorma) ako ispunjavaslede´e uslove (aksiome, simetriˇno prethodnom): c c 1. c(x, 0) = x (granica) 2. c(x, y) = c(y, x) (komutativnost) 3. y1 ≤ y2 ⇒ t(x, y1 ) ≤ t(x, y2 ) (monotonost) 4. t(x, t(y, z)) = t(t(x, y), z) (asocijativnost)Klasiˇne s-norme su: c • cmax (x, y) = max(x, y) (standardna unija, odnosno Gedelova s-norma ∨G ) • cL (x, y) = min(1, x + y) (∨L ) • csuma (x, y) = x + y − xy (∨P tj. algebarska suma)
  • 16. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 15   x, y = 0; • c∗ (x, y) = y, x = 0; (drastiˇna unija) c  1, inaˇe. cVaˇi takod cmax ≤ cproizvod ≤ cL ≤ c∗ i za proizvoljnu t-konormu c moˇe z ¯e zse pokazati da vaˇi cmax ≤ c ≤ c∗ . Karakterstiˇna funkcija unije je onda z cµA∪B (x) = c(µA (x), µB (x)). Moˇe vaˇiti veza izmed dualnih t-normi i t-konormi (i obratno, na os- z z ¯unovu De Morganovih zakona - u opˇtem sluˇaju ove veze ne moraju vaˇiti): s c zc(x, y) = 1 − t(1 − x, 1 − y). Tada se mogu definisati parovi dualnih konormi- npr. (tmin , cmax ), (tL , cL ), (tproizvod , csuma ), (t∗ , c∗ ). Ove funkcije se moguuopˇtiti i na viˇe promenljivih: s s tmin (x1 , · · · , xn ) = min(x1 , · · · , xn ), cmax (x1 , · · · , xn ) = max(x1 , · · · , xn ) n n tL (x1 , · · · , xn ) = max(0, xi − n + 1), cL (x1 , · · · , xn ) = min(0, xi ) i=1 i=1 n i i+1tproizvod (x1 , · · · , xn ) = x1 · · · xn , csuma (x1 , · · · , xn ) = (−1) xτ (j) i=1 τ =komb(i) j=1 Kao ˇto se ovim aksiomama definiˇu t-norme i s-norme kao neka vrsta s suopˇtenja konjunkcije i disjukcije (i odgovaraju´ih stepena istinitosti rekurzivnim s cdefinicijama V al nad fazi iskazima), tako se moˇe definisati i uopˇtena ne- z sgacija n : [0, 1] → [0, 1] aksiomama: • n(0) = 1, n(1) = 0 (graniˇni uslovi) c • x ≤ y ⇒ n(y) ≤ n(x) • n(n(x)) = xgde opet imamo primere negacije: nG (x) = 0 za x > 0, inaˇe nG (0) = 1, cnL (x) = 1 − x. Takod definiˇe se i operator i (moˇe se shvatiti opet kao ¯e, s znekakvo uopˇtenje operatora implikacije) i : [0, 1]2 → [0, 1] tako da vaˇe s zaksiome: • x ≤ y ⇒ i(x, z) ≥ i(y, z) • y ≤ z ⇒ i(x, y) ≤ i(x, z)
  • 17. 16 Seminarski rad • i(0, y) = 1, i(x, 1) = 1 • i(1, 0) = 0Sliˇno kao i ranije, mogu vaˇiti veze (po uzoru na klasiˇnu logiku): i(x, y) = c z cc(n(x), y) - primer je iKD (x, y) = max (1 − x, y) (Kleene-Dienes). Druginaˇin da se ovo definiˇe je reziduum operator (opet po uzoru na klasiˇnu c s clogiku): i(x, y) = sup {z ∈ [0, 1]| t(x, z) ≤ y}. Tada vaˇi (u zavisnosti od zt-norme):   1,  x ≤ y;  1 − x + y = i (x, y), ∧ ; L L i(x, y) =   y = iG (x, y), ∧G ;  x = i (x, y), ∧P . y PTakod veza i(x, y) = n(t(x, n(y))) vaˇi za Zadeovu logiku (iKD , tG , nL ) i ¯e, zlogiku Lukasiewicz-a (iL , tL , nL ), ali ne vaˇi za Gedelovu (iG , tG , nG ), niti zlogiku proizvoda (iP , tP , nG ). Mera relacija podskupa (subsumption) A ⊂ Bse onda moˇe definisati kao: inf x∈X i(A(x), B(x)), a kompozicija binarnih zrelacija nad oˇtrim skupovimam kao: s (R1 ◦ R2 )(x, z) = sup t(R1 (x, y), R2 (y, z)) y∈YRelacija R je tranzitivna akko je (R ◦ R)(x, z) ≤ R(x, z). Skup termova T moˇe biti generisan nekom kontekstno slobodnom gra- zmatikom G = (VX , VT , P, S) tj. T = L(G), gde je onda skup terminala VTskup atomskih termova (semantika se gradi prema prethodnom). Ovakvoraˇunanje vrednosti odnosno znaˇenja lingvistiˇke promenljive vodi ka zna- c c cˇenju uslovnih reˇenica i fazi zakljuˇivanju - odnosno, definisanju fazi logikec c creˇi. c2.8 Fazi logika i fazi zakljuˇivanje c Aristotelov princip iskljuˇenja tre´eg (objekat nemoˇe istovremeno imati c c zi nemati osobinu, ili suˇtina paradoksa iskaza koji negira svoju taˇnost) kao s cosnovno naˇelo klasiˇne logike je naruˇen u sluˇaju viˇevrednosne logike gde c c s c ssu onda osnove logike promenjene (ˇto je joˇ Jan Lukasiewicz primetio do- s sdavanjem tre´e vrednosti ,, 1 ” - problem ,,polupune ili poluprazne”ˇaˇe). U c 2 c sopˇtem sluˇaju, konvencionalne fazi logike se ne nalaze u Bulovom okviru s c
  • 18. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 17(kao ni viˇevrednosne). Takod princip proˇirenja (ekstenzionalnosti) nije s ¯e, sosnovni pojam Bulove algebre ma koliko bio koristan (suviˇna aksioma u al- sgebarskom smislu, kako ´e dalje biti pojaˇnjeno - ,,To je vrlo uobiˇajena i c s ctehniˇki korisna pretpostavka”(P. Hayek, Metamathematics of Fuzzy Logic) c- ali isto tako je bilo sasvim uobiˇajeno i tehniˇki korisno smatrati u sred- c cnjem veku da je zemlja jedna ravna ploˇa). Ideja kojom bi se ovo sve moglo cprevazi´i je uopˇtavanje klasiˇne Bulove algebre (Calculus of Logic George c s cBoole, 1848), i to formalnom algebarskom definicijom Bulove logike i fazilogike, ili npr. interpolativnom realizacijom Bulove algebre (IBA, realnalogika). Fazi logika (njen primer) je struktura ([0, 1], t, s, n), gde je t t-norma (gen-eralizovana konjunkcija), s s-norma (generalizovana disjunkcija), i n gener-alizovana negacija, uz ranije pomenute aksiome (negacija ´e biti objaˇnjena c su jednom od narednih odeljaka).2.8.1 Konaˇna Bulova algebra c Konaˇna Bulova algebra (BA) je struktura (BA(Ω), ∩, ∪, C), BA(Ω) = cP (P (Ω)), Ω = {a1 , ..., an }, kod koje vaˇe zakoni: z • asocijativnosti: (x ∪ y) ∪ z = x ∪ (y ∪ z), (x ∩ y) ∩ z = x ∩ (y ∩ z) • komutativnosti: x ∪ y = y ∪ x, x ∩ y = y ∩ x • apsorpcije: x ∩ (x ∪ y) = x, x ∪ (x ∩ y) = x • distributivnosti: x∩(y∪z) = (x∩y)∪(x∩z), x∪(y∩z) = (x∪y)∩(x∪z) • komplementarnosti: x ∪ Cx = 1, x ∩ Cx = 0 (principi iskljuˇenja tre´eg c c i konzistentnosti)Poznate teoreme su onda: idempotencija (a ∪ a = a, a ∩ a = a), ograniˇenost c(a ∩ 0 = 0, a ∩ 1 = a, a ∪ 0 = a, a ∪ 1 = 1), involucije (a = CCa), DeMorganovi zatkoni (C(a ∪ b) = Ca ∩ Cb, C(a ∩ b) = Ca ∪ Cb). Reˇenice ciskaznog raˇuna ˇine takod BA, i u klasiˇnoj dvovrednosnoj (binarnoj) logici c c ¯e cvaˇi princip iskljuˇenja tre´eg. z c c
  • 19. 18 Seminarski rad2.8.2 Percepcija, Haseov dijagram strukture BA Fazi logiku Zade ˇesto pominje kao osnovu raˇuna percepcijama gde se c cpod percepcijom podrazumeva neka (normalizovana) brojna vrednost naosnovu koje se moˇe zakljuˇiti neka osobina posmatranog objekta (opet z cizraˇena normalizovanom brojnom vrednoˇ´u), ili doneti neka odluka (per- z cccepcija kao doˇivljaj alternative donosioca odluke). Te brojne vrednosti ne- zmaju posebno veze sa nekakvim verovatnosnim vrednostima (uopˇtenje BA i srazlaz sa klasiˇnom logikom se prenosi i na teoriju verovatno´e u fazi sluˇaju). c c cPercepcija zavisi od ˇoveka do ˇoveka (ili sistema), kao i od problema do prob- c clema. Suma oteˇanih vrednosti atributa (npr. J(a, b) = wa a+wb b, wa +wb = z1) nije dovoljno izraˇajna kao kriterijumska funkcija - primer (slike 2.8.3a i z2.8.3b ispod) je prostor boja koji se na ovaj naˇin ne moˇe pokriti (ako su dve c zatomske boje taˇke u njihovoj ravni, ovakva suma je samo 1-dimenzionalna cduˇ izmed njih): z ¯u (slika 2.8.3a) (slika 2.8.3b)Da bi se takvom interpolacijom dobio ceo prostor boja, neophodno je imati8 atomskih boja (za 3 osnovne RGB boje):
  • 20. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 19 (slika 2.8.3c) (slika 2.8.3d)Ovo je ilustracija razlike izmed BA (u smislu interpolacije) i fazi logike kao ¯uuopˇtenja. Ideja interpolativne realizacije BA ilustruje se (sliˇno prethod- s cnom) Haseovim dijagramom (graf parcijalno ured ¯enog skupa gde se ori-jentacija podrazumeva, npr. ured ¯enje u pravcu dole-gore): (Haseov dijagram strukture BA)Ovim dijagramom se slikovito prikazuje struktura elemenata BA u sluˇaju cΩ = {a, b}, gde se za svaki ugao kvadrata (a = 0, b = 0 je donji levi) i ˇvora cdijagrama crnim kvadrati´em npr. indikuje da li moˇe imati vrednost 1: c z
  • 21. 20 Seminarski rad (tumaˇenje vrednosti elemenata BA) cZa svaki takav element BA (Bulovu fukciju) se onda lako moˇe napraviti zistinitosna tablica:
  • 22. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 212.8.3 Generalizovan Bulov polinom Svaki element konaˇne Bulove algebre moˇe se jednoznaˇno prikazati gen- c z ceralizovnim Bulovim polinomom (GBP) koji moˇe da uzima vrednosti sa zrealnog intervala [0, 1]. Za ovo ´e biti potreban pojam strukturne funkcije cσϕ : P (Ω) → {0, 1} datog kvalitativnog atributa ϕ ∈ BA(Ω), koja odred ¯ujekoji su atomski atributi (elementi BA koji sadrˇe samo ∅) ukljuˇeni (sadrˇani) z c zu ϕ. Za primarne atribute ai vaˇi: z 1, ai ∈ S; σai (S) = , ai ∈ Ω, S ∈ P (Ω). 0, ai ∈ S.U ostalim sluˇajevima gradi se izraz (u nekakvoj normalnoj formi, svodi se cna Zegalkinove polinome jer strukturne funkcije imaju samo dve vrednosti -onda se gubi potreba za koeficijentima i eksponentima) prema pravilima: σa∧b (S) = σa (S) ∧ σb (S) σa∨b (S) = σa (S) ∨ σb (S) σCa (S) = 1 − σa (S)Generalizovan proizvod ⊗ se moˇe definisati na viˇe naˇina - primeri (ϕ, ψ ∈ z s cBA(Ω)): • ϕ ⊗ ψ = min (ϕ, ψ) (Gedelova t-norma) • ϕ ⊗ ψ = ϕ · ψ (logika proizvoda) • ϕ ⊗ ψ = max (0, ϕ + ψ − 1) (t-norma Lukasiewicz-a)Iako je generalizovani proizvod veoma sliˇan t-normi (koji u fazi pristupu cigra nekakvu ulogu logiˇkog veznika, ˇto se u opˇtem sluˇaju ne poklapa sa c s s cklasiˇnom konjunkcijom), igra sasvim drugu ulogu u IBA, i treba ga posma- ctrati kao aritmetiˇki operator (polinoma). cDefinicija 2.5 Svakom ϕ = S∈P (Ω) σϕ (S)α(S) ∈ BA(Ω) dodeljuje se GBPϕ⊗ (x): ϕ → ϕ⊗ (x) = − →⊗ (x) = σϕ − →α σϕ (S)α⊗ (S)(x), x ∈ Xm S∈P (Ω)
  • 23. 22 Seminarski radgde je α⊗ (S) GBP za atomske elemente α(S) = ai ∈S ai aj ∈Ω−S Caj ,S ∈ P (Ω) (vrednosno relevantan deo): α⊗ (S)(x) = α⊗ (S)(a1 , ..., an ) = (−1)|C| ai (x) C∈Ω−S ai ∈C∪Sdok je − vrednosno irelevantan (strukturni) deo. → σϕGeneralizovan proizvod ispunjava (po definicij) u potpunosti iste aksiome kaoi t-norma, i joˇ jednu aksiomu dodatno - aksiomu nenegativnosti : s α⊗ (S)(x) ≥ 0, ∀S ∈ P (Ω)Strukturni deo (strukturni vektor − ϕ = [σϕ (S)|S ∈ P (Ω)]) u potpunosti →σispunjava sve aksiome BA (dakle, vaˇe i iste teoreme za njega). Primer, za zΩ = {a, b}: S = {a, b} : a ∩ b → α⊗ (S)(a, b) = a ⊗ b S = {a} : a ∩ Cb → α⊗ (S)(a, b) = a − a ⊗ b S = {b} : Ca ∩ b → α⊗ (S)(a, b) = b − a ⊗ b S = ∅ : Ca ∩ Cb → α⊗ (S)(a, b) = 1 − a − b + a ⊗ bPrimeri, dalje - ako je φ, ψ ∈ BA(Ω), onda je: (ϕ)⊗ (x) = − ϕ − ⊗ (x), x ∈ Xm → → σ α (ϕ ∩ ψ)⊗ (x) = − (ϕ∩ψ) − ⊗ (x) → σ → α
  • 24. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 23 (ϕ ∪ ψ)⊗ (x) = − (ϕ∪ψ) − ⊗ (x) → σ → α (Cϕ)⊗ (x) = − → σ →⊗ (x) = 1 − (ϕ)⊗ (x) − α (Cϕ)Ideja interpolacije GBP se moˇe ilustrovati odgovaraju´im Haseovim dija- z cgramima (zbir vrednosti atomskih elemenata u drugom sloju od dole je 1, ⊗ S∈P (Ω) α (S)(x) = 1), gde se razliˇitim nijansama predstavljaju vrednosti cu intervalu [0, 1] (umesto klasiˇnog {0, 1}) koje su dodeljene (vrednosti ne cmoraju biti ˇak ni simetriˇne u odnosu na atomske elemente, ili atribute), a c cvrednost svakog elementa je suma vrednosti njegovih atoma: (vrednosti elemenata u interpolativnom sluˇaju) c (svaki element ima vrednost u [0, 1], atomski elementi nisu unija drugih atomskih elemenata)
  • 25. 24 Seminarski rad2.8.4 Logiˇka agregacija i primer mreˇe c z Strogo formalno, fazi logika je uopˇtenje BA. Prethodno opisanim uopˇte- s snjem vaˇe sve aksiome i dobre osobine BA iako vrednosti GBP nisu binarne, zi upravo vrednosno relevantan deo vodi ka generalizaciji BA koja ,,dozvoljavafazi sluˇajeve”. Ako se definiˇe norma atributa || · || : Ω → [0, 1] i generalizo- c svani pseudo-Bulov polinom (GpBP) kao linearna konveksna suma elemenataIBA: m mπϕ⊗ (||a1 ||, ..., ||an ||) = wi ϕ⊗ (||a1 ||, ..., ||an ||), i wi = 1, wi ≥ 0, i = 1, m i=1 i=1iz definicije GBP sledi (ϕi ∈ BA(Ω)): m ⊗ πϕ (||a1 ||, ..., ||an ||) = χσ( ϕi ) (S)α⊗ (S) = µ(S)α⊗ (S) i=1 S∈P (Ω) S∈P (Ω)gde je α⊗ (S) = C∈P (Ω)−S (−1)|C| aj ∈S∪C ||aj ||, a µ je strukturna funkcijaGpBP πϕ⊗ i predstavlja karakteristiˇnu funkciju fazi skupa µ : P (Ω) → [0, 1] cdefinisanu sa (sliˇno karakteristiˇnoj funkciji u ZF teoriji skupova, ali nije c cisto): m µ(S) = wi χσ( ϕi ) (S) i=1Funkcije χσ( ϕi ) predstavljaju logiˇku strukturu odgovaraju´ih elemenata iz c cBA (mogu biti aditivne, monotone ili uopˇtene - u fazi sluˇaju). Njima se s c ngrade logiˇke agregacije Agg : [0, 1] → [0, 1] kao pseudo-logiˇke funkcije ko- c cjima se opisuju u uopˇtenom sluˇaju vrednosti (fazi) logiˇkih izraza, karak- s c cterisane merom agregacije µ(S) (strukturnom funkcijom) i ⊗ operatorom.Primera radi, ako je mera agregacije: 1, S = ∅; µOR (S) = 0, S = ∅.i ⊗ = min, onda je operator logiˇke agregacije: c Agg min (||a1 ||, ..., ||an ||) = max (||a1 ||, ..., ||an ||) µORO svemu ovome detalji se mogu na´i u [RD], [AQM] i [RD2]. Tako se mogu cgraditi Bulove mreˇe (Bulove funkcije koje se raˇunaju u iteracijama sliˇno z c c
  • 26. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 25Bajesovim mreˇama) koje koriste [0, 1] kao ulazne vrednosti, ali i fazi mreˇe. z zPrimer: ako su a, b, c normalizovane brojne ocene nekih objekata gde sedaje prednost b ako je a veliko, odnosno c u suprotnom, i ako je ve´i arit- cmetiˇki prosek vaˇan kriterijum onda bi primer logiˇke agregacije bio: c z c 1a+b+c 1 ⊗ Agg ⊗ (a, b, c) = + ϕ (a, b, c) 2 3 2gde je ϕ⊗ (a, b, c) = ((a ∩ c) ∪ (Ca ∩ b))⊗ = b + a ⊗ c − a ⊗ b, a mera agregacijeje µ = 6 (σa + σb + σc ) + 1 (σa ∧ σc ) ∨ (Cσa ∧ σb ) (nad S ∈ P (Ω)). Za konkretnu 1 2realizaciju ⊗ ≡ · agregacije dobija se brojna vrednost koja ispravno odslikavasve zadate kriterijume.2.8.5 Fazi logika, formalna definicija Postoji finija hijerarhija formalnih logika, primer iz [AV] (u algebarskomsmislu):U osnovi ove ideje leˇi definicija pojma latice: zDefinicija 2.6 Latica L = (X, ≤, ∧, ∨) predstavlja parcijalno ured skup ¯en(X, ≤) sa RAT aksiomama, kod koga postoji najve´a donja granica x ∧ y = cinf{x, y} ( meet) i najmanja gornja granica x ∨ y = sup{x, y} ( join) za svakox, y ∈ X.
  • 27. 26 Seminarski rad (primer Bulove latice podskupova (|Ω = 1|) i jedne slobodne Bulove algebre (|Ω| = 2))Pored partitivnog skupa proizvoljnog nepraznog skupa, postoje i mnogi drugiprimeri latica, med kojima je i slobodna Bulova algebra generisana atom- ¯uskim reˇenicama iskaznog raˇuna, koja je izomorfna sa klasiˇnom binarnom c c cBulovom algebrom (taj izomorfizam na BA({0, 1}) je zapravo istinitosnavrednost, i uopˇte, moˇe se pokazati da je svaka konaˇna BA izomorfna sa s z cBA nekog partitivnog skupa, a detaljnije osobine izomorfizama daje Stounovateorema reprezentacije Bulovih algebri).Definicija 2.7 Ako je L univerzalno ograniˇena latica tj. 0 ≤ x ≤ 1 za csvako x ∈ X, i ako postoji preslikavanje ¬ : L → L takvo da je: • x ≤ ¬(¬x) (slaba negacija) • ¬y ≤ ¬x ako x ≤ y (antitonost, pokazuje se da je povezana sa De Morganovim zakonima) • ¬0 = 1, ¬1 = 0 (Bulovi graniˇni uslovi) conda je takav par (L, ¬) fazi logika (primer modela je ([0, 1], iKD , tG , sG , nL )).Ako dodatno vaˇi zakon nekontradiktornosti x ∧ ¬x = 0 za svako x ∈ L, zonda ta struktura predstavlja logiku (ovako definisana slaba negacija se zovei pseudo komplement, a ako vaˇi involucija onda je to jaka negacija). zBulova algebra se onda definiˇe kao komplementarna distributivna latica (ne- sgacija postaje jaka, za razliku od intuicionistiˇke logike). Znaˇaj GpBP u c codnosu na ovu formalnu algebarsku definiciju fazi logike je jasnija primena,i s druge strane, bolja formalna utemeljenost u odnosu na zadeovsku fazilogiku (koja je ve´ doˇivela mnoge praktiˇne primene, ali i kritike). c z c
  • 28. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 272.8.6 Hajekov pristup, fazi teorija modela i ontologije Poseban uopˇteni sluˇaj predstavljaju reziduirane latice kao strukture s ckoja predstavlja laticu + monoid + aksiome rezidualnosti ((∀x, y, z ∈ L)y ≤xz ⇔ x · y ≤ z ⇔ x ≤ z/y, najve´i y se zapisuje kao y ≤ xz tj. desni crezidual, najve´i x kao x ≤ z/y tj. levi rezidual), BL algebre BL(L, →, ⊗, ⊥) c(⊗ je snaˇna konjunkcija) sa Hajekovim skupom aksioma (modus ponens kao zpravilo zakljuˇivanja) i neprekidnom t-normom kao njihovo uopˇtenje. U BL c sjezik se dodatnim definicijama uvode dodatni logiˇki veznici: c • slaba konjunkcija: A ∧ B ≡ A ⊗ (A → B) • negacija: ¬A ≡ A → ⊥ (sliˇno intuicionistiˇkom pristupu) c c • ekvivalencija: A ↔ B ≡ (A → B) ∧ (B → A) (ˇto se moˇe pokazati s z ekvivalentnim sa (A → B) ⊗ (B → A)) • slaba disjunkcija: A ∨ B ≡ ((A → B) → B) ∧ ((B → A) → A) • ≡⊥→⊥Hajekove aksiome (u maniru iskaznog raˇuna i Hilbertovog formalnog sis- ctema) jesu:(BL1 )(A → B) → ((B → C) → (A → C))(BL2) A ⊗ B → A(BL3) A ⊗ B → B ⊗ A (za koju se pokazalo da je suviˇna) s(BL4) A ⊗ (A → B) → B ⊗ (B → A)(BL5a) (A → (B → C)) → (A ⊗ B → C)(BL5b) (A ⊗ B → C) → (A → (B → C))(BL6) (A → (B → C)) → (((B → A) → C) → C)(BL7) ⊥ → AAksiome BL logike prvog reda BL1 su:(∀1) (∀x)A(x) → A(y)(∃1) A(y) → (∃x)A(x)(∀2) (∀x)(A → B) → (A → (∀x)B)(∃2) (∀x)(A → C) → ((∃x)A → C)(∃2) (∀x)(A ∨ C) → ((∀x)A ∨ C)
  • 29. 28 Seminarski rad(y je smena za x u A, x nije slobodna u C)Kod BL1 je mogu´e konstruisati tako i teoriju modela ((∀x)A(x) ≡ inf x ||A(x)||, c(existsx)A(x) ≡ supx ||A(x)||, gde je ||A|| ≡ V al(A) stepen istinitosti zadati model M i t-normu). Tako razliˇite t-norme definiˇu semantiku (a c stime i s-norme, i uopˇtene implikacije i negacije, tj. funkcije t, c, n i i, skako su ve´ ranije definisane) razliˇitih fazi logika: Lukasiewicz-evu, Gede- c clovu, proizvod (produkt) logiku, ili neku drugu - i svakoj modeli odgovarajuodred¯enoj algebri (BL u uopˇtenom sluˇaju, MV-algebri, G-algebri, pro- s cdukt algebri) i sistemu aksioma (BL, i dodatno ¬¬A → A, A → A ∧ A,¬¬A → ((A → (A ∧ B)) → (B ∧ ¬¬B)), redom). Za razliku od pristupa Hajekove fazi logike, fazi deskriptivne logika (DL)koja polazi od dijalekta deskriptivnih logika (koje predstavljaju proˇirenje sfrejmova i semantiˇkih mreˇa, pre svega nastale kao praktiˇan sintaksni alat c z ckoji je kasnije upotrebljen u standardima web ontologija). DL se sastoji izviˇe jezika ˇije kombinacije daju razliˇite dijalekte, i svodi se na PR1 re- s c cstrikovan na unarne i binarne predikate, i jezik za upravljanje konceptimatj. opisima domena - razmatra se ovo prvo pre svega. Med ¯utim, u [FDL] i[GCI] navedeni dijalekat DL koji se proˇiruje u fazi DL omogu´ava praktiˇnu s c cupotrebu fazi logike nad Web ontologijama (dijalekat namenjen OWL-DLjeziku, kao i OWL koji je veoma blizak DL, jednim od osnovnih strukturasemantiˇkog web-a). Na sintaksnom nivou DL nije potpuno formalna jer cnije mogu´e konstruisati odgovaraju´u teoriju modela i pokazati komplet- c cnost. Hajek u [PH] navodi postupak kojim se ovo moˇe prevazi´i upotrebom z cposebne definicije zadovoljivosti gde je onda mogu´e iskazati kompletnost DL, cali pod uslovim da se koristi iskljuˇivo logika Lukasiewicz-a (zbog uvod c ¯enjalogiˇkih konstanti u jezik, ˇto je problematiˇno) i da se ne koristi kvantifika- c s ctor ,,mnogi”. Pored toga, kritikuje ovo reˇenje zbog kompleksnosti raˇunanja s c(kao i klasiˇnu DL), kao i zbog problema implementacije. c2.8.7 Zadeov pristup U klasiˇnom iskaznom raˇunu implikacija je logiˇki operator (veznik) ˇija c c c cse vrednost moˇe zadati tabelom. U zadeovskoj fazi logici umesto iskaznih zpromenljivih se koriste fazi skupovi i proizvod skupova kao implikacija. Prepotpune definicije fazi reˇenica ovog tipa potrebno je definisati proizvod fazi c
  • 30. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 29skupova A nad U i B nad V : A × B =def µA (u) ∧ µB (v)/(u, v) U ×Vjer se implikacijom praktiˇno formira fazi relacija med fazi promenljivama. c ¯uTako se reˇenica ,,Ako A onda B” zapisuje kao A × B (Mamdani) ili reˇenica c c,,Ako A onda B inaˇe C” moˇe zapisati kao A × B + ¬A × C (Zade: pa c zako se odbaci inaˇe-grana onda se dobija A × B + ¬A × V ). Dakle, u fazi clogici se implikacija moˇe definisati na viˇe naˇina. Sledi deo tabele varijanti z s ciz [FOUND] (koje su prouˇavali Mizumoto, Zimmerman 1982.) kao relacija cnad U × V , u ∈ U , v ∈ V : Ra 1 ∧ (1 − u + v) Rm (u ∧ v) ∨ (1 − u) Rc u∧v Rb (1 − u) ∨ v Praktiˇno se najˇeˇ´e koriste pomenuti max-proizvod i max-min (npr. c c scRc, dok Zade koristi Rb i Ra).2.8.8 Kompoziciono pravilo zakljuˇivanja c Ako je je R fazi relacija od U ka V , x fazi podskup od U , y fazi podskupnad V indukovan fazi skupom x se dobija kao kompozicija (x kao unarnarelacija): y =x◦ROvo pravilo se smatra proˇirenjem modus ponensa (uopˇteni MP - General- s sized Modus Ponens, GMP). Ono dozvoljava (pored osobina klasiˇnog MP) cnpr. da nekakva promena premise (npr. odredbama) daje nakon primeneistog pravila nekakvu promenu u zakljuˇku (B = A ◦ R, R = A → B cproizvoljna kompatibilna (u smislu kompozicije) fazi relacija, A i B sunastali od A i B redom, primenom ograniˇenja, algebarskih operacija ili ne- cgacije ili njihovom kompozicijom). Najˇeˇ´e koriˇ´ena pravila zakljuˇivanja c sc sc csu: A→B,Auopˇteni modus ponens s B gde je B = A ◦ (A → B) A→B,Buopˇteni modus tolens s A gde je A = (A → B) ◦ B
  • 31. 30 Seminarski rad A→B,B→Czakon tranzitivnosti (silogizam) A→CDe Morganovi zakoni ¬(A ∧ B) = ¬A ∨ ¬B ¬(A ∨ B) = ¬A ∧ ¬BUopˇte, fazi iskaz se moˇe predstaviti kao ,,X je A” (gde je X domen, s zA fazi skup - problemom iskazivanja fazi vrednosti reˇenica ovakvog tipa ckoje podse´aju na reˇenice prirodnog jezika se bavi posebna oblast (fazi) c craˇunanja reˇima) a fazi pravilo kao c c X je A → Y je BOvakvo pravilo uspostavlja relaciju med fazi iskazima (nije implikacija) i ¯uobiˇno se takvo pravilo zapisuje u obliku matrice. Ovakva se fazi asocija- ctivna matrica R koja mapira fazi skup A u fazi skup B zove joˇ i Fazi Asoci- sjativna Memorija (Fuzzy Associative Memory - FAM, Kosko, 1992). Umestoobiˇnog linearnog preslikavanja b = R a zadatog matriˇnim mnoˇenjem c c zbj = n ai mij , j = 1, n obiˇno se koristi operator ◦ max-min kompozi- i=1 ccije b = R ◦ a zadat sa bj = maxi=1,n min[ai , mij ], j = 1, n (madamoˇe biti i max-proizvod kompozicija). Uopˇteni postupak dobijanja ma- z strice R = A→B :   V al(a1 → b1 ) V al(a1 → b2 ) · · ·  ...  A→B =  V al(a2 → b1 )  = (rij ) = R . . .i vaˇi B = A ◦ A→B - zavisno od definisanja operatora implikacije (ili zi-norme) V al(ai → bj ) = i(ai , bj ) definiˇe se i matrica zakljuˇivanja R. s c Ako je data skup iskaza X je Ai → Y je Bi , ova matrica moˇe zapravo z nbiti relacija M AM D(x, y) = i=1 (Ai (x) ∧ Bi (y)) (spisak svih mogu´nosti, c ntzv. Mamdanijeva formula), ili RU LES(x, y) = i=1 (Ai (x) → Bi (y)) (kon-junkcija svih implikacija) u smislu generalizovanog modus ponensa.2.8.9 Max-Min zakljuˇivanje c Ako se minimumom definiˇe operator implikacije mij = V al(ai → bj ) = smin(ai , bj ) onda se za data dva fazi skupa na osnovu ove formule definiˇe smatrica M .
  • 32. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 31 Ako su u pitanju ,,trougani” fazi skupovi (granica linearna), onda seslikanje nekog skupa A svodi na odseˇak B na visini vrha preseka A i A cna niˇe, ˇto proizilazi iz definicije i osobina ovakvog preslikavanja. Npr. z sako je µA (xk ) pomenuti vrh ili jedna diskretna izmerena vrednost, ˇto se snajˇeˇ´e koristi kao ulaz (kao da su ostale vrednosti ulaznog vektora 0), vaˇi c sc zza diskretne vrednosti y ∈ X: b(y) = µA (xk ) ∧ µB (y), y ∈ X Pravilo A B A’ B A B’2.8.10 Max-Proizvod zakljuˇivanje c Ovaj naˇin zakljuˇivanja se dobija ako se proizvodom definiˇe operator c c simplikacije mij = ai bj .
  • 33. 32 Seminarski rad Pravilo A B A’ B A B’Preslikavanje trouglova ima osobine b(y) = µA (xk ) · µB (y), y ∈ X ako jeµA (xk ) pomenuti vrh) sliˇne prethodnom, ali se ovde dobija ,,sniˇeni” ali c zceo trougao umesto odseˇka. Za jednu ulaznu diskretnu vrednost onda vaˇi: c z b(y) = µA (xk )µB (y), y ∈ X2.8.11 Pravila sa viˇe premisa, viˇe pravila i procedura zakljuˇivanja s s c Ako imamo dve premise A i B (moˇe ih biti i viˇe, analogno) razreˇenje z s smoˇemo na´i (Kosko, 1992) poˇavˇi od toga kao da imamo dva pravila A → C z c s si B → C sa svojim matricama MAC i MBC td. vaˇi: z A ◦ MAC = CA B ◦ MBC = CBTada se definiˇe C = CA ∧ CB ako je u pitanju konjunkcija (i-link) A ∧ sB → C, odnosno C = CA ∨ CB ako je u pitanju disjunkcija (ili-link)A ∨ B → C. U ranije pomenutom specijalnom sluˇaju trouglastih skupova, cminimum odnosno maksimum respektivno konjunkcija odnosno disjunkcijavrhova trouglova odred¯uje prag odsecanja odnosno sabijanja (zavisno od togada li se koristi max-min ili max-proizvod zakljuˇivanje) skupa B. Za date cdiskretne ulazne vrednosti ai = µA (xi ) i bj = µB (yj ) i diskretne vrednostiz ∈ X domena vaˇi onda: z
  • 34. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 33 C Spajanje Zakljuˇivanje c min(ai , bj ) ∧ µC (z) I Max-Min max(ai , bj ) ∧ µC (z) ILI Max-Min min(ai , bj )µC (z) I Max-Proizvod max(ai , bj )µC (z) ILI Max-Proizvod Ako postoji viˇe pravila L1 → R1 , · · · , Ln → Rn sa svojim matricama sM1 , · · · , Mn onda se zakljuˇak moˇe dobiti disjunkcijom M = n Mi element- c z i=1na-element matrica svih tih pravila (vid ili-linka). U fazi ekspertnom sistemuu svakom cilkusu raˇunanja praktiˇno sva pravila odjednom uˇestvuju u svim c c ckombinacijama koja name´e fazi mreˇa zakljuˇivanja. Postoje ˇkoljke za c z c spravljenje fazi ekspertnih sistema (kao ˇto su to npr. FLOPS, MATLAB sFuzzy Toolbox ili FuzzyCLIPS) ali su takvi fazi produkcioni sistemi sklonikombinatornoj eksploziji i joˇ uvek daju dobre rezultate samo u specifiˇnim s coblastima. Zavisno od prirode pravila mogu´e je to raˇunanje optimizovati c cdo izvesne granice. Jedan od naˇina je obeleˇavanje pravila teˇinama wi (npr. c z zsrazemerno normi matrice pravila) i odbacivanje onih ispod zadatog praga,kao i upotreba nekog od dodatnih else-linkova (pored i-linka i ili-linka): • istinitosno-kvalifikacionog linka: za svako pravilo Ri , i = 1, · · · , n se raˇuna koeficijent Ti = x∈X µBi (x)/ x∈X µB (x) i onda se uzima rezul- c tat pravila Rj maksimalnog koeficijenta Tj = max Ti . • aditivnog linka: µB = µBi wi za pravila Ri , i = 1, · · · , n koja uˇestvuju. cMoglo bi se re´i da je ovakva procedura fazi zakljuˇivanja petorka (I, C, L, s, t) c cgde je I neka relacija implikacije, C operator kompozicije, L else-link koji sekoristi, s i t izabrane (ko)norme (mogu´a je i kombinacija razliˇitih proce- c cdura). Takod kao specifiˇna primena ovakvih sistema (gde je mogu´a par- ¯e, c calelizacija) javlja se raˇunanje ovakvih fazi mreˇa zakljuˇivanja upotrebom c z codgovaraju´ih VLSI arhitektura kao i u kombinaciji sa drugim Soft Comput- cing tehnikama. Ohrabraju´i rezultat je dao i Kosko 1992. teoremom kojom cpokazuje da klasa aditivnih fazi sistema uniformno aproksimira proizvoljnuneprekidnu funkciju nad domenom koji je kompaktan (ograniˇen i zatvoren cu sluˇaju realnog skupa). c Dijagram strukture klasiˇnog fazi ekspertnog sistema: c
  • 35. 34 Seminarski rad Ucenje fazi pravila Baza fazi pravila Mehanizam fazi zakljucivanja Baza znanja (fazi) Fazifikacija Karakteristicne funcije Defazifikacija Korisnicki interfejs Fazi podaci / ostri podaci Fazi upiti / ostri upiti2.9 Defazifikacija (Defuzzification) Ako imamo fazi zakljuˇak, za njegovo tumaˇenje se praktiˇno ˇesto ko- c c c cristi defazifikacija gde se obiˇno nekim postupkom izdvoji jedna diskretna cvrednost fazi skupa kao reprezent (postupak suprotan onom koji se naziva,,fazifikacija” gde se razliˇtim metodama kodiraju konceptualizovani podaci cu fazi skupove - npr. nesiguran broj se opisuje trouglom kao fazi skupom).Najˇeˇ´e se koristi fazi centroid odnosno nekakva sredina u odnosu na pri- c scpadnost kao teˇinu (najbliˇa vrednosti u X): z z n i=1 yi µB (yi ) µB (y)ydy y = n tj. y = ˆ i=1 yi µB (y)dyAko se traˇi zakljuˇak na osnovu viˇe fazi pravila A1 → B1 , ..., An → Bn z c sonda se uzima da je ukupni fazi zakljuˇak B = n Bi tj. µB (x) = c i=1maxi=1,n [µBi (x)] (opet vid ili-linka, i-link se realizuje minimumom) i njegovcentroid se tumaˇi kao diskretna vrednost zakljuˇka na osnovu svih polaznih c c
  • 36. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 35premisa A . Za fazi sistem oblika:   Y1 is B 1 if  X1 is A1 , · · · , Xn is A1 1 n pravila . .  .  Y is B m if X1 is Am , · · · , Xn is Am m 1 n X1 is A 1 , · · · , Xn is A n (ˇinjenice) cL. X. Wang je pokazao da defazifikacija njegovog zakljuˇka y is B c pred-stavlja univerzalni aproksimator: n m n µB (y) = µA i (xi ) µAj (xi ) µB j (y) i x1 ,···,xn i=1 j=1 i=12.10 Kompleksnost i izraˇunljivost c Pokazuje se da su tautologije Hajekove logike (oblik formalizacije fazilogike) ko-NP kompletne (nezadovoljivost je NP kompletna), zadovoljive for-mule NP kompletne, a odgovaraju´i predikatski raˇun je u opˇtem sluˇaju c c s cneodluˇiv po Hajeku (Hanikova 2002, Hajek 2005). Ukratko, nije svaka ct − norma izraˇunljiva. S druge strane, pokazano je da svaka aksiomati- czabilna i kompletna fazi teorija jeste izraˇunljiva (uz pogodno definisanu cizraˇunljivost fazi skupova, Gerla, 2006 - ne postoje joˇ svi potrebni rezultati c su tom smislu, kao ˇto je to Church-ova teorema). U svakom sluˇaju, oˇigledno s c cje da fazi sistemi praktiˇno zahtevaju viˇe raˇunanja nego klasiˇni (nema do- c s c cvoljno dobrih pored ¯enja sa verovatnosnim), kao i dodatna istraˇivanja u vezi zformalnog zasnivanja i teorije modela.2.11 Fazi logika i alternativne teorije verovatno´e c Verovatno´a se bavi nekim dogad c ¯ajem koji se nakon eksperimenta de-sio ili nije - u realnosti je ˇesto teˇko odrediti ˇta se desilo, ali neˇto ˇto c s s s sse ,,otprilike” desilo je koncept fazi skupa (druˇtvene pojave, ili npr. da sli je pala kiˇa ili moˇda samo malo ?). Dakle, oˇtar dogad X = u za s z s ¯ajsluˇajnu promenljivu X i u ∈ U sa nekom verovatno´om p(X=u) moˇe biti c c zdodeljen nekom fazi skupu A nad U nekim stepenom odred ¯enim njegovomkarakterstiˇnom funkcijom (koja, oˇigledno, ima potpuno drugaˇiju ulogu od c c craspodele sluˇajne promenljive). Tada se moˇe na´i verovatno´a fazi skupa c z c c
  • 37. 36 Seminarski radkao p(A) = U µA (u)p(X = u). Primer: ako je X sa uniformnom raspode-lom na nekom skupu kardinalnosti n onda je p(A) = µA (u)/n. Za takveskupove se onda kaˇe da su fazi dogadaji. Za njih takod vaˇe osobine oˇtrih z ¯ ¯e z sdogad¯aja: p(¬A) = 1 − p(A), p(A ∪ B) = p(A) + p(B) − p(A ∩ B), A ⊆ B ⇒p(A) ≤ p(B). Za karakteristiˇnu funkcjiju fazi dogad c ¯aja X = u se onda kaˇe zda je funkcija distribucije mogu´nosti P oss(X = u) tog dogad c ¯aja. Zade nejasno´u prirodnog jezika i sveta opisuje osobinom f-granularnosti c(gde se viˇe vrednosti nekih atributa grupiˇu u granule nerazdvojivoˇ´u, s s scsliˇnoˇ´u, blizinom ili funkcionalnoˇ´u). On klasiˇnu teoriju verovatno´e kao c sc sc c ci logiku vezuje za merenja i merljive aktivnosti, dok fazi logiku i verovatno´u cvezuje za percepciju (perception-based probability theory = PTp). Obiˇna cteorija verovatno´e se nadograd c ¯uje u tri naˇelna koraka do PTp: najpre cse prethodno skiciranom f-generalizacijom verovatno´e, dogad c ¯aji i relacije +vezuju za fazi skupove i dobija se P T . U drugom koraku se f.g-generalizacijomverovatno´e, dogad i relacije ˇine f-granularnim. Npr. ako je Y = f (X) c ¯aji cpreslikavanje, onda se f moˇe opisati kolekcijom fazi pravila ,,Y is Bi ako X zis Ai ” gde su Ai i Bi (i = 1, · · · , n) fazi skupovi u X i Y , redom. Tako se do-bija P T ++ . Poslednji korak obuhvata postupak nl-generalizacije koji se svodina postupak opisivanja potrebnih osobina uslovima preciziranim prirodnimjezikom (Precisiated Natural Language = PNL), npr. X isp (P1 |A1 + · · · +Pn |An ) gde su Ai fazi skupovi a Pi njihove verovatno´e (detalnjije o tome u craˇunanju s reˇima). c c2.11.1 ˇ Dempster-Sejferova teorija Za razliku od ekspertnih sistema kao ˇto je PROSPECTOR baziranih na sBajesovom principu verovatnosnog zakljuˇivanja ili formalizama kao ˇto su c sMarkovljevi i skriveni Markovljevi lanci (stohastiˇki konaˇni automati kod c ckojih je prelazak iz stanja u stanje obeleˇen verovatno´om, kod skrivenih z cje ˇak nemogu´e unapred odrediti prelaske stanja ve´ samo posledica), ne- c c cverovatnosne (neprobabilistiˇke) teorije koriste pristup koji nije u okvirima c ˇstandardne teorije verovatno´e. Tako su Dempster i Sejfer (Dempster 1967, cShafer 1976) otkrili ovakav jedan pristup u kojem je polazna ideja meranazvana masom m(E) dogad ¯aja u U ili skupa dogad ¯aja i onda posma-trati nekakvu donju i gornju granicu verovatno´e takvog skupa dogad c ¯aja- mogu´nost (credibility) Cr(E) i verovatnost (Plausibility) P l(E). Tada c ˇvaˇe aksiome Dempster-Sejferove (D-S) teorije: z
  • 38. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 37A1 0 ≤ m(E) ≤ 1 (ako je m(E) > 0 onda je E ˇiˇni element) zzA2 E⊂U m(E) = 1A3 Cr(E) = C⊆E m(C)A4 P l(E) = 1 − Cr(¬E) = C E m(C)Pokazuje se da je ∀E ⊆ E Cr(E) + Cr(¬E) ≤ 1, P l(E) + P l(¬E) ≥1, Cr(E) ≤ P l(E). Potpuno neznanje o ˇiˇnom elementu E (ili domenu) zzje iskazano sa Cr(E) = Cr(¬E) = 0, P l(E) = P l(¬E) = 1. Nesig-urnost u zakljuˇivanju se propagira niz lanac zakljuˇivanja ali i kombinuje c c- predlaˇe se jednostavno slede´e: ako je A1 ∩ A2 = A3 = ∅ onda vaˇi z c zm(A3 ) = m(A1 )m(A2 ). Npr. za pravila: E1 → H1 (β1 ), E2 → H2 (β2 ) vaˇizonda m(H) = m(H1 )m(H2 ) = Cr(E1 )β1 Cr(E2 )β2 gde su β1 i β2 koeficijentiuverenja zakljuˇka. Dalje se raˇuna Cr(H) i P l(H) ako je potrebeno prema c caksiomama.2.11.2 Zakljuˇivanje s uverenjem c Znaˇenje uverenja naspram verovatno´e vezuje za praktiˇno iskustvo, in- c c ctuitivno ljudsko znanje i drugaˇiji formalni aparat. Uverenje predstavlja cmeru da je neˇto mogu´e odnosno verovanja da je tako (mogu´e naspram s c cverovatno). Pravilo E1 ∧ E2 ... → Hβ tako ima faktor uverenja β (certainityfactor) koji ima vrednost od −1 (potpuno netaˇno) do 1 (potpuno taˇno). c cMYCIN koristi takav pristup (Giarratano, Riley, 1989), s tim da je naglasakbio na mehanizmu i formuli koja bi imala osobine: komutativna (da bi seizbegla zavisnost rezultata od redosleda primene pravila) i asimptotna (svakopravilo koje dodatno podupre uverenje ga pove´ava asimptotski ka 1). c2.11.3 Mere verovanja i neverovanja i ukupno uverenje Uvode se mere verovanja µB (belief) i neverovanja µD (disbelief) takod ¯etako da budu komutativne i asimptotne. Nakon prikupljanja svih podataka(za i protiv) i raˇunanja ovih mera za datu hipotezu H se odred c ¯uje ukupnouverenje (net belief): β = µB −µD . Na osnovu dokaza E uverenje u hipotezuse moˇe uve´ati ako je p(H|E) > p(H) ili smanjiti ako je p(H|E) < p(H) z c(odnosno, pove´ava se neverovanje u potonjem sluˇaju): c c
  • 39. 38 Seminarski rad 1, ako je p(H) = 1 µB (H, E) = max [p(H|E),p(H)]−p(H) 1−p(H) , inaˇe. c 1, ako je p(H) = 0 µD (H, E) = min [p(H|E),p(H)]−p(H) −p(H) , inaˇe. c... i odavde se vidi da je 0 ≤ µB (H, E) ≤ 1 i 0 ≤ µD (H, E) ≤ 1. Dalje,β(H, E) = µB (H, E) − µD (H, E) ima vrednost -1 ako E potpuno opovr-gava H, 0 ako E nije dokaz (nedostatak dokaza - E je nezavisan od H tj.p(H|E) = p(H) pa su obe mere i uverenje onda jednake 0), ili 1 ako Epotpuno potvrd ¯uje H. Zbir β(H, E) + β(¬H, E) uopˇte ne mora biti 1. s2.11.4 Propagiranje uverenja Za dato pravilo E → H β(P RAV ILO)raˇuna se uverenje kao β(H, E) = β(E)β(P RAV ILO). Ako je u pitanju ckonjunkcija E1 ∧ E2 ... → H β(P RAV ILO)onda je: β(H, E1 ∧ E2 ...) = min β(Ei )β(P RAV ILO) ia ako je disjunkcija E1 ∨ E2 ... → H β(P RAV ILO)u pitanju onda je: β(H, E1 ∨ E2 ...) = max β(Ei )β(P RAV ILO) iAko dva pravila zakljuˇuju o istoj hipotezi, onda se ,,akumulira” uverenje cprema (Shortliffe, Buchanan, 1975): 0, µD (H, E1 &E2 ) = 1µB (H, E1 &E2 ) = µB (H, E1 ) + µB (H, E2 )(1 − µB (H, E1 )), inaˇe. c
  • 40. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 39 0, µB (H, E1 &E2 ) = 1µD (H, E1 &E2 ) = µD (H, E1 ) + µD (H, E2 )(1 − µD (H, E1 )), inaˇe. c... odnosno, ako se odmah raˇuna uverenje (β1 i β2 su izraˇunata uverenja c cdvaju pravila):   β1 + β2 (1 − β1 ), ako je β1 , β2 > 0     β1 +β2 β(β1 , β2 ) = 1−min [|β1 |,|β2 |] , jedan od β1 , β2 < 0      β1 + β2 (1 + β1 ) inaˇe. cPokazuje se da se dubinom ovakvog zakljuˇivanja brzo gomilaju greˇke (raˇunanja). c s c2.11.5 Mogu´nost i potrebnost c Kao uopˇteni koncept mere neuverljivosti (uncertainity) nekog dogad s ¯aja(ili skupa) E, Zade, Sugeno, Duboa i Prade (Duboius, Prade, 1988) uvodetzv. parametar uverenja g(E) : 0 ≤ g(E) ≤ 1, E ⊆ U . Kada je do-gad siguran, onda je g(E) = 1 ili ako je nemogu´ onda je g(E) = 0 ¯aj c- obratno ne mora da vaˇi. Mogu´nost (possibility) Π : U → [0, 1] je z cstepen kojim neka hipoteza H ocenjena mogu´om (npr. od strane nekog ceksperta). Mogu´nosti H i ¬H su slabo povezane za razlik od njihovih cverovatno´a: max (Π(H), Π(¬H)) = 1. Za nju vaˇi (∀A, B ⊂ U )Π(A ∪ B) = c zmax(Π(A), Π(B)). Ako je Π(A) = 1 i A ∩ E = ∅ onda je dogad E siguran, ¯ajinaˇe je Π(A) = 0. Takod potrebnost (necessity) je funkcija N : U → [0, 1] c ¯e,td. (∀A, B ⊂ U )N (A ∩ B) ≤ min(N (A), N (B)). Pored ovih, vaˇna je izfunkcija raspodele mogu´nosti (possibility distribution) P oss : U → [0, 1] td. cP oss(E) = Π(E). Vaˇe aksiome: za1 E1 ⊆ E2 ⇒ g(E1 ) ≤ g(E2 ) (monotonost)a2 (∀A, B ⊂ U )g(A ∪ B) ≥ max(g(A), g(B))a3 (∀A, B ⊂ U )g(A ∩ B) ≤ min(g(A), g(B))a4 Π(A) = 1 − N (¬A)a5 min(N (A), N (¬A)) = 0
  • 41. 40 Seminarski rada6 (∀A ⊆ U )Π(A) ≥ N (A)a7 N (A) > 0 ⇒ Π(A) = 1a8 Π(A) < 0 ⇒ N (A) = 0a9 Π(A) + Π(¬A) ≥ 1a10 N (A) + N (¬A) ≤ 1Moˇe se pokazati da je Cr ekvivalentno potrebnosti N i P l da je ekvivalentno zmogu´nosti Π akko ˇiˇni elementi formiraju ugnjeˇdene nizove skupova (ako c zz zsu ˇiˇni elementi elementarni tj. ˇine ih samo pojedini dogad a ne skupovi, zz c ¯ajionda je ∀E Cr(E) = P l(E) = p(E)), tako da su D-S i teorija mogu´nosti i cposebnosti proˇirenje standardne teorije verovatno´e za razliku od teorije uv- s cerenja. Ako je E fazi skup onda se distribucija mogu´nosti moˇe iz normirane c zkarakteristiˇne funkcije tog skupa. c2.12 Raˇunanje s reˇima c c Ukratko, fazi raˇunanje s reˇima (CW = Computing with Words) se bavi c cfazi vrednoˇ´u kanonskih formi (canonical form) oblika: X is R gde je R fazi screlacija a X uslovljena promenljiva (constrained, u smislu bliskom ,,test-scoresemantics” i CLP, Constrained Logic Programming). Viˇe takvih uslova se sgrupiˇe oko jednog iskaza p nekog (prirodnog npr.) jezika ˇto se piˇe kao: s s s p → X is Ri to je jedna eksplicitacija iskaza p. Spomenut je ranije u tekstu ve´ uslovni coblik ,,Y is B if X is A”, a ovakvi i prethodni uslovi se nazivaju osnovnim.Prirodni jezik (NL = Natural Language) name´e potebu za opˇtijim oblikom c suslova, i Zade predlaˇe generalizovani oblik uslova ,,X isr R”gde diskretna zpromenljiva ,,r” u kopuli ,,isr” upu´uje na koji naˇin R uslovljava X: c ce jednakost (skra´eno =) cd disjunktivno (mogu´e - possibilistic - skra´eno blanko: c c ima znaˇenje P oss{X = u} = µR (u) gde je R = ΠX distribucija c mogu´nosti (possibility distribution)) cc konjunktivno
  • 42. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 41p verovatnosno (npr. X isp N (m, σ 2 ))λ vrednost verovatno´e cu uobiˇajeno (usuality) c ˇrs sluˇajni skup (random set, Dempster-Sejferova teorija radi sa ovakvim i c prethodnim uslovima - kao pravilo zakljuˇivanja: X isp P, (X, Y ) is Q → c Y isrs R)rsf sluˇajni fazi skup (random fuzzy set) cfg fazi graf (lukovi su obeleˇene stepenom pripadnosti - vid fazi relacije R = z Ai × Bi za pravila ,,Y is Bi ako X is Ai ”) ...Za propagiranje ovakvih uslova se koriste fazi pravila zakljuˇivanja kao ˇto c sje GMP, ali i dodatna pravila za pojedine vrste uslova kao ˇto su to npr.: s X is A, X is BKonjunktivno pravilo 1 X is A∩B X is A, Y is BKonjunktivno pravilo 2 (X,Y ) is A×B X is A ili X is BDisjunktivno pravilo 1 X is A∪B X is A ili Y is BDisjunktivno pravilo 2 (X,Y ) is (A×V )∪(U ×B) X isc A, X isc BKonjunktivno pravilo za isc X isc A∩B X isc A ili X isc BDisjunktivno pravilo za isc X isc A∪B
  • 43. 42 Seminarski rad (X,Y ) is AProjektivno pravilo Y is proj V A gde je proj V A = supu A X is ASurjektivno pravilo (X,Y ) is A×V X is A, (X,Y ) is BKompoziciono pravilo Y is A◦B X is A, Y is C if X is BUopˇteni modus ponens s Y is A◦(B×C)Pravilo preslikavanja (princip ekstenzije) f (X) is A (A) X is f gde je f : U → V i µf (A) (ν) = supu: ν=f (u) µA (u)Pravilo inverznog preslikavanja (Xf (X)f (is A is −1)(A) gde je µf ( −1)(A) (u) = µA (f (A))Pravilo modifikacije uslova X is fmA X is (A) gde je m modifikator kao ˇto je s to negacija (¬) ili odredba (veoma, donekle, zaista, i sl.) a f odred¯uje kako modifikator menja skupPravilo kvalifikacije verovatno´e (X P is Λis Λ gde je X sluˇajna promenljiva c is A) c nad domenom U sa distribucijom (gustinom verovatno´e) p(u), Λ je c lingvistiˇki verovatnosni izraz (verovatno, veoma verovatno i sl.) i P je c verovatno´a fazi dogad c ¯aja X is A: P = µA (u)p(u)du UKonceptualna struktura raˇunanja s reˇima polazi od znaˇenja iskaza p koji c c cse dvema procedurama iz baze objaˇnjenja (ED = Explanatory Database) spretvara u odg. promenljivu X i relaciju R i to je onda instanca te bazei element baze instanci objaˇnjenja (EDI). Cilj je iz poˇetne baze znanja s codnosno iskaza (IDS = Initial Data Set) i upita izvesti iskaz iz zavrˇne baze sznjanja (TDS = Terminal Data Set).
  • 44. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 43 Polazak Fazi skup iskazi NL premise granula semantika (test−score) lingv. promenljiva kanonske forme fazi uslovi fazi pravilo zaklj. u fazi logici propagiranje uslova fazi graf izvedeni uslovi lingv. aproksimacija iskazi u NL zakljucci IDS CW TDS eksplikacija propagiranje transformacija Iskazi NL Iskazi NL iskaza uslova uslova Takod Zade izgrad ¯e, ¯uje raˇun pitanja i odgovora (uspostavlja se fazi crelacija med njima) kao vid pristupa sloˇenim i nepreciznim sistemima (koji ¯u zdonosi elemente pretrage fazi baze znanja). Napomena: Zade u svojem tek-stu koristi sa znaˇenjem =def : cDefinicija 2.8 Atomsko pitanje Q je odredeno trojkom Q (X, B, A), gde ¯je Q skup objekata (lingvistiˇkih promenljivih) na koje se atomsko pitanje codnosi, B je oznaka pitanja (telo) odnostno klase objekata ili atributa, A jeskup mogu´ih dozvoljenih odgovora. Kada je potrebno, instance Q, X i A se cobeleˇavaju malim slovia q, x, a. Kada se X i A podrazumevaju piˇe se: z s Q B
  • 45. 44 Seminarski rada specifiˇno pitanje sa dozvoljenim odgovorom c Q/A B?aodnosno q/a B?aOva trojka se moˇe posmatrati kao skup promenljivih {B(x)}, x ∈ X tako zda vaˇi B(x) = a i neka numeriˇka vrednost ili lingvistiˇka su dodeljeni z c cpromenljivi B(x). Npr. odgovor na pitanje ,,0.8 je da li je vaza crvena”jeekvivalentno crvena(vaza) = 0.8. Q/A par se naziva pitanje/odgovor parom. Pitanje je klasifikaciono ako se B odnosi na fazi skup kao objekat, atribu-ciono ako se odnosi na atribut (vrednost fazi skupa). Kod klasifikacionogpitanja, odgovor a predstavlja stepen pripadnosti x u B, npr. odgovor moˇe zbiti oˇtar (numeriˇki) a s c 0.8 ili lingvistiˇki a c srednje. Kod atribu-cionog pitanja Q = B? odgovor a predstavlja vrednost atributa B, npr.B starost, i x P era, gde a moˇe biti numeriˇki a z c 35 ili lingvistiˇki ca veoma mlad td. vaˇi µmlad = 1 − S(20, 40) za domen U = [0, 100] (za- zpravo z-kriva) i sl. Ugnjeˇdeno pitanje ,,Da li je taˇno da je (...((x is w) is τ1 )... is τn )” ima z codgovor oblika a ((x is w) is τ1 · · · is τn ). Na primer, ako je kao ranije B starost i pitanje ,,Da li je taˇno da (Pera cis mlad)”tada, ako odgovor a 0.5 na pitanje onda je Perina starost zadatasa B(P era) = µB −1 (0.5) = 30 gde je B(P era) = µB −1 (τ ) = µB −1 ◦τ . Uopˇte, s ∗za a (x is w1 ) is τ (w1 je fazi podskup domena U ) vaˇi a z x is w2 gde −1je w2 = µw1 ◦ τ , gde je ◦ je kompozicija fazi relacija. Tada je za prethodni
  • 46. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 45primer τ je lingvistiˇka istinitosna vrednost karakterisana sa µτ . Za pomenuti cugnjeˇdeni upit onda vaˇi a∗ x is wn+1 gde je: z z wn+1 = µwn −1 ◦ τn wn = µwn−1 −1 ◦ τn−1... w2 = µ1 −1 ◦ τ1Na osnovu ovoga se definiˇu sloˇena (kompozitna) pitanja sa ˇiniocima Q1 , · · · , Qn s z ci telima B1 , · · · , Bn koja su n-adiˇna (npr. ako n = 1 onda su monadiˇna) i c ckarakterisana relacionom reprezentacijom B(B1 , · · · , Bn ). Uvode se tabelarnizapisi, ili skra´eni algebarski: i-ti red tabele je onda zapisan kao odg. Q/A c 1 n 1 2 n 1 2 nparovi Q1 ri · · · Qn ri //Qri ili samo ri ri · · · ri //ri i tada je B = i ri ri · · · ri //ri .Postoji i analitiˇka interpretacija ovakvih pitanja. Granaju´i upiti su onda c c ∗ 2 1 3 2 1 3 2 1oblika Q = a1 a1 a1 //a1 + a1 a1 a2 //a2 + a1 a2 //a2 + · · ·.Viˇe o tome u [words], [GRAN], [SCFL] i [FSNEW]. s
  • 47. 46 Seminarski rad2.13 Fazi algoritmi Fazi algoritam bi naˇelno mogli opisati kao ured skup fazi instrukcija c ¯ennakon ˇijeg se izvrˇenja dobija pribliˇno reˇenje nekog problema ili neka akcija c s z s(fazi instrukcije se tiˇu fazi skupova, verovatno´a, dogad c c ¯aja, relacija, funkcijai drugih fazi entiteta). Kod fazi ekspertnih sistema je naglasak na mehanizmufazi zakljuˇivanja kome je prepuˇtena kontrola toka izvrˇenja pojedinih op- c s seracija. Kod fazi algoritama kontrola toka viˇe liˇi na klasiˇne algoritme s c c- mogu se uporediti i sa proˇirenim mreˇama prelaska (ATN - Augmented s zTransition Networks) kojima su pridodata fazi uslovna pravila na prelaskui operacije nad fazi skupovima i relacijama (fazi Petri mreˇe i fazi grafovi, zgde se fazi algoritam svodi na fazi relaciju tj. raˇunanje se tada svodi na craˇunanje te fazi relacije). Fazi algoritam podrazumeva i oˇtre (klasiˇne) c s citerativne i kontrolne elemente. Zade algoritme deli u ˇetiri naˇelne grupe: c c 1. Definicioni algoritam - definiˇe traˇeni fazi skup u terminima zadatih s z fazi skupova (izraˇen fazi operacijama nad njima, moˇda rekurzivno) z z ili daje efektivnu proceduru odred¯ivanja pripadnosti istom (npr. pred- stavljanje sloˇenih pojmova kao ˇto je rukopis jednostavnijim fazi poj- z s movima). 2. Generacioni algoritam - za razliku od prethodnih generiˇe traˇeni skup s z (npr. pomenuti rukopis) 3. Relacioni i bihejvioristiˇki algoritam - opisuje vezu ili veze med fazi c ¯u promenljavama, a ako pri tom opisuje (simulira) ponaˇanje nekog sis- s tema onde je takav algoritam bihejvioristiˇki. c 4. Algoritam odluka - daje pribliˇan opis strategije ili pravila odluke (npr. z upravljanje nekim sistemom)Na Zadeovoj stranicu [WWW] se mogu na´i njegovi originalni tekstovi, ali i cprezentacije rada BISC (The Berkeley Initiative in Soft Computing), gde serazmatraju fazi sistemi pomenuti u zadnja dva poslednja odeljka kao i nekedruge njihove primene.
  • 48. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 473 Neuronske mreˇe z3.1 Uvod Prouˇavanje ljudskog mozga i razmiˇljanja je u razliˇitim oblicima staro c s chiljadama godina. Osnovnim nauˇnim i bioloˇkim principima funkcionisanja c smozga raspolaˇemo tek neˇto viˇ od 100-200 godina - pogotovu se dugo nije z s sznalo niˇta o funkcionisanju osnovnog gradivnog elementa nervnog sistema i smozga - nervne ´elije, neurona. Mogla bi se napraviti podela disciplina koje cprouˇavaju funkcionisanje ljudskog mozga i strukture neurona prema broju cneurona: brojem reda 1011 tj. na nivou celog mozga kao organa se bavelogika, psihologija, i sl. Negde na sredini bi bila, recimo, neurohirurgija, aneurologija i neuronauke onda odatle sve do pojedinih neurona. Veˇtaˇke s cneuronske mreˇe ili skra´eno, neuronske mreˇe (NM), su matematiˇki i elek- z c z ctronski modeli rada struktura neurona na najniˇoj lestvici po broju neurona, zod pojedinih do negde reda od 103 do 104 (uglavnom daleko manje, a primeraradi, samo jedan neuron moˇe imati i do 10000 dendrita tj. ,,ulaza” iz drugih zneurona) - i to dosta grubi modeli (ne uzimaju se obzir npr. hemijski procesii supstsnce, neurotransmiteri (zaduˇeni za prenos potencijala u sinaptiˇkim z cspojevima), promenu strukture u toku vremena, hormone i drugo, ve´ se uz- cimaju u obzir samo elektriˇni impulsi) - ali koji dobro aproksimiraju rad NM cna tom nivou. Istorijski gledano, prvi korak u nastajanju NM napravili su neurofiziolog1943. Varen Mekalok (Warren McCulloch) i matematiˇar Volter Pits (Walter cPitts) svojim radom o tome kako bi neuroni mogli raditi i jednostavnim mod-elom realizovanim elektriˇnim kolima (pokazalo se da to nije sasvim taˇan c cmodel bioloˇkih NM ali je znaˇajno uticao na kasnije modele - svaki neuron s cje funkcija koja zavisi od vremena i ulaznih signala kombonovanih logiˇkim coperacijama, npr. N3 (t) = ¬N2 (t − 1) ∨ N1 (t − 2)), zatim Donald Hebb 1949.otkri´em favorizovanja putanja koje su ve´ koriˇ´ene. Nekako s razvojem c c scraˇunarskih tehnologija i VI (od 1956. okupljanjem u Dartmutu) uporedo cpostaje popularnija i ideja NM - Dˇon fon Nojman predlaˇe osnovne elek- z ztronske elemente za realizaciju neurona, 1959. prva poznata praktiˇna pri- cmena (ADALINE). Frenk Rozenblat 1962. daje poznatu strukturu ,,Percep-tron” u knjizi ,,Principi neurodinamike” (ponderisani zbir ulaza i prag kojidaje dve vrednosti) koji je mogao da klasifikuje prostor ulaza u dve klase.Med ¯utim Marvin Minski i Sejmur Papert 1969. u svojoj knjizi ,,Percep-
  • 49. 48 Seminarski radtroni” pokazuju da takva struktura nemoˇe da realizuje mnoge veoma jed- znostavne operacije kao ˇto je to npr. logiˇka XOR-kapija (jer jednoslojni per- s cceptron klasifikuje samo linearno separabilne skupove - dok je, kako je 1951.S.C. Kleene pokazao, Mekalok-Pitsov model neurona sposoban raˇunski ek- cvivalentno elektronskim raˇunarima). Takvi zakljuˇi i pre svega loˇa ,,opˇta c c s sklima” u vezi NM su stvorila krizu i mnogi istraˇivaˇki projekti su ostali z cbez prihoda. Tako je bilo sve do sredine 80-tih (1982. Dˇon Hopfild (John zHopfield, Caltech) i Kohonen naˇli nove strukture NM i primene, i nekako sback-propagation algoritam postaje ponovo popularan iako ga je grupa au-tora otkrila joˇ 70-tih: Werbor, Parker, Rumelhart, Hinton, Williams). s3.2 Osnovni model neurona Bioloˇki neuron, kako je pomenuto, ima mnogo dendrita (ulaza) oko some s(srediˇnji deo s jedrom) i samo jedan izlaz (akson), koji se preko sinapsi sspaja s mnogo dendrita drugih neurona. Svaki dendrit moˇe uticati na eksc- zitaciju ili inhibiciju neurona - ako je dovoljno ekscitovan, neuron se okida tj.
  • 50. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 49ˇalje elektriˇni impuls (od 70-100 mV koji nastaje kao razlika u potencijalus cteˇnosti unutar i izvan ´elijske membrane Na-K pumpom) niz akson (u pros- c ceku je frekvencija okidanja najviˇe 100 puta u sekundi, a signal nalik talasu sputuje od jedne do druge Ranvijeove taˇke aksona - ta taˇka ponovo dostiˇe c c zpotencijal potreban za okidanje tek za 1 ms - refraktorna perioda). Pokazujese da je dovoljno sve raˇunati u vremenski jednakim koracima (sinaptiˇkim c ckaˇnjenjem), iako to nije sasvim precizan model bioloˇke NM. Zanimljivo je s sda visok stepen paralelizacije prisutan u bioloˇkoj NM (ˇiji su osnovni el- s c −3ementi - neuroni - snage reda najviˇe 10 s) omogu´ava neuporedivo ve´u s c craˇunsku mo´ nego danaˇnji raˇunari ˇiji su osnovni elementi brzine reda c c s c c10−9 s. X i PE i r yq 1 w i1 i w i1 X2 t w i1 Σ i X 3 . ai fi Oi . w i1 . ( net i ) i w i1 X n−1 i Xn w in yi w E i0 k i X 0 = b i (bias) x ε x* (x , y ) y* k k Osnovne komponente veˇtaˇkog neurona (odnosno modela neurona) kao s cosnovnog procesnog elementa (PE - ili procesnog ˇvora, jedinice) NM su: c 1. ulazi sa teˇinskim koeficijentima (ponderima) - ulazi se obiˇno z c i i T predstavljaju vektorom tj. kolonom realnih brojeva x = [xj ]j = [xi (t)]T (za i-ti PE), kao i ponderi (sinaptiˇke teˇine) wij = wij (t) j j c z
  • 51. 50 Seminarski rad (takod za i-ti PE tj. neuron), koji naˇelno zavise od vremena tj. od ¯e c broja iteracija t - ˇtaviˇe, ceo sistem moˇe zavisiti od vremena i tada s s z ˇ je dinamiˇki sistem). Cesto se koristi i jedan dodatan specijalan kon- c stantni ulaz, tzv. bias bi , ili ako je xi = 1 za sve i onda se moˇe 0 z smatrati da je jednak odgovaraju´im ponderima wi0 tj. vektor pondera c b = [wi0 ]T i se moˇe posmatrati kao kolona kojom je matrica W = [wij ] z proˇirena s leve strane u [b|W ] - ali je kra´e isto obeleˇena sa W . s c z 2. funkcija sumiranja - sumiranje ponderisanih ulaza (ulaza uparenih sa svojim odgovaraju´im teˇinskim koeficijentima, ˇto ˇesto podrazumeva c z s c i njihovo mnoˇenje) odnosno njihovo agregiranje u jednu vrednost izraˇenu z z opet realnim brojem realizuje se odgovaraju´om funkcijom net odnosno c operatorom. To je najˇeˇ´e skalarni proizvod (zbir proizvoda ulaza sa c sc svojim ponderom - tada je vektor funkcija sumiranja svih PE linearni operator net = [neti ]i T = W x + b, ali moˇe biti i neˇto drugo. Neke z s funkcije na tu vrednost naknadno primenjuju i aktivacionu funkciju Fi koja se recimo menja s vremenom ili zavisi od vremenski prethodne vrednosti aktivacione funkcije (ako se matrica koeficijenata W = [wij ] prikaˇe kao matrica redova W = [wi ]T tj. wi = [wi1 , · · · , wij , · · ·]T ): z T neti (t) = net([xi (t)]j , [wij (t)]j T ) = j wij (t)xi (t) = W (t) xi (t), j j tj. net(wi , xi ) = wi · xi , ai (t) = Fi (ai (t − 1), neti (t)) T Umesto indeksa i mogao bi se npr. koristiti par (h, i) indeksa od kojih h npr. ukazuje kojem sloju pripada dati PE, ali ovako je praktiˇnije c rasporediti indekse u particije Sh koje predstavljaju slojeve. 3. transfer funkcija - rezultat funkcije sumiranja se prosled ¯uje unarnoj i funkciji y (a) = fi (ai (t)) koja najˇeˇ´e daje vrednost 0 osim ako se c sc pred prag okidanja (threshold) koji predstavlja osnovni parametar i ¯e zato je sinonim za transfer funkciju funkcija praga okidanja. Neke klase NM koriste funkcije transfera sa dodatnim parametrom, temperaturnim koeficijentom (ˇto nije isto ˇto i temperatura - ˇum koji se dodaje po- s s s jedinim neuronima), koji takod uˇestvuje u obuˇavanju NM ˇto moˇe ¯e c c s z dosta da ubrza proces uˇenja. Primeri transfer funkcija (najˇeˇ´e se c c sc upotrebljavaju linearna i sigmoid funkcije izmed ostalog zato ˇto su ¯u s svuda diferencijabilne) oblika y = f (a) sa pragom okidanja u nuli:
  • 52. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 51 0, a < 0; kapija, stepenasta funkcija y= 1, a ≥ 0. −1, a < 0; simetriˇna kapija c y= 1, a ≥ 0. linearna (identitet) y=a   0, a < 0; lin. sa zasi´enjem c y= a, 0 ≤ a ≤ 1;  1, a > 1.   −1, a < −1; simetriˇna lin. sa zasi´. c c y= a, −1 ≤ a ≤ 1;  1, a > 1. 1 logaritamski sigmoid y= 1+e−a ea −e−a hiperboliˇki tangens sigmoid c y= ea +e−a eneti softmaks y= netj je 0, a < 0; pozitivna linearna y= a, a ≥ 0. t integrator y(t) = 0 a(τ )dτ funcija takmiˇenja c 1 samo ako ima najve´i izlaz u sloju, 0 inaˇe c c
  • 53. 52 Seminarski rad 4. skaliranje i ograniˇenje - izlaz transfer funkcije se mnoˇi nekim ko- c z eficijentom i dodaje mu se neka konstantna vrednost (gain) - ovo se retko koristi, a cilj je da izlaz u bude u granicama nekog intervala (ko- risti se u nekim specijalnim modelima bioloˇkih NM - James Anderson, s brain-state-in-the-box). 5. funkcija izlaza i kompeticioni ulazi - uobiˇajeno je da funkcija c izlaza bude jednaka izlazu transfer funkcije y (t) = oi (t). Neke topologije i NM dozvoljavaju da izlaz bude dodatno modifikovan kompeticionim ulazima koji dolaze od susednih neurona (na istom nivou ili sa viˇe s nivoa) i inhibiraju ga ako nije dovoljno jak. Drugo, kompeticioni ulazi ˇesto utiˇu na izbor neurona koji ´e uˇestvovati u procesu uˇenja ili c c c c c adaptacije. 6. funkcija greˇke i povratno-propagirana vrednost - U ve´ini NM s c koje uˇe raˇuna se razlika nekog ˇeljenog izlaza (nakon prethodnog c c z koraka) i trenutnog izlaza (npr. iz skupa ulaza i izlaza za obuˇavanje) c ∗ T ε(x) = ∆(y(x)) = y (x) − y(x) gde je ε(x) = [ε(x)j ]j . Takva razlika se prosled ¯uje funkciji greˇke (koja moˇe da stepenuje razliku, zadrˇi s z z njen znak, itd.) i dobijeni rezultat, koji se zove trenutna greˇka ili s term greˇke, se prosled s ¯uje funkciji uˇenja nekog (drugog) procesnog c elementa (i to obiˇno propagiranjem unazad). Raˇuna se npr. proseˇna c c c 1 m 2 kvadrirana greˇka nad skupom obuˇavanja E = p xi j=1 εj (xi ) , gde s c su xi ulazi skupa obuˇavanja sa p elemenata i m izlaznih neurona. c 7. funkcija uˇenja - u svakom krugu uˇenja (koji sledi obiˇno nakon c c c prethodnih koraka i zapoˇinje preispitivanjem izlaznih procesnih ele- c menata) funkcija uˇenja ili adaptaciona funkcija procesnih elemenata c kojima se prosledi ulaz u funkciju uˇenja modifikuje vrednosti koefi- c cijenata svojeg neurona (npr. zbir ulaznog koeficijenta sa proizvodom ulaznog koeficijenata i adaptacionog ulaza). Jedan pristupa bi mogao biti reˇavanje sistema jednaˇina (ˇak diferencijalnog za mnoge klase di- s c c namiˇkih i rekurentnih NM, fiziˇki modeli) ˇije bi reˇenje (ekvilibrium) c c c s novo staro bilo oblika wij = G(wiij , xi , xj , · · ·) ali se to pokazuje neupotre- bljivim za bilo koju sloˇeniju strukturu. Uˇenje moˇe biti nadgledano z c z (supervised) gde postoji uˇitelj, bilo kao skup za obuˇavanje (poz- c c natih ispravnih ulaza i izlaza) ili spoljna ocena valjanosti rezultata. Uˇenje moˇe biti i nenadgledano (unsupervised) bez spoljne ocene c z po nekom ugrad ¯enom pravilu - uˇenje kroz rad, bez primera. c
  • 54. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 533.3 Grupisanje neurona i struktura NM Sam neuron (pa ni jedan sloj nepovezanih neurona) nije dovoljan za iolesloˇeniji problem. Prvi pokuˇaj nasumiˇnog grupisanja i povezivanja neurona z s cse pokazao neuspeˇnim - zakljuˇak: neophodna je struktura NM odnosno s ctopologija (veza) NM (ako se posmatra NM kao specifiˇan graf). Najjed- cnostavnija i dosad najˇeˇ´e upotrebljavana struktura NM koja se pokazala c scveoma uspeˇnom je raspored s ¯ivanje neurona po slojevima. Tri osnovna tipapostoje: 1. Sloj ulaza - vektor ulaza se obiˇno posmatra izdvojeno od ostatka struk- c ture NM. Preko ulaza NM komunicira sa spoljaˇnim svetom (npr. sen- s zori) ili ulaznim datotekama 2. skriveni slojevi - nalaze se izmed ulaznog i izlaznog sloja. Moˇe ¯u z ih biti viˇe i nepostoji posebno teorijsko ograniˇenje njihovog broja s c osim praktiˇnih iskustava i nekih delimiˇnih teorijskih dokaza kojima c c se pokazuje da je 4-5 slojeva dovoljno za ve´inu problema proizvoljne c kompleksnosti. Pokazuje se da pove´anje kompleksnosti (kod topologije c primerene problemu) najˇeˇ´e zahteva pove´anje broja neurona po nekim c sc c slojevima a ne broja slojeva 3. izlazni sloj - neuroni ˇiji se izlazi uzimaju kao rezultat raˇunanja NM c c
  • 55. 54 Seminarski rad Neuroni unutar slojeva obiˇno nisu povezani osim u nekim sluˇajevima c cgde se takve lateralne veze koriste za takmiˇenje sa drugima ili inhibiciju c(lateralna inhibicija) - ˇto zavisi od pondera. Mogu´a je razliˇita upotreba s c cparametara i drugih komponenti (transfer funkcije npr.) po slojevima. Tokobrade podataka (odnosno signala) ide od ulaznih neurona ka narednim slo-jevima (skrivenim) sve do izlaznih i veze se grade samo izmed susednih ¯uslojeva (ˇesto u maniru svaki sa svakim): c • ako postoji veza od i-tog do j-tog PE onda vaˇi oi = xjj za neke indekse z q ulaza qj (s tim da je dozvoljeno da i-ti PE bude povezan sa viˇe drugih s PE - jednostavnosti radi se uzima da je qj = i), • za vektor ulaznih vrednosti x = [xi ]T vaˇi tako xi = xuu gde su u indeksi i z q ulaznih PE a qu odg. indeksi ulaza (jedan ulaz moˇe biti povezan sa z viˇe PE - jednostavnosti radi uzima se da se poklapa qu = i), s • vektor izlaznih vrednosti y = [yj ]T je isto tako jednak [ov ]T gde su v j indeksi odgovaraju´ih izlaznih PE c
  • 56. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 55 Kod ranije opisane matrice Wh = [wij ] sloja h (h = 1, r, formata (uh +1) × sh ) indeks i oznaˇava onda indeks PE u trenutnom sloju a indeks j cprethodnog sloja. Ako se posmatra matrica W (formata (s + r + n + 1) ×(s + r + n + 1)) svih PE X = [xi ]i onda je praktiˇno koristiti podmatrice Wh cnamenjene datom sloju h, ali se onda dodatno mora paziti na veze med PE ¯u(koji izlazi se dodeljuju kojim ulazima). Ako se W prikaˇe na slede´i naˇin: z c c   0  . .   .    0   I1 0 0 ··· 0  h1 −1    x ≡0   W1 0 0 ··· 0  x h1    0 I2 0 ··· 0      xh1 +1   0 W2 0 ··· 0   , Ih = [1, 0, · · · , 0]net[h] = W x[h] =  . .   . . .. . .  .   . . .     xh2   0 · · · 0 Ir 0   h2+1  0 · · · 0 Wr 0 m  x ≡0   0     .   . .  0gde je s broj PE, r broj slojeva, a podmatrica Wh ona koja se odnosi na sloj h(ulazni sloj u x[h] se posmatra kao nekakav prvi niz vrednosti, zatim slede os-tale izlazne komponente svakog od slojeva redom, sve od izlaznog; vrste Ih suˇirine kao i Wh , a tu su samo da saˇuvaju bias za naredni sloj), onda se vektors culaznih vrednosti x = [x0 , x1 , · · ·]T (bias x0 = 1) za dati sloj moˇe prikazati z h1 h2 Tkao x[h] = [0, · · · , 0|x · · · x |0, · · · , 0] gde su h1 i h2 poˇetni i krajnji indeks csloja h (h2 −h1 +1 su particije s+r +n+1, pod uslovom da su tako ured ¯eni).Raˇunanje onda poˇinje ulaznim vektorom [x0 , · · · , xn , 0, · · · , 0] ∈ Rn i slojem c c1, tako da izlazi y[h] = [0, · · · , 0|y h1 · · · y h2 |0, · · · , 0]T = f (net[h] ) = f (W x[h] )postaju ulazi narednog sloja tj. x[2] =y[1] , i tako redom do poslednjeg slojay[r] = [0, · · · , 0, y1 , · · · , ym ]T i vektora izlaza y ∈ Rm (najbolje je da f vrˇi sbar ,,pomeranje” za svaki sloj na odg. pozicije indeksa u y, taˇnije za ˇirinu c sWh jer se tako onda koristi jedna matrica W za sve slojeve, npr. f (x) =f0 ([ 0h 0 ]x) ...). Ovo je samo jedan od mogu´ih naˇina reprezentacije i al- E 0 c cgoritma raˇunjanja. Ovakav model raˇunanja je poznat kao raˇunanje napred c c c(feedforward) koji se prepoznaje po skoro-dijagonalnoj strukturi matrice W ,ali su mogu´e i druge varijante. Neki put se koriste povratne veze (feed- c
  • 57. 56 Seminarski radback, rekurentne NM - ove NM naruˇavaju prethodno pomenutu dijagonal- snost i ˇine performanse i uˇenje sloˇenijim) - od krajnjih neurona (izlaza c c zobiˇno) ka prethodnim (npr. u smislu adaptacije ili nekog posebnog mod- cela toka iteracija raˇunanja po slojevima - rekurentni ciklus daje rezultat ckada dostigne ekvilibrijum tj. postane stabilan) - ovo je formalizam oblikakonaˇnih automata ([NN-AA], gde se stabilnost upored c ¯uje sa osobinom ne-promenjivosti stanja konaˇnog automata, vektor pondera je stanje, funkcija cuˇenja je funkcija promene stanja, itd). Takod ˇesto se strukturom NM c ¯e, ceksplicitno ili implicitno (zavisno od naˇina obuke i toka raˇunanja) u pro- c ccesu raˇunanja stvaraju specijalizovani slojevi ili ˇak delovi slojeva kojima c cse postiˇe neki specifiˇan zadatak ili deo reˇenja problema (npr. ulazni neu- z c sroni vrˇe nekakvo raspored s ¯ivanje slike kao ulaznog signala unutraˇnjem sloju skoji izdvaja tj. klasifikuje njegove odred ¯ene osobine (,,feature selectors”,zaobljenost, vertikalne i horizontalne crte) a onda ih naredni sloj finije klasi-fikuje u odred ¯ena slova).Na kraju, ovako opisana (jedna od najopˇtijih) klasa NM predstavlja neku svrstu ,,univerzalnih klasifikatora” ili aproksimatora objektivne funkcijef : Rn → Rm , odakle slede mnoge osobine ali i ograniˇenja NM (upotrebom cklasiˇnog aparata matematiˇke analize ili drugih metoda maˇinskog uˇenja - c c s cnpr. da bi se odredio potreban broj slojeva i PE, ili potrebna veliˇina skupa cobuˇavanja i poˇetni parametri obuke), i pitanje kada i koje takve funkcije c cpripadaju NERF klasi (Network Efficiently Representable Functions).3.4 Obuka i uˇenje NM c Brzina uˇenja η je jedan od bitnih parametara koji utiˇu na proces uˇenja c c cNM (srazmeran je globalnom koeficijentu funkcija uˇenja tj. utiˇe na veliˇine c c ckoraka (delti) kojima se menjaju vrednosti u procesu uˇenja). Ako je brz- cina premala onda proces moˇe da traje predugo, a ako je brzina prevelika zonda se moˇe desiti da u procesu uˇenja ne dod do nekih finijih promena i z c ¯e
  • 58. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 57eliminacija nepotrebnih osobina (u gradijent metodi globalni optimum moˇe zprevilikim korakom biti preskoˇen; mnoge varijante obuke su vidovi gradijent c(hill-climbing) pretraˇivanja prostora stanja u cilju minimizovanja greˇke) ili z sproces moˇe da postane nestabilan (traˇe se metode koje koriste i jedno i z zdrugo). Topologija NM je ˇesto statiˇna (oznaˇeni graf tj. veze PE, broj slo- c c cjeva i broj PE po slojevima), ˇak je poˇeljno npr. u matrici nalik W obeleˇiti c z zpondere koji se ne menjaju. Med ¯utim, mogu´e je da se u procesu obuˇavanja c ci topologija menja pored koeficijenata. Zakoni uˇenja: cHebovo pravilo Ako su dva povezana neurona oba aktivna (ekscitovana) onda treba pove´ati ponder veze izmed njih c ¯uHopfildovo pravilo Sliˇno prethodnom - samo se uzima u obzir i kada oba c neurona nisu aktivna i tada se smanjuje odg. ponder, a uve´anja i c smanjenja pondera se rade srazmerno brzini uˇenja cDelta pravilo Najˇeˇ´e upotrebljavano, gde se ulazni koeficijenti smanjuju c sc tako da se smanji razlika trenutnog i ˇeljenog izlaza. Pravilo menja z pondere tako da smanjuje proseˇnu kvadriranu greku NM (Least Mean c Square = LMS metod, ili poznato kao Widrow-Hoff pravilo uˇenja). c Povratno propagiranje (back-propagation) kao uˇenje radi tako ˇto c s izvod transfer funkcije od delte propagira na prethodni nivo da bi izraˇunao potrebne razlike pondera i tako redom sve do ulaznog nivoa, c a proces raˇunanja vrednosti izlaza na osnovu ulaza (i takav tip mreˇe) c z se zove raˇuanje napred (feedforward). Treba voditi raˇuna o tome c c da skup za obuˇavanje bude potpuno nasumiˇno raspored c c ¯en, inaˇe se c moˇe desiti da NM nemoˇe da dostigne ˇeljenu taˇnost. z z z cPravilo spuˇtanja niz gradijent Gotovo isto kao i prethodno pravilo, uz s dodatni koeficijent uˇenja koji se mnoˇi vrednoˇ´u uˇenja kojom se c z sc c menja ponder - ovo se koristi npr. kod NM gde su potebne razliˇite c brzine uˇenja po razliˇitim slojevima NM. Pokazuje se da manja brzina c c u ulaznim slojevima i ve´a u izlaznim ubrzava konvergenciju u mnogim c sluˇajevima (ovo je korisno kada npr. ne postoji postoji poseban model c na osnovu koga su formirani ulazi). Optimalna vrednost brzine uˇenja c je ηopt = 1/λmax gde je λmax najve´a karakteristiˇna vrednost Hesiana c c ∂ 2 E(w) greˇke H(w) = [ ∂wki ∂wkj ]ij (primer ocene u [LSC]), 0 < ηk < 2ηopt td. s ∂E je wki (t + 1) = wki (t) − ηk ∂wki .
  • 59. 58 Seminarski radKohonenovo pravilo uˇenja (Teuvo Kohonen) procesni elementi se takmiˇe c c da bi dobili priliku da uˇe i menjaju svoje koeficijente. Procesni element c s najve´im izlazom (,,pobednik”) dobija priliku da inhibira takmace ili c da ekscitira susede. Jedino pobednikov izlaz se raˇuna i jedino pobed- c nik i susedi imaju pravo da menjaju svoje koeficijente. Uobiˇajeno c je da je na poˇetku definicija susedstva ve´a, ali da se suˇava tokom c c z obuke. Pobedniˇki element je po definiciji najbliˇi ulazu pa se kaˇe da c z z ovavke NM modeliraju distribuciju ulaza (ˇto je dobro za statistiˇka i s c topoloˇka modeliranja) i zovu se zato samoorganizuju´im preslikavan- s c jima ili samoorganizuju´im topologijama. cPravilo kaskadne korelacije Pravilo (Scott Fahlman) gde se poˇinje od c nekog okvira i minimalne strukture NM, a onda se tokom obuke di- namiˇki dodaju PE u skrivenim slojevima (ili ˇitavi slojevi) i njihovi c c koeficijenti se zamrzavaju nakon obuke i postaju stalni detektori os- obina (feature detectors).3.5 Propagiranje unazad Klasiˇan algoritam obuke uopˇtenim delta pravilom i povratnim propagi- c sranjem, kao i odgovaraju´a struktura NM raˇunanjem unapred jeste najˇeˇ´e c c c sckoriˇ´en i primenjivan oblik NM. Uopˇteni zadatak je aproksimacija funkcije sc sφ : Rn → Rm uz dovoljno dobar skup obuke (training set) S = {(x∗ , yk )}k=1,p gde k ∗je yk = φ(x∗ ), 1 ≤ k ≤ p i p dovljno veliki broj (kriterijumi za S i p slede ∗ kkasnije). Tada se za svaki par obuˇavanja (x∗ , yk ) = ([x∗ ]T , [ykv ]T ) raˇuna c k ∗ ku u ∗ v caproksimacija yk na osnovu xk = xk raˇunanjem unapred. Vaˇi xku = xki ∗ c z qitj. xku = xki prema ranijoj konvenciji zapisa, gde je i indeks proizvoljnjog uulaznog PE sa odgovaraju´im indeksom ulaza qi = u (svi ulazni PE uzi- cmaju odgovaraju´e ulazne vrednosti iz xk ), onda po ranijim formulama vaˇi c z(zanemareno je vreme, aktivaciona funkcija je identiˇna funkciji sumiranja): c netk (t) = net([xki ]T j , [wij ]T j ) = i j k wij xki , k j j T tj. net(wi , xk ) = (wi ) · xk , ak = netk , oki = y ki = fki (ak ) k k i i iMoˇe se pretpostaviti da je kod wij indeks i polazna PE a indeks j naredna zPE u raˇunanju (W bi mogla biti praktiˇno kvadranta matrica svih PE uz c c
  • 60. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 59dodatak kolona slobodnih vektora tj. slobodnih koeficijenata po ranije nave-denoj konvenciji, ali se uglavnom raˇuna samo sloj po sloj, a i vektor xk se conda formira na odgovoraju´i naˇin, npr. koordinate koje se ne raˇunaju su c c cjednake nuli). Sliˇno vaˇi za izlazne ˇvorove i izlazne vrednosti yk = [ykj ]T : c z c jykv = okj = y kj = fkj (ak ), gde su j indeksi odgovaraju´ih izlaznih PE. Skica j calgoritma povratne propagacije kod kojeg poˇetne vrednosti W nisu posebno cbitne bi bila: 1. raˇuna se izlaz yk na osnovu x∗ iz skupa za obuˇavanje: yk = f (W x∗ ) c k c k ∗ ∗ 2. upored¯uju se vrednosti zadatih izlaza yk i dobijenih yk : εkj = ykj − ykj , i raˇuna se greˇka odnosno funkcija greˇke: c s s 2 1 m 2 E= p k Ek gde je Ek = 2 j=1 εkj 3. raˇuna se funkcija uˇenja (koliko treba dodati ili oduzeti svakom koefi- c c cijenu) na osnovu povratnih veza i delta pravila - odgovor na pitanje koliko i u kom smeru promeniti (pove´ati ili smanjiti - da bi se smanjila c razlika ide se u pravcu negativnog gradijenta) koeficijente daje gradi- ∂Ek ∂Ek ∗ ∂f ∂netk jent Ek = [ ∂wjv ]j gde vaˇi z ∂wjv = −(ykj − ykj ) ∂netk j ∂wjv j i gde su j j indeksi sloja neurona koji se razmatra (poˇinje se od izlaznog). Prema c definiciji vaˇi: z L ∂netkj ∂ =( wjv xkv ) = xkv ∂wjv ∂wjv v=1 ∂Ek − = (ykj − ykj )fj (netk )xkv ∗ j ∂wjv Ako se definiˇe delta ∆k wjv =def η(ykj − ykj )fj (netk )xkv = ηδkj xkv , s ∗ j gde je term greˇke δkj =def (ykj − ykj )fj (netk ) = εkj fj (netk ), (η > 0 s ∗ j j je brzina uˇenja) onda je funkcija uˇenja u tom koraku definisana sa: c c wjv (t + 1) = wjv (t) + ∆k wjv (t) = wjv (t) + ηδkj (t)xkv (t) Ako je transfer funkcija linearna, onda je fj = 1 i tada je ∗ ∆k wjv =def η(ykj − ykj )xkv
  • 61. 60 Seminarski rad a ako je funkcija logaritamski sigmoid onda je fj = fj (1−fj ) = ykj (1− ykj ) i tada je ∗ ∆k wjv =def η(ykj − ykj )ykj (1 − ykj )xkv 4. promeni zadate koeficijente prema prethodnom delta pravilu za sve PE u istom sloju, a onda to ponavljaj za prethodne slojeve redom sve do ulaznog uz pretpostavku da je ispravka ulaza trenutnog sloja jednaka greˇci izlaza prethodnog sloja: s • osnovno pitanje je kako izraˇunatu greˇku distribuirati na odgo- c s varaju´e izlaze prethodnog sloja: c m m 1 ∗ 21 2 Ek = (ykj − ykj ) = ∗ (ykj − fj (netk )) = j 2 j=1 2 j=1 m 1 ∗ 2 = (ykj − fj ( wjv xkj )) k v 2 j=1 v • gde se pretpostavlja da je veza izlaza prethodnog sloja v i ulaza narednog sloja j: y kv = xk i dalje onda vaˇi: j z ∂Ek 1 ∂ ∂fj ∂netku = (ykj − ykj )2 = − ∗ ∗ (ykj − ykj ) k ∂w ∂wvu 2 j ∂wvu j ∂netu vu ∆k wvu = ηfv (netk )xk v u (ykj − ykj )fj (netk )wjv ∗ j j • Dakle, ispravka koeficijenata prethodnog sloja zavisi od termova greˇaka narednog sloja: s ∆k wvu ηfv (netk )xk v u δkj wjv , δkv = fv (netk ) v δkj wjv j j wvu (t + 1) = wvu (t) + ηδkv xk u dakle, term greˇke skrivenog sloja je isti kao i term greˇke za ulazni s s sloj. Moˇe biti koristan i faktor momenta α: z wvu (t + 1) = wvu (t) + ηδkv xk + α∆wvu (t − 1) u
  • 62. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 61 5. ponovi ove korake za sve ostale parove iz skupa obuˇavanja c 6. ponavljaj ove korake sve dok se greˇka E nad svim parovima iz skupa s obuˇavanje ne svede ispod zadate granice c Izjednaˇavanje ispravke ulaza narednog sloja i greˇke izlaza prethodnog c sje suˇtina povratnog propagiranja greˇke. Jedna iteracija kroz ceo skup s sobuˇavanja se zove epoha. Opisani model (sa raˇunanjem unapred, koji nije c cdinamiˇki, nema povratnih i lateralnih veza) je primer viˇeslojnog percep- c strona, s tim da se onda obiˇno koristi sigmoid kao transfer funkcija. Ako se cneke dodatne osobine uvedu onda viˇe nije dovoljno uporediti raˇunanje NM s csa aproksimacijom realne funkcije. Moglo bi se re´i da NM karakteriˇu: topologija (naˇin povezanosti struk- c s cture, kao kod obeleˇenog grafa), postupak raˇunanja izlaza na osnovu ulaza, i z cpostupak obuˇavanja. U narednom delu teksta ´e biti dato nekoliko poznatih c cprimera i klasa NM. Raˇunanje i obuka mogu biti modelirane u klasiˇnoj c csekvencijalnoj arhitekturi (npr. kao program na obiˇnom ku´nom raˇunaru, c c cili pomo´u specijalizovanog okruˇenja kakvo npr. nudi MATLAB sa do- c zdatkom za NM), i ve´ tada mogu biti veoma korisna primena (primera radi, cOCR algoritmi dobrim delom tako rade, prepoznavanje govora, neegzaktnaobrada prirodnog jezika i drugo). Takav naˇin realizacije je i veoma pogodan c
  • 63. 62 Seminarski radza simulacije i kao razvojno okruˇenje u kojem se isprobavaju razliˇiti modeli, z cˇto neke specijalizovane programibilne hardverske implementacije joˇ uvek nes snude u takvom obimu (integrisana tehnologija namenjena NM). Ipak, jednaod glavnih snaga NM leˇi upravo u mogu´nosti visokog stepena paralelizacije z c(na nivou slojeva npr. u raˇunanju napred) i realizaciji u analognim VLSI carhitekturama i drugim odgovaraju´im paralelnim arhitekturama (hardver- cski recimo SMP, softverski npr. distribuirano procesiranje koje se poklapa sakonekcionizmom u srodnim oblastima gde se prouˇava mnogostruko povezi- cvanje osnovnih elemenata). Ponekad se obuka radi samo simulacijama, aeksploatacija NM (ili ,,recall”) u specijalizovanoj arhitekturi.3.5.1 Varijante povratnog propagiranja Varijanta povratnog propagiranja je delta-delta (Delta Bar Delta, RobertJacobs) pravilo, gde svaki ponder ima svoju brzinu uˇenja koja se moˇe c zmenjati vremenom (trebalo bi da opada, i ponaˇa se heuristiˇki - oˇekivana s c cgreˇka utiˇe na kasniju obuku) - raste linearno inkrementalno kada greˇka ne s c smenja znak, opada geomteriski ako greˇka ˇesto menja znak, greˇka ne utiˇe s c s cdirektno (ne ide se najstrmijim spustom niz gradijent), a koristi se i procenazakrivljenja povrˇine greˇke (ve´e promene kod ve´ih zakrivljenja). s s c c Postoji i proˇireno delta-delta pravilo (Ali Minai, Ron Williams) gde sse koristi i faktor momenta (trenutna delta zavisi od prethodne - promenesu glatkije i manje je oscilacija), kao i eksponencijalnog usporavanja rasta.Takod pamte se greˇke i koeficijenti svake epohe ako su bolji od prethodne ¯e, sda bi se kasnije vratile (stohastiˇki) ako se pred prag tolerancije. c ¯e Usmerena sluˇajna pretraga uopˇte ne koristi gradijent ve´ nasumice c s cmenja koeficijente, pamti smer promene sliˇno prethodnim varijantama, ali cne koristi povratno propagiranu greˇku - samo izlaznu. Metoda je zato sdosta brˇa, dobro radi s manjim brojem neurona, ali mnogo viˇe zavisi od z srazumevanja problema tj. od poˇetne konfiguracije koeficijenata. Kao u pre- ctrazi po dubini pamti se najbolja nad ¯ena konfiguracija i greˇka, a koriste sse i usmerene komponente (sliˇno momentima) koje se dodaju svakoj na- csumiˇnoj promeni, kao i samo-podeˇavaju´e varijanse koje utiˇu na veliˇine c s c c ckoraka izmene. NM viˇeg reda ili funkcionalno povezane NM (Yoh-Han Pao) predstavl- sjaju proˇirenja prethodnih metoda gde se samo dodaju novi ulazi kao termovi salgebarskih kombinacija ulaza. Formiraju se najpre proizvodi kombinacija(drugog reda, tre´eg reda, itd.) ulaza, zatim se na njih dodatno primenjuju c
  • 64. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 63neke funkcije (sin, cos, min, max). Postoje tri osnovne preporuke (,,preko palca”) u projektovanju ove klasemreˇa: z 1. kako raste kompleksnost odnosa ulaza i izlaza, tako pove´avati broj c neurona u skrivenim slojevima. Rumelhart predlaˇe da neuroni koji ne z menjaju koeficijente bitno u toku obuke mogu da ne uˇustvuju dalje ili c da budu ˇak izbaˇeni pod nekim uslovima. c c 2. ako se proces kojim se reˇava problem i koji se modelira neuronskom s mreˇom moˇe podeliti u viˇe razliˇitih faza, onda treba pove´ati broj z z s c c skrivenih slojeva (inaˇe dodatni slojevi ne predstavljaju dobro uopˇtenje c s reˇenja ve´ redundansu u pam´enju) s c c 3. broj elemenata skupa obuˇavanja predstavlja gornju granicu broja neu- c rona u skrivenim slojevima (veoma je vaˇno da broj ne bude preveliki z jer se time dobija NM koja ,,znadobro skup obuˇavanja ali nema dobru c generalizaciju proizvoljnog ulaza) - preporuka je da se broj elemenata skupa obuˇavanja podeli sa zbirom dimenzija ulaza i izlaza n + m i c onda podeli sa faktorom koji varira od 2 do 10 za relativno ˇist skup c obuˇavanja, pa sve do 50 za skup u kome je prisutno dosta greˇaka (ˇum c s s moˇe pozitivno da utiˇe na konvergenciju) u podacima. Ako ulazi pri- z c padaju razliˇitim klasama, treba ih nasumice birati jer NM teˇi ,,da c z zaboravi”prethodne (generalizacija je sposobnost prepoznavanja ulaza u istoj klasi).Inicijalne vrednosti se mogu nasumice birati (±0.5) kao i bias, dok η trebada bude relativno mala (0.05 do 0.25).3.5.2 Perceptron Minski i Papert su konceptualizovali percpetron predikatski (za razlikuod Rozenblata koji to ˇini u terminima verovatno´e). Tada je izlaz Ψ = c c1 akko i αϕn ϕn > θ za neki prag θ gde su φi najjednostavniji predikatioblika φi = 1 akko je taˇka na retini (ulaznom senzoru) ukljuˇena, a αi su c codg. teˇinski koeficijenti. Binarni perceptron y(x) = f (w · x + w0 ) koristi zstepenastu funkciju kao transfer funkciju (linearni perceptron - ako korstilinearnu, inaˇe se podrazumeva logaritamski sigmoid). Kako je pomenuto, c
  • 65. 64 Seminarski radtakva struktura nemoˇe da radi kao XOR kapija jer nemoˇe da klasifikuje z ztakve ulaze - to se reˇava dodavanjem jednog skrivenog sloja sa 2 neurona, i sto je onda primer viˇeslojnog perceptrona. Priroda binarnog perceptrona je sda n-dimenzioni ulaz klasifikuje u dve klase u Rn koje razdvaja jedna n − 1-dimenziona hiperravan odred ¯ena sa w · x + w0 = 0 (w su koeficijenti PE), itada se mogu parovi obuˇavanja (x∗ , y ∗ ), x∗ ∈ Rn , y ∗ ∈ {0, 1} mogu svrstati cu 3 kategorije - uspeˇne (poklapaju se y = y(x∗ ) i y ∗ ), promaˇene iznad Tw s s + −(ne poklapaju se i y = 1) i promaˇene ispod Tw (ne poklapaju se i y = 0). sTada je pravio uˇenja ojaˇavanjem (reinforcement): c c   w(t), poklapaju se; + w(t + 1) = w(t) + ε(t)x, x ∈ Tw ;  − w(t) − ε(t)x, x ∈ Tw .za neko > 0. Ovo pravilo uˇenja generalizovano znaˇi da ne postoji skup c cobuˇavanja ve´ se povremeno vrˇe korekcije u interakciji sa okolinom. Prob- c c slem moˇe nastati ako NM zaboravi polako prethodno nauˇeno na taj naˇin z c c- cilj je na´i strategiju tako da se greˇka odnosno procena oˇekivane greˇke c s c ssmanjuje svakom korekcijom. Joˇ opˇtije, za Markovljev proces (zadat sliˇno s s ckonaˇnim automatima: stanjima, distribucijom ulaznih vrednosti po stan- cjima (obzervacija, senzacija), distribucijom cene po stanju i distribucijomprelaska po stanju i ulazu), cilj je prona´i Markovljev lanac najmanje cene. cDve teoreme se mogu na´i u [NN-AA] koje pokazuju dve osobine ovakvog cobuˇavanja kod Perceptrona - da konvergira ako postoji reˇenje, i kriteri- c sjum konvergencije (ako su klase separabilne (n − 1)-dimenzionom hiperravni,uz dodatne uslove za brzinu uˇenja gde npr. tu spadaju pored konstanti i cε(t) = 1/t ili ε(t) = t).3.5.3 (M)ADALINE Ova vrsta NM spada u klasu mreˇa namenjenih obradi vremenski uzorko- zvanog signala (med novije vrste spadaju npr. mreˇe recirkulacije - Ge- ¯u zoffrey Hinton, James McCLelland). Iako su (M)ADALINE mreˇe istori- zjski med najstarijim, njihova primena postoji i danas (uklanjanje ehoa ¯uiz telefonskih linija tako realizovanim adaptivnim filterom (hibridom) se idanas koristi, realizacija savremenih modema, itd). ADAptive LInear NEu-ron (standardna funkcija sumiranja je ALC - Adaptive Linear Combiner)je iste strukture kao i perceptron sa linearnom simetriˇnom transfer funkci- cjom. Ako je x(t) niz impulsa uzorkovanih tokom jednakih vremenskih raz-
  • 66. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 65maka (odmeraka), filter se moˇe zadati svojim odgovorom (tehnika prozora) zh(t) = R(t, δ(t)), δ(t) = 1 za t = 0 inaˇe 0, i raˇunati konvolucijom c c ∞y(t) = R(t, x(t)) = i=−∞ h(i)x(t + i) (pored Furijeove transformacije idrugih DSP tehnika). Transverzni filter uzima n − 1 prethodnih i trenutniuzorak - upotebom aktivacione funkcije kaˇnjenja (delay: a(t + 1) = net(t)) sse moˇe realizovati ADALINE struktura ˇiji su ulazni vektori x(t) kojim se z crealizuje takav filter (moˇe se koristiti i za predvid z ¯anje vrednosti tj. uzorka).Obuˇavanje ADALINE se vrˇi sliˇno delta pravilu (w(t + 1) = w(t) + 2µεk xk c s cza εk = yk − yk i brzinu uˇenja µ - ako je R = [xk · · · xk ]T matrica korelacije ∗ culaza a λmax njena najve´a karakteristiˇna vrednost, onda bi trebalo da bude c c0 < µ < 1/λmax ). Many ADALINE (MADALINE) - viˇeslojni ADALINE, moˇe se obuˇavati s z ci pravilom MRII najmanjeg poreme´aja (least disturbance) gde se greˇka c sraˇuna kao broj pogreˇnih izlaza - biraju dva PE sa najmanjom aktivacijom c s(realnom sumom) i menja se ponder tako da se promeni bipolarna vrednost iprihvata promena ako je greˇka smanjena nakon raˇunanja, a onda se ponovi s cpostupa za par takvih povezanih PE. Ispod se nalazi ilustracija NM kojaprepoznaje 4 razliˇite kategorije - u 5 × 5 senzora se nalazi ulazni sloj, zatim cslede 4 skrivena sloja (zapravo jedan u 4 grupe) ˇije izlaze ,,skuplja”jedan cADALINE (koji predstavljaju izlazni sloj sa 4 PE, ˇto daje 16 kombinacija sodnosno kategorija kojih ovakva NM moˇe da klasifikuje). z
  • 67. 66 Seminarski rad3.6 Vrste NM i oblasti primene Naˇelne kategorije primena NM su: c • predvid¯anje (nije obavezno isto ˇto i ekstrapolacija): povratno propagi- s ranje, delta-delta, usmerena sluˇajna pretraga, samoorganizuju´a pres- c c likavanja u povratno propagiranje • klasifikacija: kvantizacija vektora sa uˇenjem, protiv-propagacione NM, c verovatnosne NM • asociranje podataka (sliˇno klasifikaciji, ali dodatno detektuje greˇku c s u ulaznim podacima): Hopfildove memorije, BAM, Hemingove mreˇe, z prostorno-vremensko prepoznavanje, Bolcmanova maˇina s • konceptualizacija podataka (analiza ulaznih podataka koja daje relacije med njima): ART, samoorganizuju´e mape ¯u c • filteri, kompresija podataka (npr. kao u digitalnoj obradi signala): (M)ADALINE, recirkulacija3.7 NM takmiˇenja, klasifikacije i druge c Navedene klase NM se manje ili viˇe razlikuju od NM sa povratnim propa- sgiranjem, mnoge predstavljaju pojednostavljenu varijantu odgovaraju´eg re- ckurentnog dinamiˇkog modela (za stanje u ekvilibrijumu takvog sistema czadatog diferencijalnim jednaˇinama). Mogu´e su, naravno, i razliˇite hi- c c cbridne vrste. Najpoznatija klasa neuronskih mreˇa takmiˇenja su one sa z ctransfer funkcijom takmiˇenja i pomenutim Kohonenovim pravilom uˇenja, c ckao i samoorganizuju´a preslikavanja (mape, Feature Map Classifier - FMC) c- varijacije takvih mreˇa nazivamo mreˇama takmiˇenja ili kompetitivnim. z z cSamoorganizuju´e mape traˇe PE i pobednika ˇiji je vektor pondera najbliˇi c z c zulaznom vektoru ||x − wi || = minj ||x − wj || koji onda dobija pravo da menjasvoje koeficijente tokom uˇenja i da potpuno inhibira ostale. c Raˇunanje se radi na uopˇteniji naˇin jer se dopuˇtaju inhibitorne later- c s c salne veze (zij moˇe uticati na sve u sloju ili dalje, ili samo na geometrijsko zokruˇenje) i term gubitka r(yi (t)): z yi (t + ∆t) = yi (t) − (r(yi (t)) + neti + zij yj (t))∆t j
  • 68. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 67gde je neti = j wij xj . Lateralna inhibicija moˇe biti jednostavnija nego ztraˇenje najve´eg izlaza. Pravilo uˇenja je oblika wi (t + 1) = α(t)(x − z c cwi (t))U (yi ) (wi = [wij ]j je vektor koeficijenata za i-ti PE, U je oblik ste-penaste funkcije td. je U (yi ) = 1 za yi > 0, inaˇe je U (yi ) = 0). Obiˇno se ne c cobuˇava samo pobednik ve´ njegovo okruˇenje NC (susedstvo koje se definiˇe c c z skao neka geometrijska okolina - kako Kohonen napominje, ova geometrijskaosobina nedostaje drugim NM) i onda je wi (t + 1) = wi (t) + α(t)(x − wi (t))za i ∈ NC , inaˇ je wi (t + 1) = 0. c3.7.1 Kvantizacija vektora sa uˇenjem c Primer je hibridna varijanta povratnog propagiranja i Kohonenove NM(Tuevo Kohonen) - kvantizacija vektora sa uˇenjem (Learning Vector Quan- ctization). Pored ulaznog sloja, koristi se jedan Kohonenov (gde PE koji jenajbliˇi ulazu se proglaˇava pobednikom i jedino njegovom ulazu se dozvol- z sjava okidanje i kasnija promena koeficijenata prema ispravnosti klasifikacije)skriveni sloj i jedan izlazni (u izlaznom sloju je onoliko PE koliko bi trebaloda bude klasa). Kohonenov sloj je grupisan prema klasama (broj PE posvakoj klasi moˇe biti razliˇit zavisno od problema). Deˇava se da neki PE z c ssuviˇe ˇesto pobed s c ¯uje a neki suprotno, i zato se uvodi mehanizam svesnosti- ako ˇesto pobed c ¯uje dobija ,,krivicu”i biva inhibiran. Meri se frekvencijapobed ¯ivanja svakog PE kao i proseˇna frekvencija, i onda se dodaje bias cproporcionalan razlici (koji se vremenom smanjuje kako uˇenje napreduje). cTakod koristi se i mehanizam ograniˇenja (boundary adjustment algorithm) ¯e, ckada je greˇka dovoljno mala, kada pobednik nije u dobroj klasi, kada je prvi sslede´i u dobroj klasi a vektor obuˇavanja izmed - pobednik se udaljava od c c ¯uulaza, a drugi pribliˇava. U ranim fazama uˇenja se ,,odbijanje” iskljuˇuje z c c(ako pobednik nije u dobroj klasi).
  • 69. 68 Seminarski rad3.7.2 Protiv-propagaciona NM (Counter-propagation) Postoje sliˇnosti sa prethodnom strukturom, ali se ovde koristi izlaz donekle cravnopravno u toku obuke kao i ulaz. Dodatni sloj koji normalizuje ulaz (sloj1 - tako da bude zbir ulaza uvek jednak, npr. 1 - da bi se izbegla osobina Ko-honenovog sloja da preveliki (po normi) vektori nadjaˇavaju slabije). Svaki cPE ulaznog kompetitivnog sloja 2 zajedno sa svim ulazima ˇini ulaznu zvezdu c(instar), a zajedno sa svim vezama ka PE u izlaznom sloju 3 ˇini izlaznu czvezdu (Grossberg outstar); transfer je stepenast. Obuˇava se vidom delta cpravila (pod wi se podrazumeva vektor koeficijenata kra´e zapisano): kao culazna zvezda i sa vektorom ulaza x ima ∆wi = α(x − wi ), a kao izlaznazvezda za ∆wi = β(yi − wi ) za i-ti PE, s tim da kao izlazna zvezda (pobed-nik) ima u yi uraˇunate i ulaze vektora y u toku obuke. U toku eksploatacije cje y = 0 (0 < α, β < 1). Postoje problemi kod ulaza koje skriveni sloj tretiraposebno iako su u istoj klasi (onda se se nekako uslovljava samo za odred ¯eneklase). Metodu je razvio Robert Hecht-Nielsen.3.7.3 Adaptivno-rezonantna teorija (ART) Ove mreˇe predstavljaju vid proˇirenja kompetitivnih mreˇa kao ˇto su z s z sto protiv-propagaciona i druge kompeticione mreˇe. Nastale su kao posledica znekih bioloˇkih modela, Stiven Grosberg 70-tih daje taj model podstaknut sdilemom plastiˇnosti i stabilnosti koja se ogleda u pitanju kada NM treba da cuˇi (bude plastiˇna) a kada da ostane stabilna kod nebitnog ulaza. Reˇenje c c sje bilo u povratnim vezama izmed ulaznog sloja i kompetitivnog. ART ¯uprepoznaje ulaz i brˇe dolazi do rezonantnog (stabilnog) stanja ako je ulaz zve´ nauˇen ili dodatno potvrd ili dolazi do odbacivanja (reseta) - uˇenje c c ¯en cnastupa tek nakon stabilnog stanja (ekvilibrijuma). Postoje dve varijante:ART1 gde su ulazi binarni (iz {0, 1}) i ART2 gde mogu biti realne veliˇine. c
  • 70. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 69Suˇtina ART strukture je: s • ulazni sloj F1 koji je povezan sa F2 po principu svaki sa svakim uz specijalne pozitivne pondere A1 , max(D1 , 1) < B1 < 1 + D1 , C1 , D1 i njima odred ¯enu sumarnu funkciju neti - svaki PE ima samo jednu odg. ulaznu vrednost Ii kao i ulaze iz F2 i G, a izlaz se raˇuna obiˇnom c c stepenastom funkcijom (prelaz u nuli) uz pravilo 2/3 (dodatnim koefi- cijentima): svaki PE u mora da ima bar 2 tipa izvora od 3: I, F2 (tj. Vi kao klasiˇna sumarna funkcija), G (ovo omogu´ava dva stanja F1 sloja c c - subliminalni, kada je u ,,rezononaci” I sa F2 i supraliminalni, kada je F2 neaktivan ali postoji ulaz) koje obezbed¯uje stabilnost. • kompetitivni sloj F2 se raˇuna sa ulazima iz F1 simetriˇno prethodnom, c c s tim da nema ulaze, ima ulaz iz A, a izlazi ka F1 su izraˇunati kompet- c itivnom transfer funkcijom (izlaz samo jedne jedinice ˇija je sumarna c funkcija netj jednaka maksimumu svih sumarnih funkcija u sloju, os- tale su 0), dok su izlazi ka svim PE u F2 izraˇunati takod stepenastom c ¯e funkcijom (dva izlaza se mogu dobiti kombinacijom sa po dva dodatna specijalna PE da bi se prevaziˇlo ograniˇenje definicije osnovnog PE). s c • jedinica pojaˇanja G radi po principu da je ekscitovana samo ako je F2 c neaktivan i ima nekog ulaza (|I| = f (Ii ) > 0), tj. F2 ga inhibira • jedinica A - prethodni PE ˇine sistem paˇnje, dok orjentacioni sistem c z ˇini PE A i zaduˇen je za koordiniranje neslaganja slojeva F1 i F2 - c z ulazi su mu u vezani za F1: ako su P i Q ponderi, A se okida ako je P |I| − Q|S| > 0 tj. |S|/|I| < p, 0 < p < 1 (p = P/Q ≤ 1 parametar vigilance) i tada se deˇava reset: pobedniˇki izlaz iz F2 se anulira kao s c i ostali izlazi u F2, inaˇe je rezonanca dostignuta (ulazi su prepoznati) c i primenjuju se asimptotska pravila promene ponderaIzlazi PE se nazivaju kratkotrajnom memorijom (Short Term Memory, STM),a ponderi dugotrajnom memorijom (LTM). Koeficijenti wij od F2 ka F1 (Top-Down LTM Traces) se raˇunaju za indeks j sloja F2 i j sloja F1 po principu: c   −wij + 1, netj i neti aktivni; B1 − 1wij = −wij , netj aktivan i neti neaktivan; inicijalno wij (0) >  D1 0, oba neaktivna.Asimptotske vrednosti (u ekvilibrijumu, ako je I pobud dovoljno dugo ¯eni ako su poˇetne vrednosti dovoljno velike - postoji kriterijum) pondera c
  • 71. 70 Seminarski radsu 1 za sve povezane sa pobednikom, 0 ostali. Obrnuto, od F1 ka F2: Lwji = Koj [(1 − wji )Lf (neti ) − wji k=i f (netk )], 0 < wji (0) < L−1+M (Mbroj PE u F1, L > 1), gde je oj kompeticioni izlaz j-tog PE, f stepenastafunkcija sloja F1, net ulazna sumarna funkcija, a K i L > 1 konstante kojeutiˇu na brzinu uˇenja (opet se favorizuje pobedniˇki PE, postoji asimptotski c c c Lreˇim ubrzanog uˇenja gde je wji = 0 kada je neti neaktivan, L−1+|S| inaˇe, z c c|S| = f (neti )). Eksploatacija poˇinje raˇunanjem izlaza yi = f (neti ) F1 c c Iina osnovu ulaza i neti = 1+A1 (Ii +B1 )+C1 , zatim propagacija od F1 ka F2 iraˇunanje izlaza F2, zatim raˇunanje opet F1 sa neti = 1+A1+D1 Vi1−B)+C1 , i c c Ii (Ii +D Vi 1onda na osnovu novih izlaza iz F1 i testiranjem A dolazi ili do reseta (odbaci-vanja ulaza) i novog ciklusa ili do rezonovanja (prepoznavanja ulaza i uˇenja c- promene pondera). ART2 je samo donekle sliˇna ART1 ali zahteva neˇto c ssloˇeniji mehanizam raˇunanja - detalji u [NNALG]. Zamerka ART NM je z cosetljivost na greˇke u ulazima. s3.7.4 Stohastiˇke (verovatnosne) NM c Uˇenjem sa nadgledanjem ove NM za dati skup obuˇavanja razvijaju c cfunkcije distribucije (uz upotrebu statistiˇkih metoda u ˇemu su bliske meto- c cdama maˇinskog uˇenja - Bajesovih klasifikatora, Parcenovog prozora - Parzen s cEstimator: p(x) = N N W (x)(x − xi ) za neko jezgro W (npr. oˇekivana 1 i=1 cGausova kriva) kojim se distribucija sluˇajne promenljive procenjuje), upotre- cbljava se softmaks transfer funkcija za sloj gde ima PE koliko i kategorija
  • 72. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 71koje se klasifikuju. U eksploataciji se onda ovim funkcijama procenjujeverovatno´a da ulaz pripada nekoj od klasa. Veelenturf daje model samoorga- cnizuju´ih mapa koje koriste Bajesov princip i distribucije sluˇajnih promenljivih, c c[NN-AA].3.8 (Neo)kognitron Poˇavˇi od ideje funkcionisanja ˇula vida i nadred s s c ¯enih nervnih strukturaautori ove vrste NM (Fukushima, Hubel, Weisel, prvobitni kognitron datirajoˇ od sredine 70-tih) su doˇli do strukture masivnih viˇenivoovskih hijer- s s sarhija grupa slojeva. Suˇtina je podela slojeva u dva tipa: grupe S-slojeva s(jednostavne, simple) i C-slojeva (kompleksne, complex) gde su veze od ulazaili C-slojeva ka S-slojevima mnogostruke (po jedna veza u C-sloju za svaki S-sloj u prethodnoj grupi) ali vezane za isti poloˇaj (geometrijski), dok veze od zS-slojeva ka C-slojevima nisu mnogostruke ([NNALG]: najviˇi PE naziva se s,,baka”(grandmother) samo zbog analogije u vezi sa bioloˇkom kognitivnom spretpostavkom o postojanju nervne ´elije u ovakvoj hijerarhiji negde u mozgu ckoja se okida kada takva struktura prepozna baku). Naˇin raˇunanja i obuke c cje specifiˇan i tiˇe se ˇitavih slojeva (uz upotrebu varijante delta pravila). Ko- c c criste se posebno i lateralna inhibicija i elementi nenadgledanog obuˇavanja. c3.9 Asocijaciranje podataka3.9.1 Asocijativne memorije, BAM Istorijski, bi-direkcione asocijativne memorije (Bart Kosko) su nastale kaouopˇtenje Hopfildovih memorija - uvodni pojmovi: s
  • 73. 72 Seminarski radDefinicija 3.1 Ako je H n = {x = (x1 , · · · , xn ) ∈ Rn | xi = ±1} Hemingovakocka (Hamming), Hemingovo rastojanje h(x, y) za x, y ∈ H n je 1 n |xi − yi | 2 i=1(broj xi i yi koordinata koje se razlikuju). √Veza izmed euklidskog rastojanja d i h je d = 2 h. Ako je S = {(x1 , y1 ), · · · , (xL , yL )| xi ∈ ¯uRn , yi ∈ Rm } (egzemplari - primeri ispravnog asociranja), onda se definiˇu stri vrste asocijativnih memorija (linearni asocijatori): 1. Heteroasocijativna memorija - predstavlja preslikavanje kod koga vaˇi Φ(x) = yi akko je x po h najbliˇe xi u odnosu na S. z z 2. Interpolaciona asocijativna memorija - predstavlja presikavanja Φ za koje vaˇi (∀(xi , yi ) ∈ S)Φ(xi ) = yi , i vaˇi da ako je x = xi + d, d = 0 z z (xi iz S) onda postoji neko e = 0 td. je Φ(x) = y + e. 3. Autoasocijativna memorija - uz pretpostavku xi = yi predstavlja preslikavanje kod koga vaˇi Φ(x) = xi akko je x po h najbliˇe xi u z z odnosu na S.Matematiˇki nije teˇko konstruisati ovakva preslikavanja - npr. ako je {xi } c sortonormiran skup 0, i = j; xi · xj = δij = 1, i = j.onda je to Φ(x) = (y1 x1 T +· · ·+yL xL T )x = W x (po definiciji). Ovo je ujednoi definicija bidirekcionih asocijativnih memorija (BAM) - ako se koriste xiumesto yi onda je BAM autoasocijativna (onda je W simetriˇna): preslika- cvanje nety = W x i netx = W T y i x(t + 1) = f (x(t)), y(t + 1) = f (y(t))(transfer funkcija kao simetriˇna linearna sa zasi´enjem) ˇine BAM. Vektor c c cx je ulazni, y izlazni, i veze su dvosmerne - koeficijenti su vezani za PE u obasmera. BAM ima lepu osobinu da su koeficijenti odred ¯eni u potpunosti akopostoji S sa L ortogonalnih elemenata i to je onda obuka u jednom prolazukroz skup obuˇavanja. c Raˇunanje BAM (recall) se radi na slede´i naˇin: c c c1. prenesi (x0 , y0 ) na PE oba sloja2. propagiraj vrednosti x sloja na sloj y i tamo promeni koeficijente3. propagiraj nazad vrednosti iz sloja y na sloj x i tu promeni koeficijente kao i prethodnom sluˇajuc
  • 74. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 734. ponavljaj prethodne korake sve dok ne dod ni do jedne promene ¯e koeficijenata oba sloja Dva nedostatka BAM: ako se preoptereti brojem egzemplara (negde do15% broja PE kod Hopfildove NM) moˇe se desiti da se stabilizuje u vred- znostima koje nisu oˇekivane (crosstalk), kao i ako su egzemplari previˇe sliˇni. c s c Ako je E(x, y) = y T W x BAM funkcija energije (funkcija Ljapunova uteoriji dinamiˇkih sistema, vezana za kriterijum stabilnosti), moˇe se dokazati c zteorema (iz tri dela):Teorema 21. svaka promena vektora x ili y ima za posledicu smanjenje E2. E je ograniˇena odozdo sa Emin = − ij wij c3. kada se E menja, menja se za konaˇnu vrednost cOva teorema opisuje E kao funkciju Ljapunova (ograniˇena funkcija param- cetara dinamiˇkog sistema) ˇto garantuje stabilnost BAM (joˇ jedna lepa os- c s sobina, dokaz u [NNALG]).3.9.2 Hofildove memorije Ako se iskoristi prethodno opisana struktura autoasocijativne BAM, dvasloja x se mogu prikazati kao jedan sa rekurentnim vezama:
  • 75. 74 Seminarski rad Jedina bitna razlika struktura BAM i Hopfildovih memorija je ulazni slojI i diskretna transfer funkcija (skoro stepenasta), za i-ti PE:   −1, x < Ui ;net = W x + I, x(t + 1) = x(t), x = Ui ; , gde je Ui prag okidanja.  1, x > Ui . Hopfild je originalno koristio binarne vektore v sa vi ∈ {0, 1} umestonavedenih bipolarnih xi ∈ {−1, 1} - matrica W = i (2vi − 1)(2vi − 1)T sene menja ovim, a funkcija energije postaje (polovina BAM - polovina brojaPE): 1 E= vi wij vj − Ii vi + Ui vi 2 i j, j=i i iOvo je diskretna Hopfildova memorija. Hopfildova memorija je neprekidnaako su izlazi neprekidne funkcije ulaza (raˇunanje je donekle drugaˇije) - c cinaˇe je diskretna. Izlaz PE neprekidne Hopfildove memorije je: c 1 vi = g(λui ) = (1 + tanh (λui )) 2gde je ui ukupni ulaz neti a λ konstanta jaˇine (gain). Ako λ → ∞ onda cneprekidni model postaje diskretan - stabilne taˇke nisu prelaze u temena cHemingove kocke (ako λ → 0 onda stabilne taˇke prelaze u jednu singularnu). cBroj PE bi trebalo da bude jednak broju ulaza. Hopfildove i srodne NM suklasiˇni primeri rekurentnih mreˇa. Jedna od uspeˇnih primena Hopfildovih c z smemorija je reˇavanje problema putuje´eg trgovca. s c
  • 76. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 753.9.3 Hemingova mreˇa z Ovu klasu NM je sredinom 80-tih smislio Riˇard Lipman kao proˇirenje c sHopfildovih mreˇa u kojem se bipolarni ulaz klasifikuje na osnovu najmanje zgreˇke po Hemingovoj metrici 1 m |xi − yi | = m/2− 1 m xi yi za [−1, 1]m . s 2 i=1 2 i=1Obuˇavanje se vrˇi skupom ulaza i izlaza (klasa), gde je broj PE u skrivenom c ssloju (za kategorije) isti kao i broj PE u izlaznom sloju kojih ima koliko i klasa(kategorija), odnosno kao i broj egzemplara (vektora duˇine broja ulaza) - za zrazliku od Hopfildovih mreˇa gde je broj PE u skrivenom sloju jednak broju zulaza. Ako je n broj kategorija (egzemplara y ∗ ), ulaza ima m, f pozitivnalinearna transfer funkcija i 0 < ε < 1/n onda za ulazni sloj (t = 0) vaˇi zy i (0) = neti (0) + m/2 gde su wij (0) = yj , a za izlazni (kompetitivan) sloj i∗vaˇi: z 1, i = j; wij (t) = −ε, i = j.tj. za t > 0 je onda y i (t) = f (neti (t)) = f [y i (t − 1) − ε wij y j (t − 1)] j=i- nakon nekog broja iteracija tako pobed ¯uje izlaz kategorije sa najve´im izla- czom ulaznog sloja.
  • 77. 76 Seminarski rad3.9.4 Bolcmanova maˇina s Ovo je donekle model sliˇan Hopfildovim memorijama (isto se definiˇe c senergija stanja koja se minimizuje) - razliku ˇini upotreba metode simulira- cnog oˇvrˇ´avanja (simulated annealing, Ackley, Hinton, Sejnowski, 1985) pri c sceksploataciji u odnosu na iteracije Hopfildovih memorija, a koristi i posebanmetod obuˇavanja. Pove´ana temperatura dodaje ˇum svim PE na poˇetku c c s cobuˇavanja, a do kraja procesa oˇvrˇ´avanja (po rasporedu) bi trebalo da c c scdostigne nulu (sliˇno odgovaraju´im termodinamiˇkim procesima). Posma- c c ctra se promena energije stanja i-te PE izmed izlaza 0 i 1 ∆i = neti (posledica ¯udefinicije). Algoritam raˇunanja bi bio: c 1. postavi izlaze ulaznih PE na ulazni vektor x 2. postavi izlaze skrivenog sloja na sluˇajno odabrane binarne vrednosti c 1 3. sluˇajno odabranoj PE i postavi izlaz na 1 verovatno´om p = c c 1−e−neti /T 4. ponavljaju se prethodna dva koraka odred broj puta (recimo da sve ¯en PE imaju istu verovatno´u promene izlaza) i to je procesni krug c 5. ponavlja se prethodni korak dok se ne dostigne termalni ekvilibrijum (ili pretpostavljeni broj koraka) 6. smanjuje se temperatura T po rasporedu (schedule) koji se odred ¯uje T0 proizvoljno, idealno Tt = 1+t .
  • 78. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 77 Ako se posmatraju distribucije pondera vidljivog sloja (ulaza i izlaza)p (v) preko skupa obuˇavanja i skupa istih nakon svake eksploatacije p− (v), + cispostavlja se da je njihovo rastojanje (Kullback-Leibler): + G= v p+ (v) ln p− (v) p (v) i ∂G ∂wij = − T [p+ − p− ] 1 ij ij gde su p+ i p− verovatno´e da su PE i i j obe ukljuˇene u pozitivnoj i neg- ij ij c cativnoj fazi redom. Pozitivna faza obuˇavanja je kada su vidljivi PE fiksirani cvektorima iz skupa obuˇavanja (clamped), inaˇe je negativna. Obuˇavanje se c c cvrˇi smenjivanjem pozitivnih i negativnih faza (uz raˇunanje parametara u s cKonvergencija je bolja nego kod Hopfildovih memorija (bolje pronalazi glob-alni minimum), ali je ograniˇenje broja egzemplara u odnosu na broj PE cisto, a proces raˇunanja i obuˇavanja priliˇno sloˇen (raˇunski skup - detalji c c c z cu [NNALG]).3.9.5 Prostorno-vremensko prepoznavanje Na osnovu nekih Grosbergovih modela (Spatio-Temporal Pattern Recog-nition) iz 70-tih Robert Hekt-Nilsen razvija ovu klasu NM koju naziva ,,lav-ina”(Avalanche), koja je specijalizovana za probleme prepoznavanja vre-menskih sekvenci (koje se ponavljaju, pogotovu, recimo audio signala - nizuzoraka moˇe imati i ,,prostornu” dimenziju ako se posmatra npr. po z
  • 79. 78 Seminarski radfrekventnim kanalima kao niz koji se menja vremenom) i njihovog klasi-fikovanja. Na primer, skup obuˇavanja je skup nizova frekvencija u vre- cmenu za svaku reˇ koja se prepoznaje - ako se posmatra struktura mreˇe c zkoja prepoznaje jednu reˇ, onda ulaza ima koliko i frekventnih kanala a cPE koliko i vremenskih sekvenci - svaki izlaz je povezan sa svim nared-nim PE po vremenskom rasporedu. Ulaz se normalizuje i struktura se moˇe zuporediti sa protiv-povratnim NM ako se izuzme vremenska dimenzija. Glob-alni bias term Γ se dodaje svakom PE, koji postavlja promenljivi prag oki-danja protiv koga se takmiˇe i koji obezbed c ¯uje da najbolje pored ¯enje pobedi.Obuˇavanje je varijanta Kohonenovog (Kosko-Klopf: koeficijenti ulaza se cobuˇavaju kompetitivno, a med PE wij = (−cwij + dxi xj )U (xi )U (−xj ) c ¯u ˙ ˙gde je U stepenasta funkcija, wii = 0) uz funkciju A(x) koja se menja vre-menom (funkciju napada, ,,attack function”, za 0 < c < 1 je A(x) = cxako je x < 0, inaˇe A(x) = x), koja se koristi i u toku eksploatacije. Ako c i−1 jje neti = k qik xk + d j=1 y (d je koeficijent jaˇine), f pozitivna lin- cearna transfer funkcija, izlazi se onda definiˇu diferencijalnim jednaˇinama s c i iy = A(−ay + bf (neti − Γ)). Vrednost se aproksimira onda npr. raˇunanjem ˙ cy i (t + ∆t) = y i (t) + y i ∆t. ˙
  • 80. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 794 Genetski algoritmi4.1 Uvod Profesor Dˇon Holand tokom 1960-tih pa sve do 1975. prouˇava sa z cuˇenicima (De Dˇong) i predlaˇe zanimljivu klasu modela raˇunanja koje c z z cje nazvao ,,Genetski Algoritmi”(GA), koji koriste ideju bioloˇkih evolucionih sprocesa za reˇavanje problema iz ˇirokog domena. Ideja se javljala i ranije, s sRechenberg (Evolutionsstrategie 1965-1972) je npr. razvio metod optimizacijeaerodinamiˇkih modela. Skica algoritma kojim se ovo realizuje se zove i ckanonski GA (canonical genetic algorithm) i klasa algoritama koji predstavl-jaju varijacije kanonskog GA daje definiciju GA u uˇem smislu. U ˇirem z ssmislu, GA (evoluciono raˇunanje, evolutional computing) je bilo koji algo- critam koji koristi operatore odabiranja i rekombinacije da bi generisao noveuzorke prostora pretrage baziranog na modelu populacije (ovi termini ´e dalje cu tekstu biti razjaˇnjeni). s4.2 Kodiranje i problemi optimizacije Dve osnovne komponente GA zavise od problema koji se reava - kodi-ranje ulaznih parametara u neku internu reprezentaciju (najˇeˇ´e se ko- c scriste nizovi bitova ili karaktera) i funkcija evaluacije stanja u prostoru pre-trage (ili objektivna funkcija, tradicionalno to moˇe biti npr. neka funkcija zf (x1 , · · · , xn ) ˇiji se optimum traˇi). Kodirani ulazni parametri mogu uneti c znepotrebnu redundansu (npr. ako ulazni parametar ima vrednosti od 0-799 ikoristi se 10 bita za internu reprezentaciju, onda ostaje 224 internih vrednosti,,neiskoriˇ´eno” - reˇenje moˇda moˇe biti da i one iskoriste redundantno ili sc s z zda predstavljaju ,,loˇe” elemente) i utiˇu kasnije na samu strukturu ali i s cperformanse sistema. S druge strane, funkcija evaluacije zbog prirode prob-lema moˇe biti zadata samo nekom aproksimacijom i moˇe veoma da utiˇe z z cna performanse sistema. Sam prostor pretrage, prostor reˇenja i problem utiˇu na efikasnost algo- s critma pretrage. Uopˇte, veliˇina prostora pretrage zavisi od kodiranja ulaznih s cparametara i moˇe se primera radi predstaviti brojem bitova l (zajedno sa zpretpostavkom o nezavisnosti parametara), i tada je veliˇina reda 2l - rec- cimo da problemi poˇinju negde za l > 30, a u realnosti je to ˇesto daleko c c 400ve´e. Primer: ocena prostora pretrage u ˇahu je 2 (ako je proseˇan broj c s c
  • 81. 80 Seminarski radmogu´ih poteza u svakom koraku 16 i 100 ukupan broj poteza proseˇne par- c ctije) - kada bi svaki atom univerzuma od njegovog nastanka do danas raˇunaocpotez po pikosekundi bili bi tek na poˇetku (Winston P, 1992). Recimo da cako broj reˇenja nije gust u prostoru pretrage onda nema smisla koristiti smetod grube sile, pogotovu ako je prostor pretrage ve´i. Alternativa gruboj csili je algoritam koji ,,bolje poznaje problem” i u tom smislu GA spadaju u,,slabe” algoritme jer nemaju posebne pretpostavke o problemu. Ako ne pos-toji algoritam koji koristi gradijente (funkcija evaluacije nije diferencijabilnaili ima mnogo lokalnih optimuma - GA neki svrstavaju med opˇte metode ¯u spretrage koji ne koriste gradijente) ili koristi neku heuristiku, ili ne postojispecifiˇno reˇenje (iako ´e verovatno GA nalaziti reˇenje, to verovatno ne´e c s c s cbiti najbolje i najefikasnije ali ´e biti veoma blizu) onda bi GA mogao biti cveoma dobro reˇenje (u suprotnom to ˇesto nije). Primer: mreˇe sortiranja s c z(Knuth, 1973.) elemenata predstavljaju problem u kome je cilj na´i u ˇto c smanjem broju niz pored ¯enja (i zamena mesta) da bi se sortirao niz brojeva- za n = 16 je nad ¯eno najmanje reˇenje reda 60 (Green), dok je upotrebom sGA (Hillis, 1992.) dobijeno reˇenje reda 65. s4.3 Kanonski GA Stanje pretrage GA se predstavlja populacijom ˇirine n koja predstavlja sskup od n nizova (binarnih) duˇine l. Svaki od tih nizova se naziva hromozom z(Holand) ili genotip (Schaffer, 1987) i svakome od njih je dodeljena brojnavrednost, fitnes (fitness - zdravlje, jaˇina). Objektivna funkcija i fitnes se cˇesto koriste kao termini ravnopravno, ali u pravom smislu fitnes je dodel-cjen jednom hromozomu i specifiˇan je baˇ za taj hromozom, dok objektivna c sfunkcija naˇelno zavisi od cele populacije a ne od pojedinog hromozoma. cObiˇno se raˇuna evaluacija fi hromozoma i u populaciji, a onda se fitnes c craˇuna kao fi /f gde je f proseˇna evaluacija hromozoma u populaciji (objek- c ctivna funkcija moˇe biti onda fi , f ili max(fi )). Fitnes hromozoma se neki zput raˇuna i kao njegov rang u populaciji (Baker, 1985; Whitley, 1989) ili ckao izbor metodom turnira (Goldberg, 1990). Na osnovu poˇetne populacije c(ˇiji izbor moˇe biti dosta bitan) odnosno trenutne populacije, primenom c zGA transformacija (ili GA operatora) raˇuna se nova populacija i za ciklus covakvog iterativnog procesa kaˇe se da daje jednu generaciju GA (u smislu zbroja iteracija).
  • 82. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 814.3.1 Operatori GA Operatori GA su:- odabiranje (selekcija): predstavlja proces odabira hromozoma iz popu- lacije za uˇestvovanje u reprodukciji (procesu stvaranja naredne pop- c ulacije) - najprostije je (uniformno) nasumice odabrati, ali se obiˇno c uzima uzima u obzir fitnes koji je srazmeran verovatno´i odabira hro- c mozoma (ili npr. uniformno se odabire hromozom iz kolekcije u kojoj svaki hromozom uˇestvuje onoliko puta koliki mu je fitnes) c- rekombinacija (ukrˇtanje, crossover): postupak u kome se dva hro- s mozoma kombinuju i stvaraju dva nova hromozoma tako ˇto se na s odabranoj poziciji (mestu, lokusu) c prekidaju hromozomi i preostali delovi menjaju mesta - npr. hromozomi duˇine l = 16 bita: z Hromozom 1: 11010 / 01100101101 Hromozom 2: yxyyx / yxxyyyxyxxy -------------------------------- rekombinuju se na 5. mestu u nizove: Hromozom’ 1: 11010yxxyyyxyxxy Hromozom’ 2: yxyyx01100101101- mutacija: Na proizvoljnim mestima izabranog hromozoma se nasumice menja bit (pozicija, alel - viˇe alela koji se kodiraju u parametar ˇine s c onda gen)4.3.2 Primer kanonskog GA Konaˇno, jedan primer kanonskog GA izgleda ovako: c 1. Kreiraj inicijalnu populaciju od n hromozoma duˇine l (bita) z 2. Izraˇunaj fitnes za svaki hromozom u populaciji c 3. Ponavljaj slede´e dok se ne stvori n potomaka: c • Vrˇi odabir para hromozoma (verovatno´a odabira hromozoma s c treba da bude srazmerna fitnesu) principom zamene (mogu biti izabrani ponovo hromozomi koji su ve´ bili odabrani) c
  • 83. 82 Seminarski rad • Verovatno´om pc (,,stepen rekombinacije”) napraviti rekombinaciju c hromozoma na (uniformno) sluˇajno odabranom mestu - ako se ne c radi rekombinacija, napraviti samo replike roditelja. Postoji vari- janta viˇtruke rekombinacije (multi-crossover) na viˇe (uniformno) s s sluˇajno odabranih mesta (tada stepen rekombinacije odred c ¯uje broj mesta ukrˇtanja hromozoma) s • Verovatno´om pm izvrˇiti mutaciju oba potomka i smestiti ih u c s populaciju novih hromozoma (ako ih ima neparan broj moˇe se z jedan izbaciti nasumice) 4. Zameniti trenutnu populaciju novom (praktiˇno, postoji privremena c populacija dobijena polaze´i od trenutne, koja se u toku prethodnih c koraka transformiˇe svakim GA operatorom navedenim redom ˇime se s c dobija nova populacija) 5. I´i na korak 2. sve dok objektivna funkcija ne ukaˇe da je populacija c z dostigla potrebne kriterijume (ili se npr. premaˇi ograniˇenje broja s c iteracija)Verovatno´a pm se bira obiˇno tako da bude veoma mala (ispod 0.001), c c4.4 ˇ Seme, teorema ˇeme i posledice s4.4.1 Uloga i opis prostora pretrage Hiperravni prostora pretrage ili ˇeme su delovi ukupnog prostora pretrage sdobijeni fiksiranjem alela reprezenta - npr. hiperravni (red o(H) je praktiˇno cbroj fiksiranih alela hiperravni) oblika 0****...*** i 1****...***, sa nji-hovim reprezentacijama i statistikama se zovu ˇeme prvog reda. Mogu se sdalje razmatrati podˇeme ili preseci ˇema - posebno je zanimljiva osobina s s(ispravnog) GA da ako se prate brojevi hromozoma po ˇemama (frekvence suzorkovanja) i prosek njihovogo fitnesa pre rekombinacije, nakon rekombi-nacije broj hromozoma po podˇemama proporcionalno odgovara proizvodu sprethodne frekvencije i proseˇnog fitnesa (kako se i oˇekuje). Ova vrednost c cse obeleˇava sa: z f (H, t) M (H, t + 1/2) = M (H, t) f (t)gde se simboliˇno sa t + 1/2 obeleˇava privremena populacija nakon rekombi- c znacije (ako je t pre rekombinacije, trenutna), M (H, t) je frekvenca hiperravni
  • 84. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 83H, f (H, t) proseˇni fitnes za H a f (t) za celu populaciju. c Naravno, jedino se od poˇetne populacije moˇe oˇekivati da bude statistiˇki c z c cverodostojan uzorak pa se te statistike kroz generacije koriguju. GA na tajnaˇin implicitno paralelno obrad c ¯uju i ocenjuju fitnes velikog broja hipper-ravni (nikad cele hiperravni, ve´ samo uzorke - tako je mogu´e promaˇiti c c s 1globalni optimum ali najbolja reˇenja se nalaze). Sa P (H, t) = n M (H, t) sse obeleˇava relativna frekvencija u odnosu na populaciju. Na ilustraciji is- zpod se vidi kako odred ¯ene podˇeme imaju jaˇi proseˇni fitnes od drugih, i u s c csvakom koraku se red uve´ava i nakon rekombinacije se menjaju odnosi: c Zavisno od mesta ukrˇtanja nakon rekombinacije potomci mogu ostati u sistoj ˇemi (trivijalno ako se naprave samo replike ili ˇak potomci nekih drugih s cˇema mogu da se vrati u neku postoje´u) ili ne - ˇto onda ˇini naruˇavanjes c s c s c 1(disrution). Npr. za niz duˇine 2. reda l 11****** je verovatno´a l−1 da zpromeni ˇemu nakon 1-struke rekombinacije, dok je za 1******1 naravno s1. Jednostruka rekombinacija moˇe da se posmatra kao specijalan sluˇaj z cdvostruke kod koje je jedno od mesta ukrˇtanja izmed poˇetka i kraja ako s ¯u cse niz prikaˇe kao prsten (raniji primer 2. reda je za 2-struko ukrˇtanje onda z skompaktniji nego za 1-struko):
  • 85. 84 Seminarski rad Ako niz sadrˇi bitove (alele) koji su kompaktno raspored z ¯eni (blizu jednidrugima, imaju osobinu povezanosti - linkage) manja je verovatno´a da ˇema c sbude naruˇena rekombinacijom. Meru kompaktnosti ˇeme odred definiˇu´a s s ¯uje s cveliˇina (defining length) ∆(H) = Ix − Iy gde je Ix najve´a pozicija alelela c c ∆(H)koji nije *, a Iy najmanja. Tako je onda l−1 verovatno´a da ´e 1-strukim c c s c s ˇukrˇtanjem do´i do naruˇavanja. Cesto se koristi inverzija kao dodatni GAoperator, ali to je interesantno samo ako ˇuva kodiranje (ili ako kodiranje cne zavisi od poloˇaja, npr. obeleˇavanjem bitova), inaˇe predstavlja samo z z csnaˇnu mutaciju. Takod se koristi kao GA operator rekombinacije i uni- z ¯eformno ukrˇtanje gde se se alel svakog potomka raˇuna uzima nasumice od s cbilo kojeg od roditelja redom (dobra strana mu je nezavisnost od ∆(H) i kodi-ranja). Verovatno´a naruˇavanja za uniformno ukrˇtanje je (1 − (1/2)o(H)−1 c s sˇto je mnogo loˇije od 2-strukog koje se pokazuje boljim od 1-strukog ali i ods sukrˇtanja ve´eg stepena. s c4.4.2 Teorema ˇeme s Za GA je oˇigledno poˇeljno izbe´i naruˇavanje ˇema, ˇto pra´enje prethod- c z c s s s cnih statistika i naredna teorema ˇema fundamentalna za GA karakteriˇu kao s sbitne osobine (dokaz npr. u [GA-TUT]):Teorema 3 f (H, t) ∆(H) f (H, t)P (H, t+1) ≥ P (H, t) 1 − pc (1 − P (H, t)) (1−pm )o(H) f l−1 fOsnovna posledica ove teoreme je da se naruˇavanje ukrˇtanja i mutacija s smora minimizovati - npr. smanjivanjem ili ukidanjem mutacije (mada naru-ˇavanje ne mora biti jedini kriterijum efikasnosti GA, npr. evaluacija se moˇes zdinamiˇki menjati vremenom u toku rada). Eksperimenti u kojima uˇestvuju c csamo selekcija i mutacija su pokazali da GA i onda moˇe da radi (sa man- zjim performansama, taˇnije takav algoritam je barem reda n puta sporiji, c[GA-INTRO] - Random-Mutation Hill Climbing). Mnogo je ve´i problem ctzv. prevremena konvergencija - kada svih hromozomi u populaciji postanuveoma sliˇni ili isti (genetska raznolikost(diversity): npr. sve jedinice ili sve cnule ako su bitovi) a nije dostignuto zadovoljavaju´e reˇenje (to se pogotovu c sdeˇava ako je populacija dovoljno mala, kada je preporuˇljivije koristiti uni- s cformnu i viˇestruka ukrˇtanja). Mutacija zato ima pozitivnu ulogu prover- s savanja trenutnog stanja populacije - ovo samo donekle podse´a na prob- c
  • 86. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 85lem prevazilaˇenja lokalnog minimuma gradijent metode - klasiˇni GA za- z cpravo prestavlja model uzorkovanja hiperravni (statistiˇki ,,uzorkivaˇi ˇema”) c c sodnosno model raˇunanja nad ˇemama, dok u specijalnim sluˇajevima i al- c s cternativnim oblicima radi kao hill-climbing. Praktiˇna posledica ovoga je da cse fitnes mora skalirati (podeˇavati) svakom generacijom jer se varijansa pop- sulacije smanjuje (pa je selektivni pritisak na populaciju fitnesom oslabljen) -jedno reˇenje je da se prati razlika fitnesa i najmanjeg fitnesa u populaciji ili sda se koristi fitnes po rangu (ured ravnomerni niz brojeva u datom opsegu ¯en- rank based). Postoji i jedna osobina GA i ovakvog pogleda na ˇeme - ,,pre- svara”ˇema, koja se neki put deˇava kada razliˇite ˇeme sukobljenih osobina s s c szavaraju pretragu reˇenja GA (Goldberg, Whitley, Grefenstette). s Ilustracija ispod pokazuje kako se u 4-dimenzionalnom binarnom pros-toru (hiperkocki) ponaˇa 1-struko ukrˇtanje (isprekidane taˇkice) u odnosu s s cna 2-struko u rekombinaciji 0000 i 1111: To se moˇe posmatrati ovako: ako se traˇi minimalna putanja izmed z z ¯uˇvorova gde je uniformno ukrˇtanje u prednosti - u jednom koraku stiˇe doc s zkomplementarnog ˇvora: ako je h Hemingovo rastojanje roditelja, iskljuˇuju´i c c c hroditelje uniformno ukrˇtanje moˇe proizvesti 2 − 2 razliˇita potomka, a 1- s z cstruko 2(h−1). Naredna dva hromozoma su prikazana pored bez zajedniˇkih calela koje Buker (Booker, 1987) naziva reduciranim surogatima: 0001111011010011 ----11---1-----1 0001001010010010 ----00---0-----0
  • 87. 86 Seminarski radOba se nalaze u hiperravni 0001**101*01001* gde se rekombinacija odigravau 4-dimenzionalnoj hiperravni (vaˇe iste osobine GA operatora). z4.4.3 Binarni alfabet i n3 argument Za binarnu populaciju veliˇine n hromozoma duˇine l u ˇema redi i bi tre- c z s n lbalo da bude 2i populacije (veliˇina particije), a takvih ˇema ima 2i c s . iAko je bitno na´i broj uzoraka φ hiperravni najve´eg reda θ = log(n/φ) pred- c cstavljene datom populacijom (Fitzpatrick, Grefenstette, 1988, [GA-TUT])tako da bude statistiˇki verodostojan, pokazuje se da GA raˇuna nad bro- c c ljem razliˇitih hiperravni reda n3 . Vaˇi 2θ c z ≥ n3 = (2θ φ)3 za dobro θodabranu veliˇinu populacije - na osnovu l ukupan mogu´i broj hiperravni c c l lje 3 , a za n = 3 imamo najviˇe n hiperravni - dakle, potrebno je izabrati srazumno dosta manje n koje ´e dati ˇeljene performanse. c z Dva su osnovna argumenta protiv upotrebe alfabeta alela hromozomave´e kardinalnosti: manji broj hiperravni nad kojim se vrˇi raˇunanje, i c s creprezentacija moˇe zahtevati ve´u populaciju da bi bila statistiˇki oprav- z c cdana. S druge strane, reˇenje moˇe biti bolje prilagod s z ¯eno problemu ako sekoristi alfabet ve´e kardinalnosti i mogu se definisati neki novi dodatni GA coperatori.4.4.4 Kritike ˇema teoreme, uopˇtena teorema ˇeme s s s Teorema ˇeme je nejednakost dobijena majorizacijama u kojima su zane- smarani ,,neoˇekivani” dobici i gubici rekombinacijom, i drugo, fitnes pop- culacije se menja iz generacije u genaraciju, tako da je procena dobra samonarednu generaciju ali ne i viˇe narednih bez sagledavanja svih ˇema u pop- s sulacijama - ali zato postoji egzaktnija verzija ˇema teoreme (Vose, Liepins, sNix, 1993.). Polazi se se od modela u kome se posmatra P (Si , t) t-te pop-ulacije S = {Si1 , · · · , Sin } nizova Si kojih za duˇinu l ima v = 2l . Tada zje verovatno´a da je i-ti niz odabran za reprodukcij si . Ako je relacija ek- cvivalencije ∼ definisana sa x ∼ y ⇔ (∃γ > 0)x = γy u celoj populaciji(γ = γ0 /f ) onda je si ∼ P (Si , t)f (Si ). Ako je pt = P (Sk , t) (pt = [pt ]k ∈ Rv ) k ki ri,j (k) verovatno´a da niz k potiˇe od rekombinacije nizova i i j, onda je c c
  • 88. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 87matematiˇko oˇekivanje: c c Ept+1 = k st st ri,j (k) i j i,jAko je matrica M = [mij ] matrica td. mij = ri,j (0), ovo se moˇe uopˇtiti z sza bilo koji niz k operatorom ekskluzivne disjunkcije ⊕ td. ri,j (k ⊕ q) =ri⊕k,j⊕k (q), tj. ri,j (k) = ri,j (k ⊕ 0) = ri⊕k,j⊕k (0). Ekskluzivna disjunkcijazamenjuje ukrˇtanje (kombinaciju) i mutaciju (rekombinacija se shvata kao skompozicija kombinacije i mutacije), npr.:gde se onda permutacijom σ td. je σj [s0 , · · · , sv−1 ]T = [sj⊕0 , · · · , sj⊕v−1 ]Tmoˇe definisati uopˇteni operator za ceo prostor pretrage: z s M(s) = [(σ0 s)T M (σ0 s), · · · , (σv−1 s)T M (σv−1 s)]TAko je fitnes matrica F zadata tako ˇto se funkcija evaluacije f (i) nalazi na sdijagonali (i-toj vrsti i koloni, ostalo nule), onda vaˇi z st+1 ∼ F M(st )Dalje proˇirenje ovakvog modela se vezuje za Markovljeve lance (Vose, 1993). s4.5 Ostali modeli evolucionog raˇunanja c Postoje dva populaciono-bazirana algoritma raˇunanja koji predstavl- cjaju varijaciju Holandovog GA ili su nezavisno razvijeni: evoluciono pro-gramiranje i evolucione strategije. Evoluciono programiranje je osno-vano knjigom viˇe autora (L. Fogel, Ownes, Walsh, ,,Artificial Intelligence sThrough Simulated Evolution”, 1966) gde su organizmi (individue tj. hromo-zomi) konaˇni automati ˇiji se fitnes meri ˇto uspeˇnijim reˇavanjem zadate c c s s sciljne funkcije (npr. pomnuti Knutov problem sortiranja, ili LISP programi).Evolucione strategije (ES) su bazirane na pomenutoj knjizi Rehenberga(1973. kao i Schwefel, 1975. i 1981.). Dva osnovna primera su µ + λ − ES
  • 89. 88 Seminarski rad(µ roditelji daju λ potomke, selekcijom najboljih i od jednih i drugih se do-bijaju naredni µ roditelji) i (µ, λ)-ES (koja je u skladu sa kanonskim GA gdepotomci zamenjuju roditelje pre selekcije). Rekombinacija u ES dozvoljava inove operatore koji npr. prave prosek parametara.4.5.1 Dˇenitor z Dˇenitor (Genitor) klasa GA je nastala 1988-1989. (Whitley), a Syswerda z(1989.) ih naziva GA ,,stalnog stanja”(steady state) iako su ve´e varijanse cnego kanonski GA (i time skloniji greˇci uzorkovanja, ,,genetskom odlivu”). sOsnovne razlike u odnosu na kanonski GA su: • reprodukcija daje samo jednog potomka - dva roditelja se biraju i njihov potomak se odmah smeˇta u populaciju s • ubacivanjem potomka u populaciju hromozom najmanjeg fitnesa ,,is- pada”iz populacije (Goldberg i Deb 1991. su pokazali da ovo pravi mnogo ve´i selektivni pritisak) c • koristi se rangiranje pre nego uopˇteni fitnes (daje konstantniji pritisak s na populaciju)Dˇenitor je primer µ + λ − ES - akumulacija poboljˇanih hromozoma u z spopulaciji je monotona.4.5.2 CHC Ovo je opet primer GA koji prikuplja monotono najbolje potomke (LarryEshelman 1991. - CHC = Cross generational elitist selection, Heterogeneousrecombination (by incest prevention) and Cataclysmic mutation). CHC ek-splicitno pozajmljuje µ + λ-ES: posle rekombinacije bira se N najbolji in-dividua od roditlje i potomaka zajedno za narednu generaciju u kojoj seizbacuju duplikati (Goldberg pokazuje da ovo daje dovoljan selektivni priti-sak). CHC pored ovako ,,elitistiˇkog”odabiranja u kome se pravi nasumiˇan c cizbor takvih roditelja primenjuje i dodatni uslov na osnovu koga se praviizbog individua za reprodukciju: individue moraju biti udaljene med ¯usobnopo Hemingovom rastojanju (ili nekom drugom) bar koliko neko zadato (ovopromoviˇe raznolikost, diverzitet tj. ,,spreˇava incest”). Koristi se varijanta s cuniformnog ukrˇtanja kojim se taˇno polovina bitova razmeni. Mutacija se s ckoristi da bi se ponovo zapoˇela pretraga kad populacija poˇne da konvergira c c
  • 90. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 89i tada se primenjuje masivno ali se uvek saˇuva najbolja individua u nared- cnoj generaciji. Ova metoda je najefikasnija za populacije manjeg obima (do50).4.5.3 Hibridni algoritmi Kombinovanjem najboljih klasiˇnih metoda optimizacije i pretrage sa GA cdaje najbolje od oba sveta (L. Davis). Dejvis koristi ˇesto kodiranje realnim cumesto celim brojevima i domen-specifiˇne operatore rekombinacije. Upotre- cbom gradijent metoda i metoda optimizacije dodaje se uˇenje evolucionom cprocesu (kao i pomenute metode maˇinskog uˇenja, npr. [LSC]). Kodiranje s cnauˇene informacije je onda evolucija Lamarkovog tipa (ˇime se gubi osobina c craˇunanja nad ˇemama). Dobro se ponaˇa u reˇavanju problema optimizacije c s s s(kao vid viˇestruke i paralelne gradijent metode, a pri tom donekle zadrˇava s zi osobine GA). Med ¯utim, ako se nauˇene informacije ne prenose u naredne cgeneracije ali utiˇu na mogu´nost boljeg opstanka pojedinih individua u pop- c culaciji onda je to domen-specifiˇno reˇenje koje ne utiˇe na ˇeme (u biologiji c s c spoznatko kao Boldvinov efekat).4.6 Alternativni operatori odabiranja GA U odnosu na ranije pomenute alternativne metode (npr. elitizma i steady-state), metod rangiranja se razlikuje od obiˇne selekcije samo raˇunanjem c cfitnesa pri odabiru. Tada pomenuti problem promene varijanse tokom radaGA se moˇe reˇiti (Forrest, 1985) i sigma skaliranjem, gde je V al(i, t) funkcija z soˇekivanog fitnesa u t-toj iteraciji za i-ti hromozom: c f (i,t)+f (t) 1+ , σ(t) = 0; V al(i, t) = 2σ(t) 1, σ(t) = 0.gde je σ(t) standardna devijacija fitnesa populacije u toj iteraciji. Kod nekihproblema se pokazao veoma korisnim poznati metod simuliranog oˇvrˇ´avanja: c sc ef (i,t)/T V al(i, t) = [ef (i,t)/T ]gde se temperatura smanjuje do nule po nekom rasporedu tokom raˇunanja. c
  • 91. 90 Seminarski rad4.7 Paralelni GA Jedna od glavnih osobina GA je pomenuta implicitna paralelnost, ali imogu´nost masivne paralelizacije. U ovoj klasi GA cilj je raspodeliti nekako cpopulaciju razliˇitim procesorima (kao uopˇtenim jedinicama raˇunanja) sa c s cˇto ve´im stepenom paralelizacije i ˇto manji obimom komunikacije meds c s ¯uprocesorima.4.7.1 Globalne populacije sa paralelizmom Najjednostavniji naˇin da se ovo realizuje je da se iskoristi kanonski GA s ctim da se selekcija radi metodom turnira (nasumice se biraju dva hromozomai onda na osnovu evaluacije najbolji ide dalje, Goldberg, Deb, 1990-1991:pokazuju da je ovo identiˇno kao i fitnes po rangu). Tako n/2 (n je paran) cprocesora dobija nasumice po dva hromozoma i dalje se sve odvija paralelnou svakoj generaciji.4.7.2 Model ostrva Ako postoji manji broj procesora i koristi se ve´a populacija, onda je cpotreban drugaˇiji model. Populacija se podeli u ostrva koja se dodele csvakom procesoru koji dalje nad njima radi bilo kojim od GA. Povremeno,na svakih 5 generacija recimo, vrˇi se migracija odnosno razmena odred s ¯enog(manjeg) broja hromozoma ˇime se deli genetski materijal med ostrvima c ¯ui procesorima (Whitley, Starkweather, Gorges-Schleuter, 1990-1991). Os-trva mogu biti razliˇite veliˇine i prema tome razliˇitih osobina kao i vrste i c c cparametri GA koji rade na procesorima.4.7.3 ´ Celijski GA Ako je arhitektura procesora takva da su povezani samo sa susedima umatrici (i to npr. po stranicama samo ˇetiri suseda) onda je globalna na- csumiˇna selekcija nepraktiˇna, ve´ se koristi samo lokalno upored c c c ¯ivanje (kojemoˇe biti stohastiˇke prirode) sa samo jednim potomkom. Ova arhitektura z cje inspirisana ´elijskim automatima (npr. matrica ili niz bitova kod kojih cse naredno stanje jedinstveno odred ¯uje vrstom konaˇnih automata kod ko- cjih je funkcija prelaska definisana za svaku ´eliju i njenu okolinu a stanja su cbinarna). Operatorima GA je dovoljna samo lokalna ´elija sa susedima u ctom sluˇaju. Ne postoje eksplicitna ostrva u ovom modelu, ali se implicitno c
  • 92. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 91javlja struktura sliˇna ostrvima (ovakva separacija se naziva ,,izolacija udal- cjenoˇ´u”): scNakon nekoliko generacija se smanjuje broj kompaktnih celina u smislu sliˇnosti cgenetskog materijala a njihova povrˇina se uve´ava. s c4.8 Primeri GA Primera ima mnogo kao i u ostalim oblastima raˇunske inteligencije, ali covde izdvajamo dva problema koja se oslanjaju na ranije pomenute primere.Od komercijalnih ˇkoljki gde se mogu praviti modeli GA moˇemo opet izd- s zvojiti MATLAB sa (Direct Search Toolbox) odgovaraju´im dodatkom. c4.8.1 Evoluiraju´e NM c Pomenuta je primena GA k za optimizaciju neuronskih mreˇa. Ako je ztopologija fiksna i koristi se raˇunanje napred, osnovna primena bi mogla cbiti traˇenje optimalnih vrednosti pondera (David Montana, Lawrence Davis, z1989). Upotreba gradijent metode moˇe dati reˇenja koja nisu najbolja z s(lokalni minimum ukupne greˇke), ili ga je teˇko primeniti (nediferencija- s sbilna transfer funkcija). Med ¯utim joˇ je ve´i izazov traˇenje odgovaraju´e s c z ctopologije i menjanje topologije u toku procesa uˇenja. Direktan metod (Ge- coffrey Miller, Peter Todd, Shailesh Hedge, 1989) podrazumeva postupak ukome se koristi matrica koja odred ¯uje topologiju (npr. 1 ako je dozvoljena
  • 93. 92 Seminarski radveza izmed PE, 0 ako nije) i dobijenu su uspeˇni rezultati za neke probleme. ¯u sHiroaki Kitano 1990. pokazuje da se metodom gramatiˇkog kodiranja mogu cdobiti efikasnije bolja reˇenja - kontekst slobodnim gramatikama se generiˇe s sstruktura pomenute matrice koriste´i pravila sa ˇije desnse strane se nalaze c cterminali koji ˇine gradivne elemente matrice formata 2 × 2. Hromozomi ctakvog metoda su kra´i i metod se moˇe lakˇe prilagod c z s ¯avati specifiˇnom prob- clem, dok je u oba sluˇaja duˇina hromozoma dinamiˇki promenljiva. Takod c z c ¯e ∗se moˇe evoluirati i funkcija uˇenja - npr. ako je ∆wij = f (yi , yj , yj , wij ) z clinearna funkcija odred¯ena koeficijentima (ispred sabiraka koji predstavljajuargumente funkcije kao i njihove proizvode) kao paramterima koji se opti-mizuju GA. Klasa NM kod kojih su ulazi grupisani u gene i kodirani u klase kojeimaju lingvistiˇko znaˇenje (npr. gen duˇine 4 bita predstavlja atribut koji c c zima ˇetiri vrednosti - ˇetiri boje, primera radi) kao i izlaz koji ima izlaznih c cPE koliko i kategorija se mogu prouˇavati standardnim Data Mining meto- cdama kao crna kutija. U [DATAMINING] se daje primer GA koji koristihromozome ˇiji su geni vrednosti teˇinski koeficijenti (obeleˇeni njihovim c z zindeksima), gde se fitnes raˇuna kao proizvod njihove vrednosti (pondera). cPopulacija se onda tumaˇi kao serija ako-onda pravila koja ukazuju na vezu culaza i izlaznih kategorija.4.8.2 Klasifikacija i konceptualizacija Prethodni primer predstavlja primenu GA u problemima klasifikacija ikonceptualizacije znanja (u smislu otkrivanja implcitnih, unutraˇnjih relacija smed ulaznim podacima, najˇeˇ´e baˇ tog oblika ako-onda pravila). Takav ¯u c sc spristup traˇi najpre uoˇavanje nekih jednostavnih nepovezanih osobina (npr. z cfigura se sastoji iz odred¯enog broja pravih ili krivih linija, seku se ili ne seku,postoje kruˇni oblici itd.) koje mogu biti biti pripremljene drugom metodom z(NM ili neka klasiˇna metoda), a onda GA otkriva znaˇajne osobine i pravila. c cGA u odnosu na klasiˇne metode veˇtaˇke inteligencije ima tu prednost da c s cne zahteva posebno predznanje o problemu heuristiˇke ili neke druge prirode. c4.8.3 Uˇenje fazi pravila evolucijom c Ideja je primeniti GA na hromozome koji predstavljaju skupove pravilaˇiji su geni razlˇitog tipa (oznake promenljivih ili kakateristiˇne funkcije,c c c
  • 94. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 93njihovi parametri, koeficijenti uverenja, uslovni elementi, itd.) kojim se ondaoptimizuje broj pravila koji uˇestvuje u radu fazi ekspertnog sistema, kao i costali njegovi elementi (Lim, Furuhashi). Evaluacija moˇe onda biti testiranje zpravila na probnom skupu podataka ili klasiˇna analitiˇki zadata funkcija. c c4.8.4 Evoluiranje programa Ideja programa koji samostalno piˇu programe koji reˇavaju zadate prob- s sleme je dugo ve´ izazov veˇtaˇke inteligencije bez nekog dobrog opˇteg reˇenja. c s c s sPristup upotrebom GA koji je razvio Dˇon Koza (1992-1994.) se zasniva na zevoluciji LISP koda. Skica algoritma je slede´a:c 1. (preduslov) zadat je skup mogu´ih funkcija i terminala (identifikatora) c kao i fitnes koji npr. predstavlja tabelu vrednosti funkcije ˇiji se kod c traˇi (dakle traˇi se funkcija koja vra´a rezultat na osnovu ulaznog z z c identifikatora, a time se ujedno i dodatno specifican oˇekivani rezultat c i prostor pretrage) 2. generiˇe se poˇetni skup proizvoljnih programa (lista) koji ˇine poˇetnu s c c c populaciju (koji su ograniˇene duˇine u smislu dubine liste kao stabla) c z 3. fitnes se raˇuna na osnovu skupa zadatih vrednosti (oˇekivanih ulaznih c c i izlaznih vrednosti) 4. primenjuju se uobiˇajeni GA operatori, s tim da su ovde hromozomi c proizvoljne duˇine i specifiˇne strukture - liste, tako da se rekombinacija z c svodi na razmenu delova lista (ili podstabla ako se liste posmatraju kao drve´e). Koza ostavlja 10% populacije nepromenjeno i ne koristi c mutaciju (oslanjaju´i se na dovoljno veliku i raznoliku poˇetnu pop- c c ulaciju). Funkcija evaluacije bi trebala, naravno, da nagrad ¯uje kra´a c (jednostavnija) reˇenja. sOvo je samo jednostavan primer ovakvog pristupa reˇavanju problema, u ssloˇenijim sluˇajevima uspeh nije srazmerno ve´i i daleko je od toga da pos- z c ctoji opˇte reˇenje. s s Evoluiraju´i jednodimenzionalni ´elijski automati (niz binarnih ´elija) c c cmogu se posmatrati kao modeli raˇunanja kod kojih se uz odgovaraju´u c cfunkciju prelaska nakon odred ¯enog broja iteracija dolazi do niza koji pred-stavlja rezultat ili ne, a moˇe se dobiti i nestabilan proces (Mitchell, Hraber, z
  • 95. 94 Seminarski radCrutchfield, 1993). Primena GA u ovom sluˇaju se svodi na traˇenje prave c zfunkcije prelaska a fitnes bi bio odred stepenom poklapanja rezultata i ¯enbrzinom konvergencije. Sliˇno ranije pomenutom Knutovom problemu sor- ctiranja, rezultati dobijeni upotrebom GA su veoma blizu konkretnih reˇenja skoje su pronaˇli ljudi, ali ne i bolji za dovoljno sloˇene probleme. s z
  • 96. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 95 Knjige koriˇ´ene tokom pisanja ovog rada, kao i sajtovi sa dokumentaci- scjom - Zade preporuˇuje A. Kofmana (1972-1977) za detaljniji uvid u teoriju cfazi skupova i fazi logike.Literatura[IC] Lotfi A. Zadeh: Information And Control (Ch. 8: Fuzzy Sets), 1965.[words] Lotfi A. Zadeh: Fuzzy Logic = Computing With Words, (IEEE Transactions On Fuzzy Systems, Vol. 4) 1996.[FSNEW] Lotfi A. Zadeh: Outline of a New Approach to the Analysis of Complex Systems and Decision Processes, (IEEE Transactions On Sys- tems, Man, and Cybernetics, Vol. SMC-3 no. 1), 1973.[PT] Lotfi A. Zadeh: Probability Theory and Fuzzy Logic, 2002.[RD] Radojevic D., There is Enough Room for Zadeh’s Ideas, Besides Aris- totle’s in a Boolean Frame, Soft Computing Applications, 2007. SOFA 2007. 2nd International Workshop on 21-23 Aug. 2007 (Pages 79 - 82), DOI 10.1109/SOFA.2007.4318309[AQM] Marko MIRKOVIC, Janko HODOLIC, Dragan RADOJEVIC, AG- GREGATION FOR QUALITY MANAGEMENT[AV] Andreas de Vries, Algebraic hierarchy of logics unifying fuzzy logic and quantum logic, Lecture Notes - http://arxiv.org/pdf/0707.2161.pdf[RD2] Radojevic D., Interpolative Realization of Boolean Algebra as a Con- sistent Frame for Gradation and/or Fuzziness, ISBN 978-3-540-73184-9[ALG] Lotfi A. Zadeh: A fuzzy-algorithmic approach to the definition of complex or imprecise concepts, (Int. J. Man-Machine Studies 8) 1975.[PH] WHat does mathematical fuzzy logic offer to description logic ? Petr Hajek http://www.cs.cas.cz/semweb/download.php?file=05-10-Hajek&type=pdf[FDL] A Fuzzy Description Logic for the Semantic Web, Umberto Straccia, http://faure.isti.cnr.it/~straccia/download/papers/BookCI06a/BookCI06a.pdf
  • 97. 96 Seminarski rad[GCI] General Concept Inclusions in Fuzzy Description Logics - Giorgos Stoi- los, Umberto Straccia, Giorgos Stamou, Jeff Z. Pan, 2006[LPROFS] Ludeˇk Matryska: Logic Programming with Fuzzy Sets, 1993. e[SCFL] Lotfi A. Zadeh Soft Computing and Fuzzy Logic, 1994[birth] L. A. Zadeh: The Birth and Evolution of Fuzzy Logic, 1990.[FESFR] William Siler, James J. Buckley: FUZZY EXPERT SYSTEMS AND FUZZY REASONING, (Wiley-Interscience) 2005.[NNALG] James A. Freeman, David M. Skapura: Neural Networks - Algo- rithms, Applications and Programming Techniques, (Addison Wesley) 1991.[FOUND] Nikola K. Kasabov: Foundations of Neural Networks, Fuzzy Sys- tems, and Knowledge Engineering, (MIT Press) 1996.[GA-TUT] Darrell Whitley: A Genetic Algorithm Tutorial[GA-INTRO] Mitchell Melanie: An Introduction to Genetic Algorithms, (MIT Press) 1999.[DATAMINING] Data mining neural networks with genetic algorithms, Ajit Narayanan, Edward Keedwell, Dragan Savic[NN-INTRO] Ben Krose, Patrick van der Smagt: An introduction to Neural Networks, 1996.[NN-AA] L. P. J. Veelenturf: Analysis and Applications of Artificial Neural Networks, (Prentice Hall) 1995.[ANNT] Dave Anderson, George McNeil: Artificial Neural Networks Tech- nology, 1992[NND] Martin T. Hagan, Howard B. Demuth, Mark Beale: Neural Networks Design[LSC] Learning and Soft Computing, (MIT Press) Vojislav Kecman, 2001.[GRAN] Lotfi A Zadeh Toward A Theory Of Fuzzy Information Granulation And Its Centrality, 1997
  • 98. Soft Computing - raˇunska inteligencija (Computational Intelligence) c 97[JD] John Durkin: Expert Systems - Design and Development[BIOINFORMATICS] Pierre Baldi, Sφren Brunak: Bioinformatics, The Ma- chine Learning Approach, (MIT Press) 2001.[NNINT] Integrating rough set theory and fuzzy neural, 2002.[HBTNN12] Handbook Of Brain Theory And Neural Networks Part 1 & 2, (MIT Press) 2003.[TB] Donald E. Knuth: The TeXbook[PG] Predrag Janiˇi´, Goran Nenadi´: OSNOVI L TEX-A cc c A[WWW] http://plato.stanford.edu/entries/logic-fuzzy/ http://ieee-cis.org/ http://www.cs.berkeley.edu/~zadeh/ http://www.cs.ubc.ca/labs/lci/ http://www.genetic-programming.com/ http://www.genetic-programming.org/ http://en.wikipedia.org/wiki/BL_(logic) http://en.wikipedia.org/wiki/Computational_Intelligence http://en.wikipedia.org/wiki/Bioinformatics http://en.wikipedia.org/wiki/Connectionism http://en.wikipedia.org/wiki/Artificial_neural_network http://en.wikipedia.org/wiki/Boltzmann_machine http://en.wikipedia.org/wiki/Simulated_annealing http://www.aaai.org/home.html http://en.wikipedia.org/wiki/Universal_algebra http://en.wikipedia.org/wiki/Logic_programming