Nevronske mreže

1,831 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,831
On SlideShare
0
From Embeds
0
Number of Embeds
28
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Nevronske mreže

  1. 1. Nevronske mreže [email_address] AI urice II
  2. 2. Nevron
  3. 3. Sinapsa
  4. 4. Perceptron
  5. 5. Aktivacijska funkcija <ul><li>Linearna </li></ul><ul><li>Prag </li></ul><ul><li>Sigmoida </li></ul>
  6. 6. Razširitve
  7. 7. Večslojni perceptron <ul><li>Poljubno natančna aproksimacija zvezne funkcije ( Cybenk ov izrek) </li></ul>
  8. 8. Povratna nevronska mreža <ul><li>Pojavi v času </li></ul><ul><li>Univerzalen Turnigov stroj </li></ul>
  9. 9. Samo-organizirajoče karte <ul><li>N-dimenzionalna mreža nevronov </li></ul><ul><li>Nevron kot točka v prostoru </li></ul><ul><li>Stabilnost narašča s časom </li></ul><ul><li>Hierarhične karte </li></ul><ul><li>Nevronski plin </li></ul>
  10. 10. Uporaba <ul><li>Napovedovanje </li></ul><ul><li>Prepoznavanje vzorcev </li></ul><ul><li>Klasifikacija </li></ul><ul><li>Obdelovanje podatkov </li></ul><ul><ul><li>Filtriranje </li></ul></ul><ul><ul><li>Grozdenje </li></ul></ul><ul><ul><li>Kompresija </li></ul></ul><ul><li>Odločanje </li></ul>
  11. 11. Učenje
  12. 12. Učenje <ul><li>Nadzorovano </li></ul><ul><ul><li>Pari vhod-izhod </li></ul></ul><ul><li>Nenadzorovano </li></ul><ul><ul><li>Učenje iz primerov </li></ul></ul><ul><li>V zpodbujeval no </li></ul><ul><ul><li>Interakcija z okoljem </li></ul></ul>
  13. 13. Nadzorovano učenje
  14. 14. Rprop <ul><li>Napaka se širi od izhodov nazaj po mreži </li></ul><ul><li>Pri posodobitvah uteži upoštevamo le spremembe smeri napake </li></ul><ul><li>Batch učenje </li></ul>
  15. 15. Rprop/napaka <ul><li>Izhodni nevron </li></ul><ul><li>(delta i j) = (* (dtanh (activation i j)) (- (target j) (activation i j))) </li></ul><ul><li>Ostali nevroni </li></ul><ul><li>(delta i j) = (* (dtanh (activation i j)) (sum #’* (delta i) (weight i))) </li></ul>
  16. 16. Rprop/posodobitev <ul><li>(incf (weight i j) (cond ((> (delta i j t) 0) </li></ul><ul><li> (update- i j t)) </li></ul><ul><li> ((< (delta i j t) 0) </li></ul><ul><li>(update+ i j t)) </li></ul><ul><li> (t 0))) </li></ul>
  17. 17. Rprop/posodobitev <ul><li>step+ = 1.2 </li></ul><ul><li>step- = 0.5 </li></ul><ul><li>(update i j t) = (cond ((> (* (delta i j (1- t)) </li></ul><ul><li> (delta i j t)) </li></ul><ul><li> 0) </li></ul><ul><li> (* step+ (update i j (1- t)))) </li></ul><ul><li> ((< (* (delta i j (1- t)) </li></ul><ul><li> (delta i j t)) </li></ul><ul><li> 0) </li></ul><ul><li> (* step- (update i j (1- t)))) </li></ul><ul><li>(t (update i j (1- t)))) </li></ul>
  18. 18. Nenadzorovano učenje
  19. 19. Samo-organizirajoče karte <ul><li>Za vsak dražljaj: </li></ul><ul><li>Izberemo nevron najbližje dražljaju </li></ul><ul><li>Izbranca premaknemo še bližje </li></ul><ul><li>Okoliške nevrone premaknemo bližje </li></ul><ul><li>Zmanjšamo okolico & koeficient učenja </li></ul>
  20. 20. Izboljšave
  21. 21. Hierarhija mrež <ul><li>Problem razstavimo </li></ul><ul><ul><li>Prevedemo (recikliranje rešitev) </li></ul></ul><ul><li>Hitrejše učenje (konvergenca) </li></ul><ul><li>Različne mreže </li></ul><ul><ul><li>Preprostejše </li></ul></ul><ul><ul><li>Namenske </li></ul></ul><ul><li>Različni učni algoritmi </li></ul><ul><li>Omilimo overfitting </li></ul>

×