5. Powstanie Frank Rosenblatt 1958 „Principles of neurodynamics: Perceptrons and the theory of brain mechanisms” Minsky i Papert The Perceptrons, 1969 Źródło: http://www.ieee.org/about/awards/bios/rosenblatt_recipients.html http://www.ieee.org/about/awards/bios/rosenblatt_recipients.html http://www.computerhistory.org/fellowawards/hall/bios/Marvin,Minsky/
6. Charakterystyka sieci Posiada minimum 3 warstwy Wejściowa Ukryta Wyjściowa Połączenia występują tylko z neuronami z sąsiednich warstw Ilość neuronów jest dowolna
9. Wykorzystanie Analiza obrazów Modelowanie procesów Klasyfikacja Sterowanie jakością (np. mas formerskich) Prognozowanie (np. ciśnień podziemnego magazynu gazu)
11. Powstanie Dave Broomhead i David Lowe(1988), a następnie uzupełniona przez Johna Moody’ego i Christiana Darkina w 1989 roku Źródło: http://www.cs.ubc.ca/~lowe/
13. Właściwości sieci Składa się z trzech warstw Warstwa ukryta składa się z neuronów wzbudzanych przy pomocy radialnej funkcji bazowej, a nie liniowej kombinacji sygnałów wejściowych i wag Jest to sieć ontogeniczna - podczas procesu nauki modyfikujemy architekturę sieci
14. Uczenie sieci Dwa etapy etap doborów centrów(c) oraz odchyleń(współczynników wygładzania) neuronów radialnych; doboru odpowiednich wag dla neuronów warstwy wyjściowej (optymalizacja warstwy wyjściowej)
15. Uczenie sieci Metody do wyznaczania centrów Próbkowanie powtórne Algorytm k-średnich Metody pozwalające nam określić odchylenia neuronów radialnych Definiowane przez użytkownika Przydział metodą k-najbliższych kwadratów Równomierny podział odchyleń
16. Zastosowanie sieci RBF Rozwiązywanie problemów klasyfikacyjnych W wielu aspektach przetwarzanie i rozpoznawanie wielu wzorców Odtworzenie trójwymiarowej struktury obiektów
18. Powstanie sieci D. F. Specht (1990/1991) „Probablistic Neural Network” PNN - Rozbudowana sieć RBF o ukrytą jednostkę centralną zwaną jądrem w każdym przypadku szkoleniowym i jest zazwyczaj fukcją gęstości prawdopodobieństwa podobnie jak funkcja Gaussowska
19. Właściwości sieci Sieć PNN jest przedewszystkim klasyfikatorem PNN reprezentuje metodę statystyczną tzw. dyskryminację jdrową, przestawioną w postaci czterech warstw: – Warstwa wejściowa – Warstwa wzorców – Warstwa sumowania – Warstwa wyjściowa
20. Uczenie sieci PNN Zbiór uczący powinien być reprezentatywny dla analizowanych populacji Dodawanie i usuwanie przykładów uczących powoduje jedynie dodawanie i usuwanie neuronów w warstwie drugiej Uczenie bazuje głównie na doborze wartości współczynników dyspersji Na bazie wiedzy o analizowanym problemie Używając technik heurystycznych (np. leave-one-out)
21. Wady i zalety ZALETY: Szybki proces uczenia Dodawanie i usuwanie nowych przypadków bez dużych zmian w uczeniu WADY: Duże wymagania co do pamięci Wolne działanie sieci Duże wymagania dotyczące jakości danych uczących Mniejsze zdolności uogólniające w porównaniu z sieciami wielowarstwowymi
23. Powstanie Teuvo Kohonen (1981) Emerytowany profesor Amademii Fińskiej Twórca ponad 300 publikacji oraz 4 książek w tym trzecie wydanie „Sieci samoorganizujące się” Od roku 1960 przedstawił wiele fundamentalnych koncepcji na temat sieci nauronowych Źródło: http://www.scholarpedia.org/article/User:Kohonen
24. Charakterystyka sieci występujew niejwspółczynnikkonkurencji uczysiębeznadzoru służy do analizydanych i rozpoznawanianowychdanych Budowa zbliżona do ludzkiego mózgu
26. Architektura sieci Jedne nauron niewiele znaczy Połączenie neuronów w grupę daje możliwość prowadzenia skomplikowanych operacji Najczęściej stosuje się schemat sieci jednowarstwowej jednokierunkowej Żródło: http://zsi.tech.us.edu.pl/~anowak/files/som.pdf
27. Wykorzystanie sieci Kohonena Analiza danych i kojarzenie podobnych klas danych Wykrywanie nowości w danych uczących i reagowanie na nie
38. Literatura i źródła http://home.agh.edu.pl/~asior/stud/doc/Kohonen_09.pdf, 20/10/2010 www.is.umk.pl/~duch/Wyklady/NN-CI/CI-b.ppt, 20/10/2010 http://smp.if.uj.edu.pl/~kopiec/prace/referat.pdf, 20/10/2010 http://www.statsoft.pl/textbook/stneunet.html, 20/10/2010 P. Boniecki, Elementy modelowania neuronowego w rolnictwie, Poznań 2008, s. 54-55 http://www.statsoft.pl/czytelnia/neuron/pwersnn.html, 28/05/2010 http://www.kik.pcz.czest.pl/nn/samoorg.php?art=2, 28/05/2010 http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-20.html, 20/10/2010
Editor's Notes
Perceptrons symulacja przeprowadzona na IBM 704 w Cornell Aeronautical Laboratory in 1957
2004 Institute of Electrical and Electronics Engineers
Zmarł 1971 wypadek łódkowy.
Odwiecznym rywalem Rosenblatta był Marvin Minsky z Massachusetts Institute of Technology.
Minsky pogardzał Rosenblattem (zarówno w sferze zawodowej, jak i prywatnej), nienawidził idei perceptronu i napisał kilka polemik przeciwko niej.
Posunął się nawet do kontaktowania z każdą grupą, która finansowała badania Rosenblatta i nazywania go szarlatanem w nadziei odcięcia mu funduszów do dalszych badań nad sieciami neuronowymi.
Zostało udowodnione, że przy odpowiedniej liczbie neuronów, sieć MLP posiadająca tylko dwie warstwy ukryte jest zdolna do aproksymacji dowolnie złożonego odwzorowania – określa się taką sieć neuronową terminem uniwersalnego aproksymatora..
dobranie odpowiedniej macierzy wag.
warstwową strukturę sieci MLP, wagi przekazujące dane do każdej kolejnej warstwy sieci tworzą macierz wag
warstwa wejścia nie posiada wag z uwagi na brak neuronów w tej warstwie
Wartości tych wag są obliczane przy użyciu algorytmu nauczania ze wsteczną propagacją.
3 warstwy wejsciowa, ukryta, wyjsciowa
wzbudzane za pomoca radialnej funkcj i bazowej , a nie jak to zazwyczaj bywa – kombinacj i l iniowej sygnałów wejsciowych i wag.
- Neurony warstwy ukrytej wzbudzane sa za pomoca funkcj i zależnej od odległosci pomiedzy danym punktem x (a wiec bodzcem dochodzacym do neuronu) a pewnym centrum c , które jest jednym z parametrów neuronu ustalanym w procesie nauki (x,c Rd ). Wzbudzenie i -tego neuronu jest najczesciej funkcja gaussowska.
Ukryte jednostki mają wartość 0 lub 1 dla każdej ukrytej jednostki.
1 używana jest na połączeniach wyjściowych do których należy przypadek, pozostałe połączenia mają 0
Alternatywnie można dostosować te wagi dla poprzednich prawdopodobieństw poszczególnych klas
Te szerokości zwane są parametrami wygładzającymi lub przepustowościami i najczęściej są wyznaczane poprzez krzyżową walidację lub
przez bardziej ezoteryczne metody które nie są jeszcze dobrze znane w literaturze sieci neuronowych.
