Recommended
Recommended
More Related Content
More from Mikołaj Olszewski
More from Mikołaj Olszewski (20)
Metody efektywnego łączenia sieci neuronowych
- 1. Metody efektywnego łączenia sieci neuronowych w systemach wielozadaniowych Mikołaj Olszewski Promotor: dr hab. Jacek Mańdziuk
- 2. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 3. Zadanie Implementacja komputerowa Analiza efektywności Algorytm łączenia modułowych sieci neuronowych Jeden system wielozadaniowy Wybrany obszar zastosowań
- 4. Przyczyny I Skomplikowane zadania uczące Podzielenie zadania na podzadania Niezależna realizacja przez odrębne sieci Niska efektywność finalnego systemu
- 5. Przyczyny II Problem zmieniającego się celu Problem stada Problem douczania – – katastroficzna interferencja Problem doboru liczby i liczności warstw ukrytych
- 6. Rozwiązania Sieci typu ART Algorytmy konstrukcyjne Rozwiązania modułowe Incremental Class Learning
- 7. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 8. Sieci typu ART Słaba efektywność w dużych systemach Słaba efektywność dla zaszumionych danych Obiecujące rezultaty sieci hybrydowych opartych na przetwarzaniu rozmytym Fuzzy ARTMAP FasArt PROBART
- 9. ART-1
- 10. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 11. Algorytmy konstrukcyjne Start z małej sieci Powiększanie sieci i zmniejszanie błędu w trakcie uczenia Zmiana niektórych neuronów i ich wag Zamrażanie Algorytmy: UPSTART Kieszonkowy Kaskadowej korelacji
- 13. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 14. Incremental Class Learning Kolejna nauka podproblemów Zamrażanie kluczowych struktur Wykorzystanie dotychczasowych rezultatów nauki do bieżącego problemu Odpowiednie połączenie reprezentacji w celu otrzymania rozwiązania wyjściowego
- 15. ICL – ważne czynniki Dekompozycja problemu w efektywny sposób na podproblemy Zwarta struktura reprezentująca podproblem Określenie istotnych neuronów i zamrożenie wag połączeń wchodzących Wykorzystanie w razie potrzeby do uczenia dotychczas zamrożonych neuronów
- 16. ICL - podsumowanie Coraz mniejszy wysiłek naukowy Połączenie cech algorytmów konstrukcyjnych i rozwiązań modułowych Start ze wszystkimi połączeniami Podproblemy nie są uczone niezależnie Możliwość dzielenia części struktur dla różnych podproblemów Zwarta struktura sieci
- 17. Czasowo-przestrzenna reprezentacja wzorców uczących Zalety Inwariancja względem osi czasu Dopuszczalna różna długość wzorców (względem osi czasu) Uproszczenie architektury sieci Przebieg ramki Ustawienie okna i normalizacja wag Znalezienie zwycięzcy w warstwie ukrytej Poprawa wag (zamrożenie) i ich normalizacja Przesunięcie okna itd.
- 18. Ramka
- 19. Wzorce
- 20. Wyniki
- 21. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 22. Rozwiązanie modułowe Konstrukcja modułowa Wykorzystanie sieci rozpoznających podkategorie wzorców Równoległe połączenie warstw ukrytych Zwiększenie wydajności sieci Przyspieszenie uczenia sieci
- 23. System I 0|1|2|3|4|5|6|7|8|9 wejście Wybór klasy o największej aktywacji Brak douczania
- 24. System II 0|1|2|3|4|5|6|7|8|9 2 HL wejście Połączenia stałe i zmienne Trenowanie nowych części
- 25. System III 0|1|2|3|4|5|6|7|8|9 2 HL CD wejście Dodatkowy moduł rozróżniający Trenowanie nowych części
- 26. System IV 0|1|2|3|4|5|6|7|8|9 2 HL CG wejście Dodatkowy moduł klejący Trenowanie i dotrenowanie po uwolnieniu
- 27. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 28. Wzorce bazowe Obrazki 16 x 16 Cyfry 0 – 9 Różna czcionka Różna wielkość Różny kąt
- 29. Zaszumienie Szum losowy Szum systematyczny Szum „ręczny”
- 30. Grupowanie Podobieństwo 1, 4, 7 3, 5, 6, 8 0, 2, 9 Odrębność 0, 1, 3 2, 4, 5 ,8 7, 6, 9 Samoorganizacja
- 31. Plan prezentacji Problem Sieci typu ART Algorytmy konstrukcyjne Incremental Class Learning Moduły sieciowe Wzorce Implementacja Bibliografia
- 32. Podstawy Sieć neuronowa – C++ Interfejs – Java Wzorce – cz-b bitmapy 16 x 16 Systemy: Linux i Windows
- 35. Bibliografia J. Mańdziuk, L. Shastri , Incremental Class Learning Approach and Its Application to Handwritten Digits Recognition, w: „Raport Techniczny TR-97-026”, International Computer Science Institute, Berkeley, CA, USA, 1997 A. Waibel, Consonant Recognition by Modular Construction of Large Phonemic Time-Delay Neural Networks, w: „Advances in Neural Information Processing Systems 1”, D.S. Touretzky (ed.), Morgan Kaufmann, 1989 S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa, 1996 J. Korbicz, A. Obuchowicz, D. Uciński, Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa, 1994
- 36. Metody efektywnego łączenia sieci neuronowych w systemach wielozadaniowych Dziękuję za uwagę