Prezentacja na Seminarium Czwartkowym w 9LivesData

1. Zapoznanie z sieciami neuronowymi

2. Sieci neuronowe
Umożliwiają modelowanie bardzo złożonych zależności (obraz → obiekt, dźwięk
→słowa, …), dla których nie bylibyśmy w stanie napisać tradycyjnego algorytmu.
Wynalezione w latach 50 tych
[1956 Frank Rosenblatt - Perceptron - pierwsza sieć neuronowa]
Przez lata zaniedbane.
Obecnie przeżywają renesans, bo mamy
wystarczająco dużo danych i mocy obliczeniowej.

4. https://teachablemachine.withgoogle.com/

5. Przewidywanie

6. Trening
1. Zainicjalizuj parametry (W, b)
2. Powtórz bardzo wiele razy:
a. Spróbuj przewidzieć wyniki dla zbioru
treningowego (forward propagation)
b. Oblicz błąd (loss) aktualnego modelu
c. Oblicz gradient błędu względem parametrów
(backward propagation)
d. Zaktualizuj parametry w kierunku spadku
gradientów (gradient descent)
3. Sprawdź model na zbiorze testowym

7. playground.tensorflow.org

8. Deep learning czyli głębokie sieci neuronowe
https://www.mghpcc.org/neural-networks-earthquakes/

9. Konwolucyjne sieci neuronowe
Szczególnie skuteczne do:
1. przetwarzanie obrazu
a. klasyfikacja zdjęć (Google Photos, ...)
b. detekcja obiektów (Apple FaceID, …)
c. style transfer
"lokalne cechy"
→ reużycie parametrów
→ dużo mniej do nauczenia

10. Konwolucja

11. Max Pooling ~ Zoom Out

12. Filtry → identyfikacja cech wyższego poziomu

13. ImageNet 2012
Alex Krizhevsky, Ilya Sutskever, and Geoff Hinton
[Krizehvsky et al. (2012)].

14. Konwolucyjne sieci neuronowe
MNIST Convolutional Demo

15. Rekurencyjne Sieci Neuronowe (Recurrent NN)
Szczególnie skuteczne do:
1. przetwarzanie danych sekwencyjnych
a. tłumaczenie tekstu
b. rozpoznawanie i generowanie mowy
Mają "pamięć"

16. RNN

18. Long-short term memory

19. RNN: generowanie tekstu
PANDARUS:
Alas, I think he shall be come approached and the day
When little srain would be attain'd into being never fed,
And who is but a chain and subjects of his death,
I should not sleep.
Second Senator:
They are away this miseries, produced upon my soul,
Breaking and strongly should be buried, when I perish
The earth and thoughts of many states.
DUKE VINCENTIO:
Well, your wit is in the care of side and that.

20. RNN: generowanie tekstu

21. WaveNet: generowanie mowy
https://deepmind.com/blog/wavenet-generative-model-raw-audio/

22. Więcej informacji
news.9livesdata.com