Strojové učení - Kdo ho používá? - Základní princip Deep learning - Běžné neuronové sítě - Co je podstatou „deep“? - Proč a kde je skvělý?

1. Deep learning
(a strojové učení obecně)
Czech Internet Forum 2014
Michal Illich

2. Michal Illich

3. Obsah
● Strojové učení
– Kdo ho používá?
– Základní princip
● Deep learning
– Běžné neuronové sítě
– Co je podstatou „deep“?
– Proč a kde je skvělý?

4. Produkty strojového učení používáte každý den.

5. Kde se používá na webu - I

6. Kde se používá na webu - II

7. Kde se používá na webu - III

8. Mimo web
Siri
OCR
Self-driving cars

9. Kde si s ním hrajeme my
Magictable
Brandiozo
Golem
a jeden neveřejný projekt

10. … a Brandiozo
a 2 další, zatím neveřejné projekty

11. Označkovaná
data

12. Naučíte model:
Známá data → Model → Známý výsledek

13. Používáte model:
Nová data → Model → Nový výsledek

14. II. Deep learning

15. 1970s

16. 1970s

18. 1975 - backpropagation

19. Co chceme, aby uměly?

20. Co je od tehdy nového?
Čím je učení „deep“?

21. 1. Hloubka
Umožněná vyšším výkonem CPU/GPU a pár triky.

22. 2. Využití neoznačených dat

24. 3. Triky
● odolnost proti přeučení DropOut, DropConnect
● jiné aktivační funkce ReLu místo sigmoidy
● učení po vrstvách
● konvoluční sítě

25. Výsledky
Kategorizace obrázků (22000 kategorií)
● 9,5% (nejlepší v 2011)
● 18,3% (deep learning ze Stanfordu)

26. Výsledky
Rozpoznávání řeči (Switchboard, 300 hodin)
● chybovost 27,4 % (tradiční metody)
● chybovost 18,5 % (deep learning)

27. Výsledky
Rozpoznávání číslic (MNIST)
● chybovost 0,39 % (2006)
● chybovost 0,21 % (deep learning)

28. Open source knihovny
Neuronové sítě:
theano, cuda-convnet, fann
Další algoritmy:
gbm, libsvm, vowpal wabbit, sofia-ml, sofia-kmeans
word2vec, gensim, NLP knihovny
Nástroje s GUI:
weka, orange, rapid miner

29. Závěr

30. 1/3
Mít data nestačí. Používejte je.
kreslit barevné grafy je základ, nikoliv plné využití dat

31. 2/3
Strojové učení.
nechte stroje samotné najít si vztahy v datech

32. 3/3
Na obrázky a zvuk hlavně deep learning.
(ale vyzkoušet jej můžete i na jiná data)

33. Díky!
michal@illich.cz
@michalillich
PS: Přijímáme: C, Python, PHP

34. Apendix: Výsledky podrobněji
Kategorizace obrázků (22000 kategorií)
● 9,5% (nejlepší v 2011, Weston+Bengio)
● 18,3% (deep learning ze Stanfordu)
Rozpoznávání řeči (Switchboard, 300h)
● chybovost 27,4 % (GMM-HMM)
● chybovost 18,5 % (deep learning: DNN-HMM)
Rozpoznávání číslic (MNIST)
● chybovost 0,39 % (energy based model, 2006)
● chybovost 0,21 % (deep learning s DropConnectem)

35. Zdroje ilustračních obrázků:
http://www.cs.toronto.edu/~kriz/cifar.html
http://cl.naist.jp/~kevinduh/notes/duh12deeplearn.pdf
http://www.positscience.com/media-gallery/detail/161/94
http://commons.wikimedia.org/wiki/File:Haystack_-_geograph.org.uk_-_462934.jpg
http://www.retrowaste.com/1970s/
http://www.moderni-dejiny.cz/clanek/exteriery-z-obdobi-normalizace-soubor-fotografii-bohdana-holom
icka/
http://zlin.cz/503516n-zlinske-jaro-odstartovalo-vystavu-ritualy-normalizace
http://www.cs.stanford.edu/people/ang//slides/DeepLearning-Mar2013.pptx
+ pozadí koupené ve fotobance