A lecture for UJ and AGH students in Kraków (26 Mar 2015)

1. Uczenie maszynowe a Big Data

2. Kim jesteśmy?
Michał Iwanowski
● absolwent Politechniki Warszawskiej
● 2.5 roku w IBM (Netezza):
○ hurtownie danych
○ machine learning, analityka
predykcyjna
○ zrównoleglanie algorytmów
● od lipca 2014 w CodiLime:
○ machine learning w praktyce:
consulting, konkursy na Kaggle.com
○ platforma DeepSense.io
● w tle:
○ analiza statystyczna danych
(medycyna, biologia)
Robert Pohnke
● absolwent Uniwersytetu Warszawskiego
● wcześniej praca w IBM, UBS, Goldman
Sachs
○ systemy rozproszone, machine
learning, tuning wysokowydajnych
aplikacji
● od lipca 2014 w CodiLime:
○ odpowiedzialny za rozwój biznesu oraz
pozyskiwanie nowych klientów
○ platforma DeepSense.io

3. Agenda
● O CodiLime
● Machine learning:
○ wprowadzenie, historia
○ rodzaje zagadnień
○ przykłady realnych problemów
○ bieżące trendy
● Big Data:
○ kiedy dane są już duże?
○ źródła danych, data lakes, IoT
○ problem skalowalności
● Technologie:
○ Hurtownie danych,
○ Hadoop + Map-Reduce
○ Spark
● Machine learning i Big Data w CodiLime:
○ DeepSense.io
○ kierunki rozwoju

4. O CodiLime
• Firma założona ponad 3 lata temu przez wybitnych algorytmików z
Wydziału Matematyki, Informatyki i Mechaniki Uniwersytetu
Warszawskiego
• Zwycięzcy i laureaci międzynardowych zawodów
programistycznych – International Olympics in Informatics,
TopCoder Open, Google Code Jam, ACM ICPC
• Doświadczenie w międzynarodowych firmach - Google, Facebook,
Microsoft, IBM, nVidia, Goldman Sachs, UBS
• Większość klientów pochodzi z Doliny Krzemowej

5. Machine learning
Wprowadzenie

6. Geneza
machine learning
sztuczna inteligencja
statystyka
algorytmy klasyczne
metody heurystyczne
modele biologiczne

7. Historia
● Fundamenty: algorytmy klasyczne, sztuczna inteligencja
● Lata 80: systemy ekspertowe
● Lata 90: sieci neuronowe
● Machine learning a data mining

8. Przykład

9. Machine learning - zagadnienia
Uczenie z nadzorem Uczenie bez nadzoru
znane “prawdziwe” etykiety brak etykiet
uczenie w oparciu o dane trenujące odkrywanie nieznanych wzorców
zastosowanie: predykcja zastosowanie: eksploracja
przykładowe zadania: klasyfikacja, regresja przykładowe zadania: grupowanie (clustering),
HMM

10. Uczenie z nadzorem
Klasyfikacja Regresja

11. Uczenie bez nadzoru
Grupowanie (clustering)

12. Trendy: Deep learning
● “Renesans” sieci neuronowych
● Automatyczna inżynieria cech (uczenie się reprezentacji danych)
● Złożone architektury sieci
● Nowe algorytmy uczenia
● Główne zastosowania:
○ widzenie maszynowe (rozpoznawanie obrazów),
○ rozpoznawanie mowy.

13. Deep learning: rezultat Google’a
● 9 warstw sieci
● 109
połączeń pomiędzy neuronami
● 10 mln obrazków 200x200 pikseli (kadry z YouTube)
● Klaster 1000 maszyn (16 000 rdzeni)
● Sieć trenowana 3 dni

14. Deep learning: rezultat Google’a

15. Trendy: NLP
Przetwarzanie języka naturalnego:
● automatyczne tłumaczenie,
● ekstrakcja wiedzy -> bazy wiedzy,
● analiza wydźwięku,
● kategoryzacja dokumentów.
Techniki:
● wektoryzacja (word2vec),
● hashowanie cech, uczenie on-line (vowpal wabbit),
● deep learning.

16. Big Data

17. Big Data - co to znaczy?
“Big Data is any data set too big to fit into Excel”

18. Big Data - co to znaczy?
● Dane niemożliwe (lub niepraktyczne) do
przetwarzania na pojedynczej maszynie.

19. Źródła dużych danych
Internet of Things (IoT):
“There will be nearly 26 billion devices on
the Internet of Things by 2020” - Gartner
Inc.:
● środki transportu,
● elektronika osobista,
● inteligentny dom,
● urządzenia przemysłowe,
● bio-chipy?

20. Źródła dużych danych
Data Lake:
Data Lake
CRMs Logs Mobile Apps
...
Data Center Infrastructure
Social media

21. Big Data a skalowalność
● Wzrost rozmiaru pamięci operacyjnej, dysków oraz mocy obliczeniowej nie
idzie w parze ze wzrostem objętości danych.
● Potrzeba skalowania poziomego (scale out).
+
scalingup
scaling out

22. Problemy w osiąganiu skalowalności
● Konieczność współdzielenia danych pomiędzy węzłami.
● Narzut na komunikację sieciową.
● Problem awaryjności węzłów: utrata zasobów, danych oraz wyników.
● Konieczność opracowania równoległych wersji algorytmów.

23. Architektura shared-nothing
● Istnieje N węzłów mających osobny zestaw rdzeni i osobną pamięć.
● Każdy z węzłów ma bezpośredni dostęp tylko do fragmentu danych.
● Istnieje możliwość komunikacji i przesyłu danych, ale jest to kosztowne.

24. Technologie
Czego można użyć?

25. Apache Hadoop

26. Apache Tez

27. Apache Storm

28. Apache Spark

29. Apache Spark - wydajność

30. Machine learning
w CodiLime

31. Machine learning w CodiLime
● Zawody na Kaggle.com - największej platformie konkursowej skupiającej
data scientists z całego świata
● Projekt R&D oparte na Machine Learning oraz NLP dla klientów CodiLime
● DeepSense.io - platforma pozwalająca na zastosowanie algorytmów z
ML, statystyki oraz NLP na Big Data

32. Kaggle
• Największa społeczność skupiająca Data Scientists na świecie –
dziesiątki tysięcy naukowców z ponad 100 krajów,
reprezentujących ponad 200 uniwersytetów
• Zespół CodiLime regularnie zajmuje wysokie (top 5) lokaty

33. Realny case: Kaggle.com
Problem: predykcja składu gleb w Afryce.
Dane: wyniki spektrografii podczerwonej.
Cel: obniżenie kosztu metod pomiarowych.
Problem regresji (wielokrotnej, wielowymiarowej)
Team CodiLime: 3 miejsce spośród > 1200 zespołów

34. Realny case: Kaggle.com
Zadanie:
K
P
CaML

35. Realny case: Kaggle.com
Metody:
● Inżynieria cech:
○ wygładzanie widma,
○ detekcja maksimów,
○ transformaty falkowe,
● Algorytmy:
○ sieci neuronowe,
○ regresja w oparciu o wektory wspierające (SVR),
○ lasy losowe (RF) oraz boosting (GBM),
● Meta-algorytmy:
○ autotuning modeli,
○ modele złożone (łączenie modeli).

37. Pytania?

38. Dziękujemy za uwagę!