Materiały z wykładu wygłoszonego na konferencji KarieraIT mającego na celu zachęcenie młodych adeptów informatyki do związanie kariery zawodowej z uczeniem maszynowym, internetem rzeczy i językiem R

1. Big Data Analytics

2. Marcin Szeliga
• Filozof danych
• 20 lat doświadczenia z SQL Server
• MCSE: Data Platform & Business Intelligence
• MCSD: Azure Solutions Architect & Microsoft .NET
• Prezes Stowarzyszenia PLSSUG
• marcin@sqlexpert.pl | www.linkedin.com/in/marcinszeliga

3. Agenda
•Big Data, IoT, Machine Learning, Data Scientist
‐różowe jednorożce czy przyszłość informatyki?
•Czy warto zostać specjalistą od przechowywania,
przetwarzania i analizowania danych?
•Jeśli tak, na czym będzie polegała moja praca?
•I rada, która zmieni Państwa życie

4. Definicja Big Data
• Definicja Gartnera z 3V
‐ Big Volume
‐ Big Velocity
‐ Big Variety
• Również Value, Visualization,
Vomiting, Voodooed, etc.
• „Big data is when the size of
the data becomes part of the
problem”
‐ Roger Magoulas

5. Rewolucja Big Data
• Ilość przechowywanych danych
rośnie i to coraz szybciej
• ¾ z nich to dane nierelacyjne:
‐ Teksty
‐ Obrazy
‐ Multimedia
‐ Dane geograficzne
‐ Dane hierarchiczne
• Tradycyjne bazy danych nie nadążają
z ich przetwarzaniem6%
34%
25%
18%
17%
2%
17%
19%
21%
41%
0% 5% 10% 15% 20% 25% 30% 35% 40% 45%
NIE WIEM
PONAD 10 TB
3 - 10 TB
1 - 3 TB
MNIEJ NIŻ 1TB
Przybliżona ilość przechowywanych w hurtowniach danych
Dzisiaj Za 3 lata

6. Paradygmat Map - Reduce
• Krok mapujący
‐ Odczyt rekordu
‐ Przekształcenie do postaci
Klucz – Wartość
• Krok redukujący
‐ Pogrupowanie danych
‐ Obliczenie częściowego wyniku
• Kroki mogą się powtarzać
• Końcowy wynik jest zwracany
klientowi

7. Analiza danych z wykorzystaniem Map - Reduce
Konfiguracja węzła:
• CPU:
2 x 8 x 2.00GHz
• RAM: 128GB
• Dyski:
3 dyski SATA
7200rpm
(~120MB/s)
2247 MB/s
4014 MB/s
5374 MB/s
7053 MB/s
9069 MB/s
0 GB/s
1 GB/s
2 GB/s
3 GB/s
4 GB/s
5 GB/s
6 GB/s
7 GB/s
8 GB/s
9 GB/s
10 GB/s
0 10 20 30 40 50
Przepustowość
Liczba węzłów
Skalowalność systemów Hadoop

8. Co jest modne w tym sezonie?
Gartner 2015 Hype Cycle
• Co się stało z Big Data?
• Teraz mówi się o IoT i
Machine Learning

9. Internet Rzeczy
• Tworzony przez urządzenia
‐ Potrafiące się komunikować
‐ Identyfikowalne
‐ Posiadające jakąś przydatną
cechę
• Wysyłane przez nie dane
możemy
‐ Analizować strumieniowo
‐ Zapisać w Chmurze
• Ale potrzebujemy
odpowiedniej architektury,
która umożliwi współpracę
wszystkich tych urządzeń

10. Uczenie maszynowe
• Niektórych problemów nie
potrafimy rozwiązać
algorytmicznie
‐ Rozpoznawanie obrazów
• W niektórych wypadkach
algorytm byłby
nieefektywny i/lub zbyt
skomplikowany
‐ Wykrywanie anomalii
• Nauczymy maszyny
rozwiazywania tego typu
problemów na podstawie
danych historycznych

11. Data Scientist – najseksowniejsza czy najnudniejsza praca w IT?
• „Data scientists need to find nuggets of truth in data and
then explain it to the business leaders”
Rchard Snee, EMC
• „Person who is better at statistic than any software
engineer and better at software engineering that any
statistician”
Josh Wills
• Współczesny Leonardo da Vinci który:
‐ Dostrzega problemy i ich możliwe rozwiązania
‐ Potrafi programować
‐ Ma solidny warsztat statystyczny
‐ Zna algorytmy uczenia maszynowego
‐ Potrafi przedstawić wyniki analiz użytkownikom biznesowym

12. Wymagane kwalifikacje
• Moja rada:
• Język używany przez ponad
2 miliony specjalistów
• Darmowy i otwarty
• Ponad 6,500
specjalistycznych bibliotek

13. Wykrywanie oszustw
• Naszym zadaniem jest
wytypowanie dostawców
podejrzanych o zawyżanie
rachunków
• Dysponujemy listą
rachunków
• Prawo Benforda pozwoli
nam ocenić
prawdopodobieństwo
występowania pierwszych
cyfr kwot rachunków
• Zastosowanie rozkładu Benforda
pomogło w wykryciu fałszerstw
dokonanych przez Jamesa
Nelsona, głównego księgowego i
zarządzającego Arizona State
Treasurer

14. Co dalej?
• Znajomość prawa Benforda można wykorzystać w praktyce...
• Jeżeli jednak:
‐ Potrafimy programować, lepiej poznać platformę IoT
‐ Interesują nas dane i znamy SQL, lepiej nauczyć się R i statystyki
‐ Lubimy i potrafimy rozmawiać z ludźmi, lepiej nauczyć się R i zasad wizualizacji danych
‐ Potrafimy zadawać właściwe pytania i fascynuje nas sztuczna inteligencja, lepiej
nauczyć się R i algorytmów ML
• O wszystkich tych tematach będziemy opowiadać na 8. edycji konferencji SQL
DAY, od 16 do 18 maja, we Wrocławiu
• marcin@sqlexpert.pl | www.linkedin.com/in/marcinszeliga