O Machine Learning ostatnio mówią wszyscy. Co chwila pojawiają się doniesienia o kolejnych zastosowaniach. Firmy z branży IT, od gigantów po start-upy, chwalą się wykorzystaniem algorytmów uczenia maszynowego w swoich produktach. Forbes pisze: "Machine Learning Will Change Economics". Prasa biznesowa zamieszcza poradniki dla prezesów "How Machine Learning And Big Data Can Boost Your Business". Profesor Tadeusiewicz z AGH, zamęczany po raz kolejny przez dziennikarzy o to, czy już mamy się bać, że komputery będą mądrzejsze od nas, odpowiada, że "lepsza sztuczna inteligencja niż naturalna głupota". Wydaje się więc, że to całkiem dobry moment, żeby dowiedzieć się, jakie są technologiczne podstawy tej gorączki i jak to wygląda z punktu widzenia programisty. W czasie prezentacji postaram się opowiedzieć skąd się wzięło tak wielkie zainteresowanie, czym jest Machine Learning i jakie są jego związki z Big Data, omówię matematyczne podstawy na przykładowym algorytmie i wyjaśnię podstawowe pojęcia stosowane przez data scientistów, a na koniec pokażę jak zbudować model i wykorzystać go w aplikacji, używając do tego open-source'owej platformy TAP (Trusted Analytics Platform) i zintegrowanego z nią systemu do Machine Learningu - również open-source'owego - H2O.Prezentacja jest przeznaczona dla początkujących i będę zaczynać od samej definicji Machine Learningu , więc jeśli ktoś już wykonuje ten okrzyknięty "The Sexiest Job of the 21st Century" zawód, jakim jest data scientist, to może się lekko nudzić, przynajmniej w pierwszej części prezentacji.

1. Dominika Puzio
Intel
Machine Learning dla programistów

2. Machine Learning Hype

3. Machine Learning Hype
Rosnąca ilość danych i potrzeba ich analizy i przetwarzania
Rosnąca moc obliczeniowa i coraz mniejszy koszt przetwarzania
danych:
• 40% spadek kosztu serwerów oraz
• 90% spadek kosztu storage’u w ciągu ostatniej dekady
• prawo Moore’a

4. Machine Learning Hype
Wielcy świata IT podgrzewają atmosferę

5. Machine Learning Hype - TensorFlow
09.11.2015: open-source release under Apache License 2.0

6. Machine Learning Hype – TensorFlow (Deep
Dream)

7. Machine Learning Hype – TensorFlow (Deep
Dream)

8. Machine Learning Hype – TensorFlow (Deep
Dream)

9. Machine Learning Hype – TensorFlow (Deep
Dream)

10. Machine Learning Hype – TensorFlow (Deep
Dream)
http://deepdreamgenerator.com/

11. Machine Learning Hype – AlphaGo
08.03.2016: AlphaGo wygrał 4:1 z Lee Se-dol, mistrzem świata w Go

12. Machine Learning Hype – AlphaGo, Tay
08.03.2016: AlphaGo wygrał 4:1 z Lee Se-dol, mistrzem świata w Go
23.03.2016: Microsoft uruchamia (i zamyka po 16h) Tay – bota Twitterowego,
który miał się uczyć z konwersacji z użytkownikami Twittera

13. Teoria

14. Machine Learning - definicja
„Giving a computer ability to learn, without being explicitly
programmed.”
Arthur Lee Samuel, 1959

15. Machine Learning - definicja
„Giving a computer ability to learn, without being explicitly
programmed.”
Arthur Lee Samuel, 1959
Machine learning explores the study and construction of
algorithms that can learn from and make predictions on data.

16. Machine Learning - definicja
„Giving a computer ability to learn, without being explicitly
programmed.”
Arthur Lee Samuel, 1959
Machine learning explores the study and construction of
algorithms that can learn from and make predictions on data.
Such algorithms operate by building a model from example inputs
in order to make data-driven predictions or decisions expressed as
outputs, rather than following strictly static program instructions.

17. Machine Learning
Domain
Expertise
Data
Processing
Statistical
Reasearch
Data
Science
Machine
Learning

18. Machine Learning – przykładowe zadanie

19. Machine Learning – przykładowe zadanie
Rozpoznawanie gatunku irysa:
Iris virginica Iris versicolor Iris setosa

20. Machine Learning – przykładowe zadanie
Rozpoznawanie gatunku irysa:

21. Machine Learning – czym jest model

22. Machine Learning – czym jest model
To zależy od algorytmu:
• Wzór matematyczny (lub wiele wzorów: GLM)
• Drzewo decyzyjne (lub wiele drzew: RF, GBM)
• Sieć neuronowa (ANN)
• Wiele warstw sieci neuronowych (Deep Learning)

23. Przykładowy algorytm
Drzewo decyzyjne zbudowane algorytmem ID3 (Iterative Dichotomiser 3)

24. ID3 – problem do rozwiązania
Dane zebrane w ankiecie ulicznej:
Źródło: http://people.revoledu.com/kardi/tutorial/DecisionTree/index.html

25. ID3 – problem do rozwiązania
Jaki środek transportu wybierze osoba:
Gender Car ownership Travel cost ($)/km Income Level Transportation mode
Female 1 Cheap High ?

26. Wynikowe drzewo decyzyjne

27. ID3 – budowanie drzewa
1. Wybieramy atrybut, który daje największy przyrost informacji
2. Wstawiamy go do drzewa jako kolejny wierzchołek
3. Usuwany atrybut ze zbioru danych treningowych
4. Wracamy do punktu 1

28. Zawartość informacyjna zbioru danych
Entropia – miara różnorodności (impurity) zbioru
𝑝𝑗 − 𝑝𝑟𝑎𝑤𝑑𝑜𝑝𝑜𝑑𝑜𝑏𝑖𝑒ń𝑠𝑡𝑤𝑜 𝑤𝑦𝑠𝑡ą𝑝𝑖𝑒𝑛𝑖𝑎 𝑒𝑙𝑒𝑚𝑒𝑛𝑡𝑢 𝑗
𝐸𝑛𝑡𝑟𝑜𝑝𝑖𝑎 =
𝑗
−𝑝𝑗 log2 𝑝𝑗

29. Entropia zbioru klas
𝐸(𝑆) = −
4
10
log2
4
10
−
3
10
log2
3
10
−
3
10
log2
3
10

30. Entropia zbioru klas
𝐸(𝑆) = −
4
10
log2
4
10
−
3
10
log2
3
10
−
3
10
log2
3
10
=1.571

31. ID3 – przyrost informacji dla atrybutu
𝐼(𝐴) = 𝐸 𝑆 ...
𝐼 𝐴 − 𝑝𝑟𝑧𝑦𝑟𝑜𝑠𝑡 𝑖𝑛𝑓𝑜𝑟𝑚𝑎𝑐𝑗𝑖 𝑧 𝑎𝑡𝑟𝑦𝑏𝑢𝑡𝑢 𝐴
𝐸 𝑆 − 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑧𝑏𝑖𝑜𝑟𝑢 𝑘𝑙𝑎𝑠 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒 𝑡𝑟𝑒𝑛𝑖𝑛𝑔𝑜𝑤𝑦𝑚

32. ID3 – przyrost informacji dla atrybutu
𝐼(𝐴) = 𝐸 𝑆 −
𝐴 𝑖
𝐸 𝐴𝑖 …
𝐼 𝐴 − 𝑝𝑟𝑧𝑦𝑟𝑜𝑠𝑡 𝑖𝑛𝑓𝑜𝑟𝑚𝑎𝑐𝑗𝑖 𝑧 𝑎𝑡𝑟𝑦𝑏𝑢𝑡𝑢 𝐴
𝐸 𝑆 − 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑧𝑏𝑖𝑜𝑟𝑢 𝑘𝑙𝑎𝑠 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒 𝑡𝑟𝑒𝑛𝑖𝑛𝑔𝑜𝑤𝑦𝑚
𝐴𝑖 − 𝑝𝑜𝑑𝑧𝑏𝑖ó𝑟 𝑧𝑏𝑖𝑜𝑟𝑢 𝑡𝑟𝑒𝑛𝑖𝑛𝑔𝑜𝑤𝑒𝑔𝑜, 𝑤 𝑘𝑡ó𝑟𝑦𝑚 𝑤𝑎𝑟𝑡𝑜ść 𝑎𝑡𝑟𝑦𝑏𝑢𝑡𝑢 𝐴 𝑤𝑦𝑛𝑜𝑠𝑖 𝑖
𝐸 𝐴𝑖 − 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑧𝑏𝑖𝑜𝑟𝑢 𝑘𝑙𝑎𝑠 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒 𝐴𝑖

33. ID3 – przyrost informacji dla atrybutu

34. ID3 – przyrost informacji dla atrybutu
𝐼 𝐴 − 𝑝𝑟𝑧𝑦𝑟𝑜𝑠𝑡 𝑖𝑛𝑓𝑜𝑟𝑚𝑎𝑐𝑗𝑖 𝑧 𝑎𝑡𝑟𝑦𝑏𝑢𝑡𝑢 𝐴
𝐸 𝑆 − 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑧𝑏𝑖𝑜𝑟𝑢 𝑘𝑙𝑎𝑠 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒 𝑡𝑟𝑒𝑛𝑖𝑛𝑔𝑜𝑤𝑦𝑚
𝐴𝑖 − 𝑝𝑜𝑑𝑧𝑏𝑖ó𝑟 𝑧𝑏𝑖𝑜𝑟𝑢 𝑡𝑟𝑒𝑛𝑖𝑛𝑔𝑜𝑤𝑒𝑔𝑜, 𝑤 𝑘𝑡ó𝑟𝑦𝑚 𝑤𝑎𝑟𝑡𝑜ść 𝑎𝑡𝑟𝑦𝑏𝑢𝑡𝑢 𝐴 𝑤𝑦𝑛𝑜𝑠𝑖 𝑖
𝐸 𝐴𝑖 − 𝑒𝑛𝑡𝑟𝑜𝑝𝑖𝑎 𝑧𝑏𝑖𝑜𝑟𝑢 𝑘𝑙𝑎𝑠 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒 𝐴𝑖
𝑘 − 𝑙𝑖𝑐𝑧𝑏𝑎 𝑤𝑖𝑒𝑟𝑠𝑧𝑦 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒𝐴𝑖
𝑁 − 𝑙𝑖𝑐𝑧𝑏𝑎 𝑤𝑖𝑒𝑟𝑠𝑧𝑦 𝑤 𝑧𝑏𝑖𝑜𝑟𝑧𝑒 𝑡𝑟𝑒𝑛𝑖𝑛𝑔𝑜𝑤𝑦𝑚
𝐼(𝐴) = 𝐸 𝑆 −
𝐴 𝑖
𝑘
𝑁
𝐸(𝐴𝑖)

35. ID3 – szukamy atrybutu na pierwszy wierzchołek

36. ID3 – szukamy atrybutu na pierwszy wierzchołek

37. ID3 – szukamy atrybutu na pierwszy wierzchołek

38. ID3 – szukamy atrybutu na pierwszy wierzchołek
𝐸 = −
4
5
log2
4
5
−
1
5
log2
1
5
= 0.722

39. ID3 – szukamy atrybutu na pierwszy wierzchołek
𝐸 = −
4
5
log2
4
5
−
1
5
log2
1
5
= 0.722 𝐸 = 0 𝐸 = 0

40. ID3 – szukamy atrybutu na pierwszy wierzchołek
𝐸 = −
4
5
log2
4
5
−
1
5
log2
1
5
= 0.722 𝐸 = 0 𝐸 = 0
𝐼𝑡𝑟𝑎𝑣𝑒𝑙_𝑐𝑜𝑠𝑡 = 1.571 −
5
10
∗ 0.722 +
3
10
∗ 0 +
2
10
∗ 0 = 1.210

41. ID3 – szukamy atrybutu na pierwszy wierzchołek
Wybieramy atrybut dający największy przyrost informacji:

42. ID3 – szukamy atrybutu na pierwszy wierzchołek
Wybieramy atrybut dający największy przyrost informacji:

43. ID3 – budujemy drzewo

44. ID3 – budujemy drzewo

45. ID3 – budujemy drzewo

46. ID3 – budujemy drzewo

47. ID3 – budujemy drzewo

48. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 1

49. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 1
𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322

50. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 1
𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322

51. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 0𝐸 = 1
𝐸 = 0.918
𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322

52. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 0𝐸 = 1
𝐸 = 0.918
𝐼 𝐶𝑎𝑟_𝑜𝑤𝑛𝑒𝑟𝑠ℎ𝑖𝑝 = 0.171𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322

53. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 0𝐸 = 1
𝐸 = 0.918
𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322 𝐼 𝐶𝑎𝑟_𝑜𝑤𝑛𝑒𝑟𝑠ℎ𝑖𝑝 = 0.171

54. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 0 𝐸 = 0𝐸 = 1
𝐸 = 0.918 𝐸 = 0.918
𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322 𝐼 𝐶𝑎𝑟_𝑜𝑤𝑛𝑒𝑟𝑠ℎ𝑖𝑝 = 0.171

55. ID3 – budujemy drzewo
𝐸 = 0
𝐸 = 0 𝐸 = 0𝐸 = 1
𝐸 = 0.918 𝐸 = 0.918
𝐼 𝐺𝑒𝑛𝑑𝑒𝑟 = 0.322 𝐼 𝐶𝑎𝑟_𝑜𝑤𝑛𝑒𝑟𝑠ℎ𝑖𝑝 = 0.171 𝐼𝐼𝑛𝑐𝑜𝑚𝑒_𝑙𝑒𝑣𝑒𝑙 = 0.171

56. ID3 – budujemy drzewo

57. ID3 – budujemy drzewo

58. Drzewo wynikowe

59. Drzewo decyzyjne – atrybuty o wartościach
ciągłych
Iris data set

60. Obserwacje na temat pracy Data
Scientista

61. Zadania Data Scientista

62. Zadania Data Scientista
• Wybór odpowiednich atrybutów

63. Zadania Data Scientista
• Wybór odpowiednich atrybutów
• Wybór odpowiedniego algorytmu

64. Zadania Data Scientista
• Wybór odpowiednich atrybutów
• Wybór odpowiedniego algorytmu
• Dobór parametrów algorytmu

65. Zadania Data Scientista
• Wybór odpowiednich atrybutów
• Wybór odpowiedniego algorytmu
• Dobór parametrów algorytmu
• Ocena jakości wygenerowanego modelu

66. H2O on TAP

67. H2O

68. H2O
Źródło: https://www.thoughtworks.com/radar/platforms

69. TAP – Trusted Analytics Platform
Trusted Analytics Platform (TAP) is open source software, optimized for
performance and security, that accelerates the creation of cloud-native
applications driven by Big Data Analytics.

70. TAP – Trusted Analytics Platform
Trusted Analytics Platform (TAP) is open source software, optimized for
performance and security, that accelerates the creation of cloud-native
applications driven by Big Data Analytics.
TAP makes it easier for developers and data scientists to collaborate by
providing a shared, flexible environment for advanced analytics in public and
private clouds.

71. TAP – Trusted Analytics Platform

72. TAP – Trusted Analytics Platform
YARN HDFS
Zookeeper Hive
Hbase
Hue
Kafka

73. H2O on TAP
TAP UI YARN

74. H2O on TAP
TAP UI YARN
server

75. H2O on TAP
TAP UI YARN
server

76. Demo

77. TAP
http://trustedanalytics.org/
https://github.com/trustedanalytics