Prezentace z pracovní snídaně Sociální scoring a predikce úvěrů, 10. 09. 2020

1. Data Science a MLOps
v prostředí cloudu
Tomáš Karella Září 2020

2. 2
Osnova
› Jak závodit s modelem?
› Intro do cloudu
› Technický mini úvod
› Z praxe

3. 3
Motivace
› Víte, jak matematik vaří vodu na čaj? Vezme rychlovarnou konvici
a podívá se, jestli je v ní voda. Když zjistí, že je prázdná, nalije do
konvice vodu a zapne konvici. Pokud tam voda byla, tak ji vyleje a tím
převede situaci na předchozí případ.
› Nechceme vyvíjet…

4. Le Mans & Data Science

5. 5
Automobilová analogie
› Hledáme auto, které zajede nejdelší dráhu za 24 hodin.
› Hledáme model, který nejlépe popisuje data.

6. 6
Jak vyvíjet
závodní
automobil?

7. Jak závodit
s DS modelem

8. 8
Jak závodit s DS modelem?
Vytvoření
a trénování
Archivace
Ohodnocení
Nasazení
Monitorování

9. Cloud jako
Pit Stop Team

10. 10
Proč závodit s cloudem?
› Využijeme už připravených nástrojů
› Většinu zdrojů potřebují i ostatní závodníci a nejen
našeho závodu
› Můžeme si krátkodobě pronajímat velké zdroje
› Přenositelnost z cloudu na vlastní systémy

11. Intro do cloudu

12. 12
Cloud
1. Efficiency / cost reduction
2. Basic data security
3. Scalability
4. Mobility
5. Disaster recovery
6. Control
7. Competitive edge

13. 13
Microsoft Azure

14. Technický mini úvod

15. 15
Big Data Evolution

16. 16
Databricks
› Platform-as-a-Service
› Podpora Spark
› Odstíněno od infrastruktury
› Připravené nástroje

17. 17
Radosti a strasti na Databricks?

› Libovolný hardware
› Škálovatelnost
› Nezávislé instance
› Azure integrace
› Automatické vypnutí

› Realtime systémy
› Omezená variabilita
› Stabilita

18. 18
MLFLOW
› „An open source platform for the machine learning lifecycle“

19. 19
Radosti a strasti na MLFlow

› Jednoduchá správa modelů
› Sledování metrik
› Vizualizace
› Obecné
› Přibývají funkce

› Občas komunitní kód
› Občas bugy

20. 20
MLFlow Experiment

21. Household detection
v Azure

22. 22
Household detection
› Jak funguje naše Household detection?
– Vybrat potenciální páry
– Připravit model predikující, zda pár žije ve stejné domácnosti
– Vystavit model pro další použití

23. 23
Household na Azure
› Úložiště
– Raw data
– Připravené features
› Databricks
– Preprocessing
– Vývoj modelu
– Zálohování modelu
› Výsledný model
– Testovací rozhraní
– Produkční rozhraní

24. 24
Vývoj

25. 25
Vývoj podle softwarového inženýrství
› Společný kód zabalen v Python balíčku
› Naše automatizované rozhraní
– Preprocessing dat
– Trénování
– Deployment na testovací prostředí
– Deployment na produkční prostředí

26. 26
Shrnutí
› Dodržovat principy MLOps má smysl ať vyvíjíte cokoliv.
› Vývoj modelů typu Household detection v cloudu
přinese značné ulehčení.
› Databricks vám bezbolestně umožní práci
s velkými daty i bez vlastní infrastruktury.

27. 27
Diskuze

28. Profinit EU, s.r.o.
Tychonova 2, 160 00 Prague 6 | Phone + 420 224 316 016
Web
www.profinit.eu
LinkedIn
linkedin.com/company/profinit
Twitter
twitter.com/Profinit_EU
Facebook
facebook.com/Profinit.EU
Youtube
Profinit EU
Děkujeme za pozornost!
bigdataforbanking.com