SlideShare a Scribd company logo
Data Science a MLOps
v prostředí cloudu
Tomáš Karella Září 2020
2
Osnova
› Jak závodit s modelem?
› Intro do cloudu
› Technický mini úvod
› Z praxe
3
Motivace
› Víte, jak matematik vaří vodu na čaj? Vezme rychlovarnou konvici
a podívá se, jestli je v ní voda. Když zjistí, že je prázdná, nalije do
konvice vodu a zapne konvici. Pokud tam voda byla, tak ji vyleje a tím
převede situaci na předchozí případ.
› Nechceme vyvíjet…
Le Mans & Data Science
5
Automobilová analogie
› Hledáme auto, které zajede nejdelší dráhu za 24 hodin.
› Hledáme model, který nejlépe popisuje data.
6
Jak vyvíjet
závodní
automobil?
Jak závodit
s DS modelem
8
Jak závodit s DS modelem?
Vytvoření
a trénování
Archivace
Ohodnocení
Nasazení
Monitorování
Cloud jako
Pit Stop Team
10
Proč závodit s cloudem?
› Využijeme už připravených nástrojů
› Většinu zdrojů potřebují i ostatní závodníci a nejen
našeho závodu
› Můžeme si krátkodobě pronajímat velké zdroje
› Přenositelnost z cloudu na vlastní systémy
Intro do cloudu
12
Cloud
1. Efficiency / cost reduction
2. Basic data security
3. Scalability
4. Mobility
5. Disaster recovery
6. Control
7. Competitive edge
13
Microsoft Azure
Technický mini úvod
15
Big Data Evolution
16
Databricks
› Platform-as-a-Service
› Podpora Spark
› Odstíněno od infrastruktury
› Připravené nástroje
17
Radosti a strasti na Databricks?

› Libovolný hardware
› Škálovatelnost
› Nezávislé instance
› Azure integrace
› Automatické vypnutí

› Realtime systémy
› Omezená variabilita
› Stabilita
18
MLFLOW
› „An open source platform for the machine learning lifecycle“
19
Radosti a strasti na MLFlow

› Jednoduchá správa modelů
› Sledování metrik
› Vizualizace
› Obecné
› Přibývají funkce

› Občas komunitní kód
› Občas bugy
20
MLFlow Experiment
Household detection
v Azure
22
Household detection
› Jak funguje naše Household detection?
– Vybrat potenciální páry
– Připravit model predikující, zda pár žije ve stejné domácnosti
– Vystavit model pro další použití
23
Household na Azure
› Úložiště
– Raw data
– Připravené features
› Databricks
– Preprocessing
– Vývoj modelu
– Zálohování modelu
› Výsledný model
– Testovací rozhraní
– Produkční rozhraní
24
Vývoj
25
Vývoj podle softwarového inženýrství
› Společný kód zabalen v Python balíčku
› Naše automatizované rozhraní
– Preprocessing dat
– Trénování
– Deployment na testovací prostředí
– Deployment na produkční prostředí
26
Shrnutí
› Dodržovat principy MLOps má smysl ať vyvíjíte cokoliv.
› Vývoj modelů typu Household detection v cloudu
přinese značné ulehčení.
› Databricks vám bezbolestně umožní práci
s velkými daty i bez vlastní infrastruktury.
27
Diskuze
Profinit EU, s.r.o.
Tychonova 2, 160 00 Prague 6 | Phone + 420 224 316 016
Web
www.profinit.eu
LinkedIn
linkedin.com/company/profinit
Twitter
twitter.com/Profinit_EU
Facebook
facebook.com/Profinit.EU
Youtube
Profinit EU
Děkujeme za pozornost!
bigdataforbanking.com

More Related Content

Similar to Data Science a MLOps v prostředí cloudu

2020: AutoML, aneb nahradí roboti analytiky?
2020: AutoML, aneb nahradí roboti analytiky?2020: AutoML, aneb nahradí roboti analytiky?
2020: AutoML, aneb nahradí roboti analytiky?
Taste Medio
 
Odborná snídaně: Datový sklad jako Perpetuum Mobile
Odborná snídaně: Datový sklad jako Perpetuum MobileOdborná snídaně: Datový sklad jako Perpetuum Mobile
Odborná snídaně: Datový sklad jako Perpetuum Mobile
Profinit
 
Migrace na windows azure
Migrace na windows azureMigrace na windows azure
Migrace na windows azure
KenticoDominikP
 
TNPW2-2014-06
TNPW2-2014-06TNPW2-2014-06
TNPW2-2014-06
Lukáš Vacek
 
2019 09-23-snidane qa-public
2019 09-23-snidane qa-public2019 09-23-snidane qa-public
2019 09-23-snidane qa-public
Profinit
 
Profinit: Prezentace snídaně integrace aplikací 2016
Profinit: Prezentace snídaně integrace aplikací 2016Profinit: Prezentace snídaně integrace aplikací 2016
Profinit: Prezentace snídaně integrace aplikací 2016
Profinit
 
Big data v infrastruktuře
Big data v infrastruktuřeBig data v infrastruktuře
Big data v infrastruktuře
Kamil Brzak
 
2019 03-20 snidane-serie-kuchyne-full
2019 03-20 snidane-serie-kuchyne-full2019 03-20 snidane-serie-kuchyne-full
2019 03-20 snidane-serie-kuchyne-full
Profinit
 
TNPW2-2016-06
TNPW2-2016-06TNPW2-2016-06
TNPW2-2016-06
Lukáš Vacek
 
Ldo lundegaard in_da_cloud - Tomáš Zajíček
Ldo lundegaard in_da_cloud - Tomáš ZajíčekLdo lundegaard in_da_cloud - Tomáš Zajíček
Ldo lundegaard in_da_cloud - Tomáš Zajíček
Asociace.BIZ - Asociace dodavatelů internetových řešení, o.s.
 
node.js: zápisky z fronty (Battle guide to node.js)
node.js: zápisky z fronty (Battle guide to node.js)node.js: zápisky z fronty (Battle guide to node.js)
node.js: zápisky z fronty (Battle guide to node.js)
almadcz
 
Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku
Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku
Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku
Michal Černý
 
ORM Designer: Speed up your ORM development
ORM Designer: Speed up your ORM developmentORM Designer: Speed up your ORM development
ORM Designer: Speed up your ORM development
BrnoPHP
 
AWS spot instances
AWS spot instancesAWS spot instances
AWS spot instances
Collabim
 
App Engine Kick Start
App Engine Kick StartApp Engine Kick Start
App Engine Kick Start
Tomáš Zvěřina
 
Ondřej Hlaváček: Životní cyklus featury
Ondřej Hlaváček: Životní cyklus featuryOndřej Hlaváček: Životní cyklus featury
Ondřej Hlaváček: Životní cyklus featury
Develcz
 
Podoba firemního it v době SaaS
Podoba firemního it v době SaaSPodoba firemního it v době SaaS
Podoba firemního it v době SaaS
Kukis99
 

Similar to Data Science a MLOps v prostředí cloudu (17)

2020: AutoML, aneb nahradí roboti analytiky?
2020: AutoML, aneb nahradí roboti analytiky?2020: AutoML, aneb nahradí roboti analytiky?
2020: AutoML, aneb nahradí roboti analytiky?
 
Odborná snídaně: Datový sklad jako Perpetuum Mobile
Odborná snídaně: Datový sklad jako Perpetuum MobileOdborná snídaně: Datový sklad jako Perpetuum Mobile
Odborná snídaně: Datový sklad jako Perpetuum Mobile
 
Migrace na windows azure
Migrace na windows azureMigrace na windows azure
Migrace na windows azure
 
TNPW2-2014-06
TNPW2-2014-06TNPW2-2014-06
TNPW2-2014-06
 
2019 09-23-snidane qa-public
2019 09-23-snidane qa-public2019 09-23-snidane qa-public
2019 09-23-snidane qa-public
 
Profinit: Prezentace snídaně integrace aplikací 2016
Profinit: Prezentace snídaně integrace aplikací 2016Profinit: Prezentace snídaně integrace aplikací 2016
Profinit: Prezentace snídaně integrace aplikací 2016
 
Big data v infrastruktuře
Big data v infrastruktuřeBig data v infrastruktuře
Big data v infrastruktuře
 
2019 03-20 snidane-serie-kuchyne-full
2019 03-20 snidane-serie-kuchyne-full2019 03-20 snidane-serie-kuchyne-full
2019 03-20 snidane-serie-kuchyne-full
 
TNPW2-2016-06
TNPW2-2016-06TNPW2-2016-06
TNPW2-2016-06
 
Ldo lundegaard in_da_cloud - Tomáš Zajíček
Ldo lundegaard in_da_cloud - Tomáš ZajíčekLdo lundegaard in_da_cloud - Tomáš Zajíček
Ldo lundegaard in_da_cloud - Tomáš Zajíček
 
node.js: zápisky z fronty (Battle guide to node.js)
node.js: zápisky z fronty (Battle guide to node.js)node.js: zápisky z fronty (Battle guide to node.js)
node.js: zápisky z fronty (Battle guide to node.js)
 
Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku
Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku
Nástroje pro vizualizaci a analýzu dat (nejen) ve fyzikální praktiku
 
ORM Designer: Speed up your ORM development
ORM Designer: Speed up your ORM developmentORM Designer: Speed up your ORM development
ORM Designer: Speed up your ORM development
 
AWS spot instances
AWS spot instancesAWS spot instances
AWS spot instances
 
App Engine Kick Start
App Engine Kick StartApp Engine Kick Start
App Engine Kick Start
 
Ondřej Hlaváček: Životní cyklus featury
Ondřej Hlaváček: Životní cyklus featuryOndřej Hlaváček: Životní cyklus featury
Ondřej Hlaváček: Životní cyklus featury
 
Podoba firemního it v době SaaS
Podoba firemního it v době SaaSPodoba firemního it v době SaaS
Podoba firemního it v době SaaS
 

More from Profinit

Reference Data Management
Reference Data ManagementReference Data Management
Reference Data Management
Profinit
 
Cloud in examples—(how to) benefit from modern technologies in the cloud
Cloud in examples—(how to) benefit from modern technologies in the cloudCloud in examples—(how to) benefit from modern technologies in the cloud
Cloud in examples—(how to) benefit from modern technologies in the cloud
Profinit
 
Building big data pipelines—lessons learned
Building big data pipelines—lessons learnedBuilding big data pipelines—lessons learned
Building big data pipelines—lessons learned
Profinit
 
Understand your data dependencies – Key enabler to efficient modernisation
 Understand your data dependencies – Key enabler to efficient modernisation  Understand your data dependencies – Key enabler to efficient modernisation
Understand your data dependencies – Key enabler to efficient modernisation
Profinit
 
Propensity Modelling for Banks
Propensity Modelling for BanksPropensity Modelling for Banks
Propensity Modelling for Banks
Profinit
 
Legacy systems modernisation
Legacy systems modernisationLegacy systems modernisation
Legacy systems modernisation
Profinit
 
Automating Data Lakes, Data Warehouses and Data Stores
Automating Data Lakes, Data Warehouses and Data StoresAutomating Data Lakes, Data Warehouses and Data Stores
Automating Data Lakes, Data Warehouses and Data Stores
Profinit
 
4 Steps Towards Data Transparency
4 Steps Towards Data Transparency4 Steps Towards Data Transparency
4 Steps Towards Data Transparency
Profinit
 
Software systems modernisation
Software systems modernisationSoftware systems modernisation
Software systems modernisation
Profinit
 
Detekce sociálních vazeb: domácnosti a přátelé
Detekce sociálních vazeb: domácnosti a přáteléDetekce sociálních vazeb: domácnosti a přátelé
Detekce sociálních vazeb: domácnosti a přátelé
Profinit
 
Výsledky backtestu propensitního modelu
Výsledky backtestu propensitního modeluVýsledky backtestu propensitního modelu
Výsledky backtestu propensitního modelu
Profinit
 
Propensitní modelování
Propensitní modelováníPropensitní modelování
Propensitní modelování
Profinit
 
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...Profinit Webinar: Benefits of Software Systems Modernization over their Repla...
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...
Profinit
 
Profinit webinar: Instalment Detector
Profinit webinar: Instalment DetectorProfinit webinar: Instalment Detector
Profinit webinar: Instalment Detector
Profinit
 
Profinit_snidane_DWH_22_10_2019_publish
Profinit_snidane_DWH_22_10_2019_publishProfinit_snidane_DWH_22_10_2019_publish
Profinit_snidane_DWH_22_10_2019_publish
Profinit
 
Matedatový sklad
Matedatový skladMatedatový sklad
Matedatový sklad
Profinit
 
Projekt Bitcoinová burza Coinmate
Projekt Bitcoinová burza CoinmateProjekt Bitcoinová burza Coinmate
Projekt Bitcoinová burza Coinmate
Profinit
 
Projekt Edenred Cafeteria
Projekt Edenred CafeteriaProjekt Edenred Cafeteria
Projekt Edenred Cafeteria
Profinit
 
20180321 profinit zpracovani velkych_dat_v_praxi
20180321 profinit zpracovani velkych_dat_v_praxi20180321 profinit zpracovani velkych_dat_v_praxi
20180321 profinit zpracovani velkych_dat_v_praxi
Profinit
 
20180201 3 detekce domácnosti v telekomunikacich
20180201 3 detekce domácnosti v telekomunikacich20180201 3 detekce domácnosti v telekomunikacich
20180201 3 detekce domácnosti v telekomunikacich
Profinit
 

More from Profinit (20)

Reference Data Management
Reference Data ManagementReference Data Management
Reference Data Management
 
Cloud in examples—(how to) benefit from modern technologies in the cloud
Cloud in examples—(how to) benefit from modern technologies in the cloudCloud in examples—(how to) benefit from modern technologies in the cloud
Cloud in examples—(how to) benefit from modern technologies in the cloud
 
Building big data pipelines—lessons learned
Building big data pipelines—lessons learnedBuilding big data pipelines—lessons learned
Building big data pipelines—lessons learned
 
Understand your data dependencies – Key enabler to efficient modernisation
 Understand your data dependencies – Key enabler to efficient modernisation  Understand your data dependencies – Key enabler to efficient modernisation
Understand your data dependencies – Key enabler to efficient modernisation
 
Propensity Modelling for Banks
Propensity Modelling for BanksPropensity Modelling for Banks
Propensity Modelling for Banks
 
Legacy systems modernisation
Legacy systems modernisationLegacy systems modernisation
Legacy systems modernisation
 
Automating Data Lakes, Data Warehouses and Data Stores
Automating Data Lakes, Data Warehouses and Data StoresAutomating Data Lakes, Data Warehouses and Data Stores
Automating Data Lakes, Data Warehouses and Data Stores
 
4 Steps Towards Data Transparency
4 Steps Towards Data Transparency4 Steps Towards Data Transparency
4 Steps Towards Data Transparency
 
Software systems modernisation
Software systems modernisationSoftware systems modernisation
Software systems modernisation
 
Detekce sociálních vazeb: domácnosti a přátelé
Detekce sociálních vazeb: domácnosti a přáteléDetekce sociálních vazeb: domácnosti a přátelé
Detekce sociálních vazeb: domácnosti a přátelé
 
Výsledky backtestu propensitního modelu
Výsledky backtestu propensitního modeluVýsledky backtestu propensitního modelu
Výsledky backtestu propensitního modelu
 
Propensitní modelování
Propensitní modelováníPropensitní modelování
Propensitní modelování
 
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...Profinit Webinar: Benefits of Software Systems Modernization over their Repla...
Profinit Webinar: Benefits of Software Systems Modernization over their Repla...
 
Profinit webinar: Instalment Detector
Profinit webinar: Instalment DetectorProfinit webinar: Instalment Detector
Profinit webinar: Instalment Detector
 
Profinit_snidane_DWH_22_10_2019_publish
Profinit_snidane_DWH_22_10_2019_publishProfinit_snidane_DWH_22_10_2019_publish
Profinit_snidane_DWH_22_10_2019_publish
 
Matedatový sklad
Matedatový skladMatedatový sklad
Matedatový sklad
 
Projekt Bitcoinová burza Coinmate
Projekt Bitcoinová burza CoinmateProjekt Bitcoinová burza Coinmate
Projekt Bitcoinová burza Coinmate
 
Projekt Edenred Cafeteria
Projekt Edenred CafeteriaProjekt Edenred Cafeteria
Projekt Edenred Cafeteria
 
20180321 profinit zpracovani velkych_dat_v_praxi
20180321 profinit zpracovani velkych_dat_v_praxi20180321 profinit zpracovani velkych_dat_v_praxi
20180321 profinit zpracovani velkych_dat_v_praxi
 
20180201 3 detekce domácnosti v telekomunikacich
20180201 3 detekce domácnosti v telekomunikacich20180201 3 detekce domácnosti v telekomunikacich
20180201 3 detekce domácnosti v telekomunikacich
 

Data Science a MLOps v prostředí cloudu