Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Zero, One, Many
Machine Learning in Produzione
Luca Palmieri
@algo_luca / LukeMathWalker
Gartner’s Hype Cycle
Ieri
Ieri
Oggi
Domani?
Come facciamo il salto
da Slope of enlightenment a Plateau of productivity?
Production
L’ambiente di produzione è dove gli utenti finali possono
interagire ed utilizzare un prodotto.
Production
L’ambiente di produzione è dove si genera valore.
Production - Zero to One
Problem definition Training Testing Production
Il deployment ha avuto successo?
Production - Zero to One
○ Quali sono le prestazioni del modello in produzione?
○ Le prestazioni sono costanti nel tempo o peggiorano progressivame...
Production - One to Many
Nessun prodotto nasce perfetto.
Production - One to Many
Se la prima versione ha successo,
gli utenti chiederanno una nuova versione con più funzionalità ...
Production - One to Many
Problem definition Training Testing Production
Il ML lifecycle si scontra con gli stessi ostacoli del Software lifecycle.
Referenze:
Accelerate: The Science of Lean Soft...
MLOps
MLOps (“machine learning” + “operationalization”)
is the practice of operationalizing and managing the lifecycle of ...
Le sfide:
● Reproducibility
● Change management
● Observability
MLOps
● Code: git, mercurial ✔ (or 🚧?)
● Environment: virtual machines, Docker ✔
● Data 🚧
Referenze:
I don’t like notebooks (Joe...
● Le prestazioni in fase di testing sono predittive delle prestazioni in produzione?
● A parità di prestazioni, quali sono...
● Quali sono le failure modes di un modello di ML?
● Quali metriche vanno monitorate per intervenire in modo tempestivo?
R...
MLOps è ancora agli esordi.
Moltissime domande restano ancora senza risposta.
Molti strumenti devono ancora essere svilupp...
In un mondo in cui tutti hanno adottato il Machine Learning,
la capacità di esecuzione diventa un vantaggio competitivo.
I...
Question time!
Luca Palmieri
@algo_luca / LukeMathWalker
Luca Palmieri
lpalmieri@truelayer.com
Funding: $35 milioni (Maggio 2019 / Serie C)
Nuovo ufficio in Italia (Roma/MIlano) [Se...
Upcoming SlideShare
Loading in …5
×

Zero, One, Many - Machine Learning in Produzione (Luca Palmieri)

55 views

Published on

Talk dal Meetup del Machine Learning / Data Science Meetup di Roma - Giugno 2019:
https://www.meetup.com/it-IT/Machine-Learning-Data-Science-Meetup/events/262120815/

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Zero, One, Many - Machine Learning in Produzione (Luca Palmieri)

  1. 1. Zero, One, Many Machine Learning in Produzione Luca Palmieri @algo_luca / LukeMathWalker
  2. 2. Gartner’s Hype Cycle
  3. 3. Ieri
  4. 4. Ieri
  5. 5. Oggi
  6. 6. Domani? Come facciamo il salto da Slope of enlightenment a Plateau of productivity?
  7. 7. Production L’ambiente di produzione è dove gli utenti finali possono interagire ed utilizzare un prodotto.
  8. 8. Production L’ambiente di produzione è dove si genera valore.
  9. 9. Production - Zero to One Problem definition Training Testing Production
  10. 10. Il deployment ha avuto successo? Production - Zero to One
  11. 11. ○ Quali sono le prestazioni del modello in produzione? ○ Le prestazioni sono costanti nel tempo o peggiorano progressivamente? ○ Quali sono i data points più ostici per il modello? ○ Quanto tempo ci vuole per generare una predizione? ○ Quanta potenza di calcolo e’ necessaria per servire la nostra utenza? Cosa succede se c’è un picco di traffico? [...] Production - Zero to One
  12. 12. Production - One to Many Nessun prodotto nasce perfetto.
  13. 13. Production - One to Many Se la prima versione ha successo, gli utenti chiederanno una nuova versione con più funzionalità o meno difetti. Se la prima versione e’ un fallimento, faremo un nuovo tentativo, provando una strada diversa.
  14. 14. Production - One to Many Problem definition Training Testing Production
  15. 15. Il ML lifecycle si scontra con gli stessi ostacoli del Software lifecycle. Referenze: Accelerate: The Science of Lean Software and Devops Production - One to Many
  16. 16. MLOps MLOps (“machine learning” + “operationalization”) is the practice of operationalizing and managing the lifecycle of ML in production. Source: www.mlops.org
  17. 17. Le sfide: ● Reproducibility ● Change management ● Observability MLOps
  18. 18. ● Code: git, mercurial ✔ (or 🚧?) ● Environment: virtual machines, Docker ✔ ● Data 🚧 Referenze: I don’t like notebooks (Joel Grus / JupyterCon 2018) If not notebooks, then what? (Joel Grus / AAAI 2019) Demystifying Docker for Data Scientists (Microsoft) Reproducibility
  19. 19. ● Le prestazioni in fase di testing sono predittive delle prestazioni in produzione? ● A parità di prestazioni, quali sono le differenze tra il vecchio e il nuovo modello? ● Come viene rilasciato il nuovo modello? Referenze: Machine Learning: The High Interest Credit Card of Technical Debt (Google AI / 2014) Machine Learning Logistics (MapR) Change management
  20. 20. ● Quali sono le failure modes di un modello di ML? ● Quali metriche vanno monitorate per intervenire in modo tempestivo? Referenze: Instrumentation, Observability & Monitoring of Machine Learning Models (Josh Willis / InfoQ 2019) Observability
  21. 21. MLOps è ancora agli esordi. Moltissime domande restano ancora senza risposta. Molti strumenti devono ancora essere sviluppati. In conclusione
  22. 22. In un mondo in cui tutti hanno adottato il Machine Learning, la capacità di esecuzione diventa un vantaggio competitivo. In conclusione
  23. 23. Question time! Luca Palmieri @algo_luca / LukeMathWalker
  24. 24. Luca Palmieri lpalmieri@truelayer.com Funding: $35 milioni (Maggio 2019 / Serie C) Nuovo ufficio in Italia (Roma/MIlano) [Settembre/Ottobre 2019] Accettiamo candidature! [ www.truelayer.workable.com ] - Machine Learning Engineer - Software Engineer - Product Manager

×