Il documento esplora il ciclo di vita del machine learning in produzione, evidenziando la transizione dalla fase di lancio alla massimizzazione della produttività. Si discutono le sfide legate all'MLOps, come la riproducibilità, la gestione dei cambiamenti e l'osservabilità, sottolineando l'importanza dell'esecuzione come vantaggio competitivo. Infine, il documento invita a riflettere sulle domande aperte nel campo dell'MLOps e annuncia nuove assunzioni in Truelayer.

1. Zero, One, Many
Machine Learning in Produzione
Luca Palmieri
@algo_luca / LukeMathWalker

2. Gartner’s Hype Cycle

3. Ieri

4. Ieri

5. Oggi

6. Domani?
Come facciamo il salto
da Slope of enlightenment a Plateau of productivity?

7. Production
L’ambiente di produzione è dove gli utenti finali possono
interagire ed utilizzare un prodotto.

8. Production
L’ambiente di produzione è dove si genera valore.

9. Production - Zero to One
Problem definition Training Testing Production

10. Il deployment ha avuto successo?
Production - Zero to One

11. ○ Quali sono le prestazioni del modello in produzione?
○ Le prestazioni sono costanti nel tempo o peggiorano progressivamente?
○ Quali sono i data points più ostici per il modello?
○ Quanto tempo ci vuole per generare una predizione?
○ Quanta potenza di calcolo e’ necessaria per servire la nostra utenza?
Cosa succede se c’è un picco di traffico?
[...]
Production - Zero to One

12. Production - One to Many
Nessun prodotto nasce perfetto.

13. Production - One to Many
Se la prima versione ha successo,
gli utenti chiederanno una nuova versione con più funzionalità o meno difetti.
Se la prima versione e’ un fallimento,
faremo un nuovo tentativo, provando una strada diversa.

14. Production - One to Many
Problem definition Training Testing Production

15. Il ML lifecycle si scontra con gli stessi ostacoli del Software lifecycle.
Referenze:
Accelerate: The Science of Lean Software and Devops
Production - One to Many

16. MLOps
MLOps (“machine learning” + “operationalization”)
is the practice of operationalizing and managing the lifecycle of ML in production.
Source: www.mlops.org

17. Le sfide:
● Reproducibility
● Change management
● Observability
MLOps

18. ● Code: git, mercurial ✔ (or 🚧?)
● Environment: virtual machines, Docker ✔
● Data 🚧
Referenze:
I don’t like notebooks (Joel Grus / JupyterCon 2018)
If not notebooks, then what? (Joel Grus / AAAI 2019)
Demystifying Docker for Data Scientists (Microsoft)
Reproducibility

19. ● Le prestazioni in fase di testing sono predittive delle prestazioni in produzione?
● A parità di prestazioni, quali sono le differenze tra il vecchio e il nuovo modello?
● Come viene rilasciato il nuovo modello?
Referenze:
Machine Learning: The High Interest Credit Card of Technical Debt (Google AI / 2014)
Machine Learning Logistics (MapR)
Change management

20. ● Quali sono le failure modes di un modello di ML?
● Quali metriche vanno monitorate per intervenire in modo tempestivo?
Referenze:
Instrumentation, Observability & Monitoring of Machine Learning Models (Josh Willis / InfoQ 2019)
Observability

21. MLOps è ancora agli esordi.
Moltissime domande restano ancora senza risposta.
Molti strumenti devono ancora essere sviluppati.
In conclusione

22. In un mondo in cui tutti hanno adottato il Machine Learning,
la capacità di esecuzione diventa un vantaggio competitivo.
In conclusione

23. Question time!
Luca Palmieri
@algo_luca / LukeMathWalker

24. Luca Palmieri
lpalmieri@truelayer.com
Funding: $35 milioni (Maggio 2019 / Serie C)
Nuovo ufficio in Italia (Roma/MIlano) [Settembre/Ottobre 2019]
Accettiamo candidature! [ www.truelayer.workable.com ]
- Machine Learning Engineer
- Software Engineer
- Product Manager