MLOps approach to automate the delivery of a ML Model using GitHub Actions and Azure Functions

1. 18 Febbraio 2021

2. Machine Learning Models
Continuous Deployment
On Azure Using DevOps
approaches
Luca Milan & Igor Antonacci

3. Agenda
 Introduzione al Machine Learning – (Luca)
 ML.NET Framework – (Luca)
 Pratiche DevOps & ML Operations – (Igor)
 Tools (Github Actions, Pulumi) – (Igor)
 Demo Time – (Luca, Igor)
 Question Time – (Tutti Insieme)

4. Continuous Delivery per ML
IT Staff Customer

5. Top 15 Emerging Jobs U.S.
(by Linkedin)
 #1 Artificial Intelligence Specialist +74%
Skills required: Machine Learning, Deep Learning, TensorFlow, Python, Natural Language Processing
 #2 Robotics Engineer +40%
Skills required: Robotic Process Automation, UiPath, Blue Prism, Automation Anywhere, Robotics
 #3 Data Scientist +37%
Skills required: Machine Learning, Data Science, Python, R, Apache Spark
 #5 Site Reliability Engineer +34%
Amazon Web Services, Ansible, Kubernetes, Docker Products, Terraform
 … Full Stack, JavaScript, Backend Developer, Cybersecurity specialist, etc…

6. Perché il ML è così
popolare oggi?
Business Case
Modelli e Teorie
Matematiche a supporto
Dati
Potenza di
Calcolo

7. Peculiarità del Machine Learning
E' collegato alla "Scienza dei Dati", servono "Specialisti" con conoscenze
matematiche e statistiche approfondite
Possiede metodologie di sviluppo e strumenti dedicati non sempre allineati
con gli approcci moderni di Software Development
Il ciclo di vita di un progetto di ML è differente da quello di un «software
tradizionale»
Generalmente i modelli di ML sono distribuiti come «Black Box» e non
"integrabili" nel codice e nel processo che esegue l’applicazione

8. Artificial Intelligence
Machine Learning
Deep Learning
AI
Machine
Learning
Deep
Learning

9. Il ciclo di vita di un progetto ML
Training Prediction
Model Evaluation
Re-Training
Data

10. Tipologie del Machine Learning
Machine
Learning
Supervised
(labelled)
Regression Classification
Unsupervised
(no labels)
Anomaly
Detection
Clustering
Analysis

11. y = f(x1,x2,x3,x4,….)
FEATURES
LABEL
Feature = rappresentazione numerica
di una proprietà individuale e
misurabile del dataset

12. Tecniche del Machine Learning

13. Fare Machine Learning senza Python
 Nasce da un progetto di Microsoft Research (10 anni fa)
 La prima versione è del Maggio 2018, oggi siamo alla 1.5.4
 E’ scritto in C# e alcune parti in C++
 Open Source, supportato da Microsoft e dalla Community
 Basato su .NET Standard (Mac / Linux / Windows)
 API flessibile (approccio «low code» e tradizionale)
 Supporta il Deep Learning (Transfer Learning / ONNX)

15. Usare ML.NET
Regole di Ingaggio
API CLI Model Builder
Codificare la pipeline
(basta referenziare il pacchetto nuget e si
può iniziare a codificare la pipeline di
training, fare il training, la predizione,
etc.)
Auto-ML Engine
(strumento da linea di comando per il
“discovery” dei modelli più performanti
partendo dal datase di input e altri
parametri come output abbiamo il
modello trainato e il codice pe usarlo)
low code
(da visual studio in maniera guidata si
procede all’importazione del dataset e
alla scelta dell’algoritmo poi la procedura
produce il codice necessario ad usare il
modello)
Outputs
Training Pipeline Model Prediction Code
Codice C# che rappresenta le fasi di Build
e Training da effettuare su un dataset per
risolvere il task oggetto dell’analisi.
In formato binario è l’artefatto prodotto
della training pipeline. Rappresenta la
descrizione analitica dell’algoritmo
traninato.
Codice C# utilizzato per la fase di
predizione, deve essere incluso nelle
applicazioni finali.

16. Raccolta
(Load & Transform)
Model Improvement
(Evaluate)
Featuring & Learning
(Append)
Model Training
(Fit)
Salvataggio
(Save)
Caricamento Modello
(Load)
Make Prediction
(PredictionEngine)
SERVING
webapi, webapp, iot, desktop
BULD & TRAINING
Trasformer
Trasformer
DataView
Estimator
Trasformer

17. Training del Modello

18. Training del Modello - Test

19. “Serving” del Modello

20. ”Serving” del Modello – Prediction

21. ”Serving” del Modello – Metriche

22. “Serving” del Modello – Test

23. Pulumi & IaC

24. Igor Antonacci

25. Obiettivo
organizzativo
All’interno di un Team di sviluppo,
facilitare il dispiegamento di Modelli di IA
attraverso:
• la COOPERAZIONE tra Data Scientists
e IT Operations
• L’AUTOMAZIONE del processo di
Analisi, Sviluppo, Test e rilascio di un
modello

26. DevOps e MLOps
DevOps
“DevOps (dalla contrazione inglese di development,
"sviluppo", e operations, qui simile a "messa in
produzione" o "deployment") è un metodologia di
sviluppo del software che punta alla
comunicazione, collaborazione e integrazione
tra sviluppatori e addetti alle operations della
information technology (IT). DevOps vuole
rispondere all'interdipendenza tra sviluppo software
e IT operations, puntando ad aiutare
un'organizzazione a sviluppare in modo più rapido
ed efficiente prodotti e servizi software.”
(cit. DevOps - Wikipedia)

27. DevOps e MLOps
MLOps
“With Machine Learning Model
Operationalization Management (MLOps),
we want to provide an end-to-end machine
learning development process to design,
build and manage reproducible,
testable, and evolvable ML-powered
software.” (cit. ML Ops: Machine Learning
Operations (ml-ops.org))

28. Continuous Integration /
Continuous Delivery
Continuous Integration:
 Integrazione dei cambiamenti (al codice)
con la baseline esistente
 Build
 Test (Unit, Integration, Security … )
Continuous Delivery:
• Produzione di Artefatti (ML)
POTENZIALMENTE rilasciabili in
produzione in maniera
• Sicura
• Riproducibile
• Affidabile
• Rapida
COMMIT
FEEDBACK – GREEN / RED
COMMIT
 Build
 Test
 Training
 Build
 Test
 Training

29. The Last Mile - Deploy
 Deploy  portare il valore all’utente attraverso il dispiegamento
degli artefatti sull’infrastruttura
 Riprodicibile
 Automatico
 Idempotente
COMMIT
R
E
L
E
A
S
E
SETUP INFRA
Automatic (Approved) Deploy
“Old” Deploy approach
 Model
(Code)
 Test
 Dataset
 Build
 Test
 Training
 Trained Model
 Dataset
Release 0.1.0-3e82c10

30. Infrastructure-As-Code
«Infrastructure as code è il processo di gestione e provisioning dei data
center dei computer attraverso file di definizione leggibili dalla macchina,
piuttosto che configurazione hardware fisica o strumenti di
configurazione interattiva»
 Hashicorp Terraform
 Pulumi
SETUP INFRA
PUSH PULL
IaC CI / CD Pipeline

31. Ciclo di vita di un progetto di ML
Training
Pipelines T
rained
Models
Training / Test
Dataset
Azure
Resources
33
validation
Model Created
Training Pipeline GitHub Release Prediction Pipeline
 Trained Model
 Dataset
Release 0.1.0-3e82c10

32. Tools – GitHub Actions
 on push
 on pull-request
 …
Job #1 Job #2
Action 1 – Setup .NET Core
Action 2 – Build project
Action 3 – Test project
Action N – …
Action 1 – GitVersion
Action 2 – Create Release
Action 3 – Publish Artifacts
Action N – …

33. Tools – GitHub Actions
 on push
 on pull-request
 …
Job #1 Job #2
Action 1 – Setup .NET Core
Action 2 – Build project
Action 3 – Test project
Action N – …
Action 1 – GitVersion
Action 2 – Create Release
Action 3 – Publish Artifacts
Action N – …
Depends on
Environment

34. Tools – GitHub Actions - Environments
 Definiti staticamente all’interno di ogni repo GH
 Definisce una FASE del processo di sviluppo
 Development
 QA
 Production
 Scoped resources
 Protection Rules – Workflow di approvazione
 Branch (è possibile limitare l’uso di un “Environment” a specifici branch)
 Secrets – variabili criptate con validità limitata al singolo Environment

35. Tools – GitHub Actions - Environments

36. Ciclo di vita di un progetto di ML –
Training Pipeline in dettaglio – 1
COMMIT
 Model
(Code)
 Test
 Dataset
 Build
 Test
 Training
 Trained Model
 Dataset
Pull-request
 Review
 Approve
 Merge
Dispatch Message
 event_type: model-created
 message: |
{
"ML_MODEL_VERSION": vX.Y.Z-xxxx,
"ML_MODEL_URI":
https://github.com/igoran/.../${{
env.VERSION_NAME }}.zip
}
Approvazione
Promozione
 Review
 Approve
Serving “Environment”

37. Ciclo di vita di un progetto di ML –
Serving Pipeline in dettaglio
SETUP INFRA
 Build
 Test
Azure
Resources
model-created
 Trained Model
 Dataset
Download Model

38. Tools – Pulumi – 1
 Infrastructure-as-Code Framework
 Multi-Platform Providers (AWS, Azure, GCP … )
 (Multi-)Language oriented
 C#, Python, Go …
 CLI ed Engine multi piattaforma (pulumi)
 NO YAML 
 Ambienti “sandboxed” Stacks

39. Tools – Pulumi – 2
 Pulumi Service Backend (Pulumi Servers)
 Self-Managed Service Backend (Pulumi Enterprise)
 Language-Agnostic
 Multi-Cloud Resource Provider
 Multi-platform Engine
 Multi-Platform CLI
 Windows
 Linux
 MacOSX

40. Tools – Pulumi – State & Stacks
Pulumi State
 metadata dell’Infrastruttura
 Memorizzata in “Backend services”
Pulumi Stack(s)
• Istanza isolata, configurata in maniera indipendente di
un programma Pulumi
• Utilizzata, principalmente, per separare le risorse delle
diverse fasi di sviluppo (Dev, QA, Prod … ) o di diverse
feature

41. DEMO

42. Domande e
Risposte