Come definire un modello di classificazione per il calcolo del rischio intrinseco di un nuovo progetto industriale.

1. PROJECT WORK
DEFINIZIONE DI UN MODELLO DI
CLASSIFICAZIONE PER IL CALCOLO DEL RISCHIO
INTRINSECO DI UN NUOVO PROGETTO
INDUSTRIALE

2. Dataset
Dati in input:
• Ambito proge-uale e area di
riferimento
• Tecnologie coinvolte
• Cara-eris9che quan9ta9ve e
qualita9ve delle risorse impiegate nel
proge-o
• Modalità di svolgimento
• Esito proge-o

3. [512 x 16]

5. TECNOLOGIE
E LIBRERIE UTILIZZATE
Python 3.6 Pandas Numpy
scikit-learn matplot-lib

6. Fasi del processo di Advanced Analytics
si del processo di Advanced Analytics
• Analisi esplorativa:
• Univariata
• bivariata
• Pre elaborazione
dati:
• Presenta
risultati
• Impleme
del mod
in produ
• Definizione del
problema di
business
• Traduzione in un
problema di
machine learning
Exploration Phase
Target definition
Data
Preparation
Model
Selection
Solu
implem
io
• Feature Selection
• Separazione
Dataset in
training,cross-
validation e test
set

7. Definizione Obiettivo Analisi: Individuare il grado
di rischio (probabilità che il progetto abbia esito
negativo) associato allo svolgimento di un progetto
in termini di tempo previsto e/o costi associati al
progetto stesso, attraverso l’analisi del modello di
machine learning che meglio si adatta a risolvere tale
problema.
Problema:
problema di classificazione (apprendimento
supervisionato).
Individuazione variabile target: “Project Failure”
1. TARGET DEFINITION
COMPANY
NAME

8. DARE “UNA FORMA” AI DATI

9. COMPANY
NAME
2. DATA EXPLORATION
[DATA PREPARATION:
CLEANING, TRANSFORMATION E REDUCTION]

10. COMPANY
NAME
2. DATA EXPLORATION
alla ricerca di dati sporchi o ridondanti che determinano poca
affidabilità del modello.

11. COMPANY
NAME
2. DATA EXPLORATION

12. Come gestire i dati mancanti e incompleti?
2. DATA EXPLORATION

13. 2. DATA EXPLORATION
COMPANY
NAME

14. 2. DATA EXPLORATION

15. Come trattare i dati categorici?

16. One Hot Encoding

17. One Hot Encoding

18. 2. DATA EXPLORATION

19. 3. DEFINIZIONE MODELLI
• LR – LOGISTIC REGRESSION
• DT – DECISION TREE
• RF – RANDOM FOREST
• SVM – SUPPORT VECTOR MACHINE
• GNB – GAUSSIAN NAIVE BAYES

20. “Suppongo che sia
allettante, quando
l’unico strumento che
hai a disposizione è
un martello, trattare
tutto come se fosse un
chiodo”
A. MASLOW, 1966

21. REGRESSIONE LOGISTICA

22. DECISION TREE

23. RANDOM FOREST
L’algoritmo a foresta casuale può essere riepilogato in 4 semplici passi:
1. Scegliere casualmente n campioni dal training set con ottenendo un campione
casuale detto bootstrap.
2. Far crescere un albero decisionale dal campione di bootstrap. Per
ogni nodo:
1. selezionare casualmente d caratteristiche;
2. suddividere il nodo utilizzando la caratteristica che fornisce la migliore
suddivisione sulla base della funzione obiettivo, per
esempio massimizzando il guadagno informativo.
3. Ripetere per k volte i passi 1 e 2.
4. Aggregare le previsioni di ciascun albero per assegnare l’etichetta
della classe sulla base di un voto a maggioranza.
Il Random Forest è un classificatore d’insieme composto da molteplici alberi.

24. Obiettivo: massimizzare il margine.
SUPPORT VECTOR MACHINE (SVM)

25. GAUSSIAN NAIVE BAYES
Rappresentano un approccio probabilistico per risolvere problemi di
classificazione.
L’idea di base è quella di definire una funzione associata alla probabilità che un
dato elemento estratto dal dataset di training sia classificato in una delle due
classi {0,1} di Y. Ciò è dato dal teorema di Bayes:

26. Training: insieme sul quale vengono
calcolati i parametri migliori del modello.
70%
DIVISIONE DATASET
Test: stima l’errore del modello
30%

27. DIVISIONE DATASET

28. “""
Il seguente metodo prende in input le matrici X, Y del Train e del Test set e applica ad essi tutti i classificatori
specificati nel dictionary dict_classifier.
I modelli applicati e l’accuratezza relativa sono salvati in un dictionary. Il motivo di usare un dizionario
risiede nel fatto che è molto facile gestirlo.
Generalmente i modelli SVM e Random Forest ci impiegano un po’ di tempo.
"""

30. Ottimizzazione iperparametri
• Gli iperparametri sono parametri
che non vengono appresi
direttamente dagli stimatori.
• Iperparametri come “manopole”

31. COMPARAZIONE BEST
2 MODELS

32. Confusion Matrix: Logistic Regression
Precision, Recall, F1-Score
TN
FN
FP
TP

33. Curva di ROC: Logistic Regression

34. Confusion Matrix: Random Forest
Precision, Recall, F1-Score
TN
FN
FP
TP

35. Curva di ROC: Random Forest

36. 2° DATASET
REPEAT

37. 2° DATASET
REPEAT

38. Confusion Matrix: Logistic Regression
Precision, Recall, F1-Score
TN
FN
FP
TP

39. Curva di ROC: Logistic Regression

40. Confusion Matrix: Random Forest
Precision, Recall, F1-Score
TN
FN
FP
TP

41. Curva di ROC: Random Forest

42. Precision Recall F1-Score
Logistic
Regression
Dataset 1 82% 82% 82%
Dataset 2 66% 66% 66%
Random Forest
Dataset 1 75% 77% 75%
Dataset 2 58% 56% 56%
Metriche di comparazione

43. Curva di ROC
1 dataset 2 dataset