Online kurs: Analiza podataka u poslovnoj i inženjerskoj praksi. Mašinski fakultet Univerziteta u Nišu. Nedelja 3, resurs 2: Veličine kvaliteta modela mašinskog učenja u Python-u. Realizacija: Milan Zdravković http://160.99.22.125:9000/courses/course-v1:MEF+OKMU+2018-19_S2/about/

1. Veličine kvaliteta modela
mašinskog učenja

2. Veličine kvaliteta regresije
• Srednja apsolutna greška (Mean
Absolute Error - MAE)
– Srednja vrednost svih apsolutnih
razlika između stvarnih izlaznih
veličina i onih predviđenih modelom
(u test setu)
• Srednja kvadratna greška (Mean
Squared Error - MSE)
– Koren srednje kvadratne greške (Root
Mean Squared Error – RMSE)
– Penalizacija velikih grešaka
from sklearn.metrics import mean_absolute_error, mean_squared_error
mean_absolute_error(Y_test, predictions_poly)
mean_squared_error(Y_test, predictions_poly)

3. Osnovne veličine
kvaliteta klasifikacije
• Tačnost/preciznost klasifikacije
– Odnos broja tačnih predviđanja i broja
ukupnih predviđanja
• Mera tačnosti koja nije relativna u
odnosu na distribuciju izlaznih veličina
• Na primer, tačnost binarne klasifikacije
za dijagnozu dijabetesa je 76%. Min
tačnost nije 50% zbog neravnomerne
distribucije izlaznih veličina u trening
setu, već 65% (ukoliko u predviđanju
uvek pretpostavimo da je dijagnoza
negativna)
• Logaritamski gubitak (logloss)
– Uzima u obzir verovatnoće tačnog
predviđanja svih pojedinačnih klasa –
pouzdanost predviđanja
– Favorizuje ravnomerno raspoređene
greške klasifikacije po klasama –
izlaznim veličinama
scoring = 'accuracy'
scoring = 'neg_log_loss'
results = cross_val_score(lr, X, Y, cv=kf, scoring=scoring)
print(results.mean())
from sklearn import metrics
print(metrics.accuracy_score(Y_test, predictions))
print(metrics.log_loss(Y_test, predictions))
Unakrsna validacija
Train/test split

4. Confusion matrica
• Confusion matrica
– Veličine vezane za
sposobnost
razlikovanja klasa u
binarnoj klasifikaciji
• True positive/False
positive/True
negative/False negative
• TP=33, FP=9, FN=24,
TN=88
– Nema smisla za
unakrsnu validaciju, jer
imamo k skupa
predviđanja
from sklearn.metrics import confusion_matrix
print(confusion_matrix(Y_test, predictions, labels=[1,0]))
Broj tačnih
predviđanja
klase 1
Broj netačnih
predviđanja
klase 0
Broj netačnih
predviđanja
klase 1
Broj tačnih
predviđanja
klase 0
Predviđeno
Stvarno

5. Preciznost i recall
• Osnovne veličine za model predviđanja dijabetesa
– TP=33, FP=9, FN=24, TN=88
• Preciznost po klasama (tačnost klasifikacije je mean preciznosti
po klasama)
– Koji deo pozitivnih predviđanja je ispao tačan?
• P=33/(33+9)=0.79. Kada model predviđa da pacijent ima dijabetes, 79%
puta je u pravu
– Koji deo negativnih predviđanja je ispao tačan?
• P=88/(88+24)=0.79. Kada model predviđa da pacijent nema dijabetes,
79% puta je u pravu
• Osetljivost/Sensitivity ili Recall
– Koji deo stvarno pozitivnih vrednosti je tačno predviđen?
• R=33/(33+24)=0.58. Model 58% tačno predviđa pojavu dijabetesa
– Koji deo stvarno negativnih vrednosti je tačno predviđen?
• R=88/(88+9)=0.91. Model 91% tačno predviđa da pacijent nema dijabetes
from sklearn.metrics import classification_report
print(classification_report(Y_test, predictions))
Predviđeno
Stvarno

6. Površina ispod ROC krive
• Površina ispod ROC krive
(Area under Receiver
Operating Characterists
Curve - AUROC)
– Za binarnu klasifikaciju
– Mera sposobnosti modela
da razlikuje klase – izlazne
veličine
• U intervalu 0.5,1
– 0.5 – sva predviđanja
netačna
– 1 – sva predviđanja
tačna
– ROC kriva spaja tačke za
različite vrednosti praga
klasifikacije (classification
threshold)
– Ako je AUC=0.83, to znači
da postoji 83%
verovatnoće da model
razlikuje klase – izlazne
veličine
scoring = 'roc_auc'
results = cross_val_score(lr, X, Y, cv=kf, scoring=scoring)
print(results.mean())