Il rilevamento delle anomalie consiste nell'identificazione di eventi nei dati che risultano fuori del comportamento previsto, utilizzando metodi computazionali. Nelle industrie che avanzano verso la trasformazione digitale, lo scopo di questa tecnica non si limita solo alla manutenzione predittiva delle macchine, essendo anche estremamente utile ad esempio nel rilevamento di variazioni della domanda di prodotti, nell'individuazione di errori presenti nei dati aziendali, o nella scoperta di attività fraudolente, tra gli altri. A causa di fattori come volume, frequenza e dimensione degli eventi anomali, il modo più pratico e intelligente di eseguire il rilevamento è tramite l'applicazione di algoritmi di machine learning. In questa sessione vedremo come Azure facilita il rilevamento delle anomalie nei dati mettendo a disposizione diversi strumenti di intelligenza artificiale. By Ariel Cedola

1. CLOUD
CONFERENCE
ITALIA
2019

2. SPONSOR

3. STRUMENTI AZURE PER L'ANOMALY DETECTION
IN AMBITO INDUSTRIA 4.0
Ariel Cedola

4. WHO AMI?
Ariel Cedola
Data Scientist
Ariel Cedola
acedola@welol.it
PhD, PoliTO (IT)
Electronics Engineer, UNLP (Arg)

5. AGENDA
 ANOMALY DETECTION
 APPLICAZIONE IN CONDITION MONITORING
 STRUMENTIAZURE PERL’ANOMALY DETECTION
 COGNITIVE SERVICESANOMALY DETECTOR
 DEMO

6. ANOMALY DETECTION
Cos’è una ANOMALIA?
Una ANOMALIA (outlier) è un evento non previsto, che non è stato osservato precedentemente nei dati
storici di un sistema e che risulta fuori del normale.
Anomalia puntuale Anomalia contestuale Anomalia collettiva

7. ANOMALY DETECTION
Alcune possibile cause delleANOMALIE:
 Errori di data entry(X1)
 Eventi inusuali (X2)
 Patterns anormali

8. ANOMALY DETECTION
Il RILEVAMENTO DELLEANOMALIE in un sistema consiste nell'identificazione di eventi anomali
utilizzando metodi computazionali.
Scenari di applicazione e casi di uso:
Frodi carte di credito
Intrusioni di rete
Black-outs
Aumento delle vendite
Battiti irregolari
Guasto di macchina

9. ANOMALY DETECTION
06/09/2019 13/09/2019 20/09/2019 27/09/2019
Value
Inversione di tendenza
ESEMPIO 1: ANALISI UNIVARIATA
Cambio di livello
Spikes
Dips

10. ANOMALY DETECTION
anomalie
ESEMPIO 2: ANALISI MULTIVARIATA(2 o più variabili)
s1(t) s2(t)
s1 vs s2

11. ANOMALY DETECTION
ESEMPIO 2: ANALISI MULTIVARIATA(2 o più variabili)

12. ANOMALY DETECTION
Sfida dal punto di vista computazionale
Si devono individuare eventi:
 Diversi dalla maggior parte dei dati disponibili
 Non previsti
 Con bassa frequenza ( << 1%)
 In modo tempestivo
Il MACHINE LEARNING è lo strumento più adatto per eseguire il rilevamento delle anomalie.

13. y1
y2
ANOMALY DETECTION
Metodi alternativi:
Visualizzazione Soglie + regole
(if-then-else)
Box plot

14. ANOMALY DETECTION
Casi reali

15. ANOMALY DETECTION
Cos’è il MACHINE LEARNING?
È un insieme di modelli e tecniche che permettono ai computer di apprendere a partire da enormi
quantità di dati.

16. ANOMALY DETECTION
Modello di Machine Learning SUPERVISIONATO vs NON SUPERVISIONATO
Training
modello
Consumo
modello
Anomalie
Dati
Nuovi dati
Individuazione
delle anomalie
Modello SUPERVISIONATO

17. ANOMALY DETECTION
Modello di Machine Learning SUPERVISIONATO vs NON SUPERVISIONATO
Training
modello
Modello
AD
Anomalie
Dati
Dati
Modello
Individuazione
delle anomalie

18. ANOMALY DETECTION
Modello di Machine Learning NON SUPERVISIONATO
Modello
AD
Dati
Individuazione
delle anomalie
Algoritmi
PCA
Isolation Forest
One-class SVM
k-means
and more…!
Quale usare?

19. APPLICAZIONE IN CONDITION MONITORING
Cos’è la CONDITION MONITORING?
 È una componente della manutenzione predittiva applicata in ambito industriale
 Si utilizzano sensori per misurare e monitorare lo stato delle macchine in funzionamento
 I dati rilevati vengono usati per analizzare tendenze, prevedere i guasti e calcolare la vita utile residua (RUL)
 La manutenzione viene fatta quando i dati mostrano che:
 la performance di una macchina è in diminuzione
 l’andamento di una variabile ha una tendenza verso valori fuori dell’intervallo sicuro
 c’è probabilità di guasto nel breve termine
 ci sono eventianomali

20. APPLICAZIONE IN CONDITION MONITORING
Tecniche di CONDITIONMONITORING
Analisi del olio lubrificante
Analisi delle vibrazioni
Test circuito del motore
Termografia IR
Monitoraggio acustico ed ultrasonico
Radiografia e interferometria laser
Monitoraggio elettrico/elettromagnetico
Performance operativa

21. APPLICAZIONE IN CONDITION MONITORING
Caso di uso CONDITIONMONITORING
anomalia

22. STRUMENTI AZURE PERL’ANOMALYDETECTION

23. COGNITIVE SERVICESANOMALY DETECTOR

24. COGNITIVE SERVICESANOMALY DETECTOR
API che permette di monitorare e rilevare le anomalie presenti nei
dati di serie temporali, applicando modelli di Machine Learning

25. COGNITIVE SERVICESANOMALY DETECTOR
serie temporale

26. COGNITIVE SERVICESANOMALY DETECTOR
 Selezione automatica delmodello
 Fourier Transformation
 Extreme Studentized Deviate(ESD)
 STLDecomposition
 DynamicThreshold
 Z-score detector
 Spectral Residual & Convolutional Neural Network (SR-CNN)
3 punti diforza
 Semplicità
 Utilizzo tramite chiamate HTTP,un unico parametro, non serve conoscenza ML *
 Libreria client in Python, C# e Node.js
 Integrazione
 Servizio cloud gestito suAzure Cognitive Services

27. COGNITIVE SERVICESANOMALY DETECTOR
Selezione del modello
• continuità
• media
• deviazione standard
• tendenza
• periodo
serie temporale

28. COGNITIVE SERVICESANOMALY DETECTOR
Flusso: Selezionare modello > Rilevare > Filtrare
serie temporale serie temporale
INPUT OUTPUT
ANOMALYDETECTOR

29. COGNITIVE SERVICESANOMALY DETECTOR
2 FUNZIONALITÀ
 Rilevamento delle anomalie inbatch
 L’API crea un modello utilizzando l’intera serie temporale, ogni punto della serie è analizzato con lo stesso modello
 Tutti i punti precedenti e successive al punto analizzato vengono usati per determinare se si tratta di una anomalia
 Il rilevamento in batch ci dà lo stato generale della serie temporale
 Rilevamento delle anomalie instreaming
 L’API determina se il ultimo punto della serie temporale è una anomalia
 Il modello viene creato usando i dati precedenti a quello più recente, cioè dati storici
 Il rilevamento in streaming permette di monitorare I dati in tempo reale

30. COGNITIVE SERVICESANOMALY DETECTOR
API REST: Servizio web RESTful compatibile con tutti i linguaggi che permettono di fare chiamate HTTP
response = requests.post(endpoint + url, data, headers)

31. COGNITIVE SERVICESANOMALY DETECTOR

32. COGNITIVE SERVICESANOMALY DETECTOR
COMPONENTI DELLA HTTPREQUEST:
endpoint + url:
endpoint = https://anomaly-detector-welol-1.cognitiveservices.azure.com
url =
headers: {'Content-Type': 'application/json', 'Ocp-Apim-Subscription-Key': subscription_key}
subscription_key = 34d5b887eju54e280163fe324b36fd39 (esempio)
data: dati in formato json
/anomalydetector/v1.0/timeseries/entire/detect (BATCH DETECTION)
/anomalydetector/v1.0/timeseries/last/detect (STREAMING DETECTION)
requests.post(endpoint + url, data, headers)

33. COMPONENTE data DELLA HTTPREQUEST:
data: {
"series": [
{"timestamp": "2019-09-01T00:00:00Z", "value": 32858923},
{…}, {…}, {…}, {…}, {…}, {…}, {…}, {…},
{"timestamp": "2019-10-31T00:00:00Z", "value": 35250105}
],
"maxAnomalyRatio": 0.25,
"sensitivity": 95,
"granularity": "monthly"
}
COGNITIVE SERVICESANOMALY DETECTOR
serie temporale
parametri

34. COGNITIVE SERVICESANOMALY DETECTOR
serie temporale:
 key = ‘series’
 timestamp in ordine crescente
 Non devono esserci timestampduplicati
 Formato UTC ISO8601
 Distribuito uniformemente
 Unità temporale: minuto, ora, giorno, mese
 Numero di dati:
 12 <= N <= 8640
 OTTIMO = 4 x period + 1 (se c’è stagionalità)
 Max dati mancanti: 10%
 value tipo intero o float

35. COGNITIVE SERVICESANOMALY DETECTOR
parametri:
 maxAnomalyRatio = tasso massimo di anomalie (< 0.5)
 sensitivity, più grande è più anomalie saranno accettate (0 - 99)
 granularity = tasso di campionamento (yearly, monthly, weekly, daily, hourly, minutely)
 customInterval permette definire un intervallo di tempo non-standard (es. 5 minuti)
 period = numero di punti che compongono un pattern in una serie con stagionalità
 marginScale, usato per calcolare lower e upper boundaries (0 –99)

36. RISPOSTADELL’ANOMALY DETECTOR
 isAnomaly, True (anomalia positiva o negativa) o False (non à anomalia)
 isNegativeAnomaly, il dato è anomalo e inferiore al previsto
 isPositiveAnomaly, il dato è anomalo e superiore al previsto
 expectedValue, valore previsto
 upperMargin, usato per calcolare upperBoundary = expectedValue + (100 - marginScale)*upperMargin
 lowerMargin, usato per calcolare lowerBoundary = expectedValue + (100- marginScale)*lowerMargin
 period, estratto dalla serie temporale (0 significa pattern not found)
 suggestedWindow, numero di punti consigliato per rilevare il last point
COGNITIVE SERVICESANOMALY DETECTOR

37. COGNITIVE SERVICESANOMALY DETECTOR

38. COGNITIVE SERVICESANOMALY DETECTOR
DEMO Jupyter Notebook

40. GRAZIE!