Download as PDF, PPTX
Uploaded byAlessandra Bilardi
Anomaly Detection Overview - 2022-05-26
Il documento esplora le strategie di rilevamento delle anomalie utilizzando vari servizi AWS, come Amazon CloudWatch, Amazon Lookout e Amazon SageMaker, evidenziando casi d'uso specifici per la manutenzione predittiva e il monitoraggio della qualità. Vengono presentate metriche chiave, obiettivi di recupero e la gestione dei costi associati ai servizi. Infine, fornisce suggerimenti per la scelta della soluzione più adeguata in base a criteri di tempo e metriche coinvolte.
Anomaly Detection Overview - 2022-05-26
- 1. Anomaly detection suAWS: panoramica e casi d’uso #cloudparty
- 2. Alessandra Bilardi Data &Automation Specialist alessandra.bilardi@corley.it corley.it
- 3. Amazon CloudWatch Amazon Lookout AmazonKinesis Amazon SageMaker SOMMARIO
- 4. Anomaly detection Business continuity(ISO 22301:2012) la capacità di un'organizzazione di continuare a erogare prodotti o servizi a livelli predefiniti accettabili a seguito di un incidente Recovery strategy Recovery Time Objective, RTO Recovery Point Objective, RPO https://www.iso.org/publication/PUB100442.html
- 5.
- 6. Amazon Cloudwatch Esempio: EC2usata per alcuni consulti all’ora Metriche: una sola, CPU Utilization Obiettivo: essere avvisati se la EC2 è da riavviare RTO: alcuni minuti per il riavvio RPO: non c’è problema, basta avvisare i colleghi https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html
- 7. Anomaly detection conAmazon Cloudwatch https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Anomaly_Detection.html
- 8. Anomaly detection strategies ServiceHow many data Fully managed Pricing in $ per 1 run /hour /month Amazon CloudWatch some periods 🏖🏖 0.30 per alarm
- 9.
- 10. Amazon Lookout forVision https://aws.amazon.com/blogs/machine-learning/build-an-anomaly-detection-model-from-scratch-with-amazon-lookout-for-vision/ Esempio: qualità del prodotto Metriche: una o più Obiettivo: essere avvisati se ha difetti RTO: un secondo per recuperare la predizione RPO: il tempo di arrivare alla stazione Pusher
- 11. Anomaly detection strategies ServiceHow many data Fully managed Pricing in $ per 1 run /hour /month Amazon CloudWatch some periods 🏖🏖 0.30 per alarm Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference
- 12. Amazon Lookout forMetrics https://aws.amazon.com/blogs/architecture/automating-anomaly-detection-in-ecommerce-traffic-patterns/ Esempio: anomalie durante il Black Friday Metriche: una o più Obiettivo: essere avvisati se ci sono anomalie RTO: controllo dei nuovi dati schedulato ogni minuto RPO: pochi minuti per poter gestire una promozione
- 13. Amazon Lookout forMetrics https://aws.amazon.com/blogs/architecture/automating-anomaly-detection-in-ecommerce-traffic-patterns/
- 14. Anomaly detection strategies ServiceHow many data Fully managed Pricing in $ per 1 run /hour /month Amazon CloudWatch some periods 🏖🏖 0.30 per alarm Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference
- 15. Amazon Lookout forEquipment https://aws.amazon.com/blogs/machine-learning/improve-operational-efficiency-with-integrated-equipment-monitoring-with-tensoriot-powered-by-aws/ Esempio: manutenzione su device Metriche: una o più Obiettivo: essere avvisati se ci sono anomalie RTO: controllo dei nuovi dati schedulato ogni ora RPO: il tempo massimo per poter gestire un’azione
- 16. Amazon Lookout forEquipment https://aws.amazon.com/blogs/machine-learning/improve-operational-efficiency-with-integrated-equipment-monitoring-with-tensoriot-powered-by-aws/
- 17. Anomaly detection strategies ServiceHow many data Fully managed Pricing in $ per 1 run /hour /month Amazon CloudWatch some periods 🏖🏖 0.30 per alarm Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K L. for Equipment ➕ load history 🏖🏖 185 per 730 inference Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference
- 18.
- 19. Amazon Kinesis https://aws.amazon.com/blogs/architecture/detect-real-time-anomalies-and-failures-in-industrial-processes-using-apache-flink/ Esempio: manutenzionesu device Metriche: una o più Obiettivo: essere avvisati se ci sono anomalie RTO: controllo dei nuovi dati in tempo reale RPO: il tempo massimo per poter gestire un’azione
- 20.
- 21. Anomaly detection strategies ServiceHow many data Fully managed Pricing in $ per 1 run /hour /month Amazon CloudWatch some periods 🏖🏖 0.30 per alarm Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K L. for Equipment ➕ load history 🏖🏖 185 per 730 inference Amazon Kinesis from start ➕ s3 🏖SQL, 🔧Flink 90 🏖, 180 🔧 per 1 app with <50GB Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference
- 22.
- 23. Amazon SageMaker https://aws.amazon.com/blogs/machine-learning/anomaly-detection-with-amazon-sagemaker-edge-manager-using-aws-iot-greengrass-v2/ Esempio: manutenzionesu veicoli Metriche: una o più Obiettivo: essere avvisati se ci sono anomalie RTO: controllo dei nuovi dati in tempo reale RPO: il tempo massimo per poter gestire un’azione
- 24.
- 25. Amazon SageMaker https://aws.amazon.com/blogs/machine-learning/anomaly-detection-with-amazon-sagemaker-edge-manager-using-aws-iot-greengrass-v2/ Esempio: anomaliedi device remoti Metriche: una o più Obiettivo: poter predire le anomalie direttamente sul device RTO: controllo istantaneo dei nuovi dati RPO: il tempo massimo per poter gestire un’azione
- 26.
- 27. Anomaly detection strategies ServiceHow many data Fully managed Pricing in $ per 1 run /hour /month Amazon CloudWatch some periods 🏖🏖 0.30 per alarm Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K L. for Equipment ➕ load history 🏖🏖 185 per 730 inference Amazon Kinesis from start ➕ s3 🏖SQL, 🔧Flink 90 🏖, 180 🔧 per 1 app with <50GB Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference Amazon SageMaker ➕ load history 🏖🔧 260 processing + inference with 20GB
- 28. Come scegliere lasoluzione più adatta ? 1 Quanto tempo ci metto per ripristinare la soluzione ? 2 Quanto tempo ho per ripristinare la soluzione ? 3 Quali e quante metriche sono coinvolte per rilevare un’anomalia ? 4 Quanto tempo ho per implementare la soluzione ?
- 29. Risorse utili Anomaly detectioncon Amazon CloudWatch https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Anomaly_Detection.html Amazon Lookout for Metrics, for Vision & for Equipment - https://docs.aws.amazon.com/lookoutmetrics/latest/dev - https://docs.aws.amazon.com/lookout-for-vision/latest/developer-guide - https://docs.aws.amazon.com/lookout-for-equipment/latest/ug Amazon Kinesis Data Streams, Data Firehose & Data Analytics for SQL o Apache Flink app - https://docs.aws.amazon.com/kinesis/ Anomaly detection con Amazon SageMaker - https://docs.aws.amazon.com/sagemaker/latest/dg/algorithms-choose.html - https://docs.aws.amazon.com/sagemaker/latest/dg/randomcutforest.html
- 30. Contatti Per entrare incontatto con me e discutere un progetto o approfondire un tema del talk: - contattarci su corley.it - fare 4 chiacchiere con me dopo il talk - prenotare una call sul QR Code che trovate sul badge
- 31.