SlideShare a Scribd company logo
Azure Synapse Analytics
for your IoT solutions
Sponsors
With the support of:
About me
• Marco Parenzan
• Senior Solution Architect, beanTech
1nn0va Community Lead
• Microsoft Azure MVP
marcoparenzan marco_parenzan marcoparenzan marcoparenzan
parenzan.marco marcoparenzan
With the support of:
In un mondo sempre più veloce...
• ...con hardware sempre più veloce ed economico...
• ...i dati ci fanno sempre più...
• ...rallentare!
• Perchè?
• Competenze necessarie sempre più complesse
• Sorgenti dati sempre più eterogenee+Sorgenti dati sempre più distribuite
• Scenari equivalenti al Data Warehousing...
• Si allo streaming e al real time, ma anche ai bulk import...
• Con i dati (e chi lavora con i dati) non sempre vale la pena risolvere il problema con la mentalità da
programmatore
With the support of:
Il Data Warehousing (SQL based) è «morto» (o
sono morto io per questa affermazione?)
lunga vita al DW!
With the support of:
Meanwhile (in the secret room)...
un caso reale
With the support of:
App Services
App Services Function Apps
Storage Accounts
Storage Accounts
Function Apps
Function Apps
Event Hubs
SQL Database
Stream Analytics
Jobs
Stream Analytics
Jobs
IOT Hub
On
B
C
B
A
Event Grid Topics
With the support of:
Problemi
• 100K devices, 3 fornitori
• Azure Stream Analytics non scalato e non aggrega
• Azure Function custom per l’aggregazione di dati
• Scrittura su Table Storage
• Catena lunga per ogni sorgente
• Conseguenze
• Costi elevati di sviluppo e/o manutenzione
• Performance non valutate correttamente
With the support of:
Azure Data
Explorer Clusters
App Services
App Services Function Apps
Storage Accounts
Storage Accounts
Function Apps
Function Apps
Event Hubs
SQL Database
Stream Analytics
Jobs
Stream Analytics
Jobs
IOT Hub
On
B
C
B
Event Hubs
Event Grid Topics
Event Grid Topics
Event Hubs
With the support of:
Azure Data
ExplorerClusters
App Services
App Services Storage Accounts
Storage Accounts
SQL Database
IOT Hub
B
C
B
Event Hubs
Event Grid Topics
Event Hubs
Event Grid Topics
With the support of:
Azure Data
Explorer Clusters
App Services
App Services Storage Accounts
Storage Accounts
SQL Database
IOT Hub
B
C
B
A
Event Hubs
Event Grid Topics
Event Hubs
Event Grid Topics
Azure Synapse
Analytics
Power BI
With the support of:
Che cos’è Azure Synapse Analytics?
With the support of:
Che cos’è Azure Synapse Analytics
Azure Synapse è un servizio di analisi aziendale che accelera il time to insight tra data warehouse e sistemi di Big
Data. Azure Synapse riunisce il meglio delle tecnologie SQL utilizzate nel data warehousing aziendale, le
tecnologie Spark utilizzate per i Big Data, Data Explorer per l'analisi di log e serie temporali, pipeline per
l'integrazione dei dati ed ETL/ELT e integrazione profonda con altri servizi di Azure come Power BI, CosmosDB e
AzureML.
With the support of:
Perchè Azure Synapse Analytics?
• Convergenza dei servizi runtime e supporto nativo alla pausa
• Convergenza verso Workspace e Studio experience (ADX work in progress)
• Serverless SQL Pool e pricing model
• External Table/Data Lake model
• SQL sia come linguaggio che come EndPoint
• Apache Spark interoperability
• Approccio Low Code
• Azure Synapse Analytics Links in vari servizi
With the support of:
La paura dei costi
• Synapse SQL è un sistema di query distribuito per T-SQL che consente scenari di data warehousing
e virtualizzazione dei dati ed estende T-SQL per affrontare scenari di streaming e machine learning.
• Synapse SQL offre modelli di risorse sia serverless che dedicati. Per ottenere prestazioni e costi
prevedibili, creare pool SQL dedicati per riservare la potenza di elaborazione ai dati archiviati nelle
tabelle SQL. Per carichi di lavoro non pianificati o bursty, usa l'endpoint SQL serverless sempre
disponibile.
• https://learn.microsoft.com/en-us/azure/synapse-analytics/sql/data-processed
Questo è ciò che deriva
dall’originale Azure SQL Data
Warehouse
Questo è ciò che lo rende
universalmente interessante.
Perchè i clienti all’inizio sono
così...ON/OFF
With the support of:
Apache Spark
• Il più popolare motore di big data open source
utilizzato per la preparazione dei dati,
l'ingegneria dei dati, l'ETL e l'apprendimento
automatico.
• Fondamento per SQL Serverless Pool (più che
la competizione con DataBricks)
• Core per il Lake Database (Managed Tables)
• Da DataWarehouse a Modern Data
Warehouse=LakeHouse
• Spark (DataBricks) evolve il modello di MDW
in DeltaLake (che supporta anche il modello
ACID)
• Nel contesto Azure, capire quanto vale rispetto
a un Azure SQL Serverless
With the support of:
Nuovi/Vecchi formati di file
• Azure Synapse Analytics ci fa vivere l’esperienza che avevamo cominciato a percepire con Azure
Data Lake Analytics (U-SQL)
• CSV, SCSV, TSV, …
• JSON (e JSONL)
• Parquet
• è un formato di file di dati open source orientato alle colonne progettato per l'archiviazione e il recupero
efficienti dei dati. Fornisce schemi di compressione e codifica dei dati efficienti con prestazioni migliorate
per gestire dati complessi in blocco
With the support of:
Data Explorer (Preview)
• Azure Data Explorer è una piattaforma di analisi dei Big Data completamente gestita e ad alte
prestazioni che semplifica l'analisi di volumi elevati di dati quasi in tempo reale.
• ...
• Analizzando dati strutturati, semi-strutturati e non strutturati in serie temporali e usando Machine
Learning, Esplora dati di Azure semplifica l'estrazione di informazioni chiave, individuare modelli e
tendenze e creare modelli di previsione.
• ...
With the support of:
With the support of:
Conclusioni
With the support of:
Conclusioni
• Come spesso fa, Microsoft ha abbracciato il Modern Data Warehouse in linea con la tendenza
attuale, «facendolo suo» ed evolvendolo con una visione integrata che ha un grandissimo
potenziale.
• Il modello serverless è invitante come costo di ingresso
• Valutate bene i costi del progetto...per non scartare a priori un protagonista senza tenere presente
di tutti i costi nascosti.

More Related Content

Similar to Azure Synapse Analytics for your IoT Solutions

Power bi
Power biPower bi
Power bi
Marco Pozzan
 
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWS
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWSTrovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWS
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWS
Amazon Web Services
 
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
Emanuele Zanchettin
 
Quanto mi costa SQL Pool Serverless Synapse
Quanto mi costa SQL Pool Serverless SynapseQuanto mi costa SQL Pool Serverless Synapse
Quanto mi costa SQL Pool Serverless Synapse
Marco Pozzan
 
Power BI: Introduzione ai dataflow e alla preparazione dei dati self-service
Power BI: Introduzione ai dataflow e alla preparazione dei dati self-servicePower BI: Introduzione ai dataflow e alla preparazione dei dati self-service
Power BI: Introduzione ai dataflow e alla preparazione dei dati self-service
Marco Pozzan
 
Data flow
Data flowData flow
Data flow
Marco Pozzan
 
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
Emanuele Zanchettin
 
Presentazione bd2
Presentazione bd2Presentazione bd2
Presentazione bd2
Gino Farisano
 
Azure saturday pn 2018 ml
Azure saturday pn 2018 mlAzure saturday pn 2018 ml
Azure saturday pn 2018 ml
Marco Zamana
 
iot Saturday 2019 - PoC iot in 1 ora
iot Saturday 2019 - PoC iot in 1 oraiot Saturday 2019 - PoC iot in 1 ora
iot Saturday 2019 - PoC iot in 1 ora
Alessio Biasiutti
 
PoC IoT in 1 ora
PoC IoT in 1 oraPoC IoT in 1 ora
PoC IoT in 1 ora
Alessio Biasiutti
 
Azure PaaS databases
Azure PaaS databasesAzure PaaS databases
Azure PaaS databases
Gianluca Hotz
 
Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.
Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.
Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.
Giuliano Latini
 
Azure for Game Developers
Azure for Game DevelopersAzure for Game Developers
Azure for Game Developers
Marco Parenzan
 
Power BI data flow and Azure IoT Central
Power BI data flow and Azure IoT CentralPower BI data flow and Azure IoT Central
Power BI data flow and Azure IoT Central
Marco Parenzan
 
Azure dayroma java, il lato oscuro del cloud
Azure dayroma   java, il lato oscuro del cloudAzure dayroma   java, il lato oscuro del cloud
Azure dayroma java, il lato oscuro del cloud
Riccardo Zamana
 
Kubernetes as HA time series server, a proposal
Kubernetes as HA time series server, a proposalKubernetes as HA time series server, a proposal
Kubernetes as HA time series server, a proposal
Giuliano Latini
 
SQL Saturday 2019 - Event Processing with Spark
SQL Saturday 2019 - Event Processing with SparkSQL Saturday 2019 - Event Processing with Spark
SQL Saturday 2019 - Event Processing with Spark
Alessio Biasiutti
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralPower BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
Marco Parenzan
 
Data grid
Data gridData grid
Data grid
Ugo Landini
 

Similar to Azure Synapse Analytics for your IoT Solutions (20)

Power bi
Power biPower bi
Power bi
 
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWS
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWSTrovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWS
Trovare ciò che serve nella confusione: comprendere i Big Data con l'analisi AWS
 
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
 
Quanto mi costa SQL Pool Serverless Synapse
Quanto mi costa SQL Pool Serverless SynapseQuanto mi costa SQL Pool Serverless Synapse
Quanto mi costa SQL Pool Serverless Synapse
 
Power BI: Introduzione ai dataflow e alla preparazione dei dati self-service
Power BI: Introduzione ai dataflow e alla preparazione dei dati self-servicePower BI: Introduzione ai dataflow e alla preparazione dei dati self-service
Power BI: Introduzione ai dataflow e alla preparazione dei dati self-service
 
Data flow
Data flowData flow
Data flow
 
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database2014.11.14 Implementare e mantenere un progetto Azure SQL Database
2014.11.14 Implementare e mantenere un progetto Azure SQL Database
 
Presentazione bd2
Presentazione bd2Presentazione bd2
Presentazione bd2
 
Azure saturday pn 2018 ml
Azure saturday pn 2018 mlAzure saturday pn 2018 ml
Azure saturday pn 2018 ml
 
iot Saturday 2019 - PoC iot in 1 ora
iot Saturday 2019 - PoC iot in 1 oraiot Saturday 2019 - PoC iot in 1 ora
iot Saturday 2019 - PoC iot in 1 ora
 
PoC IoT in 1 ora
PoC IoT in 1 oraPoC IoT in 1 ora
PoC IoT in 1 ora
 
Azure PaaS databases
Azure PaaS databasesAzure PaaS databases
Azure PaaS databases
 
Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.
Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.
Funziona! allora non toccarlo, ovvero l'analisi d'infrastruttura in esercizio.
 
Azure for Game Developers
Azure for Game DevelopersAzure for Game Developers
Azure for Game Developers
 
Power BI data flow and Azure IoT Central
Power BI data flow and Azure IoT CentralPower BI data flow and Azure IoT Central
Power BI data flow and Azure IoT Central
 
Azure dayroma java, il lato oscuro del cloud
Azure dayroma   java, il lato oscuro del cloudAzure dayroma   java, il lato oscuro del cloud
Azure dayroma java, il lato oscuro del cloud
 
Kubernetes as HA time series server, a proposal
Kubernetes as HA time series server, a proposalKubernetes as HA time series server, a proposal
Kubernetes as HA time series server, a proposal
 
SQL Saturday 2019 - Event Processing with Spark
SQL Saturday 2019 - Event Processing with SparkSQL Saturday 2019 - Event Processing with Spark
SQL Saturday 2019 - Event Processing with Spark
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralPower BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
 
Data grid
Data gridData grid
Data grid
 

More from Marco Parenzan

Azure IoT Central per lo SCADA engineer
Azure IoT Central per lo SCADA engineerAzure IoT Central per lo SCADA engineer
Azure IoT Central per lo SCADA engineer
Marco Parenzan
 
Azure Hybrid @ Home
Azure Hybrid @ HomeAzure Hybrid @ Home
Azure Hybrid @ Home
Marco Parenzan
 
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptx
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptxStatic abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptx
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptx
Marco Parenzan
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
Marco Parenzan
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralPower BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
Marco Parenzan
 
Developing Actors in Azure with .net
Developing Actors in Azure with .netDeveloping Actors in Azure with .net
Developing Actors in Azure with .net
Marco Parenzan
 
Math with .NET for you and Azure
Math with .NET for you and AzureMath with .NET for you and Azure
Math with .NET for you and Azure
Marco Parenzan
 
.net for fun: write a Christmas videogame
.net for fun: write a Christmas videogame.net for fun: write a Christmas videogame
.net for fun: write a Christmas videogame
Marco Parenzan
 
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...
Marco Parenzan
 
Anomaly Detection with Azure and .NET
Anomaly Detection with Azure and .NETAnomaly Detection with Azure and .NET
Anomaly Detection with Azure and .NET
Marco Parenzan
 
Deploy Microsoft Azure Data Solutions
Deploy Microsoft Azure Data SolutionsDeploy Microsoft Azure Data Solutions
Deploy Microsoft Azure Data Solutions
Marco Parenzan
 
Deep Dive Time Series Anomaly Detection in Azure with dotnet
Deep Dive Time Series Anomaly Detection in Azure with dotnetDeep Dive Time Series Anomaly Detection in Azure with dotnet
Deep Dive Time Series Anomaly Detection in Azure with dotnet
Marco Parenzan
 
Azure IoT Central
Azure IoT CentralAzure IoT Central
Azure IoT Central
Marco Parenzan
 
Anomaly Detection with Azure and .net
Anomaly Detection with Azure and .netAnomaly Detection with Azure and .net
Anomaly Detection with Azure and .net
Marco Parenzan
 
Code Generation for Azure with .net
Code Generation for Azure with .netCode Generation for Azure with .net
Code Generation for Azure with .net
Marco Parenzan
 
Running Kafka and Spark on Raspberry PI with Azure and some .net magic
Running Kafka and Spark on Raspberry PI with Azure and some .net magicRunning Kafka and Spark on Raspberry PI with Azure and some .net magic
Running Kafka and Spark on Raspberry PI with Azure and some .net magic
Marco Parenzan
 
Time Series Anomaly Detection with Azure and .NETT
Time Series Anomaly Detection with Azure and .NETTTime Series Anomaly Detection with Azure and .NETT
Time Series Anomaly Detection with Azure and .NETT
Marco Parenzan
 
Code Generation for Azure with .net
Code Generation for Azure with .netCode Generation for Azure with .net
Code Generation for Azure with .net
Marco Parenzan
 
Deep dive time series anomaly detection with different Azure Data Services
Deep dive time series anomaly detection with different Azure Data ServicesDeep dive time series anomaly detection with different Azure Data Services
Deep dive time series anomaly detection with different Azure Data Services
Marco Parenzan
 
.net interactive for notebooks and for your data job
.net interactive for notebooks and for your data job.net interactive for notebooks and for your data job
.net interactive for notebooks and for your data job
Marco Parenzan
 

More from Marco Parenzan (20)

Azure IoT Central per lo SCADA engineer
Azure IoT Central per lo SCADA engineerAzure IoT Central per lo SCADA engineer
Azure IoT Central per lo SCADA engineer
 
Azure Hybrid @ Home
Azure Hybrid @ HomeAzure Hybrid @ Home
Azure Hybrid @ Home
 
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptx
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptxStatic abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptx
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptx
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
 
Power BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT CentralPower BI Streaming Data Flow e Azure IoT Central
Power BI Streaming Data Flow e Azure IoT Central
 
Developing Actors in Azure with .net
Developing Actors in Azure with .netDeveloping Actors in Azure with .net
Developing Actors in Azure with .net
 
Math with .NET for you and Azure
Math with .NET for you and AzureMath with .NET for you and Azure
Math with .NET for you and Azure
 
.net for fun: write a Christmas videogame
.net for fun: write a Christmas videogame.net for fun: write a Christmas videogame
.net for fun: write a Christmas videogame
 
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...
 
Anomaly Detection with Azure and .NET
Anomaly Detection with Azure and .NETAnomaly Detection with Azure and .NET
Anomaly Detection with Azure and .NET
 
Deploy Microsoft Azure Data Solutions
Deploy Microsoft Azure Data SolutionsDeploy Microsoft Azure Data Solutions
Deploy Microsoft Azure Data Solutions
 
Deep Dive Time Series Anomaly Detection in Azure with dotnet
Deep Dive Time Series Anomaly Detection in Azure with dotnetDeep Dive Time Series Anomaly Detection in Azure with dotnet
Deep Dive Time Series Anomaly Detection in Azure with dotnet
 
Azure IoT Central
Azure IoT CentralAzure IoT Central
Azure IoT Central
 
Anomaly Detection with Azure and .net
Anomaly Detection with Azure and .netAnomaly Detection with Azure and .net
Anomaly Detection with Azure and .net
 
Code Generation for Azure with .net
Code Generation for Azure with .netCode Generation for Azure with .net
Code Generation for Azure with .net
 
Running Kafka and Spark on Raspberry PI with Azure and some .net magic
Running Kafka and Spark on Raspberry PI with Azure and some .net magicRunning Kafka and Spark on Raspberry PI with Azure and some .net magic
Running Kafka and Spark on Raspberry PI with Azure and some .net magic
 
Time Series Anomaly Detection with Azure and .NETT
Time Series Anomaly Detection with Azure and .NETTTime Series Anomaly Detection with Azure and .NETT
Time Series Anomaly Detection with Azure and .NETT
 
Code Generation for Azure with .net
Code Generation for Azure with .netCode Generation for Azure with .net
Code Generation for Azure with .net
 
Deep dive time series anomaly detection with different Azure Data Services
Deep dive time series anomaly detection with different Azure Data ServicesDeep dive time series anomaly detection with different Azure Data Services
Deep dive time series anomaly detection with different Azure Data Services
 
.net interactive for notebooks and for your data job
.net interactive for notebooks and for your data job.net interactive for notebooks and for your data job
.net interactive for notebooks and for your data job
 

Azure Synapse Analytics for your IoT Solutions

  • 1. Azure Synapse Analytics for your IoT solutions
  • 3. About me • Marco Parenzan • Senior Solution Architect, beanTech 1nn0va Community Lead • Microsoft Azure MVP marcoparenzan marco_parenzan marcoparenzan marcoparenzan parenzan.marco marcoparenzan
  • 4. With the support of: In un mondo sempre più veloce... • ...con hardware sempre più veloce ed economico... • ...i dati ci fanno sempre più... • ...rallentare! • Perchè? • Competenze necessarie sempre più complesse • Sorgenti dati sempre più eterogenee+Sorgenti dati sempre più distribuite • Scenari equivalenti al Data Warehousing... • Si allo streaming e al real time, ma anche ai bulk import... • Con i dati (e chi lavora con i dati) non sempre vale la pena risolvere il problema con la mentalità da programmatore
  • 5. With the support of: Il Data Warehousing (SQL based) è «morto» (o sono morto io per questa affermazione?) lunga vita al DW!
  • 6. With the support of: Meanwhile (in the secret room)... un caso reale
  • 7. With the support of: App Services App Services Function Apps Storage Accounts Storage Accounts Function Apps Function Apps Event Hubs SQL Database Stream Analytics Jobs Stream Analytics Jobs IOT Hub On B C B A Event Grid Topics
  • 8. With the support of: Problemi • 100K devices, 3 fornitori • Azure Stream Analytics non scalato e non aggrega • Azure Function custom per l’aggregazione di dati • Scrittura su Table Storage • Catena lunga per ogni sorgente • Conseguenze • Costi elevati di sviluppo e/o manutenzione • Performance non valutate correttamente
  • 9. With the support of: Azure Data Explorer Clusters App Services App Services Function Apps Storage Accounts Storage Accounts Function Apps Function Apps Event Hubs SQL Database Stream Analytics Jobs Stream Analytics Jobs IOT Hub On B C B Event Hubs Event Grid Topics Event Grid Topics Event Hubs
  • 10. With the support of: Azure Data ExplorerClusters App Services App Services Storage Accounts Storage Accounts SQL Database IOT Hub B C B Event Hubs Event Grid Topics Event Hubs Event Grid Topics
  • 11. With the support of: Azure Data Explorer Clusters App Services App Services Storage Accounts Storage Accounts SQL Database IOT Hub B C B A Event Hubs Event Grid Topics Event Hubs Event Grid Topics Azure Synapse Analytics Power BI
  • 12. With the support of: Che cos’è Azure Synapse Analytics?
  • 13. With the support of: Che cos’è Azure Synapse Analytics Azure Synapse è un servizio di analisi aziendale che accelera il time to insight tra data warehouse e sistemi di Big Data. Azure Synapse riunisce il meglio delle tecnologie SQL utilizzate nel data warehousing aziendale, le tecnologie Spark utilizzate per i Big Data, Data Explorer per l'analisi di log e serie temporali, pipeline per l'integrazione dei dati ed ETL/ELT e integrazione profonda con altri servizi di Azure come Power BI, CosmosDB e AzureML.
  • 14. With the support of: Perchè Azure Synapse Analytics? • Convergenza dei servizi runtime e supporto nativo alla pausa • Convergenza verso Workspace e Studio experience (ADX work in progress) • Serverless SQL Pool e pricing model • External Table/Data Lake model • SQL sia come linguaggio che come EndPoint • Apache Spark interoperability • Approccio Low Code • Azure Synapse Analytics Links in vari servizi
  • 15. With the support of: La paura dei costi • Synapse SQL è un sistema di query distribuito per T-SQL che consente scenari di data warehousing e virtualizzazione dei dati ed estende T-SQL per affrontare scenari di streaming e machine learning. • Synapse SQL offre modelli di risorse sia serverless che dedicati. Per ottenere prestazioni e costi prevedibili, creare pool SQL dedicati per riservare la potenza di elaborazione ai dati archiviati nelle tabelle SQL. Per carichi di lavoro non pianificati o bursty, usa l'endpoint SQL serverless sempre disponibile. • https://learn.microsoft.com/en-us/azure/synapse-analytics/sql/data-processed Questo è ciò che deriva dall’originale Azure SQL Data Warehouse Questo è ciò che lo rende universalmente interessante. Perchè i clienti all’inizio sono così...ON/OFF
  • 16. With the support of: Apache Spark • Il più popolare motore di big data open source utilizzato per la preparazione dei dati, l'ingegneria dei dati, l'ETL e l'apprendimento automatico. • Fondamento per SQL Serverless Pool (più che la competizione con DataBricks) • Core per il Lake Database (Managed Tables) • Da DataWarehouse a Modern Data Warehouse=LakeHouse • Spark (DataBricks) evolve il modello di MDW in DeltaLake (che supporta anche il modello ACID) • Nel contesto Azure, capire quanto vale rispetto a un Azure SQL Serverless
  • 17. With the support of: Nuovi/Vecchi formati di file • Azure Synapse Analytics ci fa vivere l’esperienza che avevamo cominciato a percepire con Azure Data Lake Analytics (U-SQL) • CSV, SCSV, TSV, … • JSON (e JSONL) • Parquet • è un formato di file di dati open source orientato alle colonne progettato per l'archiviazione e il recupero efficienti dei dati. Fornisce schemi di compressione e codifica dei dati efficienti con prestazioni migliorate per gestire dati complessi in blocco
  • 18. With the support of: Data Explorer (Preview) • Azure Data Explorer è una piattaforma di analisi dei Big Data completamente gestita e ad alte prestazioni che semplifica l'analisi di volumi elevati di dati quasi in tempo reale. • ... • Analizzando dati strutturati, semi-strutturati e non strutturati in serie temporali e usando Machine Learning, Esplora dati di Azure semplifica l'estrazione di informazioni chiave, individuare modelli e tendenze e creare modelli di previsione. • ...
  • 20. With the support of: Conclusioni
  • 21. With the support of: Conclusioni • Come spesso fa, Microsoft ha abbracciato il Modern Data Warehouse in linea con la tendenza attuale, «facendolo suo» ed evolvendolo con una visione integrata che ha un grandissimo potenziale. • Il modello serverless è invitante come costo di ingresso • Valutate bene i costi del progetto...per non scartare a priori un protagonista senza tenere presente di tutti i costi nascosti.

Editor's Notes

  1. https://azure.microsoft.com/en-us/pricing/details/synapse-analytics/ https://learn.microsoft.com/en-us/azure/synapse-analytics/sql/data-processed