Dal 2015 gli utilizzatori di Power BI hanno potuto analizzare dati in real-time grazie all'integrazione con altri prodotti e servizi Microsoft. Con streaming dataflow, si porterà l'analisi in tempo reale completamente all'interno di Power BI, rimuovendo la maggior parte delle restrizioni che avevamo, integrando al contempo funzionalità di analisi chiave come la preparazione dei dati in streaming e nessuna creazione di codice. Per vederlo in funzione, studieremo un caso specifico di streaming come l'IoT con Azure IoT Central.
Power BI Streaming Data Flow e Azure IoT CentralMarco Parenzan
Dal 2015 gli utilizzatori di Power BI hanno potuto analizzare dati in real-time grazie all'integrazione con altri prodotti e servizi Microsoft. Con streaming dataflow, si porterà l'analisi in tempo reale completamente all'interno di Power BI, rimuovendo la maggior parte delle restrizioni che avevamo, integrando al contempo funzionalità di analisi chiave come la preparazione dei dati in streaming e nessuna creazione di codice. Per vederlo in funzione, studieremo un caso specifico di streaming come l'IoT con Azure IoT Central.
L'Internet of Things è una realtà e primo o dopo avrà il suo impatto significativo nelle nostre aziende.
E a quel punto, i device saranno un asset di cui gestire il lifetime, alla pari dei nostri server, reti e cloud.
Azure IoT è la piattaforma su cui possiamo sviluppare la nostra soluzione IoT e cerchiamo di comprendere cosa significa amministrare un parco device.
Alcuni temi: protocolli di comunicazione e sicurezza del device e della comunicazione. Provisioning dei device. Gestione e monitoraggio dei dispositivi. Strumenti ed API a disposizione per l'IT Pro.
Power BI Streaming Data Flow e Azure IoT CentralMarco Parenzan
Dal 2015 gli utilizzatori di Power BI hanno potuto analizzare dati in real-time grazie all'integrazione con altri prodotti e servizi Microsoft. Con streaming dataflow, si porterà l'analisi in tempo reale completamente all'interno di Power BI, rimuovendo la maggior parte delle restrizioni che avevamo, integrando al contempo funzionalità di analisi chiave come la preparazione dei dati in streaming e nessuna creazione di codice. Per vederlo in funzione, studieremo un caso specifico di streaming come l'IoT con Azure IoT Central.
L'Internet of Things è una realtà e primo o dopo avrà il suo impatto significativo nelle nostre aziende.
E a quel punto, i device saranno un asset di cui gestire il lifetime, alla pari dei nostri server, reti e cloud.
Azure IoT è la piattaforma su cui possiamo sviluppare la nostra soluzione IoT e cerchiamo di comprendere cosa significa amministrare un parco device.
Alcuni temi: protocolli di comunicazione e sicurezza del device e della comunicazione. Provisioning dei device. Gestione e monitoraggio dei dispositivi. Strumenti ed API a disposizione per l'IT Pro.
Architettura, Know-How e considerazioni nati dall'esperienza di Datarace (www.datarace.eu) in cui IoT e Big Data vengono messi al servizio dello sport per creare una "reference architecture" alla quale le aziende possono far riferimento per costruire la propria soluzione Big Data ed Analytics
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...Denodo
Guarda qui: https://bit.ly/3imvkq4
Le odierne strategie di migrazione verso il cloud devono tenere conto della maggiore complessità, in tali contesti, delle attività di Governance dei dati e di definizione delle architetture ibride e multi-cloud, riducendo al contempo i rischi intrinseci di perturbare le attività degli utenti e delle applicazioni durante la migrazione. I vantaggi principali della tecnologia di virtualizzazione dei dati forniscono l'astrazione necessaria per disaccoppiare gli utenti e le applicazioni da attività quali la migrazione e il consolidamento dei dati, aggiungendo al contempo la semantica e la governance, necessarie nei moderni ambienti di dati.
Unisciti agli esperti di Miriade e Denodo per sentire come la tua azienda può affrontare e superare le sfide insite nell’adozione di un modello Cloud e conoscere le Best Practice per una corretta gestione dei dati e dei costi in un tale modello.
In questa sessione, parleremo di:
- come l'astrazione dei dati è fondamentale per sostenere gli utenti e le applicazioni durante la migrazione dei dati;
- come l'astrazione dei dati riduce la complessità degli ambienti Cloud ibridi;
- come l'astrazione dei dati consente di accelerare le migrazioni del Cloud verso le moderne piattaforme dati e i Data Lakes;
- come l'astrazione dei dati ottimizza in modo continuo i dati nel Cloud
Predictive Maintenance per le aziende del nord-est con Azure e IoTMarco Parenzan
Due grandi fenomeni stanno caratterizzando l'IT degli ultimi anni.
Il cloud di Azure permette ad una qualunque azienda, compresa la piccola e media impresa italiana tipica del nostro tessuto imprenditoriale triveneto, di erogare servizi IT, worldwide e con qualità.
Internet of Things (IoT), assieme al movimento dei "makers", permette di aggiungere "intelligenza" a qualunque manufatto o prodotto, affinchè questo si relazioni con i servizi cloud che abbiamo sviluppato.
Infiniti sono gli scenari possibili e noi ne analizzeremo uno. Sotto il nome di Predictive Maintenance si identificano tutta quella serie di servizi che possiamo erogare con il Cloud e l'IoT per acquisire dati dai prodotti che già si vendono a clienti worldwide; in caso di degrado delle prestazioni, i dati acquisiti potranno essere analizzati al fine di pianificare una manutenzione preventiva, prima che avvenga una più onerosa rottura. Questo apre non solo nuovi mercati, ma anche nuovi prodotti, servizi o canali di vendita.
Il tutto realizzabile con le risorse disponibili sul territorio e con la tecnologia Microsoft.
Introduction to Cloud Computing and Microsoft Azure - Edition D-Day 2014 Go-o...Marco Parenzan
What is missing in Makers and Apps scenarios? Apps and makers look just to "product", without looking at the service part. Service is what takes apps and things on Internet. Where are services hosted? In the cloud. Which is a reference cloud platform? Microsoft Azure!
Finalmente la soluzione IoT che semplifica la connettività dei sistemi d’automazione, pensata per acquisire i tuoi dati e gestirli al meglio la Business Analytics. Progea Cloud.Databoom offre le migliori soluzioni per interconnettere i tuoi sistemi d’automazione, portando i dati dall’impianto al Cloud sfruttando la connettività dell’ Industrial Internet of Things (IIoT), per raccogliere le informazioni essenziali al tuo business, registrarle su DB NoSQL ed analizzarle in modo incredibilmente facile utilizzando Web Dashboard completamente personalizzabili.
GWT 2014: Energy Conference - 03 Network Design & Maintenance per le reti tec...Planetek Italia Srl
Geospatial World Tour 2014: Energy Conference.
Milano, 27 maggio 2014.
Network Design & Maintenance per le reti tecnologiche
Tiziano Orsenigo, Intergraph Italia
139 Tavola Rotonda “Edge e Cloud Computing” - Automazione Oggi N. 399 – Giugn...Cristian Randieri PhD
…un vantaggio strategico per ridefinire le modalità in cui un’azienda può sviluppare i suoi servizi, fornirli ai suoi clienti e gestire in modo efficiente le sue operazioni. Ne parliamo con le aziende
Con Christian Eder, marketing director di Congatec; Giuseppe Surace, chief product & marketing officer di Eurotech; Cristian Randieri, predicente & CEO di Intellisystem Technologies (www.intellisystem.it); Alberto Griffini, product manager avanced PLC & Scada di Mitsubishi Electric; Alberto Olivini, portfolio consultant motion control di Siemens Italia; Lodovico Piermattei, consulting & solution engineer di Vertiv in Italia; Locatelli Claudio, membro del comitato scientifico SPS IPC Drives Italia.
The Logical Data Fabric: un posto unico per la data integration (Italian)Denodo
Watch full webinar here: https://bit.ly/2GmNEAS
Integra i tuoi dati in un unico luogo e rendili velocemente disponibili per supportare le scelte di business. La capacità di fornire un unico luogo per l'accesso istantaneo ai dati può rappresentare un grande vantaggio competitivo per le aziende, in un mercato in continuo mutamento.
È compito delle tecnologie di virtualizzazione e di data integration creare un logical data fabric sempre più efficiente, rendendo disponibili tutti i dati in un unico posto senza doverli replicare, pronti per essere analizzati e consentire di prendere decisioni aziendali migliori e più rapide.
Assieme ai Data Virtualization Engineer di Denodo e di Miriade scopriremo come la Data Virtualization e il Logical Data Fabric consentano di integrare e rendere disponibili velocemente i dati, superando problemi quali:
- la posizione fisica dei dati
- la diversità di formato dei dati
- la latenza dei dati
Per riservare il tuo posto, registrati ora! Sentiti libero di invitare chi pensi possa trovare l'argomento utile per la propria carriera o per la propria attività.
SMAU Milano 2014 GAE 24/10/2014 - IWA ItalyPaolo Dadda
Spesso si tende a considerare il lavoro di piccoli team e sviluppatori individuali di minor qualità per questioni di competenze.
Un cloud, infatti, necessita spesso di VPS da configurare, far funzionare e mantenere, che seppur virtuali e dedicate, richiedono un minimo di competenza.
Come mantenere alta la qualità per piccoli team e singoli developer?
Come ridurre l’esigenza di “dover” saper far tutto?
Utilizzare servizi che eliminano, lato sviluppatore, gestione e sicurezza del server, può essere determinante, permettendo di specializzarsi di più sui propri “skill” senza trovarsi obbligati a coinvolgere terze figure o diventare factotum del web.
Target:
WSP-G3-002 - Web Project Manager,
WSP-G3-005 - Business Analyst,
WSP-G3-009 - Frontend Web developer,
WSP-G3-010 - Server Side Web Developer,
WSP-G3-014 - Digital Strategic Planner.
Normalmente parliamo e presentiamo Azure IoT (Central) con un taglio un po' da "maker". In questa sessione, invece, vediamo di parlare allo SCADA engineer. Come si configura Azure IoT Central per il mondo industriale? Dov'è OPC/UA? Cosa c'entra IoT Plug & Play in tutto questo? E Azure IoT Central...quali vantaggi ci da? Cerchiamo di rispondere a queste e ad altre domande in questa sessione...
Allo sviluppatore Azure piacciono i servizi PaaS perchè sono "pronti all'uso". Ma quando proponiamo le nostre soluzioni alle aziende, ci scontriamo con l'IT che apprezza gli elementi infrastrutturali, IaaS. Perchè non (ri)scoprirli aggiungendo anche un pizzico di Hybrid che con il recente Azure Kubernetes Services Edge Essentials si può anche usare in un hardware che si può tenere anche in casa? Quindi scopriremo in questa sessione, tra gli altri, le VNET, le VPN S2S, Azure Arc, i Private Endpoints, e AKS EE.
More Related Content
Similar to Power BI Streaming Data Flow e Azure IoT Central
Architettura, Know-How e considerazioni nati dall'esperienza di Datarace (www.datarace.eu) in cui IoT e Big Data vengono messi al servizio dello sport per creare una "reference architecture" alla quale le aziende possono far riferimento per costruire la propria soluzione Big Data ed Analytics
Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...Denodo
Guarda qui: https://bit.ly/3imvkq4
Le odierne strategie di migrazione verso il cloud devono tenere conto della maggiore complessità, in tali contesti, delle attività di Governance dei dati e di definizione delle architetture ibride e multi-cloud, riducendo al contempo i rischi intrinseci di perturbare le attività degli utenti e delle applicazioni durante la migrazione. I vantaggi principali della tecnologia di virtualizzazione dei dati forniscono l'astrazione necessaria per disaccoppiare gli utenti e le applicazioni da attività quali la migrazione e il consolidamento dei dati, aggiungendo al contempo la semantica e la governance, necessarie nei moderni ambienti di dati.
Unisciti agli esperti di Miriade e Denodo per sentire come la tua azienda può affrontare e superare le sfide insite nell’adozione di un modello Cloud e conoscere le Best Practice per una corretta gestione dei dati e dei costi in un tale modello.
In questa sessione, parleremo di:
- come l'astrazione dei dati è fondamentale per sostenere gli utenti e le applicazioni durante la migrazione dei dati;
- come l'astrazione dei dati riduce la complessità degli ambienti Cloud ibridi;
- come l'astrazione dei dati consente di accelerare le migrazioni del Cloud verso le moderne piattaforme dati e i Data Lakes;
- come l'astrazione dei dati ottimizza in modo continuo i dati nel Cloud
Predictive Maintenance per le aziende del nord-est con Azure e IoTMarco Parenzan
Due grandi fenomeni stanno caratterizzando l'IT degli ultimi anni.
Il cloud di Azure permette ad una qualunque azienda, compresa la piccola e media impresa italiana tipica del nostro tessuto imprenditoriale triveneto, di erogare servizi IT, worldwide e con qualità.
Internet of Things (IoT), assieme al movimento dei "makers", permette di aggiungere "intelligenza" a qualunque manufatto o prodotto, affinchè questo si relazioni con i servizi cloud che abbiamo sviluppato.
Infiniti sono gli scenari possibili e noi ne analizzeremo uno. Sotto il nome di Predictive Maintenance si identificano tutta quella serie di servizi che possiamo erogare con il Cloud e l'IoT per acquisire dati dai prodotti che già si vendono a clienti worldwide; in caso di degrado delle prestazioni, i dati acquisiti potranno essere analizzati al fine di pianificare una manutenzione preventiva, prima che avvenga una più onerosa rottura. Questo apre non solo nuovi mercati, ma anche nuovi prodotti, servizi o canali di vendita.
Il tutto realizzabile con le risorse disponibili sul territorio e con la tecnologia Microsoft.
Introduction to Cloud Computing and Microsoft Azure - Edition D-Day 2014 Go-o...Marco Parenzan
What is missing in Makers and Apps scenarios? Apps and makers look just to "product", without looking at the service part. Service is what takes apps and things on Internet. Where are services hosted? In the cloud. Which is a reference cloud platform? Microsoft Azure!
Finalmente la soluzione IoT che semplifica la connettività dei sistemi d’automazione, pensata per acquisire i tuoi dati e gestirli al meglio la Business Analytics. Progea Cloud.Databoom offre le migliori soluzioni per interconnettere i tuoi sistemi d’automazione, portando i dati dall’impianto al Cloud sfruttando la connettività dell’ Industrial Internet of Things (IIoT), per raccogliere le informazioni essenziali al tuo business, registrarle su DB NoSQL ed analizzarle in modo incredibilmente facile utilizzando Web Dashboard completamente personalizzabili.
GWT 2014: Energy Conference - 03 Network Design & Maintenance per le reti tec...Planetek Italia Srl
Geospatial World Tour 2014: Energy Conference.
Milano, 27 maggio 2014.
Network Design & Maintenance per le reti tecnologiche
Tiziano Orsenigo, Intergraph Italia
139 Tavola Rotonda “Edge e Cloud Computing” - Automazione Oggi N. 399 – Giugn...Cristian Randieri PhD
…un vantaggio strategico per ridefinire le modalità in cui un’azienda può sviluppare i suoi servizi, fornirli ai suoi clienti e gestire in modo efficiente le sue operazioni. Ne parliamo con le aziende
Con Christian Eder, marketing director di Congatec; Giuseppe Surace, chief product & marketing officer di Eurotech; Cristian Randieri, predicente & CEO di Intellisystem Technologies (www.intellisystem.it); Alberto Griffini, product manager avanced PLC & Scada di Mitsubishi Electric; Alberto Olivini, portfolio consultant motion control di Siemens Italia; Lodovico Piermattei, consulting & solution engineer di Vertiv in Italia; Locatelli Claudio, membro del comitato scientifico SPS IPC Drives Italia.
The Logical Data Fabric: un posto unico per la data integration (Italian)Denodo
Watch full webinar here: https://bit.ly/2GmNEAS
Integra i tuoi dati in un unico luogo e rendili velocemente disponibili per supportare le scelte di business. La capacità di fornire un unico luogo per l'accesso istantaneo ai dati può rappresentare un grande vantaggio competitivo per le aziende, in un mercato in continuo mutamento.
È compito delle tecnologie di virtualizzazione e di data integration creare un logical data fabric sempre più efficiente, rendendo disponibili tutti i dati in un unico posto senza doverli replicare, pronti per essere analizzati e consentire di prendere decisioni aziendali migliori e più rapide.
Assieme ai Data Virtualization Engineer di Denodo e di Miriade scopriremo come la Data Virtualization e il Logical Data Fabric consentano di integrare e rendere disponibili velocemente i dati, superando problemi quali:
- la posizione fisica dei dati
- la diversità di formato dei dati
- la latenza dei dati
Per riservare il tuo posto, registrati ora! Sentiti libero di invitare chi pensi possa trovare l'argomento utile per la propria carriera o per la propria attività.
SMAU Milano 2014 GAE 24/10/2014 - IWA ItalyPaolo Dadda
Spesso si tende a considerare il lavoro di piccoli team e sviluppatori individuali di minor qualità per questioni di competenze.
Un cloud, infatti, necessita spesso di VPS da configurare, far funzionare e mantenere, che seppur virtuali e dedicate, richiedono un minimo di competenza.
Come mantenere alta la qualità per piccoli team e singoli developer?
Come ridurre l’esigenza di “dover” saper far tutto?
Utilizzare servizi che eliminano, lato sviluppatore, gestione e sicurezza del server, può essere determinante, permettendo di specializzarsi di più sui propri “skill” senza trovarsi obbligati a coinvolgere terze figure o diventare factotum del web.
Target:
WSP-G3-002 - Web Project Manager,
WSP-G3-005 - Business Analyst,
WSP-G3-009 - Frontend Web developer,
WSP-G3-010 - Server Side Web Developer,
WSP-G3-014 - Digital Strategic Planner.
Similar to Power BI Streaming Data Flow e Azure IoT Central (20)
Normalmente parliamo e presentiamo Azure IoT (Central) con un taglio un po' da "maker". In questa sessione, invece, vediamo di parlare allo SCADA engineer. Come si configura Azure IoT Central per il mondo industriale? Dov'è OPC/UA? Cosa c'entra IoT Plug & Play in tutto questo? E Azure IoT Central...quali vantaggi ci da? Cerchiamo di rispondere a queste e ad altre domande in questa sessione...
Allo sviluppatore Azure piacciono i servizi PaaS perchè sono "pronti all'uso". Ma quando proponiamo le nostre soluzioni alle aziende, ci scontriamo con l'IT che apprezza gli elementi infrastrutturali, IaaS. Perchè non (ri)scoprirli aggiungendo anche un pizzico di Hybrid che con il recente Azure Kubernetes Services Edge Essentials si può anche usare in un hardware che si può tenere anche in casa? Quindi scopriremo in questa sessione, tra gli altri, le VNET, le VPN S2S, Azure Arc, i Private Endpoints, e AKS EE.
Static abstract members nelle interfacce di C# 11 e dintorni di .NET 7.pptxMarco Parenzan
Did interfaces in C# need evolution? Maybe yes. Are they violating some fundamental principles? We see. Are we asking for some hoops? Let's see all this by telling a story (of code, of course)
Azure Synapse Analytics for your IoT SolutionsMarco Parenzan
Let's find out in this session how Azure Synapse Analytics, with its SQL Serverless Pool, ADX, Data Factory, Notebooks, Spark can be useful for managing data analysis in an IoT solution.
Power BI Streaming Data Flow e Azure IoT CentralMarco Parenzan
Since 2015, Power BI users have been able to analyze data in real-time thanks to the integration with other Microsoft products and services. With streaming dataflow, you'll bring real-time analytics completely within Power BI, removing most of the restrictions we had, while integrating key analytics features like streaming data preparation and no coding. To see it in action, we will study a specific case of streaming such as IoT with Azure IoT Central.
What are the actors? What are they used for? And how can we develop them? And how are they published and used on Azure? Let's see how it's done in this session
Generic Math, funzionalità ora schedulata per .NET 7, e Azure IoT PnP mi hanno risvegliato un argomento che nel mio passato mi hanno portato a fare due/tre viaggi, grazie all'Università di Trieste, a Cambridge (2006/2007 circa) e a Seattle (2010, quando ho parlato pubblicamente per la prima volta di Azure :) e che mi ha fatto conoscere il mito Don Box!), a parlare di codice in .NET che aveva a che fare con la matematica e con la fisica: le unità di misura e le matrici. L'avvento dei Notebook nel mondo .NET e un vecchio sogno legato alla libreria ANTLR (e tutti i miei esercizi di Code Generation) mi portano a mettere in ordine 'sto minestrone di idee...o almeno ci provo (non so se sta tutto in piedi).
322 / 5,000
Translation results
.NET is better every year for a developer who still dreams of developing a video game. Without pretensions and without talking about Unity or any other framework, just "barebones" .NET code, we will try to write a game (or parts of it) in the 80's style (because I was a kid in those years). In Christmas style.
Building IoT infrastructure on edge with .net, Raspberry PI and ESP32 to conn...Marco Parenzan
IoT scenarios necessarily pass through the Edge component and the Raspberry PI is a great way to explore this world. If we need to receive IoT events from sensors, how do I implement an MQTT endpoint? Kafka is a clever way to do this. And how do I process the data? Kafka? Spark? Rabbit ?. How do we write custom code for these environments? .NET, now in version 6 is another clever way to do it! And maybe, we can also communicate with Azure. We'll see in this session if we can make it all work!
How can you handle defects? If you are in a factory, production can produce objects with defects. Or values from sensors can tell you over time that some values are not "normal". What can you do as a developer (not a Data Scientist) with .NET o Azure to detect these anomalies? Let's see how in this session.
Quali vantaggi ci da Azure? Dal punto di vista dello sviluppo software, uno di questi è certamente la varietà dei servizi di gestione dei dati. Questo ci permette di cominciare a non essere SQL centrici ma utilizzare il servizio giusto per il problema giusto fino ad applicare una strategia di Polyglot Persistence (e vedremo cosa significa) nel rispetto di una corretta gestione delle risorse IT e delle pratiche di DevOps.
C'è ancora diffidenza nei confronti dell'Internet of Things e il costo delle soluzioni custom non aiuta. Azure IoT Central è un servizio SaaS personalizzabile che rende accessibile a costi sostenibili. Vediamo quali sonole peculiarità di questo servizio.
Come puoi gestire i difetti? Se sei in una fabbrica, la produzione può produrre oggetti con difetti. Oppure i valori dei sensori possono dirti nel tempo che alcuni valori non sono "normali". Cosa puoi fare come sviluppatore (non come Data Scientist) con .NET o Azure per rilevare queste anomalie? Vediamo come in questa sessione.
It happens that we have to develop several services and deploy them in Azure. They are small, repetitive but different, often not very different. Why not use code generation techniques to simplify the development and implementation of these services? Let's see with .NET comes to meet us and helps us to deploy in Azure.
Running Kafka and Spark on Raspberry PI with Azure and some .net magicMarco Parenzan
IoT scenarios necessarily pass through the Edge component and the Raspberry PI is a great way to explore this world. If we need to receive IoT events from sensors, how do I implement an MQTT endpoint? Kafka is a clever way to do this. And how do I process the data in Kafka? Spark is another clever way of doing this. How do we write custom code for these environments? .NET, now in version 6 is another clever way to do it! And maybe, we also communicate with Azure. We'll see in this session if we can make it all work!
Time Series Anomaly Detection with Azure and .NETTMarco Parenzan
f you have any device or source that generates values over time (also a log from a service), you want to determine if in a time frame, the time serie is correct or you can detect some anomalies. What can you do as a developer (not a Data Scientist) with .NET o Azure? Let's see how in this session.
It happens that we have to develop several services and deploy them in Azure. They are small, repetitive but different, often not very different. Why not use code generation techniques to simplify the development and implementation of these services? Let's see with .NET comes to meet us and helps us to deploy in Azure.
.net interactive for notebooks and for your data job
Power BI Streaming Data Flow e Azure IoT Central
1. Power BI Streaming DataFlow
and Azure IoT Central
Marco Pozzan
Marco Parenzan
2. Marco Parenzan
• Senion Solution Architect @ beanTech
• 1nn0va Community Lead (Pordenone)
• Microsoft Azure MVP
• Linkedin:
https://www.linkedin.com/in/marcoparenzan/
• Slideshare:
https://www.slideshare.net/marco.parenzan
• GitHub: https://github.com/marcoparenzan
3. • Dal 2002 faccio consulenza sulla progettazione di data warehouse relazional e
sulla progettazione di cubi Tabular/Multidimensional con strumenti
Microsoft.
• Dal 2007 Community Lead di 1nn0va (https://www.facebook.com/1nn0va)
• dal 2014 MVP per SQL Server
• Dal 2017 mi occupo di modern data warehouse con prodotti Azure: Synapse,
Azure Data Factory, Stream Analytics, Data Lake e affini. Sono Docente
all'Università di Pordenone nel corso Architetture Big Data e DWH: Tecniche di
modellazione del dato
• Dal 2020 Founder e CTO presso Cargo BI: start-up di insurance data analytics
• MCP, MCSA, MCSE, MCT SQL Server
• Relatore in diverse conferenze sul tema.
• info@marcopozzan.it
• @marcopozzan.it
• www.marcopozzan.it
Marco Pozzan
4. Agenda
• Overview
• Presentazione di Azure IoTCentral
• Setup - data export - demo
• Power BI Streaming Data Flow
• Setup Data Flow
• Anomaly detection
• Invocare Anomaly detection da power query - demo
6. Facts
• Everyone «needs» IoT
• Everyone receive requests for
IoT
• IoT can become complex
• It is difficult to organize a team
for that
• Biggest issues: cost, skills,
manageability
7. • Carbon Emission
Reduction
• Grid assets
management
• Smart utility carbon
accounting
• EV Smart Charging
Energy
• Inventory
Management
• Store Analytics
• Digital Distribution
Center
• Connected logistics
Retail
• Smart
Equipment
• Precision
Farming
• Connected Cows
Agriculture
• Inventory Management
for Medical Supplies
• Remote patient
monitoring
• Cold Chain supply
tracking
• Smart hospital building
Healthcare
• Space Management &
Optimization
• Connected spaces
• Energy management &
building operations
• Occupant experience
and productivity
Smart
Buildings
• Smart Lighting
• Smart water
• Smart parking
• Smart Waste
• Air quality monitoring
Smart City
Lot of IoT
8. Which IoT?
• Let’s consider a couple of IoT Scenarios mainly
• Smart*
• Industrial IoT
• Everything is (almost) useful in each, but let’s consider Smart*
• Characteristics:
• Short pipeline (SensorLow/Nothing edge intelligenceGatewayCloud
12. Power BI
PowerApps Web Apps
Mobile Apps
Manage
View and manage solutions
Azure Sphere
Secured MCU Secured OS Cloud Security
Business Integration
Connect to business apps & services
Office 365
Dynamics 365
Edge Modules:
• Protocol Adaptation
• Functions
• Stream Analytics
• Machine Learning
• AI
Azure
IoT Edge
3rd Party applications
Azure IoT Device SDK
3rd Party Industry specific sensors & devices
(RTOS, Linux, Windows, Android, iOS)
IoT Hub
Container
Registry
Kubernetes
Service
Compute
(VMs)
Content
Delivery
Network
Data
Explorer
Front Door
Resource
Manager
(ARM)
Storage
Domain
Name
System
Microsoft
Flow
Key Vault
Service Bus
Applicatio
n Insights
Functions
SQL Azure
Cosmos DB
Web Apps
Azure Stream
Analytics
Event Hub
Device
Provisioning
Service Time Series
Insights
Maps
Your options for building IoT solutions
13. Power BI
PowerApps Web Apps
Mobile Apps
Manage
View and manage solutions
Azure Sphere
Secured MCU Secured OS Cloud Security
Business Integration
Connect to business apps & services
Office 365
Dynamics 365
Edge Modules:
• Protocol Adaptation
• Functions
• Stream Analytics
• Machine Learning
• AI
Azure
IoT Edge
3rd Party applications
Azure IoT Device SDK
3rd Party Industry specific sensors & devices
(RTOS, Linux, Windows, Android, iOS)
IoT Hub
Container
Registry
Kubernetes
Service
Compute
(VMs)
Content
Delivery
Network
Data
Explorer
Front Door
Resource
Manager
(ARM)
Storage
Domain
Name
System
Microsoft
Flow
Key Vault
Service Bus
Applicatio
n Insights
Functions
SQL Azure
Cosmos DB
Web Apps
Azure Stream
Analytics
Event Hub
Device
Provisioning
Service Time Series
Insights
Maps
But IoT adoption remains very challenging
Your options for building IoT solutions
Simplify production-ready IoT solution development
• Simplify setup, reduce management burden, operational
costs, and overhead of a typical IoT project.
• Bring solutions to market faster, while staying focused
on your customers
Azure IoT Central
Build with Azure IoT Central, our IoT App
Platform
Highly secure
Enterprise-grade
Predictable pricing
Industry-focused
14. Pricing Model
Standard Tier 0 Standard Tier 1 Standard Tier 2
Price per device €0,07 al mese €0,34 al mese €0,59 al mese
Monthly device message allocation* 400 messages 5,000 messages 30,000 messages
Included free quantity per IoT Central
application
2 free devices
(800 included messages)
2 free devices
(10,000 included messages)
2 free devices
(60,000 included messages)
Use case For devices sending a few messages
per hour
For devices sending a few messages
per hour
For devices sending a message every
few minutes
Overage pricing per 1K messages1 €0.060 per 1K messages €0.013 per 1K messages €0.013 per 1K messages
*Total message allocation is shared across all devices in an IoT Central application
15. Common Architectures
Telemetry from devices or sensors is
sent to a gateway device or directly to
IoT Central
Data is sent, aggregated and analyzed in
IoT Central
Data is routed to other Azure services for manipulation – storage,
reformatting, integration to business workflows and applications,
etc.
Azure services like ASA or Azure Functions can be used to reformat
data streams and send them to storage accounts
Logic apps can be used to power business applications
17. Why Azure IoT Central is interesting and not a
toy
• It is fully compliant with Azure IoT Platform (Azure IoT Hub, Azure IoT
Device Provisioning Services, Azure IoT Device)
• It has an interesting pricing model (per Device)
• It forces you in terms of modeling (Device Twin and Plug and Play)
• It gives you a fast start...
• ...because it is a very interesting scenario based tool...
• ...with standard that gives you a growth path!
• It is extensible with other Azure services
• It shows how an IoT Solution should be
18. Azure IoT Central Values
• SaaS approach
• Scenario-based approach
• Pricing per Device (with message tier)
• IoT PnP, Device Provisioning Service
• IoT Hub full compatibility
• Dashboards
• Internal Data ConsumptionSingle Service
• REST API
• Routing to external paths
19. What is IoT Plug and Play?
• IoT Plug and Play enables solution
builders to integrate smart devices
with their solutions without any
manual configuration. At the core
of IoT Plug and Play, is a
device model that a device uses to
advertise its capabilities to an IoT
Plug and Play-enabled application.
• To make IoT Plug and Play work
with Azure Digital Twins, you
define models and interfaces using
the Digital Twins Definition
Language (DTDL).
• IoT Plug and Play and the DTDL are
open to the community, and
Microsoft welcomes collaboration
with customers, partners, and the
industry. Both are based on open
W3C standards such as JSON-LD
and RDF, which enables easier
adoption across services and
tooling.
• There's no extra cost for using IoT
Plug and Play and DTDL. Standard
rates for Azure IoT Hub and other
Azure services remain the same.
https://devicecatalog.azure.com/devices/3467200c-3d58-409d-ab9a-b1c603bec01b
20. Azure IoT Central REST API
• You can directly consume data from IoT Central without external
routes
• All data are accessible from REST Api
• Management of Access tokens from the UI
21. The integration model of IoT Central
• Built upon the IoT Hub
infrastructure
• Advantage from internal data
consumption by IoT Central
• Already include some services you
always add
• New from IoT Hub
• Device Provisioning Service
• WebHooks
• Rules (Stream Analytics)
• REST API to query Central data
• REST API to manage IoT Central
• Data Transformation besides
enrichment in data routing
25. Che cosa sono gli streaming dataflow
• Problema: Gli analisti necessitano di assistenza tecnica per gestire le
origini dati in streaming. L’ IT spesso si affidano a sistemi
personalizzati e a una combinazione di tecnologie senza le quali non
potrebbero fornire ai decisori dati in tempo reale.
• Soluzione: I streaming dataflow consentono agli autori di connettersi,
importare, eseguire il mash-up, modellare e creare report basati sullo
streaming di dati quasi in tempo reale direttamente nel servizio
Power BI.
26. Che cosa sono gli streaming dataflow
• Il servizio consente esperienze drag-and-drop senza codice.
• streaming dataflow in Power BI consente alle organizzazioni di:
• Prendere decisioni quasi in tempo reale. Le organizzazioni possono essere più agili e
intraprendere azioni significative sulla base delle informazioni più aggiornate.
• Democratizza i dati in streaming. Le organizzazioni possono rendere i dati più accessibili e più
facili da interpretare con una soluzione senza codice riducendo le risorse IT.
• Accelera il time to insight utilizzando una soluzione di analisi dello streaming end-to-end
integrata con l'archiviazione dei dati di BI.
27. Creazione di uno streaming dataflow
• Puoi aggiungere e modificare tabelle nel streaming dataflow
direttamente dall'area di lavoro in cui è stato creato il flusso di dati.
• A causa della natura dei dati in streaming, c'è un flusso continuo in
entrata. L'aggiornamento è costante o infinito a meno che non lo si
interrompa
• Puoi avere un solo un tipo di flusso di dati per area di lavoro. Se
disponi già di un flusso di dati regolare nell'area di lavoro Premium,
non potrai creare un flusso di dati in streaming (e viceversa).
29. Input: Event Hub
• Event Hub è una piattaforma di streaming
per big data e un servizio di importazione
di eventi.
• Può ricevere ed elaborare milioni di
eventi al secondo.
• I dati inviati a un hub eventi possono
essere trasformati e archiviati utilizzando
qualsiasi provider di analisi in tempo reale
o adattatori di batch/archiviazione.
• Viene visualizzata una scheda nella vista
del diagramma, incluso un riquadro
laterale per la sua configurazione.
30. Input: Iot Hub
• L'hub IoT è un servizio gestito
ospitato nel cloud.
• Funge da hub centrale di messaggi
per le comunicazioni in entrambe
le direzioni tra un'applicazione IoT
e i suoi dispositivi collegati.
• Puoi connettere milioni di
dispositivi e le relative soluzioni
back-end in modo affidabile e
sicuro. Quasi tutti i dispositivi
possono essere collegati a un hub
IoT.
31. Considerazioni su Event Hub e IoT Hub
• Quando usi i dati di flusso da Hub
eventi o Hub IoT, hai accesso ai
seguenti campi temporali dei
metadati nel flusso di dati di
streaming:
• EventProcessedUtcTime : la data e
l'ora in cui l'evento è stato elaborato.
• EventEnqueuedUtcTime : la data e
l'ora di ricezione dell'evento.
• Nessuno di questi campi apparirà
nell'anteprima di input. Devi
aggiungerli manualmente.
32. Input: Blob Storage
• L'archiviazione BLOB è ottimizzata per
l'archiviazione di enormi quantità di
dati non strutturati.
• Possiamo usare i BLOB di Azure come
input di streaming/riferimento.
• I BLOB in streaming vengono
generalmente controllati ogni secondo
per streaming . Mente i BLOB di
reference (<= 50 MB) viene caricato
solo all'inizio dell'aggiornamento
33. Trasformazione: Filtro
• Utilizzare la
trasformazione Filtro per filtrare
gli eventi in base al valore di un
campo nell'input.
• A seconda del tipo di dati
(numero o testo), la
trasformazione manterrà i valori
che corrispondono alla
condizione selezionata.
34. Trasformazione: Gestisci i campi
• La trasformazione Gestisci
campi consente di aggiungere,
rimuovere o rinominare i campi
provenienti da un input o da
un'altra trasformazione.
• Le impostazioni nel riquadro
laterale ti danno la possibilità di
aggiungerne uno nuovo
selezionando Aggiungi campo o
aggiungendo tutti i campi
contemporaneamente.
35. Trasformazione: Aggregato
• È possibile utilizzare la
trasformazione Aggrega per
calcolare un'aggregazione
( Sum , Minimum , Maximum o Ave
rage ) ogni volta che si verifica un
nuovo evento in un periodo di
tempo.
• Puoi avere una o più aggregazioni
nella stessa trasformazione.
• Possiamo aggiungere il periodo di
tempo durante il quale verrà
calcolata l'aggregazione e filtrare
per altra dimensione
36. Trasformazione: Aggiungi (Join)
• Usare il Join per combinare eventi
da due input in base alle coppie di
campi selezionate. Come per i join
regolari, hai diverse opzioni per la
logica di join:
• Inner join
• Left join
• Infine, seleziona in quale periodo di
tempo desideri che venga calcolato
il join. In questo esempio, il join
esamina gli ultimi 10 secondi.
• Per impostazione predefinita, sono
inclusi tutti i campi di entrambe le
tabelle.
37. Trasformazione: Raggruppa per
• Utilizzare la trasformazione Raggruppa
per per calcolare le aggregazioni di
tutti gli eventi arrivati entro un
determinato intervallo di tempo.
• Include anche opzioni di finestre
temporali più complesse. Puoi
aggiungere più di un'aggregazione per
trasformazione.
• Le aggregazioni disponibili in questa
trasformazione
sono: Media , Conteggio , Massimo ,
Minimo , Percentile (continuo e
discreto), Deviazione
standard , Somma e Varianza .
38. Trasformazione: Raggruppa per
• Il tipo di finesta tumbling (cascata) è il tipo più comune di finestra
temporale. Le caratteristiche chiave delle finestre a tumbling sono che
si ripetono, hanno la stessa durata (duration) e non si
sovrappongono. Un evento non può appartenere a più di una finestra
di tumbling.
•
39. Trasformazione: Raggruppa per
• Le finestre hopping (salto) servono per saltare in avanti nel tempo di
un periodo fisso. Puoi pensarli come finestre tumbling che possono
sovrapporsi ed essere emesse più spesso delle dimensioni della
finestra. Gli eventi possono appartenere a più di un set di risultati per
una finestra hopping.
40. Trasformazione: Raggruppa per
• Le finestre sliding (scorrevole), a differenza delle finestre a tumbling o
hopping, calcolano l'aggregazione solo per i momenti in cui il
contenuto della finestra cambia effettivamente. Quando un evento
entra o esce dalla finestra, viene calcolata l'aggregazione. Quindi, ogni
finestra ha almeno un evento.
41. Trasformazione: Raggruppa per
• Le finestre di session (sessione) sono il tipo più
complesso. Raggruppano eventi che arrivano in orari simili, filtrando i
periodi di tempo in cui non ci sono dati. Per questo è necessario
fornire:
• Un timeout: quanto aspettare se non ci sono nuovi dati.
• Una durata massima: il tempo più lungo in cui verrà calcolata l'aggregazione
se i dati continuano ad arrivare.
• Puoi anche definire una partizione, se lo desideri.
42. Trasformazione: Raggruppa per
• Le finestre di snapshot (istantanea) raggruppano gli eventi che hanno
lo stesso timestamp. A differenza di altre finestre, uno snapshot non
richiede alcun parametro perché utilizza il tempo del sistema.
•
43. Output: Table
• Dopo che sei pronto con input e trasformazioni, è il momento di
definire uno o più output. A partire da luglio 2021, i flussi di dati in
streaming supportano un solo tipo di output: una tabella Power BI.
• Questo output sarà una tabella del flusso di dati (ovvero un'entità)
che puoi usare per creare report in Power BI Desktop. Devi unire i
nodi del passaggio precedente con l'output che stai creando per farlo
funzionare. Dopodiché, tutto ciò che devi fare è nominare la tabella.
44. Eseguire un flusso
• Per avviare il flusso di dati in streaming, prima salva il flusso di dati e
vai all'area di lavoro in cui lo hai creato. Passa il mouse sopra il
streaming dataflow e seleziona il pulsante di riproduzione che
appare. Un messaggio pop-up informa che il flusso di dati in
streaming è in fase di avvio.
45. Connettersi a un streaming dataflow
• Con la versione di luglio 2021 di Power BI Desktop, è disponibile un
nuovo connettore denominato Dataflow di dati da usare. Come parte
di questo nuovo connettore, per lo streaming dei flussi di dati, vedrai
due tabelle che corrispondono all'archiviazione dei dati descritta in
precedenza.
46. Connettersi a un streaming dataflow
• I Streaming Dataflow salvano i dati nelle due posizioni seguenti. L'uso di
queste fonti dipende dal tipo di analisi che stai cercando di fare:
• Hot (analisi in tempo reale) : quando i dati arrivano in Power BI dai
Streaming Dataflow, i dati vengono archiviati in una posizione attiva a cui
puoi accedere con elementi visivi in tempo reale. La quantità di dati salvata
in questo archivio dipende dal valore definito per Durata conservazione
nelle impostazioni Streaming Dataflow. Il valore predefinito (e minimo) è
24 ore.
• Cold (analisi storica) : qualsiasi periodo di tempo che non rientra nel
periodo definito per Durata di conservazione viene salvato in
conservazione a freddo (BLOB) in Power BI per essere utilizzato se
necessario. (solo con il connettore dei flussi di dati (Beta) di Power
Platform)
47. Connettersi a un streaming dataflow
• Quando ti viene chiesto di scegliere una modalità di archiviazione,
seleziona DirectQuery se il tuo obiettivo è creare oggetti visivi in
tempo reale.
48. Limitazioni
• Per creare ed eseguire streaming dataflow è necessario un abbonamento a
Power BI Premium (capacità o PPU).
• È consentito un solo tipo di flusso di dati per area di lavoro (streaming o
regolare).
• Non è possibile collegare dataflow regolari e streaming dataflow.
• Capacità inferiori ad A3 non consentono l'uso di streaming dataflow.
• Se i dataflow o il motore di calcolo avanzato non sono abilitati in un tenant,
non è possibile creare o eseguire streaming dataflow.
• Le aree di lavoro connesse a un account di archiviazione non sono
supportate.
• Ciascun streaming dataflow può fornire fino a 1 megabyte al secondo di
throughput.
49. Licenze
• Il numero di streaming dataflow consentiti per tenant dipende dalla
licenza utilizzata:
• Per le capacità Premium, utilizzare la formula seguente per calcolare il
numero massimo di streaming dataflow consentiti in una capacità:
• Numero massimo di flussi di dati in streaming per capacità = vCore nella
capacità x 5
• Ad esempio, P1 ha 8 vCore: 8 * 5 = 40 flussi di dati in streaming.
• Per Premium per utente, è consentito un flusso di dati in streaming
per utente. Se un altro utente desidera utilizzare un flusso di dati in
streaming in un'area di lavoro PPU, avrà bisogno anche di una licenza
PPU.
52. Anomaly Detection
• Anomaly detection is the process of identifying unexpected items or
events in data sets, which differ from the norm.
• And anomaly detection is often applied on unlabeled data which is
known as unsupervised anomaly detection.
53. Anomaly Detection in Time Series
• In time series data, an anomaly or outlier can be termed as a data
point which is not following the common collective trend or seasonal
or cyclic pattern of the entire data and is significantly distinct from
rest of the data. By significant, most data scientists mean statistical
significance, which in order words, signify that the statistical
properties of the data point is not in alignment with the rest of the
series.
• Anomaly detection has two basic assumptions:
• Anomalies only occur very rarely in the data.
• Their features differ from the normal instances significantly.
54. Many Opportunities in Azure
• Programmatic:
• ML.NET (in .NET space)
• All Python space
• Data Platform
• Spark and DataBricks
• Azure Data Explorer
• All these solutions are in the PaaS space
• Any option in SaaS space?
55. Azure Cognitive Services
• Cognitive Services brings AI within reach of every developer—without
requiring machine-learning expertise. All it takes is an API call to embed the
ability to see, hear, speak, search, understand, and accelerate decision-
making into your apps. Enable developers of all skill levels to easily add AI
capabilities to their apps.
• Five areas:
• Decision
• Language
• Speech
• Vision
• Web search
Anomaly Detector
Identify potential problems early on.
Content Moderator
Detect potentially offensive or unwanted content.
Metrics Advisor PREVIEW
Monitor metrics and diagnose issues.
Personalizer
Create rich, personalized experiences for every user.
56. Anomaly Detector
• Through an API, Anomaly Detector ingests time-series data of all
types and selects the best-fitting detection model for your data to
ensure high accuracy. Customize the service to detect any level of
anomaly and deploy it where you need it most -- from the cloud to
the intelligent edge with containers. Azure is the only major cloud
provider that offers anomaly detection as an AI service.
It seems too much simple…