Slides of my session at the Microsoft 365 Philly event where I talked about the different options we have for Data Analytics and also to monitor our Power Apps and Power Automate Flows. In the session I covered not only out of the box features, but also integration with Azure Application Insights and how to build a custom Data Analytics solution.
Streamlining Python Development: A Guide to a Modern Project Setup
Analytics in Power Platform: What are my options?
1. Juan Carlos González | M365 Apps & Services MPVP | M365 SME & Delivery Manager
Analytics in Power Platform: What
are my options?
#M365Philly
@SPS_Philly
December 15, 2022
4. Analytics in Power Platform: Possibilities
Out of the box
Analytics in Power
Platform at different
levels
Standard Power
Platform Audit
Events in the M365
Audit Log
Power Apps
monitoring with
Azure Application
Insights
Custom Monitoring,
Auditing and
Telemetry + CoE
Starter Kit features
5. Analytics in Power Apps: Possibilities
Tenant Level Analytics
Environment Analytics
Single App Analytics
6. Analytics in Power Apps: Tenant level analytics
Main Features
• Required Roles to access: Environment Admin (Only
can see analytics of his/her environments) |Power
Platform Admin | Dynamics 365 Admin | Microsoft
365 Global Admin
• Available for Canvas & Model-Driven Apps
• Initial consent is required to enable it
• Visualization of global data analytics for all the
environments in the tenant:
Usage: Unique users | Total sessions | Apps
users | Top Apps
Makers’ activity: Active apps | Published apps |
Active makers | New makers | Top makers |
Environments | Activity per application
Apps Inventory
• It’s possible to download analytics data to create
custom analytics reports
8. Analytics in Power Apps: Environment level analytics
Main Features
• Required Roles to access: Environment Admin |
Power Platform Admin | Dynamics 365 Admin |
Microsoft 365 Global Admin
• Available for Canvas Apps & Model-Driven Apps
• Initial consent is required to enable it
• Visualization of Power Apps data analytics for an
existing environment:
Usage | Location | Toast Errors | Service
Performance | Connectors usage
• Data visualization window: 28 days
• Data refresh cycle: every 3 hours
10. Analytics in Power Apps: App level analytics
Main Features
• Required Roles to access: Environment Admin |
Power App Owner
• Available for Canvas Apps
• Visualization of the following Analytics Data for an
App:
Usage | Performance | Location
• Data visualization window: 30 days
• Data refresh cycle: every 24 hours
11. Analytics in Power Apps: Dataverse analytics
Main Features
• Required Roles to access: Environment Admin |
Power Platform Admin | Dynamics 365 Admin |
Microsoft 365 Global Admin
• Visualization of the following Analytics Data for the
Dataverse:
Active users | Mode of access | Entity usage |
System jobs | Plug-ins | API calls statistics |
Mailbox usage
• Data visualization window: 30 days
• It’s possible to download analytics data to create
custom analytics reports
13. Analytics in Power Automate: Possibilities
Tenant Level Analytics
Environment Analytics
Single Power Automate Analytics
14. Analytics in Power Automate: Tenant level analytics
Main Features
• Required Roles to access: Environment Admin (Only
can see analytics of his/her environments) |
Microsoft 365 Global Admin
• Available for Power Automate Cloud Flows
• Initial consent is required to enable it
• Visualization of global data analytics for all the
environments in the tenant:
Usage: Total flows | Total runs | Successful runs
| Failed runs | etc
Makers’ activity: Active flows | Created flows |
Active makers | Connections | etc
Flows inventory
• It’s possible to download analytics data to create
custom analytics reports
15. Analytics in Power Automate: Environment level
analytics
Main Features
• Required Roles to access: Environment Admin |
Power Platform Admin | Dynamics 365 Admin |
Microsoft 365 Global Admin
• Available for Cloud flows & Desktop flows
• Initial consent is required to enable it
• Visualization of Power Automate data analytics for
an existing environment:
Flows runs | Flows usage | Flows created | Erros
in flows | Shared flows | Connectors used in
flows
• Data visualization window: 28 days
• Data refresh cycle: every 3 hours
17. Analytics in Power Automate: Flow level analytics
Main Features
• Required Roles to access: Environment Admin | Flow
Owner
• Available for Cloud flows
• Visualization of the following Analytics Data for an
App:
Actions | Usage | Errors
• Data visualization window: 30 days
• Data refresh cycle: every 24 hours
18. Analytics in Power Automate: Process Insights
Main Features
• Required Roles to access: Environment Maker
• Available for Cloud flows
• It allows to gain insights on Cloud flows by using
process mining techniques
• Visualization of flow’s performance, identification of
bottlenecks and optimization opportunities
• Process insights visualization window: 30 days
21. Power Platform inventory and data usage export
Main Features & Requirements
• Required Roles to access: Power Platform Admin |
Dynamics 365 Admin | Microsoft 365 Global Admin
Currently in preview, it allows to create custom
Analytics by making an export of Power Platform
inventory and data usage to an Azure Data Lake
• Requirements:
Enable Analytics at the tenant level
Power Apps premium licensing
An Azure substruction and a Resources group
A storage account to be used with Azure Data
Lake Gen 2
Power BI Pro to consume the data exported to
the Data Lake
23. Audit Log Search: Power Platform standard telemetry
data
Main Features & Requirements
• Required Roles to access: Microsoft 365 Global
Admin | Security Admin | Global Reader Admin |
Security Reader Admin (View-Only Logs or EXO
Audit Logs)
• Both Power Apps (Canvas, Model-Driven) and Power
Automate Flows events are captured and audited
• Telemetry data is retained for the las 90 days (de-
facto standard in Microsoft 365) vs 1 year (E5
licensing required)
• Audit Log data can be exported from the UI or
through PowerShell enabling custom Audit Log
analytics
24. Audit Log Search: Power Platform standard telemetry
data
Power Apps
• Created app
• Launched app
• Marked app as Featured
• Restored app version
• Edited app
• Published app
• Edited app permission
• Deleted app
• Marked app as Hero
• Deleted app permission
Power Automate
• Created flow
• Edited flow
• Deleted flow
• Edited permissions
• Deleted permissions
• Started a paid trial
• Renewed a paid trial
DLP
• Created DLP Policy
• Updated DLP Policy
• Deleted DLP Policy
28. Analytics, Telemetry and Monitoring with Azure
Application Insights
Main Features & Requirements
• It provides Telemetry and Analytics for Canvas Apps,
Model-Driven Apps and Power Pages:
Details of the users working with the App:
Location | OS used| Browsers used | App
loading performance | …
Details of users’ sessions in the App
Events that happens in the App: System
generated vs. custom
Apps general flow usage: How App users make
use of the App
• Azure Application Insights can be configured App by
App or by doing a global data export
29. Analytics, Telemetry and Monitoring with Azure
Application Insights
Main Features & Requirements
• Requirements:
• An Azure Subscription where Azure Application
Insights can be configured
• Permissions to create an Azure Resource Group
where add and deploy Azure Application
Insights
32. Custom Telemetry & Analytics
Main Features
• It provides Custom Telemetry and Analytics for both
Power Apps and Power Automate:
Analytics Data captured is also custom
Data can be stored in Azure Application
Insights or in a SQL Azure DB to simplify the
process of consuming Dara from Power BI
• Requirements:
• An Azure Subscription where Azure Application
Insights can be configured
• Permissions to create an Azure Resource Group
where add and deploy Azure Application
Insights
• Power Platform Premium (a custom connector
that makes a http request will be designed and
implemented)
37. Summary
• We have several options available to monitor and have Analytics about our Power Apps and Power
Automate Flows: Out of the box Analytics at different levels, Microsoft 365 Audit Log, Azure
Application Insights Integration and “Build yourself”
• Default Data Analytics for Power Apps and Power Automate provides insights about usage patterns as
well as problems we might be facing when using them. Ability to export Analytics data helps on
creating custom usage reports
• Microsoft 365 Audit Log returns telemetry data based on events happening to an App or a Flow
• Azure Application Insights integrated in our Apps/Flows provide a more detailed telemetry about
usage, errors and problem in our Apps and processes
• CoE Starter Kit is a clear example of how we can build our own Analytics
• Finally, we can even go beyond creating a custom connector to implement our own Analytics and
Telemetry
38. Bonus: Quick references
• Admin Analytics for Power Apps: https://docs.microsoft.com/en-us/power-platform/admin/analytics-
powerapps
• Tenant Level Analytics for Power Apps: https://docs.microsoft.com/en-us/power-
platform/admin/tenant-level-analytics
• Environment Level Analytics for Power Apps: https://docs.microsoft.com/en-us/power-
platform/admin/analytics-powerapps
• Microsoft Dataverse Analytics: https://docs.microsoft.com/en-us/power-platform/admin/analytics-
common-data-service
• Tenant Analytics for Power Automate: https://docs.microsoft.com/en-us/power-
platform/admin/power-automate-analytics-reports
39. Bonus: Quick references
• Anaytics for Flows: https://docs.microsoft.com/en-us/power-platform/admin/analytics-flow
• Power Apps activity logging: https://docs.microsoft.com/en-us/power-platform/admin/logging-
powerapps
• Power Automate activity logging: https://docs.microsoft.com/en-us/power-platform/admin/logging-
power-automate
• Microsoft Dataverse Auditing: https://docs.microsoft.com/en-us/power-platform/admin/manage-
dataverse-auditing
• Power Platform self-service analytics to export Power Platform inventory and usage data:
https://docs.microsoft.com/en-us/power-platform/admin/self-service-analytics
40. Bonus: Quick references
• Microsoft Dataverse and model-driven apps activity loggin: https://docs.microsoft.com/en-us/power-
platform/admin/enable-use-comprehensive-auditing
• Power Platform Telemetry and Analytics with Azure Application Insights:
https://docs.microsoft.com/en-us/power-platform/admin/overview-integration-application-
insights
https://barhead.com/telemetry-in-microsoft-power-platform-using-application-insights/
• Exportar datos de Telemetría y Analytics a Azure Application Insights: https://docs.microsoft.com/en-
us/power-platform/admin/set-up-export-application-insights
41. Office 365 for IT Pro
• $10 discount:
https://o365itpros.gumroad.com/l/O365IT/FriendsOfThe
Book
42. Office 365 for IT Pro
• $10 discount:
Discount code: 4q8kso9
https://gumroad.com/l/DgSSr
https://guitaca.com
Analytics in Power Platfor
Juan Carlos González | M365 Apps & Services MVP | M365 SME & Delivery Managerm: What are my options?
Analytics de serie en la Power Platform a distintos niveles
Monitorización de eventos de telemetría estándar de la Power Platform
Monitorización de Power Apps con Azure Application Insights
Telemetría, Logging y Monitorización personalizado
CoE Starter Kit
Roles requeridos para acceder: Environment Admin (Solo ve los datos de sus entornos) | Microsoft 365 Global Admin
Disponible para Canvas & Model-Driven Apps
Se requiere consentimiento inicial para su activación
Visualización de datos de Analytics Global para todos los entornos de Power Platform disponibles en el tenant:
Uso: Usuarios únicos | Sesiones Totales | Aplicaciones Utilizadas | Aplicaciones Top | …
Actividad de Makers: Aplicaciones Activas | Aplicaciones Publicadas | Makers Activos | Nuevos Makers | Top Makers | Entornos | Actividad x Aplicación | …
Inventario de Aplicaciones
Posibilidad de descargar los datos de los informes para crear Analytics personalizado
Power Platform admin
Dynamics 365 admin
Delegated admin
Roles requeridos para acceder: Environment Admin | Power Platform Admin | Dynamics 365 Admin | Microsoft 365 Global Admin
Disponible para Canvas & Model-Driven Apps
Visualización de datos de Analytics de entorno: Uso | Ubicación | Errores en Aplicaciones | Rendimiento del Servicio | Uso de Conectores
Solo se muestran datos de uso en una ventana temporal de 28,00 días y el refresco de los datos se realiza cada 3,00 h
Posibilidad de descargar los datos de los informes para crear Analytics personalizado
Roles requeridos para acceder: Environment Admin | Power Platform Admin | Dynamics 365 Admin | Microsoft 365 Global Admin
Disponible para Canvas & Model-Driven Apps
Visualización de datos de Analytics de entorno: Uso | Ubicación | Errores en Aplicaciones | Rendimiento del Servicio | Uso de Conectores
Solo se muestran datos de uso en una ventana temporal de 28,00 días y el refresco de los datos se realiza cada 3,00 h
Posibilidad de descargar los datos de los informes para crear Analytics personalizado
Roles requeridos para acceder: Environment Admin | App Owner
Disponible para Canvas Apps
Visualización de datos de Analytics de: Uso | Rendimiento | Ubicación
Solo se muestran datos de uso en una ventana temporal de 30 días y el refresco de los datos se realiza cada 24,00 h
Roles requeridos para acceder: Environment Admin | Power Platform Admin | Dynamics 365 Admin | Microsoft 365 Global Admin
Visualización de datos de Analytics de Dataverse relativos a: Usuarios activos, uso de almacenamiento, workflows más activos, etc
Solo se muestran datos de uso en una ventana temporal de 30,00 días
Posibilidad de descargar los datos de los informes para crear Analytics personalizado
Roles requeridos para acceder: Environment Admin (Solo ve los datos de sus entornos) | Microsoft 365 Global Admin
Disponible para Power Automate Cloud Flows
Se requiere consentimiento inicial para su activación
Visualización de datos de Analytics Global para todos los entornos de Power Platform disponibles en el tenant:
Uso: Flujos | Total de Ejecuciones | Ejecuciones Correctas | Ejecuciones Fallidas | …
Actividad de Makers: Flows Activos | Aplicaciones Publicadas | Makers Activos | …
Inventario de Flows
Posibilidad de descargar los datos de los informes para crear Analytics personalizado
Roles requeridos para acceder: Environment Admin | Power Platform Admin | Dynamics 365 Admin | Microsoft 365 Global Admin
Disponible para Cloud Flows y Desktop Flows
Visualización de datos de Analytics de Power Automate por entorno: Ejecuciones de los Flows | Uso de los Flows | Errores en los Flows | Flow compartidos | Uso de Conectores
Solo se muestran datos de uso en una ventana temporal de 28,00 días y el refresco de los datos se realiza cada 3,00 h
Posibilidad de descargar los datos de los informes para crear Analytics personalizado
Roles requeridos para acceder: Environment Admin | Flow Owner
Disponible para Cloud & Desktop Flows
Visualización de datos de Analytics de: Acciones (Peticiones) | Uso | Errores
Solo se muestran datos de uso en una ventana temporal de 30 días máximo y el refresco de los datos se realiza cada 24,00 h
Roles requeridos para acceder: Environment Maker
Disponible para Cloud Flows
Visualización, mediante técnicas de Minería de Procesos, de aspectos de ejecución de nuestros Flows para detectar cuellos de botella, oportunidades de mejora y optimización, etc
Solo se muestran datos de uso en una ventana temporal de 28 días máximo
You can gain insights and improve your cloud flows with the help of process mining. With a few selections, you can visualize your flow’s performance, identify bottlenecks and optimization opportunities, and monitor for business drifts. You can generate these insights directly from the flow details page by having process advisor analyze your flow-run history with process mining techniques.
Ejecuciones exitosas / fallidas de un Flow
Detalle de Ejecución y donde se ha producido el error
Roles requeridos para acceder: Power Platform Admin | Dynamics 365 Admin | Microsoft 365 Global Admin
(En Preview) Permite crear un Analytics personalizado a partir de realizar una exportación de datos de uso de Power Apps / Power Automate a Azure Data Lake
Requerimientos:
Habilitar Analytics a nivel de tenant
Licenciamiento Premium de Power Apps
Suscripción de Azure y un Grupo de Recursos
Storage Account para utilizar con Azure Data Lake Gen 2
Licencia de Power BI Pro para explotar los datos exportados al Data Lake
Ejemplo de actividades auditadas
Resultados devueltos por el Log de Auditoria
Para acceder al Log de Auditoría se requiere el rol de View-Only Audit Logs o Audit Logs de EXO: Administrador Global de Microsoft 365 | Security Admin | Global Reader Admin | Security Reader Admin
Se auditan eventos tanto de Power Apps (Canvas, Model-Driven) como de Flows de Power Automate
Sólo se muestran datos de uso en una ventana temporal de 90,00 días (Estándar de Office 365, que se amplia a 1 Año si tenemos licenciamiento E5)
Los datos del Log de Auditoría se pueden exportar (Desde la UI o bien mediante PowerShell) para realizar Analytics personalizado
Ejemplo de actividades auditadas
Resultados devueltos por el Log de Auditoria
Ejemplo de actividades auditadas
Resultados devueltos por el Log de Auditoria
Ejemplo de actividades auditadas
Resultados devueltos por el Log de Auditoria
Proporciona Telemetría y Analitycs tanto para Canvas App como para Model Driven Apps:
Detalles de los Usuarios usando Apps en cuanto a: Ubicación | Sistema Operativo | Navegadores | Rendimiento en términos de carga de las Apps |…
Detalles de las Sesiones de usuario en una App
Eventos que ocurren en la Aplicación: Generados por el Sistema vs. Personalizados
Flujo general de uso las Aplicaciones: Qué navegación va realizando el usuario
Se puede configurar Aplicación a Aplicación o bien realizar una exportación de datos global a Application Insights
Disponer de una Suscripción de Azure en la que poder configurar Azure Application Insights
permisos para crear un Grupo de Recursos y configurar Azure Application Insights en este
Disponer de una Suscripción de Azure en la que poder configurar Azure Application Insights
permisos para crear un Grupo de Recursos y configurar Azure Application Insights en este
Proporciona Telemetría y Analitycs custom tanto para Power Apps como Flujos de Power Automate:
Los datos de Analytics capturados son totalmente personalizados
Como alternativa a registrar los datos en Azure Application Insights, se podrían registrar en una BD SQL Azure para su explotación con Power BI
Se puede ir aún más allá con Azure Event Grid
Requerimientos:
Disponer de una Suscripción de Azure en la que poder configurar Azure Application Insights
permisos para crear un Grupo de Recursos y configurar Azure Application Insights en este
Dado que la solución se basa en un conector personalizado que realiza una llamada http, se requiere licenciamiento Premium
Para monitorizar y tener analytics de nuestras Apps y Flujos tenemos múltiples opciones: Analytics por defecto a distintos niveles, Log de Auditoría de Microsoft 365, Integración con Azure Application Insigths y “Háztelo tu mismo”
El Analytics por defecto nos permite obtener patrones de uso de nuestras Apps y Flujos y detectar problemas en distintos niveles además de facilitarnos exportar los datos para crear nuestros propios informes
Con el Log de Auditoría de Microsoft 365 podemos tener una telemetría base de lo que ha podido pasar con una App o un Flujo
Con Azure Application Insights integrado en nuestras Power Apps podemos tener una Telemetría más detallada en torno al uso, errores y problemas de nuestras Aplicaciones
El CoE Starter Kit es un ejemplo de como podemos llegar a construir nuestro propio Analytics. Por supuesto, podemos ir todavía más allá mediante el desarrollo de un Custom Connector que implemente como queremos nuestro Analytics y Telemetría
Microsoft Power Platform self-service analytics to export Power Platform inventory and usage dat
Microsoft Power Platform self-service analytics to export Power Platform inventory and usage dat