Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Power Platform Saturday - Odswiezanie danych w Power BI Adrian Chodkowski

94 views

Published on

Power Platform Saturday - Odswiezanie danych w Power BI
Adrian Chodkowski

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Power Platform Saturday - Odswiezanie danych w Power BI Adrian Chodkowski

  1. 1. www.ppswarsaw.org | #ppswarsaw Odświeżanie danych w Power BI
  2. 2. www.ppswarsaw.org | #ppswarsaw O mnie • Adrian Chodkowski • Konsultant Business Intelligence • Trener i wykładowca (WSEI Kraków) • Specjalizacja: Platforma danych Microsoft • Data Community • MCP, MCSA, MCSE:BI, MCSE • seequality.net • Adrian.Chodkowski@outlook.com • @Twitter: Adrian_SQL • LinkedIn: http://tinyurl.com/adrian-sql
  3. 3. www.ppswarsaw.org | #ppswarsaw Agenda Odświeżanie na żądanie i harmonogram Incremental refresh Azure Automation Runbooks + REST API Push datasets & Streaming danych Onedrive refresh
  4. 4. www.ppswarsaw.org | #ppswarsaw Odświeżanie na żądanie i harmonogram na powerbi.com
  5. 5. www.ppswarsaw.org | #ppswarsaw Standardowe metody odświeżania • Standardowe odświeżanie może być zaimplementowane jako: • Odświeżanie na żądanie na workspace • Stworzenie harmonogramu odświeżania • Shared capacity: • 8 cykli odświeżania na dzień (harmonogram + API) • cykl odświeżania nie dłuższy niż 2 godziny • Dedicated capacity: • 48 cykli odświeżania na dzień (harmonogram) • Cykl odświeżania nie dłuższy niż 5 godzin • Query caching
  6. 6. www.ppswarsaw.org | #ppswarsaw Incremental refresh
  7. 7. www.ppswarsaw.org | #ppswarsaw Incremental refresh Transactions 2012.01.01 – 2020.02.01 (~200 milionów wierszy) Cały zestaw danych w tabeli źródłowej
  8. 8. www.ppswarsaw.org | #ppswarsaw Incremental refresh Cały zestaw danych w tabeli źródłowej Transactions 2018.01.01 – 2020.01.31 (~60 milionów wierszy) Zakres podlegający raportowaniu (~24 miesiące) Transactions 2019.11.01 – 2020.01.31 (~5 milionów wierszy) Zakres podlegający zmianom (~ 3 miesiące) Transactions 2012.01.01 – 2020.01.31 (~200 milionów wierszy)
  9. 9. www.ppswarsaw.org | #ppswarsaw Incremental Refresh • Power BI Premium • Partycjonuje dataset w serwisie • Umożliwia przechowywanie i odświeżanie danych w określonym okresie (w określonych partycjach) • Pozwala na wskazanie na kolumnę techniczną zawierającą datę wstawienia/modyfikacji/usunięcia • Dataset po włączeniu IR nie jest możliwy do ściągnięcia • Punktem dostępowym do datasetu i jego metadanych jest XMLA Endpoint • Aby IR zadziałał filtracja musi być możliwa na przerzucenie na źródło (Query Folding)
  10. 10. www.ppswarsaw.org | #ppswarsaw Ładowanie inicjalne
  11. 11. www.ppswarsaw.org | #ppswarsaw Inicjalne ładowanie – zapytania ładujące
  12. 12. www.ppswarsaw.org | #ppswarsaw Inicjalne ładowanie – zapytania sprawdzające datę modyfikacji
  13. 13. www.ppswarsaw.org | #ppswarsaw Inkrementalne ładowanie
  14. 14. www.ppswarsaw.org | #ppswarsaw Dostęp przez XMLA Endpoint
  15. 15. www.ppswarsaw.org | #ppswarsaw Widok partycji
  16. 16. www.ppswarsaw.org | #ppswarsaw Large Models • Obecnie w wersji Preview • Zwiększenie limitu datasetu • Odświeżanie przy pomocy Incremental Refresh • Korzysta z Storage Mode Premium Files zamiast ABF (Analysis Services backup) • Możliwe do włączenia z poziomu Powershell powerbi.microsoft.com $WorkspaceId = (Get-PowerBIWorkspace |select Id,Name |where name -eq "PowerPlatformSaturday" | select id).id $datasetId = (Get-PowerBIDataset -WorkspaceId $WorkspaceId |where name -Like "*Incremental*" |select id).id (Get-PowerBIDataset -WorkspaceId $WorkspaceId -Id $datasetId -Include actualStorage).ActualStorage Set-PowerBIDataset -Id $datasetId -TargetStorageMode PremiumFiles
  17. 17. www.ppswarsaw.org | #ppswarsaw OneDrive Refresh
  18. 18. www.ppswarsaw.org | #ppswarsaw OneDrive Refresh • Pozwala na synchronizację pliku pbix osadzonego na OneDrive z plikiem w Workspace • Synchronizacja obejmuje zarówno wizualizacje jak i datasety • Raz na godzinę sprawdzany jest plik na OneDrive i jeśli się on zmienił to następuje synchronizacja, a następnie próba połączenia ze źródłem w celu odświeżenia danych • Ręczne wywołanie odświeżenia również uruchamia OneDrive Refresh • Synchronizacja następuje po identyfikatorze pliku więc jedynym sposobem „aktualizacji” jest nadpisanie tego samego pliku/ https://docs.microsoft.com/en-us/power-bi/refresh- data
  19. 19. www.ppswarsaw.org | #ppswarsaw OneDrive Refresh Synchronizacja danych i wizualizacji raz na godzinę lub na żądanie
  20. 20. www.ppswarsaw.org | #ppswarsaw Azure Automation Runbook + REST API
  21. 21. www.ppswarsaw.org | #ppswarsaw Azure Automation • Istnieje wiele usług pozwalających odświeżyć dane w Power BI • Jedną z nich jest Azure Automation • Pozwala na tworzenie workbooków w języku powershell, które mogą być uruchamiane według harmonogramu • Mogą również być parametryzowane oraz wywoływane z zewnątrz za pomocą tzw. Webhooków • Dane potrzebne do uwierzytelnienia (ClientId + Client secret lub ClientID + User + Pass) możemy trzymać w Data Vault lub w Automation Credentials • Całość daje możliwość posiadania jednego parametryzowanego kodu z możliwością wywołania z dowolnego narzędzia
  22. 22. www.ppswarsaw.org | #ppswarsaw Stream & Push dataset
  23. 23. www.ppswarsaw.org | #ppswarsaw Stream & Push datasets • Istnieje jednak możliwość przesłania danych inicjowanego od strony narzędzia – push • Datasety oparte o architekturę push dzielą się na następujące elementy: • Push dataset – po stronie serwisu tworzona jest standardowa baza gdzie przechowywane są dane na podstawie których mogą być budowane raporty i dashboardy. Obarczone są limitami co do wielkości przesyłanego zestawu danych, ilości kolumn itp.. • Streaming dataset – podobnie jak push dataset z tym, że ich celem jest wizualizacja danych „na bieżąco” na dashboardzie. Nie jest tworzona baza więc nie można tworzyć raportów. Dane przechowywane są przez krótszy okres czasu. • PubNub – zewnętrzy serwisu z którego dane podobnie jak w streaming datasets mogą być wizualizowane na dashboardzie. Dane nie są wypychane do serwisu Power BI, a jedynie wizualizowane.
  24. 24. www.ppswarsaw.org | #ppswarsaw Stream & Push datasets
  25. 25. www.ppswarsaw.org | #ppswarsaw Inne metody odświeżania danych Power Automate / Logic apps Azure DevOps Data Factory
  26. 26. www.ppswarsaw.org | #ppswarsaw Thank you, our Sponsor!
  27. 27. www.ppswarsaw.org | #ppswarsaw Fill out an evaluation Help us make PPSWarsaw better https://aka.ms/ppswarsaw
  28. 28. www.ppswarsaw.org | #ppswarsaw Dziękuję!

×