Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Modelowanie i zasilanie wymiarów w hurtowniach danych<br />_______________________________________________________________...
Łukasz grala<br />Niezależny konsultant, architekt, projektant (bazy i hurtownie danych, data mining, analiza danych, audy...
Co to jest hurtownia danych?<br />Co to jest wymiar?<br />Wymiary i hierarchie<br />Zasilanie wymiarów<br />Slowly Changin...
Co to jest hurtownia danych?<br />Łukasz Grala – lukasz@grala.biz<br />Hurtownia danych (ang. Data Warehouse) – rodzaj baz...
Co to jest hurtownia danych?<br />Łukasz Grala – lukasz@grala.biz<br />Hurtownie danych<br />OLAP<br />OLTP<br />Struktury...
Co to jest hurtownia danych?<br />5,005,000<br />Łukasz Grala – lukasz@grala.biz<br />
Co to jest wymiar?<br />Wymiar jest to logiczne grupowanie danych przechowywanych w tabelach faktów hurtowni danych<br />Ł...
Co to jest wymiar?<br />Tabele faktów<br />Łukasz Grala – lukasz@grala.biz<br />
Co to jest wymiar?<br />Tabele wymiaru<br />Łukasz Grala – lukasz@grala.biz<br />
Co to jest wymiar?<br />Hierarchia i agregacja<br />Łukasz Grala – lukasz@grala.biz<br />
Co to jest wymiar?<br />Schemat gwiazdy (ang. Star schema)<br />centralna tabela faktów powiązana z tabelami wybiarów <br ...
Co to jest wymiar?<br />Łukasz Grala – lukasz@grala.biz<br />
Co to jest wymiar?<br />Schemat płatka śniegu (ang. Snowflake schema) <br />Znormalizowana postać schematu gwiazdy<br />Łu...
Zasilanie danych<br />Mechanizm ETL (ang Extracttion-Transformation-Load)<br />Ekstrakacja danych<br />Czyszczenie danych<...
Data Marts<br />Staging Area<br />Client Access<br />Manual Cleansing<br />   9: Delivering BI enables a process of contin...
Slowly Changing Dimension<br />Łukasz Grala – lukasz@grala.biz<br />Śledzenie i zapisywanie zachodzących zmian danych  w w...
Wszystkie typy SCD?<br />Łukasz Grala – lukasz@grala.biz<br />Typ 0 – Brak podjęcia działań<br />Typ 1 – Nadpisanie zmian<...
Slowly Changing Dimensions<br />Type 1<br />Istniejące rekordy są nadpisywane<br />Historia zmian nie jest przechowywana<b...
Slowly Changing Dimensions<br />Type 2<br />Istniejący rekord traci wazność i jest wstawiany nowy<br />Historia zmian jest...
Slowly Changing Dimensions<br />Istniejący rekord jest nadpisywany<br />Ograniczona historia jest przechowywana<br />Trudn...
Przykłady SCD – Typ 1<br />Łukasz Grala – lukasz@grala.biz<br />
Przykłady SCD – Typ 2<br />Łukasz Grala – lukasz@grala.biz<br />Wersja 1<br />
Przykłady SCD – Typ 2<br />Łukasz Grala – lukasz@grala.biz<br />Wersja 2<br />
Przykłady SCD – Typ 3<br />Łukasz Grala – lukasz@grala.biz<br />
Przykłady SCD – Typ 4<br />Łukasz Grala – lukasz@grala.biz<br />Tabela Handlowcy<br />Tabela Handlowcy_Archiwum<br />
Przykłady SCD – Typ 6<br />Łukasz Grala – lukasz@grala.biz<br />
Kreator SCD w SSIS<br />Step 1<br />Select the target dimension table<br />Configure the relationship between the source d...
Kreator SCD w SSIS<br />Step 2<br />Select the participating columns and their change type:<br />Fixed	(Type 0)<br />Chang...
Kreator SCD w SSIS<br />Step 3<br />Configure the behavior if Fixed attributes change<br />Configure whether Changing attr...
Kreator SCD w SSIS<br />Step 4<br />Configure how Historical attributes identify current and expired records:<br />Single ...
Kreator SCD w SSIS<br />Step 5<br />If inferred members are stored in the dimension table, define how they are identified:...
Kreator SCD w SSIS<br />Wizard Output<br />Based on your configuration, the wizard completes the downstream data flow<br /...
6 postać normalna (6NF)<br />Baza danych znajduje się w postaci 6NF wtedy i tylko wtedy gdy nie zawiera żadnych nietrywial...
Mechanizmy SQL Server<br />SQL Server Integration Services 2008/2008R – SCD (komponent i kreator)<br />SQL Server Analysis...
DEMO<br />Łukasz Grala – lukasz@grala.biz<br />
Dziękuję!<br />Strefa ATE<br />10.15-10.35<br />12.10-13.00<br />SQLDAY 2011 – Czwarta Doroczna Konferencja Polskiej Grupy...
NASTĘPNA SESJA - 10:35<br />Collation<br />MAREK ADAMCZUK<br />SQLDAY 2011 – Czwarta Doroczna Konferencja Polskiej Grupy U...
SPONSORZY I PARTNERZY<br />Łukasz Grala – lukasz@grala.biz<br />
Upcoming SlideShare
Loading in …5
×

SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala

1,484 views

Published on

Published in: Education, Technology, Business
  • Be the first to comment

  • Be the first to like this

SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala

  1. 1. Modelowanie i zasilanie wymiarów w hurtowniach danych<br />___________________________________________________________________________________________________________________________________________________________________________<br />ŁUKASZ GRALA<br />Lider PLSSUG, MCT, MVP<br />SQLDAY 2011 – Czwarta Doroczna Konferencja Polskiej Grupy Użytkowników SQL Server<br /> | Wrocław 18 Czerwca 2011, Ośrodek Szkolenia Państwowej Inspekcji Pracy<br />Łukasz Grala – lukasz@grala.biz<br />
  2. 2. Łukasz grala<br />Niezależny konsultant, architekt, projektant (bazy i hurtownie danych, data mining, analiza danych, audyty baz danych – SQL Server, BI), SharePoint<br />Trener technologii Microsoft, wykładowca na wyższych uczelniach.<br />Lider Polish SQL Server User Group (PLSSUG) Poznań<br />Prelegent na wielu konferencjach informatycznych<br />Posiada liczne certyfikaty<br />Prowadzi blogi:<br />http://powerpivot.info.pl<br />http://sqlresearch.com<br />Kontakt:<br />lukasz@grala.biz<br />
  3. 3. Co to jest hurtownia danych?<br />Co to jest wymiar?<br />Wymiary i hierarchie<br />Zasilanie wymiarów<br />Slowly Changing Dimension<br />6 postać normalna<br />Mechanizmy w Microsoft SQL Server <br />Podsumowanie<br />Agenda<br />SQLDAY 2011 – Czwarta Doroczna Konferencja Polskiej Grupy Użytkowników SQL Server<br /> | Wrocław 18 Czerwca 2011, Ośrodek Szkolenia Państwowej Inspekcji Pracy<br />Łukasz Grala – lukasz@grala.biz<br />
  4. 4. Co to jest hurtownia danych?<br />Łukasz Grala – lukasz@grala.biz<br />Hurtownia danych (ang. Data Warehouse) – rodzaj bazy danych, która jest zorganizowana i zoptymalizowana pod kątem pewnego wycinka rzeczywistości<br />Najważniejsze cechy hurtowni danych:<br />Wyższy poziom abstrakcji<br />Dane do odczytu<br />Zintegrowane dane z wielu źródeł<br />Olbrzymia ilość danych<br />Dane historyczne<br />
  5. 5. Co to jest hurtownia danych?<br />Łukasz Grala – lukasz@grala.biz<br />Hurtownie danych<br />OLAP<br />OLTP<br />Struktury operacyjne<br />Kostki/ struktury<br />użytkownika<br />Struktury hurtowni danych<br />Dane operacyjne<br />Dane ujednolicone<br />Wybrane<br />dane<br />
  6. 6. Co to jest hurtownia danych?<br />5,005,000<br />Łukasz Grala – lukasz@grala.biz<br />
  7. 7. Co to jest wymiar?<br />Wymiar jest to logiczne grupowanie danych przechowywanych w tabelach faktów hurtowni danych<br />Łukasz Grala – lukasz@grala.biz<br />
  8. 8. Co to jest wymiar?<br />Tabele faktów<br />Łukasz Grala – lukasz@grala.biz<br />
  9. 9. Co to jest wymiar?<br />Tabele wymiaru<br />Łukasz Grala – lukasz@grala.biz<br />
  10. 10. Co to jest wymiar?<br />Hierarchia i agregacja<br />Łukasz Grala – lukasz@grala.biz<br />
  11. 11. Co to jest wymiar?<br />Schemat gwiazdy (ang. Star schema)<br />centralna tabela faktów powiązana z tabelami wybiarów <br />Łukasz Grala – lukasz@grala.biz<br />
  12. 12. Co to jest wymiar?<br />Łukasz Grala – lukasz@grala.biz<br />
  13. 13. Co to jest wymiar?<br />Schemat płatka śniegu (ang. Snowflake schema) <br />Znormalizowana postać schematu gwiazdy<br />Łukasz Grala – lukasz@grala.biz<br />Schemat konstelacji faktów (ang. Fact Constellation schema) <br />Tabele wymiarów współdzielone z wieloma tabelami faktów (wykorzystywany model płatka lub gwiazy)<br />
  14. 14. Zasilanie danych<br />Mechanizm ETL (ang Extracttion-Transformation-Load)<br />Ekstrakacja danych<br />Czyszczenie danych<br />Transformacja danych<br />Ładowanie danych<br />Replikacja danych<br />Analiza danych (wykrywanie nieprawidłowości)<br />Kontrola jakości danych<br />Łukasz Grala – lukasz@grala.biz<br />
  15. 15. Data Marts<br />Staging Area<br />Client Access<br />Manual Cleansing<br /> 9: Delivering BI enables a process of continuous business improvement<br /> 1: Clients need access to data<br /> 2: Clients may access data sources directly<br /> 3: Data sources can be mirrored/replicated to reduce contention<br /> 4: The data warehouse manages data for analyzing and reporting<br /> 5: Data warehouse is periodically populated from data sources<br /> 6: Staging areas may simplify the data warehouse population<br /> 7: Manual cleansing may be required to cleanse dirty data<br /> 8: Clients use various tools to query the data warehouse<br />Data Warehouse<br />Data Sources<br />Client Access<br />Łukasz Grala – lukasz@grala.biz<br />
  16. 16. Slowly Changing Dimension<br />Łukasz Grala – lukasz@grala.biz<br />Śledzenie i zapisywanie zachodzących zmian danych w wymiarach hurtowni danych<br />
  17. 17. Wszystkie typy SCD?<br />Łukasz Grala – lukasz@grala.biz<br />Typ 0 – Brak podjęcia działań<br />Typ 1 – Nadpisanie zmian<br />Typ 2 – Wstawienie nowego i unieważnienie istniejacego<br />Typ 3 – Zmiana w dodatkowej kolumnie<br />Typ 4 – Dodatkowa tabela (historyczna)<br />Typ 6/Hybrid – Połączenie typu 1 z 2 i 3.<br />
  18. 18. Slowly Changing Dimensions<br />Type 1<br />Istniejące rekordy są nadpisywane<br />Historia zmian nie jest przechowywana<br />LastName update to Valdez-Smythe<br />Łukasz Grala – lukasz@grala.biz<br />
  19. 19. Slowly Changing Dimensions<br />Type 2<br />Istniejący rekord traci wazność i jest wstawiany nowy<br />Historia zmian jest przechowywana<br />Wiele metod implementacji<br />SalesTerritoryKey update to 10<br />Łukasz Grala – lukasz@grala.biz<br />
  20. 20. Slowly Changing Dimensions<br />Istniejący rekord jest nadpisywany<br />Ograniczona historia jest przechowywana<br />Trudna implementacja<br />Type 3<br />SalesTerritoryKey update to 10<br />Łukasz Grala – lukasz@grala.biz<br />
  21. 21. Przykłady SCD – Typ 1<br />Łukasz Grala – lukasz@grala.biz<br />
  22. 22. Przykłady SCD – Typ 2<br />Łukasz Grala – lukasz@grala.biz<br />Wersja 1<br />
  23. 23. Przykłady SCD – Typ 2<br />Łukasz Grala – lukasz@grala.biz<br />Wersja 2<br />
  24. 24. Przykłady SCD – Typ 3<br />Łukasz Grala – lukasz@grala.biz<br />
  25. 25. Przykłady SCD – Typ 4<br />Łukasz Grala – lukasz@grala.biz<br />Tabela Handlowcy<br />Tabela Handlowcy_Archiwum<br />
  26. 26. Przykłady SCD – Typ 6<br />Łukasz Grala – lukasz@grala.biz<br />
  27. 27. Kreator SCD w SSIS<br />Step 1<br />Select the target dimension table<br />Configure the relationship between the source data and the dimension table<br />
  28. 28. Kreator SCD w SSIS<br />Step 2<br />Select the participating columns and their change type:<br />Fixed (Type 0)<br />Changing (Type 1)<br />Historical (Type 2)<br />
  29. 29. Kreator SCD w SSIS<br />Step 3<br />Configure the behavior if Fixed attributes change<br />Configure whether Changing attributes should update the current record or all matching records<br />
  30. 30. Kreator SCD w SSIS<br />Step 4<br />Configure how Historical attributes identify current and expired records:<br />Single Boolean column, or<br />Start and End date columns<br />Łukasz Grala – lukasz@grala.biz<br />
  31. 31. Kreator SCD w SSIS<br />Step 5<br />If inferred members are stored in the dimension table, define how they are identified:<br />When all columns with a change type are null, or<br />By a single Boolean column<br />Łukasz Grala – lukasz@grala.biz<br />
  32. 32. Kreator SCD w SSIS<br />Wizard Output<br />Based on your configuration, the wizard completes the downstream data flow<br />Łukasz Grala – lukasz@grala.biz<br />
  33. 33. 6 postać normalna (6NF)<br />Baza danych znajduje się w postaci 6NF wtedy i tylko wtedy gdy nie zawiera żadnych nietrywialnych zależności złączeń<br />Cechy 6NF<br />Reprezentacja danych tymczasowych<br />Zależność czasowa<br />Brak wsparcia w Microsoft SQL Server 2008R2 (i wcześniejszych)<br />Przykład implementacj: Dejan Sarka (MVP) – Inside Micorosft SQL Server 2008 – TSQL Programming<br />Łukasz Grala – lukasz@grala.biz<br />
  34. 34. Mechanizmy SQL Server<br />SQL Server Integration Services 2008/2008R – SCD (komponent i kreator)<br />SQL Server Analysis Services 2008/2008R2 (wymiary)<br />TSQL Merge<br />SQL Server Change Tracking<br />SQL Server Change Data Capture<br />Łukasz Grala – lukasz@grala.biz<br />
  35. 35. DEMO<br />Łukasz Grala – lukasz@grala.biz<br />
  36. 36. Dziękuję!<br />Strefa ATE<br />10.15-10.35<br />12.10-13.00<br />SQLDAY 2011 – Czwarta Doroczna Konferencja Polskiej Grupy Użytkowników SQL Server<br /> | Wrocław 18 Czerwca 2011, Ośrodek Szkolenia Państwowej Inspekcji Pracy<br />Łukasz Grala – lukasz@grala.biz<br />Lubię to!<br />
  37. 37. NASTĘPNA SESJA - 10:35<br />Collation<br />MAREK ADAMCZUK<br />SQLDAY 2011 – Czwarta Doroczna Konferencja Polskiej Grupy Użytkowników SQL Server<br /> | Wrocław 18 Czerwca 2011, Ośrodek Szkolenia Państwowej Inspekcji Pracy<br />Łukasz Grala – lukasz@grala.biz<br />
  38. 38. SPONSORZY I PARTNERZY<br />Łukasz Grala – lukasz@grala.biz<br />

×