Wstęp do tematyki Hurtowni Danych, przeznaczony dla Administratorów Baz Danych.

1. Hurtownie dla DBA
PLSSUG Trójmiasto – 23.02.2016
Przemysław Dzierżak

2. Cel prezentacji
• Składowe hurtowni danych i ich zadania
• Różnice pomiędzy hurtowniami a systemami transakcyjnymi

3. O mnie
• „Hurtownik”
• Wcześniej programista C#
• Praktycznie, automatycznie, prosto
• Zwolennik LEAN / Agile

4. Co to hurtownia danych?
• Baza danych
• O specyficznej budowie
• Przeznaczenie analizy i raportowanie
Zwykle:
• Łączy wiele źródeł danych
• Ujednolica dane
• Dane historyczne

5. Budowa hurtowni
Dla osób bez licencji na wózki widłowe ;)

6. Dobowy cykl życia hurtowni
Używanie
(SELECT)
Ładowane
(INSERT)

7. Model danych
• Fakt – co liczymy?
(SUM, AVG, COUNT…)
• Liczba zamówień
• Wartość sprzedaży
• Wymiar – wg czego?
(GROUP BY)
• Daty
• Położenia klienta
• Oddziału
• …

8. Model danych
– gwiazda

9. Model
danych
– płatek
śniegu

10. Hurtownia vs kostka
Baza o specyficznej strukturze
i specyficznym sposobie użycia
Kostka – fragment hurtowni

11. Hurtownia i kostka - narzędzia
• Hurtownia:
• MSSQL
• Kostki:
• MSSQL
• SSAS
• QlikView itp.

12. Zasilanie hurtowni

13. Budowa procesu E – T – L
FK, Magazyn, Kadry
CallCenter
Budżet
Extract Transform Load
HurtowniaBaza pośrednia
(Stage)
Baza pośrednia
(OLTP Mirror)

14. Proces ETL - narzędzia
• Dedykowane narzędzia (SSIS, OWB, … Data Integration, …)
• SQL
• BCPY, usługi replikacyjne, backup/restore
• Programy/skrypty

15. Specyfika działania hurtowni

16. ETL dla DBA
• Nowe narzędzie SSIS
• Kopiowanie dużych wolumenów danych
• Okienko czasowe w nocy
• Uprawnienia w systemach źródłowych i między systemami (hurtownia
– system OLTP)

17. Baza hurtowniana
• Duża baza
• Przemyślenie scenariusza backupu
• Przekrojowe zapytania (SELECT … GROUP BY…)
• Brak zakleszczeń
• Rozważenie RecoveryModel = SIMPLE (min. bazy pośrednie)

18. Indeksowanie hurtowni
• Czas ładowania vs. czas zapytań
• Wymiary:
• Identyfikatory z systemów źródłowych: clustered
• Identyfikatory sztuczne – hurtowni: nonclustered
• Ew. często używane parametry: nonclustered
• Fakty:
• Czas (duże fakty – dobry kandydat na partycje)
• Na najczęstszych przecięciach
• ColumnStore Index!
• Kompresja

19. Indeksowanie baz pośrednich
• Zapytania wykonywane raz na ładowanie – często nie warto
indeksować
• Skoordynowane z logiką ETL

20. Co gdy hurtowni nie ma?
…a biznes jest 

21. Rozproszone środowisko raportowe
• 500 tabel
• 300 skryptów SQL
• Wiele wersji prawdy
• Utrzymanie?
Sprzedaż, raport dla X
Sprzedaż, raport dla Y
Raport HR
Raport dla prezesa
Sprzedaż, nowy raport
Call Center, wydajność
Call Center, premie
HR, rotacja
Marketing, kampanie
…

22. Mini - hurtownia
• Jedna tabela z mnóstwem kolumn
Niby ok, ale:
• Tylko jedna granularność
• Kopiowanie danych opisowych
• Problem gdy się rozrasta
Kwota Marża
1
Marża
2
Data
sprzedaży
Data
zakupu
Klient Miasto
klienta
Kod
poczt
Oddział Sprzeda
wca

23. Podsumowanie
• Budowa hurtowni
• ETL
• Specyfika hurtowni
• Strategie indeksowania

24. Pytania ?

25. Dziękuję za uwagę
Przemysław Dzierżak
przemyslaw@dzierzak.eu