SlideShare a Scribd company logo
1 of 57
Download to read offline
Maintaining data warehouses

Technologies
Maintaining
data warehouses
using
‘hot’ technologies
Rien Matthijsse
Introductie

Specialisatie: Data warehouses
Introductie

Maintaining ( data warehouses using ‘hot’ technologies )

( Maintaining data warehouses ) using ‘hot’ technologies
Hot technologies

Maintaining ( data warehouses using ‘hot’ technologies )
Hot technologies

Datavault
Hot technologies

Genereren
c.q.

Automation
Hot technologies
The holy Grail

Houston,
we’ve
got it !!

Source: Next generation DWH modeling, BI podium, 2013-06-06
Hot technologies

Oeps,
andere

presentatie
Hot technologies
Hot technologies
Hot technologies

Het moet
wel beheerd
(kunnen)
worden.
DWH management
DWH management
Resources

DWH management

Release X
Time
Resources

DWH management

Release X

Time
$$$

DWH management

Release X

Time
DWH management
Perspectief:

Onderhouden
DWH management
Beheersbaar
DWH management

Onderhoudbaar
DWH management

Eenduidig
DWH management

Transparant
DWH management

Overdraagbaar
DWH management
Beheersbaar
Onderhoudbaar
Eenduidig
Transparant
Overdraagbaar
DWH management
Beheersbaar
Onderhoudbaar
Eenduidig
Transparant
Overdraagbaar
DWH management

Standaarden
Richtlijnen
Methodologie
DWH management

Theorie
in
aantocht
DWH management

C
A

D
B

Proces afhankelijkheden
DWH management
In hiërarchie plaatsen

Level 4

proces

Level 3

proces

proces

proces

Level 2

proces

proces

proces

Level 1

proces

proces

proces

Proces afhankelijkheden

proces
DWH management
Als Datavault

Sats

proces

Links

proces

proces

proces

proces

proces

Hubs

proces

proces

Refs

proces

proces

proces

proces

Proces afhankelijkheden
DWH management
Markeer
Refs
OK

Check
Verwerking
starten

Markeer
Hubs
OK

Refs

Markeer
Links
OK

Hubs
Check
Refs
OK

Links
Check
Hubs
OK

Sats
Check
Links
OK

Mijlpalen

Markeer
Verwerking
OK
DWH management
SI.BRON.RDY ?

BRON

SI.BRON.DONE
?

SV.BRON.DONE
?

BV.BRON.DONE
?

Refs

Refs

Lvl 1

Hubs

Hubs

Hubs

Lvl 2

Links

Links

Links

Lvl 3

Sats

Sats

Sats

STAGEIN
SI.BRON.DONE

Refs

SV

BV

SV.BRON.DONE

BV.BRON.DONE

Pres
PRES.BRON.DONE
DWH management
Spoorboekje

SV.BRONA.DONE
&
SV.BRONB.DONE
SI.BRONA.DONE

SI.BRONA.RDY

Bron A

Bron B

Bron C

Bron N
STAGEIN

SV

BV

PRES
DWH management

Beheer
DWH management

Data
Kwaliteit

Controle
DWH management

Syntax
Sematics
Logic

Uitdaging: veranderingen door de tijd
DWH management
Focus: Data verwerkbaar in DWH
DWH management
Prepare

Valideer

Ok

Yes

proces

Exit

No
‘VAL.SV.BNK.USR’

Resultaat

Validatie Engine

VAL.SV.BNK.USR:
Tabel = Users
Centrale
repository

1)
2)
3)
4)

Veld a must_be: ‘m’, ‘v’
Veld b may_not_be null
Veld c must_be 1-n reference to …
#rows must_be within 10% of prev
#rows
5) … … … …
DWH management

Deployment
DWH management
OTAP
DWH management
Parameters
DWH management
En:
• Process characteristics
– Restartable

• Standard logging
– Messaging
– Escalation

• Suspension of execution
– wait for milestone
DWH management
Beheersbaar
Onderhoudbaar
Eenduidig
Transparant
Overdraagbaar
DWH management

Einde
theorie
Hot technology

( Maintaining data warehouses ) using ‘hot’ technologies
iWHAT

Information
Ware House
Administration
Toolkit

http://www.iwhat.nl
iWHAT

Beheerbaar!

Starts with design
iWHAT
Beheersbaar
Onderhoudbaar
Eenduidig
Transparant
Overdraagbaar
iWHAT

Users

iWHAT

FE

Web
server

Administrators

Data
Warehouse

API/interface

CMA

DQ

DOM

architectuur
RDBMS
Data Warehouse platform
iWHAT
iWHAT
iWHAT
iWHAT
iWHAT
iWHAT
iWHAT
Beheersbaar
Onderhoudbaar
Eenduidig
Transparant
Overdraagbaar
Dank voor u belangstelling
Rien Matthijsse

More Related Content

Innovation event 20131030

Editor's Notes

  1. Data Quality control: no standards
  2. OTAP deployment: no standards