Test Data Management
Diensten
- Advies
- Implementatie
- Proof of Concept
- Business Case
- Risico analyse
Tools
- DATPROF...
VEEL
ORGANISATIES
GEBRUIKEN KOPIEËN VAN
PRODUCTIE DATABASES
DOELEINDEN:
• TESTEN
• ONTWIKKELING
• OUTSOURCING
• MARKETING
...
Hoe beheer je al deze omgevingen?
Hoe ga je om met persoonsgegevens?
Minimaliseer datagebruik
Bespaar op hardware
Verkort doorlooptijden
Efficiënter data beheer
Beschermen van relaties
Voldoe...
Productie Test/Ontwikkel
Source Database Target Database
Datamodel classificatie
Filteren – Proces data
Voorbeeld: Klanten, Orders, Contracten, Facturen
Volledig – Master data
Voo...
Keten
Methodes om over de keten heen te subsetten
Productie Test/Ontwikkel
Start Filter
Alle klanten uit Groningen
Start F...
Toepassingen
Ontwikkel-Test-Acceptatie omgevingen
Data Warehousing & Business Intelligence
Data Distributie
Hoe kan subset...
Importeren
Meta data Classificeren Deployment
Anonimiseren van gevoelige gegevens
Identiteitsdiefstal
Chantage
Creditcard fraude
Spam
Imagoschade
Risico
Welke risico’s lopen betrokkenen
- Naam
- Geboortedatum
- Email
- Bankrekening nummer
- BSN nummer
- Adres
- Polisnummer
- Telefoonnummer
- Etc…
- Banksald...
Informatie
analyse
Impact
analyse
Definiëren
regels
Bouw Test
- Beheer
- Overdraagbaarheid
- Eenvoud (bv datamodel verande...
Technieken
Shuffle
Verwissel waarden binnen een kolom
Conditioneel
Maskeer gespecificeerde delen van tabellen+
Voornaam Naam Soort
Fr...
321
Voornaam Naam Soort Opmerking E-Mail
Frans
Jan
Dirk
de Boer
Huisman
Jansen
Blank
Verwijder waarden uit kolom
Scramble
...
Nr. Polis
789
321
Nr. Voornaam Naam Soort Opmerking E-mail
Frans
Jan
Dirk
de Boer
Huisman
Jansen
DATPROF
123
456
789
321
1...
Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum
Frans
Jan
Dirk
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
Lev...
Nr. Voornaam Naam Soort Opm.. E-mail Geb-datum
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
Leverancier
xxxxxxx@xx...
Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum
Thomas
Tim
Ruben
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
L...
Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum
Thomas
Tim
Ruben
de Boer
Huisman
Jansen
DATPROF
123
Klant
Klant
Klant
L...
Importeren
Meta data Definiëren regels 3. Deployment
Demonstratie
20130918 kennis sessie-handout
20130918 kennis sessie-handout
20130918 kennis sessie-handout
Upcoming SlideShare
Loading in...5
×

20130918 kennis sessie-handout

137

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
137
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20130918 kennis sessie-handout

  1. 1. Test Data Management Diensten - Advies - Implementatie - Proof of Concept - Business Case - Risico analyse Tools - DATPROF Subset - DATPROF Privacy
  2. 2. VEEL ORGANISATIES GEBRUIKEN KOPIEËN VAN PRODUCTIE DATABASES DOELEINDEN: • TESTEN • ONTWIKKELING • OUTSOURCING • MARKETING • OPLEIDING
  3. 3. Hoe beheer je al deze omgevingen? Hoe ga je om met persoonsgegevens?
  4. 4. Minimaliseer datagebruik Bespaar op hardware Verkort doorlooptijden Efficiënter data beheer Beschermen van relaties Voldoen aan wetgeving Voorkom imagoschade Behoud concurrentie positie Subsetten Anonimiseren Voordelen van het subsetten van data Voordelen van het anonimiseren en maskeren
  5. 5. Productie Test/Ontwikkel Source Database Target Database
  6. 6. Datamodel classificatie Filteren – Proces data Voorbeeld: Klanten, Orders, Contracten, Facturen Volledig – Master data Voorbeeld: Applicatie data, Inrichting, Stamtabellen Leeg – Logging, overbodige historie Voorbeeld: Log tabellen, temp tabellen, overbodige historie Bepalen welke delen van de data overgezet moeten worden.
  7. 7. Keten Methodes om over de keten heen te subsetten Productie Test/Ontwikkel Start Filter Alle klanten uit Groningen Start Filter Alle orders van klanten die in de vorige subset zitten.
  8. 8. Toepassingen Ontwikkel-Test-Acceptatie omgevingen Data Warehousing & Business Intelligence Data Distributie Hoe kan subset-technologie gebruikt worden?
  9. 9. Importeren Meta data Classificeren Deployment
  10. 10. Anonimiseren van gevoelige gegevens
  11. 11. Identiteitsdiefstal Chantage Creditcard fraude Spam Imagoschade Risico Welke risico’s lopen betrokkenen
  12. 12. - Naam - Geboortedatum - Email - Bankrekening nummer - BSN nummer - Adres - Polisnummer - Telefoonnummer - Etc… - Banksaldo - Schulden - Medicijn gebruik - Ziekte - Geloofsovertuiging - Politieke voorkeur - Salaris - Telefoonhistorie - Etc… Persoonsgegevens Identificerende Kenmerkende “Elk gegeven over een geïdentificeerde of identificeerbare natuurlijke persoon” Bron: Wet Bescherming Persoonsgegevens
  13. 13. Informatie analyse Impact analyse Definiëren regels Bouw Test - Beheer - Overdraagbaarheid - Eenvoud (bv datamodel veranderingen) - Keten / Regressie ANONIMISEREN - Mate van anonimiteit - Bruikbaarheid - Acceptatietest - Impact op test? - Impact op systeem? - Impact op keten? - Welke systemen? - Welke tabellen? - Welke kolommen? - Welke interfaces? - Zo weinig mogelijk - Zo anoniem mogelijk - Herbruik
  14. 14. Technieken
  15. 15. Shuffle Verwissel waarden binnen een kolom Conditioneel Maskeer gespecificeerde delen van tabellen+ Voornaam Naam Soort Frans Jan Dirk Jansen de Boer Huisman DATPROF Klant Klant Klant Leverancier
  16. 16. 321 Voornaam Naam Soort Opmerking E-Mail Frans Jan Dirk de Boer Huisman Jansen Blank Verwijder waarden uit kolom Scramble Vervang bestaande karakters “Zwager van D.Jansen” “Heeft schulden” xxxxxxx@xxxx.xx Xxxxxxx@xxxx.xx xxxxx@xxxxxxxxxx.xx Klant Klant Klant LeverancierDATPROF
  17. 17. Nr. Polis 789 321 Nr. Voornaam Naam Soort Opmerking E-mail Frans Jan Dirk de Boer Huisman Jansen DATPROF 123 456 789 321 123 456 Basis + AV Standaard Basis Klant Klant Klant Leverancier xxxxxxx@xxxx.xx Xxxxxxx@xxxx.xx xxxxx@xxxxxxxxxx.xx Key-Shuffle Verwissel primary keys en foreign keys consistent. “Uniek klantnummer dat op pasjes en polissen wordt gedrukt”
  18. 18. Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum Frans Jan Dirk de Boer Huisman Jansen DATPROF 123 Klant Klant Klant Leverancier xxxxxxx@xxxx.xx Xxxxxxx@xxxx.xx xxxxx@xxxxxxxxxx.xx 321 789 456 First day Verander datum velden naar de 1e van dezelfde maand of jaar 01-02-1954 01-11-1984 01-03-1974 Postcode Geboortedatum 1e van de maand 1e van het jaar 87% 3.7% 0.04% Bron: onderzoek anonimiteit door Prof. Dr. Latanya Sweeney (Harvard University)
  19. 19. Nr. Voornaam Naam Soort Opm.. E-mail Geb-datum de Boer Huisman Jansen DATPROF 123 Klant Klant Klant Leverancier xxxxxxx@xxxx.xx Xxxxxxx@xxxx.xx xxxxx@xxxxxxxxxx.xx 321 789 01-02-1954 01-11-1984 01-03-1974 Look-up Vervang waarden met waarden uit een andere tabel Tim Ruben Thomas Frans Jan Dirk Voornamen Daan Thomas Tim Lars Ruben Levi Luuk Referentiedata
  20. 20. Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum Thomas Tim Ruben de Boer Huisman Jansen DATPROF 123 Klant Klant Klant Leverancier 321 789 456 01-02-1954 01-11-1984 01-03-1974 Expression Maak gebruik van standaard of eigen functies T.deBoer@testdata.nl T.Huisman@testdata.nl R.Jansen@testdata.nl Fictief Fictief Fictief
  21. 21. Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum Thomas Tim Ruben de Boer Huisman Jansen DATPROF 123 Klant Klant Klant Leverancier 321 789 456 01-02-1954 01-11-1984 01-03-1974 T.deBoer@testdata.nl T.Huisman@testdata.nl R.Jansen@testdata.nl Fictief Fictief Fictief Vergelijken Nr. Voornaam Naam Soort Opm.. E-mail Geboortedatum Frank Jan Dirk Jansen de Boer Huisman DATPROF 789 Klant Klant Klant Leverancier 123 456 321 16-02-1954 25-11-1984 27-03-1974 “Zwager…” “...Schulden..” fdeboer@live.nl Huisman@live.nl ikben@dirkjansen.nl
  22. 22. Importeren Meta data Definiëren regels 3. Deployment
  23. 23. Demonstratie
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×