1. 17 juni 2014
Reproduceerbaarheid en
kwaliteitsborging
Wiebe Borren

2. Aanleiding
Kritische geluiden uit modelconsortia over kwaliteitsborging in
modelbouw (m.n. regionaal):
• Niet alles is navolgbaar
• Onduidelijk of aangedragen informatie en inzichten (goed)
verwerkt worden
• Projectvertragingen
• Fouten mogen gemaakt worden, maar niet 2x dezelfde
17 juni 2014

3. Kader
Nieuwe werkwijze:
• Proces
• Inhoud
Kernbegrippen:
• Reproduceerbaarheid, traceerbaarheid
• Transparantie, openheid
• Uitwisseling van kennis, synergie
• Kwaliteitsborging
17 juni 2014

4. Onderwerpen
1. HydroConnect: workflow management en versiebeheer
2. Plausibiliteitstesten
3. Terugkoppeling naar REGIS
4. GMDB: Grondwater-Model-Data-Bank
17 juni 2014

5. HydroConnect
17 juni 2014
• Versiebeheer
• Workflow management
• Gebaseerd op VisTrails
Workflow:
• opeenvolgende rekenstappen, b.v. om
basisdata om te zetten in modelinvoer
Versiebeheer:
• data
• workflows
• modellen

6. Modelleercyclus
17 juni 2014
Workflowmanagement
Basisdata
Modelleerproces
- Schematisaties, concepten
- Filtering, transformatie
- Consensus
Model-invoerdata
Rekenproces
- Model: schaal, periode, stapgrootte
- Optimalisatie: criteria, parameters,
meetwaarden
Resultaten
Evaluatie
- Statistisch en hydrologisch oordeel
- Verbeterpunten, aanbevelingen
Oplevering

7. Modelleercyclus
17 juni 2014
Workflowmanagement
Basisdata
Modelleerproces
- Schematisaties, concepten
- Filtering, transformatie
- Consensus
Model-invoerdata
Rekenproces
- Model: schaal, periode, stapgrootte
- Optimalisatie: criteria, parameters,
meetwaarden
Resultaten
Evaluatie
- Statistisch en hydrologisch oordeel
- Verbeterpunten, aanbevelingen
Oplevering
Versiebeheer

8. Workflow
17 juni 2014
Modelinvoer Rekenkern
Tussen -
resultaat
Basisdata,
(schematisaties)
Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool

9. Workflow en documentatie
17 juni 2014
Modelinvoer Rekenkern
Tussen -
resultaat
Basisdata,
(schematisaties)
Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool
Documentatie Documentatie
Documentatie
Documentatie
Workflow documentatie

10. Voorbeeld workflow in HydroConnect
17 juni 2014

11. Voorbeeld workflow in HydroConnect
17 juni 2014

12. Model versiebeheer
• Een release-versie van een model (bijvoorbeeld AZURE 1.0)
bestaat uit een “bevroren” set van:
• basisdata
• workflows, inclusief gebruikte scripts/software
• modelinvoer
• modelrekencode
• modelresultaten
• testrapporten
• Van daaruit wordt verder gewerkt en kunnen modelvarianten
(tussenversies) ontstaan
• Deze kunnen later leiden tot een nieuwe release versie
17 juni 2014

13. OTAP
HydroConnect faciliteert OTAP
17 juni 2014

14. Plausibiliteitstesten
• (Hydro)logische testen
• Testen die de hydroloog iets zeggen over de plausibiliteit van:
• basisdata
• modelinvoer
• modelresultaten
• Signaleren, niet afkeuren
• Hydroloog / modelleur moet afgegeven signaal interpreteren
Hier niet bedoeld: testbank voor het testen van de rekencode (iMOD)
17 juni 2014

15. Testrapporten in HydroConnect
17 juni 2014
Modelinvoer Rekenkern
Tussen -
resultaat
Basisdata,
(schematisaties)
Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool

16. Testrapporten in HydroConnect
17 juni 2014
Modelinvoer Rekenkern
Tussen -
resultaat
Basisdata,
(schematisaties)
Resultaten
V1.0
V2.1
V1.0
V1.7
V2.1
V1.0 V1.0
V2.2
Tool
V1.3
V1.0
V2.0
V1.0
Tool
Testrapport Testrapport Testrapport
TestscriptTestscript Testscript

17. Testrapport
Overzicht in HTML of PDF:
• Signaleringen:
• waar en hoe vaak wordt drempelwaarde overschreden?
• basale statistieken (percentielen, missing values etc.)
• stoplichten, vlaggen
• Kaarten
• Histogrammen
• Grafieken
17 juni 2014

18. Terugkoppeling naar REGIS / BRO
REGIS op termijn in BRO:
• Uitgangspunt voor overheden
• Terugmeldplicht
• TNO verantwoordelijk voor kwaliteit en oppakken terugmeldingen
Grondwatermeetreeksen:
• Binnenkort onder BRO
• Bronhouders blijven verantwoordelijk
• TNO faciliteert
→ Grondwatermodelconsortia hebben belang bij terugmelding, zodat
hydrologische inzichten niet verloren gaan
17 juni 2014

19. Teruglevering
1. Promotie-onderzoek Aris Lourens
2. GMDB: Grondwater-Model-Data-Bank
17 juni 2014

20. REGIS en grondwatermodellen
17 juni 2014
Boring
Hydrogeologisch
model (REGIS)
Grondwatermodel

21. Route terug
17 juni 2014
Boring
Hydrogeologisch
model (REGIS)
Grondwatermodel
Kalibratie-resultaat
Hydrologisch inzicht

22. GMDB: Grondwater-Model-Data-Bank
Webportal voor (release-versies) van alle grondwatermodellen
Vastleggen relatie ondergrondschematisatie en REGIS
Faciliteert opslag data/informatie voor zover BRO dit niet afdekt
Uploaden terugmeldingen
http://gmdb.nhi.nu
17 juni 2014

23. Webportal
17 juni 2014

24. Voorbeeld onttrekkingen
17 juni 2014