Presentatie door Marc van Dijk en Ferdinand Diermanse (Deltares) en Niels Entzinger (Waterschap De Dommel) op de "Delft-FEWS NL Gebruikersdag 2017", tijdens de Deltares Software Dagen- Editie 2017. Dinsdag 13 juni 2017, Delft.
4. Aanleiding
13 juni 2017
• Kost veel tijd
• Niet direct beschikbaar
• Niet voor alle meetpunten
• Methode niet expliciet onderbouwd
• Betrouwbaarheid onduidelijk.
• Alleen voor de lengte van de reeks.
5. Aanleiding
Na hoogwater: (o.a.)
Breng voor het hele gebied in beeld wat er (hydrologisch) is gebeurd
en hoe extreem dit was.
• Neerslag
• Afvoeren
• Waterstanden
• Grondwater
• Overstorten
13 juni 2017
6. Vraagstelling
Automatiseren:
• Snel antwoord, veel locaties geen probleem.
• Altijd op dezelfde manier.
• Automatische data-check bruikbaarheid reeksen.
• Methode herleidbaar.
• Uitkomst direct toetsbaar.
• Onzekerheid expliciet maken.
13 juni 2017
7. Vraagstelling
In Fews:
• Geen data-uitlevering tussen pakketten.
• Direct zien hoe een meting zich verhoud tot normen en extremen.
• Robuust.
• Iedereen kan ermee werken: ‘druk op de knop’
• Wordt iedere aanvraag nóg veel sneller (èn beter) beantwoord.
• Direct (of automatisch) updaten als er nieuwe data beschikbaar is.
• Output direct gebruiken voor het BOS-hoogwater.
13 juni 2017
10. Delft-FEWS en statistische analyses
Vroeger had Deltares (Delft-Hydraulics) het systeem HYMOS
• Veel functionaliteit overgezet naar Delft-FEWS
• Focus op automatiseren van processen (vooral data management,
inwinning, validatie, bewerkingen)
• Grootste deel statistische analyse bibliotheek niet overgezet
13/6/17
11. Delft-FEWS en statistische analyses
Recente ontwikkelingen maken een andere aanpak mogelijk
• Voor analyses is gebruik van Python veel gebruikte omgeving
• Binnen Deltares word Python steeds meer gebruikt i.c.m. met Delft-FEWS
• Nieuwe presentatie modules in FEWS maken koppeling met externe
modules eenvoudiger
Ø Nieuwe statistische functies niet binnen de FEWS code ontwikkelen
Ø Delen van bibliotheek met functies met ander (FEWS) gebruikers
Ø Deltares zorgt voor voldoende voorbeelden
Implementatie van ‘interne’ en ‘externe’ functies voor WS De Dommel
13/6/17
12. 13/6/17
Statistiek voor FEWS-Dommel
WS De Dommel heeft database met een groot aantal jaren meetreeksen
• Met Delft-FEWS ‘statisticsPeriodic’ functies worden met de meetdata per
tijdreeks bandbreedtes berekend (per 10 daagse periode)
• 1% percentiel
• 10% percentiel
• 50% percentiel
• 90% percentiel
• 99% percentiel
• Maximum
13. 13/6/17
Statistiek voor FEWS-Dommel
Koppelen van externe Python bibliotheek met Delft-FEWS
• Navigatie via Forecast Tree en ‘Modifiers’
Navigatie en
starten taken Aanpassen functie variabelen
14. 13/6/17
Statistiek voor FEWS-Dommel
• Koppelen van externe Python functies via Delft-FEWS General Adapter
• Huidige versie gebruikt PI-XML om tijdreeksen van FEWS naar Python module te
sturen. Kan uitgebreid worden met efficiëntere formaten zoals NetCDF.
Delft-FEWS General Adapter en PI-XML
15. 13/6/17
Statistiek voor FEWS-Dommel
• Presentatie via HTML templates en door Python module gegenereerd ‘content’
Nieuwe HTML viewer in Delft-FEWS
Grafieken en inhoud tabellen door Python
16. 13/6/17
Statistiek voor FEWS-Dommel
• Gebruik van berekende herhalingstijden in standaard FEWS grafieken
Grafieken met thresholds uit gegenereerd meta data
17. Delft-FEWS en statistische analyses
Voordeel van deze aanpak
• ‘Niet’ FEWS expert kan gebruik maken van grote hoeveelheid databases
met gevalideerde tijdreeksen
• Geeft ‘expert’ meer vrijheid in ontwikkelen eigen statistische functies
• Grote vrijheid in generen specifieke grafieken vanuit Python
Wat is er nog nodig
• Beheer van bibliotheek aan Python functies: Taak Deltares?
• Compileren van Python functies in speciale executables die geen Python
installatie nodig hebben; eenvoudiger bij installatie en gebruik
13/6/17
19. Doel: afleiden relevante statistieken uit meetreeks
13 juni 2017
time
DailyDischarge(m3
/s)
Nieuwe Leij
07/12/1995 02/09/1998 29/05/2001 23/02/2004 19/11/2006 15/08/2009 11/05/2012 05/02/2015 01/11/2017
0
2
4
6
8
10
12
14
return period [years]
DailyDischarge(m3
/s)
Nieuwe Leij; Gumbel distribution
1 10 100
4
6
8
10
12
14
16
18
data
fit
95% uncertainty bounds
20. 1. Data validatie
2. Analyse kenmerken data reeks (o.a. ontbrekende data)
3. Selectie hoogste waarnemingen uit meetreeks
4. Trendanalyse (homogeniteitstesten)
5. Keuze statistische extreme waarde verdelingsfunctie
6. Fitten verdeling op data
7. Beoordeling mate van fit, eventueel terug naar stap 3-6
Bepalen kansverdelingen extremen
21. Ontbrekende meetgegevens
13 juni 2017
time
DailyDischarge(m
3
/s)
Nieuwe Leij
07/12/1995 02/09/1998 29/05/2001 23/02/2004 19/11/2006 15/08/2009 11/05/2012 05/02/2015 01/11/2017
0
2
4
6
8
10
12
14
22. Overeige kenmerken meetreeks
Tijdstappen
• Welke resolutie (kwartier, uur, dag ..)?
• Overstap naar andere resolutie binnen meetreeks voor 1 station?
• Resolutie heeft effect op resultaten!
Lengte meetreeks
§ Bij voorkeur minimaal 20 jaar aan data per station, helaas niet
altijd mogelijk
13 juni 2017
28. Resultaat
13 juni 2017
Groen Geel Oranje Rood
Lengte reeks jaren >20 >15 >10 <10
Aanwezigheid data in de reeks % >90 >85 >80 <80
Aanwezigheid data in de pieken % >95 >90 >85 <85
4homogeniteitstests (<0.05=slecht) slechtste test (0-1) >0.05 <0.05
beoordeling fit exponentiele functie test (0-1) >0.8 >0.6 >0.4 <0.4
31. Doorontwikkeling
- Notificatie als meetwaarde buiten bandbreedte komt.
- Notificatie als meetwaarde extremen overschrijdt.
- Automatische omrekenfunctionaliteit o.b.v. formule van de lijn.
- Aanvullende statistische functies.
- Verbeterde data validaties.
13 juni 2017