DSD-NL 2015, Delft-FEWS Gebruikersdag, 7 Open Archief & Seamless Integration

1. 23 juni 2015
Open Data Archive &
Seamless Integration
Andre Grijze
Erik de Rooij
Gerben Boot

2. 23 juni 2015
Programma
• (historische) context
• Ontwikkelingen & demo
• backend
• frontend 1 – GeoNetwork Client (demo)
• frontend 2 – Delft-FEWS Client (demo)
• Vragen / Discussie

3. (historische) Context
• Er was eens…een specifiek FEWS archief
• Ontwikkeling van een open, bevraagbaar, downloadbaar archief
met metingen, voorspellingen en meer…
• Nieuwe Open Data Archief: Operationeel bij BoM, BPA
• EU FP7: SWITCH-ON (Forecast Broker)
• Seamless Integration: OC haalt – automatisch/op verzoek data op
uit het archief (bij uitzoomen in de tijd) als deze niet meer in de
FEWS database aanwezig is.
23 juni 2015

4. Geonetwork
Catalogus voor het beheren van metadata van ruimtelijke datasets
23 juni 2015
archief catalogue
harvester
export
Download
data
(HTTP)
FEWS Externe
applicatie
Zoeken
Data
(CSW API)

5. Geonetwork
• Zoeken van data
vrije zoek termen, sleutelwoorden, zoek in tijd en ruimte, gebruik vocabulaire
23 juni 2015

6. Geonetwork
• Resultaten tonen in kaart
Kaarten component ondersteunt WMS, WMTS en KML
23 juni 2015

7. Geonetwork
• Beheer van meta data
Zelf aanmaken en wijzigen meta data, meertalige
23 juni 2015

8. Geonetwork
• Koppelen met externe catalogi
bevragen ander catalogi :
OGC-CSW,
OAI-PMH,
Z39.50,
Thredds,
Webdav,
Web Accessible Folders,
ESRI,
Other GeoNetwork node
23 juni 2015

9. Geonetwork
• Ondersteunt INSPIRE
Support for the INSPIRE Directive: Indexing and user interface
extensions to support those who need to implement the INSPIRE
metadata directive (EU).
Installer package to enable INSPIRE options: An optional new
package in the installer enables GeoNetwork INSPIRE features if
selected, avoiding manual steps to enable INSPIRE support.
23 juni 2015

10. Geonetwork
• Open standaarden voor het zoeken en uitwisselen van data
OGC CSW, OAI-PMH, OpenSearch, Z39.50
Voorbeeld vraag CSW
23 juni 2015
<Filter xmlns="http://www.opengis.net/ogc" xmlns:gml="http://www.opengis.net/gml">
<And>
<PropertyIsGreaterThanOrEqualTo>
<PropertyName>tempextent_begin</PropertyName>
<Literal>2001-01-01T01:00:00+0100</Literal>
</PropertyIsGreaterThanOrEqualTo>
<PropertyIsLessThanOrEqualTo>
<PropertyName>tempextent_end</PropertyName>
<Literal>2015-12-07T01:00:00+0100</Literal>
</PropertyIsLessThanOrEqualTo>
</And>
</Filter>

11. DEMO GeoNetwork
23 juni 2015

12. Seamless integration
23 juni 2015
storage catalogueDelft-FEWS
Centrale
Database
operationeel open archief
service layer
data processing layer
Dynamisch bepalen waar de data te halen

13. FEWS Pi service
23 juni 2015
storage catalogueDelft-FEWS
Centrale
Database
operationeel open archief
FEWS PI service
data processing layer

14. Grafieken FEWS
23 juni 2015

15. 23 juni 2015
storage catalogue
harvester
Eisen catalogue en storage open archief
query
Externe applicatie
query
• Performance
• Schaalbaarheid
retrieve

16. Performance catalogue
response < 1s  noodzakelijk voor user interface
23 juni 2015
Performance geonetwork is niet voldoende

17. Elastic (search)
Ontwikkeling nieuwe catalogue op basis van Elastic (search)
23 juni 2015

18. Geonetwork vs Elastic (search)
Geonetwork Elastic search
CSW + - (niet geimplementeerd)
Performance +- ++
Spatial search + +
Zoeken op keywords + +
Schaalbaarheid +- ++
Queries op waarde groter
dan of kleiner dan
- +
User interface + -
23 juni 2015

19. 23 juni 2015
storage catalogue
harvester
Architectuur vanaf 2015.02
query
Externe applicatie
 Toegangelijk dmv rest webservice
 Toegangelijk voor alle mainstream programmeertalen
queryRetrieve
query dmv CSW

20. DEMO (Seamless Integration)
23 juni 2015

21. Intermezzo (opmaat voor discussie)
Belangrijk… Neutraal… Minder belangrijk…
Web GUI Archief
Zoeken via keywords
Zoeken via kaart
Inspecteren Metadata
Data preview
Zoeken via logische expressie (“>”)
Filteren van zoekresultaten
Performance
Archief om FEWS te ontlasten
CSW standaard
Keyword lijsten (Aquo? Taal UK/NL?)
23 juni 2015

22. Vragen en Discussie
23 juni 2015