3. 19 juni 2014
Overzicht
• Aanleiding – waarom?
• Doelstelling – wat?
• Ontwerp – hoe is het bedacht?
• Realisatie – waar staan we nu?
• Demo – hoe werkt het?
• Gepland/gerelateerd werk – to do lijst
• Vragen / Discussie
4. Aanleiding
• Bestaande archiefoplossingen - verbeterwensen
• FEWS
• Matroos
• …
• Data
• Omvang
• Productie: grote hoeveelheden (externe) voorspellingen
• Consumptie: (langjarige) reeksen (cal
• Beschikbaarheid
• snel - Operationele context
• langzaam - ‘offline’ activiteiten
• Opslag
• Passend bij beschikbaarheidsvraag
19 juni 2014
5. Doelstelling
Het nieuwe archief:
• Open
• Leesbaar
• Benaderbaar (door verschillende clients, versch. niveaus)
• Standaarden / technologie
• Data formaat
• Opslag
• Query
• Bevraagbaar
• Wat: metadata
• Reply:
• Schaalbaar
19 juni 2014
6. Ontwerp: archief als geheel
19 juni 2014
storage catalogue
harvesterimporter
data
set
retrieve query
7. Ontwerp: storage
19 juni 2014
• Data staat op disk (als files), niet in
een database;
• De file inhoud staat beschreven in
een XML metadata file;
• Metadata file bevat tevens
referentie naar de data file;
• De data opslag bestaat uit een
groot aantal - georganiseerde –
folders en (metadata) files.
Metadata file
*.xml
Collection of files
*.nc
storage
Data
Metadata
(XML)
directory
Data
Metadata
(XML)
directory
Data
Metadata
(XML)
directory
Data
Metadata
(XML)
directory
8. Ontwerp: opslag data en metadata (storage)
Voorbeeld
• Opslag van (nabewerkte) metingen voor gebied
Bellinger voor een periode van 1 dag;
• Data staat in 4 aparte NetCDF-files,
• Inhoud staat beschreven in metaData.xml file
19 juni 2014
9. Ontwerp: catalogue
• Catalogue will be
based on
GeoNetwork;
• Catalogue will be
build by reading
metadata files;
• Search for
keywords and
period;
19 juni 2014
storage
Data
Metadata
(XML)
directory
Data
Metadata
(XML)
directory
Data
Metadata
(XML)
directory
Data
Metadata
(XML)
directory
catalogue
metadata
10. Ontwerp: archief als geheel
19 juni 2014
storage catalogue
harvesterimporter
data
set
retrieve query
11. Ontwerp: data toegang (zoeken)
Zoeken via de Catalogue access layer
• Access layer: GeoNetwork (open-source
catalogus);
• Externe toegang om data te zoeken;
• Gebaseerd op OGC CSW protocol (=
wereldwijde standaard);
• Op basis van ‘keywords’ and ‘ruimtelijke
informatie’.
19 juni 2014
catalogue
query
csw/web
12. Ontwerp: data toegang (data ophalen)
Ophalen via de Data access layer
• Verzorgt externe toegang tot de data;
• Time series:
• HTTP Get
• OPeNDAP
• OGC WMS
• OGC WCS
• Non-timeseries data:
• HTTP Get.
19 juni 2014
storage
HTTP/OpenDAP
WMS/WCS
13. Realisatie – Stand van Zaken
• (basis) Bouwstenen n.a.v. ontwerp gerealiseerd voor:
• Data Importer
• Harvester
• Storage (+ data access layer)
• Catalogus (+ catalogue access layer)
• Client
• Delft-FEWS 2013.02/2014.01
• Datasets productie
• ‘Taggen’ van events
• Bevragen/zoeken
• Ophalen (in SA)
19 juni 2014
storage catalogue
harvesterimporter
data
set
retrieve query
17. Archive Dialog: search the complete archive
19 juni 2014
2. zoek
4. download
1. specifeer
3. inspecteer
18. Demo
• Search in archive:
• Use case 1:
• National
• Simulated + Observed Series
• 18/5/14 – 19/5/14
• Use case 2
• Huon
• 18/5/14 – 25/5/14
• Run Import
• Show data
19 juni 2014
20. Gepland werk
19 juni 2014
storage catalogue
harvesterimporter
data
set
data processing layer
21. Gepland werk
• Gebruik van open archief
• Uitbreiding aantal
• ‘openheid’ promoten (benaderbaar door derden)
• Clients: uitbreiding aantal type clients
• Use cases welkom!
• EU project SWITCH-ON (Forecast Broker)
• Data processing layer: afhandeling data verzoeken van
verschillende clients (applicatie, web)
• Uitbreiding data formaten mbt import
• FEWS 2014.02
• Dynamisch data ophalen afh. van rel. view period
• Operationele Database
• Lange termijn Open Archief
19 juni 2014
22. FEWS: Dynamisch bepalen waar data te halen…
19 juni 2014
storage catalogueDelft-FEWS
Centrale
Database
operationeel open archief
service layer
data processing layerdac
