CATCHPlus diensten-10jun2011

CATCHPlus gemeenschappelijke diensten
Hennie Brugman
Technisch coordinator
1
CATCHPlus bijeenkomst - 10 juni 2011 - Meertens Instituut

Overzicht
Introductie en algemeen overzicht (20+10 minuten)
Inzoomen op individuele diensten (5 x 10 min)
Beschikbaarheid, duurzame exploitatie, hosting (5 min)
Discussie (maximaal 30 min)
2

CATCHPlus opzet
3
WP 2: Deel-
projecten
WP 1: Gemeenschappelijke diensten
Erfgoed-instellingen
Museumplus
Checkers
StitchPlus
Choralplus
Scratch4all
Witchcraftplus
Multiply
Chip API
WP 3: Framework en interoperabiliteit
Projectbureau
Projectbureau

De uitdaging van CATCHPlus
Samenhang tussen heel verschillende tools en diensten realiseren
Toepasbaarheid over grenzen van collecties en instellingen bevorderen
Resultaten gedistribueerd en online op het web beschikbaar maken
Samen ontwikkelen waar dat kan
Bijdragen aan infrastructuur voor het Nederlands digitaal erfgoed
Duurzame exploitatie en hosting
4

Benadering
Uniform omgaan met 4 soorten data
Terminologie (vocabulaires)
Annotaties
Catalogi (metadata)
Digitale objecten
Duurzame verwijzingen (persistent identifiers)
Breed inzetbare componenten opwaarderen tot gemeenschappelijke diensten
5

Annotaties
Catalogi (metadata)
Digitale objecten
Vocabulaire en Alignment
Repository
“Uniform representeren, publiceren
en doorzoekbaar maken
van thesauri door middel van web
services”
6

Annotaties
Catalogi (metadata)
Digitale objecten
Annotation &
Recommendation
“Uniform representeren, opslaan,
doorzoekbaar en uitwisselbaar maken van
uiteenlopende annotaties van
(delen van) bronnen op het web”
7

Annotaties
Catalogi (metadata)
Digitale objecten
Standaard toegang dmv
OAI data providers
“Ondersteuning van de
publicatie van metadata mbv OAI-PMH
bij deelnemende erfgoedinstellingen”
8

Annotaties
Catalogi (metadata)
Digitale objecten
Diensten voor gebruik en
beheer van persistente identifiers
“ontkoppelen van object-namen en
object-locaties ter ondersteuning van
duurzame verwijzingen”
9

Workspaces
User Profile Repository
“Persoonlijke, tijdelijke opslag van data sets. Tijdelijk verlenen van toegangsrechten tot die data sets”
Annotaties
Catalogi (metadata)
Digitale objecten
“Verzamelen van profiel-informatie
door en over gebruikers. Tijdelijk
verlenen van toegang tot die informatie aan webdiensten”
10

11

Het “landschap”
12

Uitgangspunten
Open set van samenwerkende bouwstenen (versus monolyten)
componenten ook bestaansrecht op zichzelf of in andere context
Samenwerking met anderen
hergebruik waar mogelijk bestaande oplossingen
Sluit aan/draag bij aan gerelateerde initiatieven
Standaardisatie en uniformering
RESTful web services
Liever wat beperkter in scope dan geen draagvlak
eerst interne en externe belanghebbenden op één lijn
draagvlak belangrijk voor duurzame exploitatie
13

Verbindingen door gemeenschappelijke diensten: voorbeelden
Intern: tussen individuele deelprojecten
Extern: bijdragen aan infrastructuur digitaal cultureel erfgoed, diensten zijn in potentie breed inzetbaar
14

Workspace toepassingen
Primair toegepast tbv Scratch4All (images)
In tweede instantie voor één of meer CATCHPlus cases (spraak, sets van zoekresultaten)
verbindend tussen CATCHPlus deelprojecten
leidt tot uniforme web services
Model voor persoonlijke, tijdelijke hosting, met name tbv toegang door web services
 potentieel onderdeel van veel (erfgoed-)web applicaties
15

OAI en PIDs
BenG: metadata publicatie met OAI-PMH
Neveneffect: toekenning en publicatie van persistente identifiers
“Landingspagina’s” PIDs en OAI vallen samen
Bijdrage aan Nederlands Erfgoed: Digitaal!, daarna aan NL Aggregator
 CATCHPlus diensten op metadata eenvoudig te generaliseren (bv zoeken ihkv MuseumPlus)
 bijdrage aan digitale infrastructuur nederlands cultureel erfgoed en Europeana
16

Multiply/DSS
17
Metadata
OAI-PMH
Vocabulaire
Repository
Text
Repository
Annotatie
Repository
Annotatie
Services
Recommendation
Ranking services
Video
Repository

Stand van zaken
Een aantal al gerealiseerde diensten is toenemend succesvol
Breed gedragen wensen tav tweede versies
Vertragingen hebben wel geleid tot
Duidelijke plannen en specificaties
Meer draagvlak onder mogelijke stakeholders
Frequente contacten en afstemming met gerelateerde projecten
Nu is de tijd van implementatie
18

stakeholders
19
GM OAI-PMH
RCE
Naturalis
STITCH+
MUSEUM+
KB OCLC
CHECKERS
Clarin/Clavas
Europeana
KB
GAR
BenG
NA
Fotomuseum
Trezorix
Uni. Tilburg
Werkgroep
Erfgoedthesauri
RKD
DEN
OCLC RCE
Scratch4all
Choral+
Multiply
AnnotationRepository
Vocabulairebank
Open Annotation
Consortium
Adlib
Pictura
Trezorix
Deventit
TMS
NA Scratch4all
GAR Choralplus
BenGMultiply
MI Witchcraft+
GM Museumplus
Radio Rijnland
Uni. Twente
RMA /AM
ZieOok
CHORAL+
CHIP+
WORKSPACES
GAR NA
X-MI BenG
SARA
BIGGRID
TARGET
CLARIN
SURF
RMA
AM BenG
RCE
MI
Clarin-NL
NED!
NL Aggregators
Europeana
Standaardisatie OAI
GridLine
ZieOok
Seecr
BenG DEN
RCE Kennisnet
NA MI Surf
Persistent Identifiers
SARA EPIC
CLARIN
Europeana
Target
RUG
RDE
SCRATCH4ALL
MULTIPLY
NA Gelders archief
Groninger archieven
Stadsarchief Leuven
BenG NA
TIN
MCN
WITCHCRAFT+
MI UU

Vragen en discussie
Onze vragen
Deugen ambities, aanpak en benaderingswijze?
Ontbreken er diensten, of zijn er overbodige?
Zijn er (betere) bestaande oplossingen?
Zijn er nieuwe toepassingen denkbaar?
20

21

22

Vocabulary and Alignment Service(“VocabulaireBank”)
23

Visie
CATCHPlus
Tools en diensten bouwen met één uniforme, externe dienst voor terminologie-gebruik
Eenvoudig gebruik van elkaars thesauri
Breder
“Linked Data++”
Laagdrempelig (her)publiceren van thesauri
(her)gebruiken van thesauri zonder tussenkomst van toolbouwers
Eenvoudig gebruik van gepubliceerde thesauri vanuit tools en diensten
24

VAS doelen
Standaard formaat en access methoden
SKOS, SKOS gebaseerde REST API
Web publicatie van vocabulaires
Als Linked Open Data
Als doorzoekbare en browse-bare dataset  REST API
Te gebruiken voor duurzame referenties naar concepten  persistente identifiers
Te harvesten door middel van OAI-PMH
Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’
Stimuleren van Open licenties
25

SKOS
Term: Economic cooperation
Used For: Economic co-operation
Broader terms: Economic policy
Narrower terms: Economic integration,
European economic cooperation,
European industrial cooperation,
Industrial cooperation
Related terms: Interdependence
Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.
26

VAS doelen
27

Linked Open Data
Een methode om data te tonen, delen en verbinden via ‘dereferencable URIs’ op het Web.
28

VAS doelen
29

Use cases (t.a.v. REST API)
Use cases uit CATCHPlus en Cultureel Erfgoed
Publiceer je thesaurus: importeer een SKOS vocabulaire, dan krijg je er REST toegang, tool support en Linked Data gratis bij
Selecteer het juiste concept om een object te beschrijven
autocompletion
Gebruik voor browsen en zoeken (naar terminologie en/of collectie-data)
VAS repository als een “topic map” voor erfgoed-collecties
Thesaurus-onderhouds-taken door online gemeenschappen
Vertalen, verfijnen, generaliseren van zoekvragen
30

Wat is inmiddels gebouwd?
Repository voor SKOS data (inclusief alignment data)
RDF store (Virtuoso)
REST API (search, autocomplete, upload, download), gebaseerd op het SKOS data model
De repository bevat 12 verschillende thesauri (niet vrij toegankelijk, niet meer up-to-date m.u.v. GTAA)
31

Client tools en diensten
CATCHPlus cases (semantische annotatie, ranking, art recommender, …)
CLARIN(-NL) CLAVAS project
Pictura gebruikt de API voor toegang tot de Beeld en Geluid GTAA thesaurus (Memorix)
Generieke browse- en zoek- web applicatie (gebruikt REST API)– Q42
32

33

VAS, versie 2
Gedurende half jaar intensief overlegd door CATCHPlus, RCE, Adlib, Pictura, Trezorix
Op initiatief van RCE
Mede naar aanleiding van VAS, versie 1
Doel: tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren
VAS versie 2 conform de uitkomsten van dit overleg
34
performance, schaalbaarheid
gedistribueerd
nieuwe functies
mooier RESTful
authenticatie en authorisatie
betere manieren om content te beheren

Gezamenlijke visie
35

REST specificatie
Concept resolve API
URI, bv http://id.loc.gov/authorities/sh95000541
Find API
/find/concepts
/find/conceptschemecollections
/find/conceptschemes
/map/concept
/map/object
/concept
36

Toekomst
Online zetten en promoten gezamenlijke API specs
Implementatie Repository service, versie 2
Nieuwe API
Harvesting dmv OAI-PMH
Upload van SKOS bestanden
Linken met nieuwe “DEN inventarisatie van erfgoedthesauri”
Actualiseren en uitbreiden van de inhoud
Stimuleren van open licenties (ODbL)
Duurzame hosting op één of meer plaatsen
37

stakeholders
Clarin/Clavas
Europeana
KB
GAR
BenG
NA
Fotomuseum
Werkgroep
Erfgoedthesauri
RKD
DEN
RCE
Vocabulairebank
Adlib
Pictura
Trezorix
Deventit
TMS
38

39

Workspaces
40

Visie
CATCHPlus
Gebruikspatroon {inloggen, documenten uploaden/verzamelen en organiseren, tool daarop laten werken} maar één keer bouwen
Spaart werk
Biedt gedeelde oplossing voor inloggen, ….
Legt vast hoe tools en diensten verbonden kunnen worden
Breder
Nieuw model voor flexibele hosting
Virtuele collecties
Bouwsteen binnen web service gebaseerde infrastructuren
41

Potentieel
Legt vast hoe web services veilig op data kunnen werken – tijdelijk delegeren van toegangsrechten
Goede plek om ‘Single Sign On’ mee te verbinden
Goede ‘home base’ voor geïntegreerde applicatie-omgevingen (b.v. Virtual Research Environments)
Cloud hosting aspect: tijdelijke, persoonlijke, veilige opslag op het web, met flexibele toegankelijkheid
voorportaal voor digitale archiving
data curatie
toekenning persistente identifiers
Ontwikkeld door partijen, die over veel opslagcapaciteit en bandbreedte beschikken
42

Deliverables
Workspace repository (Target Holding)
RESTful API (Target Holding)
Webapps voor workspace beheer en workspace repository beheer (Target Holding)
Authenticatie en Autorisatie oplossing (BigGrid?)
2-4 toepassingen binnen CATCHPlus
43

Implementatie ikhv Scratch4All
44

Status
Implementatie Workspaces en aansluiting op Scratch4All is gestart
Afronding: december 2011
Gesprekken over Authenticatie en Autorisatie module zijn gaande
Waarschijnlijk ook toegepast ihkv CLARIN, ten behoeve van data uitwisseling tussen web services
45

stakeholders
NA Scratch4all
GAR Choralplus
BenGMultiply
MI Witchcraft+
GM Museumplus
WORKSPACES
SARA
BIGGRID
TARGET
CLARIN
46

47

Metadata harvesting
48

Wat?
Publiceren van metadata volgens standaard formaten (Dublin Core, qualified Dublin Core, bredere standaard formaten, proprietaire formaten)
Publiceren op standaard manier (OAI-PMH)
49

Status
Implementatie bij B en G afgerond
Een aantal deelnemers heeft inmiddels zelf OAI-PMH
NED!, NL Aggregators en Europeana
Beheer van persistente identifiers kan worden gekoppeld aan publicatie van metadata
50

stakeholders
MI
Clarin-NL
NED!
NL Aggregators
Europeana
Standaardisatie OAI
CQ2
51

Annotation Repository
52

Visie
CATCHPlus
Uitwisselen en doorzoekbaar maken van uiteenlopende annotaties van (delen van) bronnen op het web
Stap voor stap verrijken van data
Breder
Annotatie repository als collectie- en instelling-overstijgende index
53

Requirements
Annotatie van onderdelen van teksten, xml/xhtml, pdf, audio, video, melodie, images (komen allemaal in CATCHPlus projecten voor)
Annotatie van annotaties en waarden van annotaties (“gelaagde annotatie”)
Semantische waarden
Web gebaseerd en uitbreidbaar data model
Opslaan en doorzoeken in repository met REST API
54

Voorbeeld: gelaagde annotaties
55
Voorbeeld workflow:
Document scan
[automatische line strip detectie service]
Lege annotatie[repository]
annotatie[document transcriptie tool]
transcriptie
[entity recognition service]
entity annotatie[repository]

Deliverables
Annotatie uitwissel-formaat
Annotatie Repository
REST API voor opslaan en doorzoeken
56

Open Annotation model/formaat
Generiek model uit CATCH: AMM (Annotation Meta Model)
Grote overlap in requirements en uitwerking met Open Annotations (www.openannotion.org)
Voorstel: pas OAC model toe (en draag daar eventueel aan bij)
57
Annotation is web document met URI
Body annoteert een Target
Verschillende auteurs/eigenaren
Body en Target kan alles zijn
Iedere resource kan target van andere annotatie zijn
Voorzieningen voor onderdelen van documenten

Status
“Annotation model en formaat” aanbeveling binnenkort beschikbaar, inclusief toets aan CATCHPlus cases
Implementatie-proces moet nog beginnen
Toepassing in eerste instantie waarschijnlijk gekoppeld aan workspaces
58

stakeholders
ZieOok
AnnotationRepository
Open Annotation
Consortium
59

60

61

Visie
CATCHPlus
Verzamelen van profiel-informatie door en over gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten
Primair ten dienste van Art Recommender. Apart ontwikkeld met oog op bredere toepasbaarheid
Breder
Gebruikers ‘single-sign-on’ bieden, en baas maken van hun eigen profieldata
Collectie aanbieders beschikken over brede profiel-informatie, zonder dat zelf bij te hoeven houden
62

Wat is het?
Profielen bevatten personalia, voorkeursobjecten en –concepten, ratings, gebruiks-statistieken e.d.
Repository met RESTful API voor
Beheer van profielen
Tijdelijke toegang voor toevoegen objecten en gebruiks-statistieken
Opvragen van profiel informatie door collectie-aanbieders
Web applicatie voor profielbeheer
Widgets voor website-bouwers
Login
Rating
63

Toepassing
CHIP API deelproject
Bestond oorspronkelijk uit een recommendation engine (Art Recommender), een Rating tool en een User Profile Repository
UPR is gepromoveerd tot gemeenschappelijke dienst
Art Recommender wordt gerealiseerd op basis van de ZieOok recommendation engine
Amsterdam Museum sinds kort de uitvoerder/collectie-aanbieder
Toepassen op andere collecties is relatief eenvoudig
64

Relatie met ZieOok
ZieOok
Is een generieke recommendation engine voor erfgoedcollecties
Gebouwd door Beeld en Geluid
Werkt op basis van statistiek
Collecties te importeren mbv OAI-PMH
Heeft (nog) geen generieke oplossing om met gebruikers- en gebruiksinformatie om te gaan
Art Recommender is voor ZieOok een extra toepassing, UPR een generieke bouwsteen
ZieOok biedt zicht op brede toepassing van CATCHPlus UPR
65

66

Status
Begin juli kickoff
Streven: implementatie eind 2011 afgerond
Implementator (o.v.): Gridline
67

Stakeholders
RMA
AM
RCE
GridLine
ZieOok
68

69

Persistente Identifiers
70

Visie
Oorspronkelijke opdracht OCW: biedt een zo breed mogelijke oplossing voor persistente identifiers aan.
Vertaald naar de volgende taken:
Kies robuuste, duurzame technologie
Laagdrempelig toekennen en beheren van PIDs
Duurzaam, betaalbaar en betrouwbaar model voor hosting en exploitatie
71

Probleem en basisoplossing
Steeds meer digitale objecten, met steeds meer identifiers
In web context: identifier = URL
Steeds vaker extern aangeboden (web)
Steeds meer verwijzingen naar objecten
Contextualisering
Samenwerkingsverbanden
Virtuele collecties en tentoonstellingen
Identifiers zijn vaak niet uniek
Identifiers zijn vaak niet persistent
Verwijzingen worden gemakkelijk ongeldig (broken links)

http://.../object_1
Probleem
object_1
new_object_1

Basisoplossing
Ontkoppel naam/identifier en locatie(s)
Registreer combinaties van identifiers met locaties in een tabel
Externe referenties gebruiken de identifier

Basisoplossing
object_1
id1
new_object_1

Basisoplossing (resolver)
id1
new_object_1

Requirements (1)Software support
Goede resolving service beschikbaar
Bewezen technologie, stabiel en100% betrouwbaar
Schaalbaar
Globaal werkende oplossing
gedistribueerde hosting en dienstverlening mogelijk
Identificatie van onderdelen van objecten
Mogelijkheid om metadata met een identifier te associëren
“Actionable”: identifiers kunnen worden ge-resolved met behulp van een http URI
77

CATCHPlus keuze: Handles als basis
Handle technologie
Voldoet (verreweg) het best aan onze eisen
http://handle.net/
Eén Local Handle System en Handle prefix per deelnemende ‘Naming Authority’
Hosting van Local Handle Systems door SARA, ge-mirrored door internationale partners (EPIC)
78

79

Requirements (2)Identifier beheer
Identifier beheer moet onafhankelijk zijn van
System management
Web server management
Hosting van resolution services
Moet kunnen worden gedaan vanuit de context van een collectie-beheer-systeem
Typisch door de verantwoordelijke collectie beheerder
Is efficient, krachtig en eenvoudig
Is veilig
80

CATCHPlus oplossing: identifier beheer
REST web service
Voor zoeken, creëren en beheren van Handles (behorend bij je eigen Naming Authority) over internet
ook ondersteuning voor batch operaties (“verplaats collectie”)
SARA heeft eerste versie voor CATCHPlus gebouwd
Wordt in de praktijk door een aantal instellingen gebruikt
81

Methoden voor identifier beheer
Neveneffect van collectie beheer
Actie in collectie-beheer-systeem triggert een PID beheer REST call
Neveneffect van collectie publicatie
Update van je gepubliceerde data set (bv OAI data provider’s interne database) triggert een PID beheer REST call
82

Requirements (3)Organisatie en beleid
Welke keuzen zijn gemaakt door je partner instituten? (hoe minder smaken, hoe beter)
Betrouwbaarheid en duurzaamheid van de service providers
Quality of Service: redundantie, 24/7 beschikbaarheid, performantie, vermogen op te schalen
Beperkte en beheersbare kosten
Vrijheid om te wisselen van service provider
Invloed van gebruikersgemeenschap
83

CATCHPlus oplossing: organisatie
EPIC (European Persistent Identifier Consortium)
SARA (Nederland), CSC (Finland), GWDG (MPG, Duitsland)
Redundante en betrouwbare PID services voor eScience en eCulture in Europa
Contracten mbt Europese mirror van Global Handle Repository
Directe samenwerking met CNRI
Stakeholders overleg met erfgoedpartijen en SARA
Samen met DEN
Business cases, business model en contractvormen
84

Toekomstperspectief
EPIC brede REST API
Verbeteringen en toevoegingen aan huidige API
Uitbreidbaar, policies afdwingbaar
Specificatie is klaar
Implementatie (o.v.) door SARA, met bijdrage GWDG
Introductie-trajecten bij erfgoedinstellingen
Businessmodel en contracten
85

stakeholders
BenG DEN
RCE Kennisnet
NA Surf
MI
Persistent Identifiers
SARA EPIC
CLARIN
Europeana
86

87

Beschikbaarheid, exploitatie en hosting:enkele opmerkingen
88

Beschikbaarheid
Broncode komt onder Open source licentie en online beschikbaar (GitHub)
We promoten Open Database licenties en Creative Commons
We promoten vrij gebruik van services, of tegen kostprijs
89

Hosting en exploitatie
Regelen duurzame hosting, onderhoud en doorontwikkeling valt binnen scope van CATCHPlus
Business modellen  middagprogramma
Ook techniek kan misschien kostenbesparend werken
Workspaces
Dynamisch deployment van web services
90

Vragen, opmerkingen, kritiek, suggesties?
91

Vragen van onze kant
Ontbreekt er iets in het CATCHPlus dienstenpakket?
Nut en noodzaak van de gemeenschappelijke diensten?
Zijn er op- of aanmerkingen in technologische zin?
B.v., we zijn begonnen met REST (+mash ups). Is er een reden SOAP (+ service bus) te ondersteunen?
Visie op onderhoud en doorontwikkeling van tools, diensten en data op langere termijn?
Inschatting kansen op overleven na CATCHPlus?
Wie zouden de aanbieders van die diensten uiteindelijk moeten zijn?
Ondersteunen deze diensten de CATCHPlus deelprojecten voldoende?
Realistisch of te ambitieus?
…
92

CATCHPlus diensten-10jun2011

by Catchplus Project on Jul 06, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

CATCHPlus diensten-10jun2011 — Presentation Transcript