LIBRIS XL
system, användardesign och vår syn på metadata
Tr*ffpunkt Mikromarc 6/11 2015
Markus Sköld & Fredrik Klingwall
Agenda
• Om LIBRIS
• Arbetsmetoder
• Format
• Länkad Data
• Tillämpningar
• Lärdomar
KB:s uppdrag och syfte
Insamling och beskrivning av svenska pliktexemplar.
Ansvarar för drift och utveckling av LIBRIS.
Tjänster och system för att tillhandahålla öppen data.
LIBRIS modellen
Martin Malmsten, LIBRIS 2012
Beslut att utveckla ett eget system
LIBRIS XL
2012 – utvecklingen kom igång
• Motivation
– Ökade flöden av metadata
– Nya materialtyper
– Lättanvänt webbgränssnitt för katalogisering
• Länkad Data
• Open Source
Visionen
● Ett system för att hantera allt metadata på Kungl. Biblioteket
● LIBRIS som “metadatamaster”
● Databrunnar
○ Söka i allting samtidigt
Hur vi ville jobba …
Agile … Scrum … UX ...
Agila metoder
• Korta iterationer
• Lär av varje iteration
• Teamet prioriterar och planerar
https://www.flickr.com/photos/davegray/6865783267
Användarcentrerad utveckling
• I nära samarbete med användare genom intervjuer, tester och workshops
• Verktyg
– User stories
– Personor
– Scenarior
– Effektkarta
• Designprinciper
– Intuitivt, flexibelt, inspirerande
Utvecklingen: Första året
• Svårt att bygga modernt och intuitivt gränssnitt
• Önskemål om fler funktioner
• Fortfarande MARC21 som lagringsformat
• Otillräcklig informationsmodell
HTTP://XKCD.COM/1425/
Bearbeta länkad data direkt
“Vi står inför ett helt nytt sätt att använda och dela data, med nya datatyper och
fler bibliotek som ska in i den nationella katalogen. Nya datatyper kräver nya
format och framtidens kataloger bygger både på nätverk och på relationer mellan
informationsmängder. “
http://librisbloggen.kb.se/2013/04/08/libris-katalogisering-betaversion-av-nytt-katalogiseringsverktyg/
To boldly go ...
Slänga ut MARC21
Lagringsmodell baserad på
öppen länkad data
… into terra incognita
• Utforskande arbete vs
Deadlines
• Inte bara ”byta ut Voyager”
• Paradigmskifte
– Pedagogiskt arbete
– Förväntanshantering
Förväntanshantering
En konstant ström av aktiviteter, projekt
och datakällor
Förvaltning och samordning med
existerande system
Väldigt liten koordinering mellan
teknologier, standarder och
applikationer/tjänster pga brist på tid,
kommunikation etc.
https://www.flickr.com/photos/base2wave/85497158
Samtidigt
• Andra projekt startade
– Som skulle baseras på LIBRISXL (som inte var “klart”)
Samtidigt
• Andra projekt startade
– Som skulle baseras på LIBRISXL (som inte var “klart”)
• Och avslutades …
– Baserade på LIBRISXL (som fortfarande inte var “klart”)
Omdefinition av LIBRIS XL
En modell bestående av:
● Förutsägbara API:er
○ åtkomst
○ sök
○ lagring
● Länkad data
● Igenkännbara former på data
○ Standardvokabulär (RDF)
○ Syntax (JSON-LD)
https://www.flickr.com/photos/hey__paul/7511824068
Ny utgångspunkt
1.Infrastruktur
2.Katalogiseringsgränssnitt
3.Metadatakonvertering: MARC21 ->
JSON-LD (länkad data)
https://www.flickr.com/photos/kellarwilson/19652137273
Modeller, format och beskrivningar
000 03642cam a2200865 r4500
008 890111s1989 sw a j 6 000 1 swe
100 1 _ $a Jansson, Tove, $d 1914-2001 $0 191503
245 0 0 $a Mumintrollet.n Nr 1 /$c av Tove Jansson
”Hur svårt kan det vara att beskriva en …”
Egenskaper och värden
• Varierande praxis genom åren
• Inkonsekventa beskrivningar
• Undvika tidigare begränsningar
Strings vs Things
https://flic.kr/p/8qwF8J
Länkad data i praktiken
INTERNET
Hur funkar det?
• Tilldela identifierare (URI) till ett
ting.
– http:// ….
• Gör påståenden som beskriver
tinget.
• Länka tinget till andra ting
genom påståenden.
Bild skapad av Peter Krantz 2012
Påståenden
1. Denna sak har titeln ”Hur gick det sen?”
2. Den är skriven av Tove Jansson.
3. Det är en Illustrerad Bok.
4. Den är skriven på Svenska.
Påståenden om relaterade ting
1. Tove Jansson är en person.
2. Illustrerad Bok är en typ av kreativt verk.
3. Svenska heter Swedish på engelska.
{
@id: /resource/bib/816913,
@type: [Text, Monograph],
contentType: {
@id:/def/content/ComicOrGraphicNovel
},
qualifiedTitle: {
@type: Title,
titleValue: Hur gick det sen?
},
responsibilityStatement: av Tove Jansson
attributedTo: {
@id: /resource/auth/191503},
}
language: {@id: /def/languages/swe}
}
{
@id: /def/content/ComicOrGraphicNovel,
@type: Concept,
prefLabel: Tecknad serie / Serieroman
}
{
@id: /resource/auth/191503,
@type: Person,
familyName: Jansson,
givenName: Tove,
birthYear: 1914,
deathYear: 2001
}
{
@id: /def/languages/swe,
@type: [Language, Concept],
langCode: swe,
langTag: sv,
matches: http://id.loc.gov/vocabulary/iso639-2/swe,
notation: swe,
prefLabel: Svenska,
prefLabel_en: Swedish
}
Vokabulär
”Kontrollerade samlingar av termer som syftar till att beskriva kunskap om
en viss domän.”
LOV
http://lov.okfn.org/dataset/lov/
@prefix bf: <http://bibframe.org/vocab/> .
@prefix bibo: <http://purl.org/ontology/bibo/> .
@prefix dc: <http://purl.org/dc/terms/> .
@prefix prov: <http://www.w3.org/ns/prov#> .
@prefix sdo: <http://schema.org/> .
@prefix xsd: <http://www.w3.org/2001/XMLSchema#> .
@base <http://libris.kb.se/> .
</resource/bib/7149593> a bibo:Book ;
bf:language </def/languages/swe> ;
bf:responsibilityStatement "Tove Jansson, Tuulikki Pietilä" ;
dc:title "Anteckningar från en ö" ;
prov:wasAttributedTo </resource/auth/191503> ;
prov:wasInfluencedBy [ a sdo:Person ;
sdo:birthDate "1917"^^xsd:gYear ;
sdo:deathDate "2009"^^xsd:gYear ;
sdo:familyName "Pietilä" ;
sdo:givenName "Tuulikki" ] .
</resource/auth/191503> a sdo:Person ;
sdo:birthDate "1914"^^xsd:gYear ;
sdo:deathDate "2001"^^xsd:gYear ;
sdo:familyName "Jansson" ;
sdo:givenName "Tove" .
Nyttan med öppen länkad data
• Ökad återanvändning
• Dra nytta av varandras arbete
• Effektivisera insamling och
produktion
• En värld utanför bibliotekten
– Arkiv, museer
– Wikipedia, Google
– OCLC worldcat
• Nytta uppstår i användandet
– Schema.org kan användas
idag!
"LOD Cloud Diagram as of September 2011" by Anja Jentzsch - Own work. Licensed
under CC BY-SA 3.0 via Commons -
Nya möjligheter
Möjlighet att uttrycka nya aspekter
<meta property="bookFormat" content="EBook/DAISY3"/>
<meta property="isFamilyFriendly" content="true"/>
<meta property="accessibilityFeature” content="largePrint/CSSEnabled"/>
<meta property="accessibilityFeature" content="highContrast/CSSEnabled"/>
<meta property="accessibilityFeature" content="resizeText/CSSEnabled"/>
<meta property="accessibilityFeature" content="displayTransformability"/>
<meta property="accessibilityFeature" content="longDescription"/>
<meta property="accessibilityFeature" content="alternativeText"/>
<meta property="accessibilityControl" content="fullKeyboardControl"/>
<meta property="accessibilityControl" content="fullMouseControl"/>
<meta property="accessibilityHazard" content="noFlashingHazard"/>
<meta property="accessibilityAPI" content="ARIA"/>
Nya söktjänster
Cherry
• Ett experiment i att hitta relaterade
titlar
• Baserat på XL-infrastruktur
• Fulltextmatchning av recensioner,
utdrag ur texten och bloggposter.
Exemplarsinformation
Automatisk gallring
• Via feed
– OAIPMH / Atom
– Lokala systemet publicerar deleteposter
• Via API
– HTTP-request
– Autentisering via OAUTH2
Kräver LIBRIS-ID (URI)
id.kb.se
Vad ska ID.KB.SE innehålla?
Auktoriteter
(Termer och deras objekt: personer, grupper, händelser, möten, platser, ämnen)
Definitioner
(Material, roller, språk, geografiska koncept, vokabulär etc.)
Mappingar till andra definitioner och vokabulär
(DC, Schema.org, BibFrame, RDAVocab, LoC, YSO, VIAF, WorldCat, Dewey.info, MeSH,
GeoNames, Lexvo, DBPedia, EDM, CIDOC, WikiData...)
Hur får vi nytta av ID.KB.SE?
Producenter av metadata kan använda sig av rekommenderade vokabulär och
auktoriteter direkt.
KB får bättre möjligheter att koordinera våra egna tjänster och arbetsflöden kring
samlingar och kataloger.
LIBRIS kan länka till sammanhängande basdata (istället för att kopiera poster).
Genom samarbeten kan t.ex. kulturarvsinstitutioner och andra nationalbibliotek koppla
ihop sin data (ex. Riksarkivet, Europeana, Muséer, etc.)
Vad händer med MARC egentligen?
Snart 50 år gammalt
”MARC predates the earliest expression of relational data modeling concepts
by three years”.
– ”Interpreting MARC: Where’s the Bibliographic Data?” / Jason Thomale, 2012
(http://journal.code4lib.org/articles/3832)
Primärt lagringsformat: JSON-LD
LIBRIS XL kan leverera normaliserade MARC-poster till lokala system
Lessons learned
• Varför gör vi det här?
• Skulle vi gjort något annorlunda?
• Inte fastna i detaljer
• Våga ifrågasätta normer och praxis
– Hur ska datat användas?
• MVP (Minimum Viable Product)
Framtiden
Paradigmskiftet automatiserade metadataflöden
Bryta ner med tydliga mottagare där vi skapar värde
http://librisbloggen.kb.se/2015/10/13/libris-roadmap-oktober-2015/
• Bestånd
• Auktoriteter
• Bibliografiska poster
Open Source
Följ vårt arbete på nätet:
● http://github.com/libris
● http://librisbloggen.kb.se
Tack!
markus.skold@kb.se
fredrik.klingwall@kb.se

Librisxl treffpunkt mikromarc

  • 1.
    LIBRIS XL system, användardesignoch vår syn på metadata Tr*ffpunkt Mikromarc 6/11 2015 Markus Sköld & Fredrik Klingwall
  • 2.
    Agenda • Om LIBRIS •Arbetsmetoder • Format • Länkad Data • Tillämpningar • Lärdomar
  • 3.
    KB:s uppdrag ochsyfte Insamling och beskrivning av svenska pliktexemplar. Ansvarar för drift och utveckling av LIBRIS. Tjänster och system för att tillhandahålla öppen data.
  • 4.
  • 5.
    Beslut att utvecklaett eget system
  • 6.
    LIBRIS XL 2012 –utvecklingen kom igång • Motivation – Ökade flöden av metadata – Nya materialtyper – Lättanvänt webbgränssnitt för katalogisering • Länkad Data • Open Source Visionen ● Ett system för att hantera allt metadata på Kungl. Biblioteket ● LIBRIS som “metadatamaster” ● Databrunnar ○ Söka i allting samtidigt
  • 7.
    Hur vi villejobba … Agile … Scrum … UX ...
  • 8.
    Agila metoder • Kortaiterationer • Lär av varje iteration • Teamet prioriterar och planerar https://www.flickr.com/photos/davegray/6865783267
  • 9.
    Användarcentrerad utveckling • Inära samarbete med användare genom intervjuer, tester och workshops • Verktyg – User stories – Personor – Scenarior – Effektkarta • Designprinciper – Intuitivt, flexibelt, inspirerande
  • 12.
    Utvecklingen: Första året •Svårt att bygga modernt och intuitivt gränssnitt • Önskemål om fler funktioner • Fortfarande MARC21 som lagringsformat • Otillräcklig informationsmodell HTTP://XKCD.COM/1425/
  • 13.
    Bearbeta länkad datadirekt “Vi står inför ett helt nytt sätt att använda och dela data, med nya datatyper och fler bibliotek som ska in i den nationella katalogen. Nya datatyper kräver nya format och framtidens kataloger bygger både på nätverk och på relationer mellan informationsmängder. “ http://librisbloggen.kb.se/2013/04/08/libris-katalogisering-betaversion-av-nytt-katalogiseringsverktyg/
  • 14.
    To boldly go... Slänga ut MARC21 Lagringsmodell baserad på öppen länkad data
  • 15.
    … into terraincognita • Utforskande arbete vs Deadlines • Inte bara ”byta ut Voyager” • Paradigmskifte – Pedagogiskt arbete – Förväntanshantering
  • 16.
    Förväntanshantering En konstant strömav aktiviteter, projekt och datakällor Förvaltning och samordning med existerande system Väldigt liten koordinering mellan teknologier, standarder och applikationer/tjänster pga brist på tid, kommunikation etc. https://www.flickr.com/photos/base2wave/85497158
  • 17.
    Samtidigt • Andra projektstartade – Som skulle baseras på LIBRISXL (som inte var “klart”)
  • 18.
    Samtidigt • Andra projektstartade – Som skulle baseras på LIBRISXL (som inte var “klart”) • Och avslutades … – Baserade på LIBRISXL (som fortfarande inte var “klart”)
  • 19.
    Omdefinition av LIBRISXL En modell bestående av: ● Förutsägbara API:er ○ åtkomst ○ sök ○ lagring ● Länkad data ● Igenkännbara former på data ○ Standardvokabulär (RDF) ○ Syntax (JSON-LD) https://www.flickr.com/photos/hey__paul/7511824068
  • 20.
    Ny utgångspunkt 1.Infrastruktur 2.Katalogiseringsgränssnitt 3.Metadatakonvertering: MARC21-> JSON-LD (länkad data) https://www.flickr.com/photos/kellarwilson/19652137273
  • 21.
    Modeller, format ochbeskrivningar
  • 22.
    000 03642cam a2200865r4500 008 890111s1989 sw a j 6 000 1 swe 100 1 _ $a Jansson, Tove, $d 1914-2001 $0 191503 245 0 0 $a Mumintrollet.n Nr 1 /$c av Tove Jansson ”Hur svårt kan det vara att beskriva en …”
  • 23.
    Egenskaper och värden •Varierande praxis genom åren • Inkonsekventa beskrivningar • Undvika tidigare begränsningar
  • 24.
  • 25.
    Länkad data ipraktiken INTERNET
  • 26.
    Hur funkar det? •Tilldela identifierare (URI) till ett ting. – http:// …. • Gör påståenden som beskriver tinget. • Länka tinget till andra ting genom påståenden.
  • 27.
    Bild skapad avPeter Krantz 2012
  • 28.
    Påståenden 1. Denna sakhar titeln ”Hur gick det sen?” 2. Den är skriven av Tove Jansson. 3. Det är en Illustrerad Bok. 4. Den är skriven på Svenska.
  • 29.
    Påståenden om relateradeting 1. Tove Jansson är en person. 2. Illustrerad Bok är en typ av kreativt verk. 3. Svenska heter Swedish på engelska.
  • 30.
    { @id: /resource/bib/816913, @type: [Text,Monograph], contentType: { @id:/def/content/ComicOrGraphicNovel }, qualifiedTitle: { @type: Title, titleValue: Hur gick det sen? }, responsibilityStatement: av Tove Jansson attributedTo: { @id: /resource/auth/191503}, } language: {@id: /def/languages/swe} } { @id: /def/content/ComicOrGraphicNovel, @type: Concept, prefLabel: Tecknad serie / Serieroman } { @id: /resource/auth/191503, @type: Person, familyName: Jansson, givenName: Tove, birthYear: 1914, deathYear: 2001 } { @id: /def/languages/swe, @type: [Language, Concept], langCode: swe, langTag: sv, matches: http://id.loc.gov/vocabulary/iso639-2/swe, notation: swe, prefLabel: Svenska, prefLabel_en: Swedish }
  • 31.
    Vokabulär ”Kontrollerade samlingar avtermer som syftar till att beskriva kunskap om en viss domän.”
  • 33.
  • 34.
    @prefix bf: <http://bibframe.org/vocab/>. @prefix bibo: <http://purl.org/ontology/bibo/> . @prefix dc: <http://purl.org/dc/terms/> . @prefix prov: <http://www.w3.org/ns/prov#> . @prefix sdo: <http://schema.org/> . @prefix xsd: <http://www.w3.org/2001/XMLSchema#> . @base <http://libris.kb.se/> . </resource/bib/7149593> a bibo:Book ; bf:language </def/languages/swe> ; bf:responsibilityStatement "Tove Jansson, Tuulikki Pietilä" ; dc:title "Anteckningar från en ö" ; prov:wasAttributedTo </resource/auth/191503> ; prov:wasInfluencedBy [ a sdo:Person ; sdo:birthDate "1917"^^xsd:gYear ; sdo:deathDate "2009"^^xsd:gYear ; sdo:familyName "Pietilä" ; sdo:givenName "Tuulikki" ] . </resource/auth/191503> a sdo:Person ; sdo:birthDate "1914"^^xsd:gYear ; sdo:deathDate "2001"^^xsd:gYear ; sdo:familyName "Jansson" ; sdo:givenName "Tove" .
  • 35.
    Nyttan med öppenlänkad data • Ökad återanvändning • Dra nytta av varandras arbete • Effektivisera insamling och produktion • En värld utanför bibliotekten – Arkiv, museer – Wikipedia, Google – OCLC worldcat • Nytta uppstår i användandet – Schema.org kan användas idag! "LOD Cloud Diagram as of September 2011" by Anja Jentzsch - Own work. Licensed under CC BY-SA 3.0 via Commons -
  • 37.
  • 38.
    Möjlighet att uttryckanya aspekter <meta property="bookFormat" content="EBook/DAISY3"/> <meta property="isFamilyFriendly" content="true"/> <meta property="accessibilityFeature” content="largePrint/CSSEnabled"/> <meta property="accessibilityFeature" content="highContrast/CSSEnabled"/> <meta property="accessibilityFeature" content="resizeText/CSSEnabled"/> <meta property="accessibilityFeature" content="displayTransformability"/> <meta property="accessibilityFeature" content="longDescription"/> <meta property="accessibilityFeature" content="alternativeText"/> <meta property="accessibilityControl" content="fullKeyboardControl"/> <meta property="accessibilityControl" content="fullMouseControl"/> <meta property="accessibilityHazard" content="noFlashingHazard"/> <meta property="accessibilityAPI" content="ARIA"/>
  • 39.
    Nya söktjänster Cherry • Ettexperiment i att hitta relaterade titlar • Baserat på XL-infrastruktur • Fulltextmatchning av recensioner, utdrag ur texten och bloggposter.
  • 40.
  • 41.
    Automatisk gallring • Viafeed – OAIPMH / Atom – Lokala systemet publicerar deleteposter • Via API – HTTP-request – Autentisering via OAUTH2 Kräver LIBRIS-ID (URI)
  • 42.
  • 43.
    Vad ska ID.KB.SEinnehålla? Auktoriteter (Termer och deras objekt: personer, grupper, händelser, möten, platser, ämnen) Definitioner (Material, roller, språk, geografiska koncept, vokabulär etc.) Mappingar till andra definitioner och vokabulär (DC, Schema.org, BibFrame, RDAVocab, LoC, YSO, VIAF, WorldCat, Dewey.info, MeSH, GeoNames, Lexvo, DBPedia, EDM, CIDOC, WikiData...)
  • 44.
    Hur får vinytta av ID.KB.SE? Producenter av metadata kan använda sig av rekommenderade vokabulär och auktoriteter direkt. KB får bättre möjligheter att koordinera våra egna tjänster och arbetsflöden kring samlingar och kataloger. LIBRIS kan länka till sammanhängande basdata (istället för att kopiera poster). Genom samarbeten kan t.ex. kulturarvsinstitutioner och andra nationalbibliotek koppla ihop sin data (ex. Riksarkivet, Europeana, Muséer, etc.)
  • 45.
    Vad händer medMARC egentligen? Snart 50 år gammalt ”MARC predates the earliest expression of relational data modeling concepts by three years”. – ”Interpreting MARC: Where’s the Bibliographic Data?” / Jason Thomale, 2012 (http://journal.code4lib.org/articles/3832) Primärt lagringsformat: JSON-LD LIBRIS XL kan leverera normaliserade MARC-poster till lokala system
  • 46.
    Lessons learned • Varförgör vi det här? • Skulle vi gjort något annorlunda? • Inte fastna i detaljer • Våga ifrågasätta normer och praxis – Hur ska datat användas? • MVP (Minimum Viable Product)
  • 47.
    Framtiden Paradigmskiftet automatiserade metadataflöden Brytaner med tydliga mottagare där vi skapar värde http://librisbloggen.kb.se/2015/10/13/libris-roadmap-oktober-2015/ • Bestånd • Auktoriteter • Bibliografiska poster
  • 48.
    Open Source Följ vårtarbete på nätet: ● http://github.com/libris ● http://librisbloggen.kb.se
  • 49.