0
Migratie Werkdag
10.30 – 16.00 uur
I Issues van migratie (90 min) 10.30 – 11.45
Koffiepauze (15 min)
II Rolverdeling en pr...
I Issues van datamigratie
Migratie Werkdag Deelnemers WieWasWie
29 november 2010
11 Brontypen
1. Bevolkingsregisters
2. BS geboorte, BS huwelijk, BS overlijden
3. DTB dopen, DTB trouwen, DTB begraven
4. ...
1. Datamigratie
• Laatste wijzigingsdatum per record
• Persistente unieke sleutel per
record
• Aangeven hoe velden in coll...
Routes Initiële Migratie
Situatie Initiële Migratie
– Route I: alleen upload of dump; archief geeft mapping aan
– Route II: alleen upload of dump; ...
Routes Data Beheer
Situatie Data Beheer
– Route I: alle mogelijkheden via OAI-PMH; archief geeft mapping aan
– Route II: alleen toevoegen/wij...
2. CRS-WieWasWie
Online collectie- en databeheer
• Invoeren, wijzigen en transcriberen van data
• Controleren van invoer,...
OAI-PMH
Open Archive Initiative Protocol for Metadata Harvesting
 OAI-PMH is voor kopiëren (harvesting of oogsten) van be...
API
application programming interface
• API: Externe collectie registratiesystemen
– Tussenplatform (De Ree, Pictura, Deve...
3. Datamodel
- Archive to Archive -
 Generiek, flexibel, uitbreidbaar
 Voldoet aan open standaarden
 Sluit aan bij bestaande platfor...
A2A: vijf entiteiten
persoon
gebeurtenis
relatie persoon tot gebeurtenis
bron (context gegevens)
object (bv. schip, p...
4. Mapping
Bronvelden BS Overlijden
BS overlijden herhaalbaar verplicht herhaalbaar verplicht
toegangnummer
inventarisnummer overlede...
Mapping naar A2A
ctPersonName ctPersoonNaam
PersonNameLiteral PersoonNaamLetterlijk
PersonNameTitle PersoonNaamTitel
Perso...
Bevolkingsregister
XML
<?xml version="1.0" encoding="utf-8" ?> - <!-- Example for the A2A dataformat (no. A1) -->
- <A2A x...
5. Account
Initiële migratie: FTP-server WieWasWie
Folders:
• - tekstuele data (XML)
• - scans (JPEG-formaat)
Acties:
- co...
Migratieplan, HintTechMindbus november 2010
II Rolverdeling en praktijk
Migratie Werkdag Deelnemers WieWasWie
Tine van Nierop
29 november 2010
Waar sta ik?
 Hoe is mijn data opgeslagen?
 Voldoe ik aan de vier voorwaarden?
 Kan ik een goede mapping maken?
 Wat z...
Wat kan ik nu doen?
• Mapping maken per brontype
• Check of migratie kan plaatsvinden
• Check of alle tools aanwezig zijn
...
Wat doet WieWasWie?
 Beschikbaarstellen templates (def. veldenlijst)
 Beschikbaarstellen standaard XSLT-sheets per
bront...
Gezamenlijke planning
• A2A Documentatie: aanwezig
• Migratieplan WWWie (concept): aanwezig
• Protocol migratie: week 48-5...
Samenwerking: tine@
• Documentatie doornemen (week 46-52)
• Vanaf 1 jan: proefsets data aanleveren
• Samen met STAP: route...
Projecteam
STAP/WieWasWie.nl
• Anne-Marie Bruggert, directeur a.i., anne-marie@projectburostap.nl
• Lottie Herfkens, senio...
Vragen?
Dank!
Tine van Nierop, Tine@wiewaswie.nl
SCHEMA VALIDATIE
Migratieproces
ErfgoedinstellingSTAPHtMb
Migratiefas
Gezipte Scans
A2A XSD’s A2A XSLT’s
XML
Ruwe data Dat...
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Voorbeeld functionaliteiten huidige digitalestamboom
Migratie Werkdag
29 november 2010
Einde
Migratie Werkdag WieWasWie - Tine van Nierop
Upcoming SlideShare
Loading in...5
×

Migratie Werkdag WieWasWie - Tine van Nierop

589

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
589
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Migratie Werkdag WieWasWie - Tine van Nierop"

  1. 1. Migratie Werkdag 10.30 – 16.00 uur I Issues van migratie (90 min) 10.30 – 11.45 Koffiepauze (15 min) II Rolverdeling en praktijk (30 min) 12.00 – 12.30 Lunch 12.30 – 13.15 III Presentatie Mindbus (60 min) 13.15 – 14.15 IV CRS WieWasWie (30 min) 14.15 – 14.45 V Tips & Tricks Mapping (30 min) 14.45 – 15.15 VI Afsluiting en thee 15.15 – 16.00
  2. 2. I Issues van datamigratie Migratie Werkdag Deelnemers WieWasWie 29 november 2010
  3. 3. 11 Brontypen 1. Bevolkingsregisters 2. BS geboorte, BS huwelijk, BS overlijden 3. DTB dopen, DTB trouwen, DTB begraven 4. Memories van Successie 5. Notariële archieven/protocollen 6. VOC (scheepslijsten) 7. Kadastrale data
  4. 4. 1. Datamigratie • Laatste wijzigingsdatum per record • Persistente unieke sleutel per record • Aangeven hoe velden in collectie overeenkomen met datamodel • Exportmogelijkheid bieden volgens ondersteunde open standaards Vereisten aan data
  5. 5. Routes Initiële Migratie
  6. 6. Situatie Initiële Migratie – Route I: alleen upload of dump; archief geeft mapping aan – Route II: alleen upload of dump; archief geeft mapping aan – Route III: archief verzorgt GUID, mutatiedatum en mapping; upload of dump Deelnemers WWWie Genlias: 12x -> 7x systeem, 4x niet en 1 onbekend DS: 7x -> 7x systeem Anders: 6x -> 6x systeem – Route I: 20x -> heeft een systeem of schaft het aan (wanneer !) – Route II: 3x -> nog aanpassingen mogelijk? Dan route III – Route III: 1x -> (schaft misschien systeem aan)
  7. 7. Routes Data Beheer
  8. 8. Situatie Data Beheer – Route I: alle mogelijkheden via OAI-PMH; archief geeft mapping aan – Route II: alleen toevoegen/wijzigen via inlog account; – Route III: archief verzorgt GUID, mutatiedatum en mapping; upload of dump; handmatige synchronisatie op basis van controle-exports – Route IV: alleen nieuwe data toevoegen; upload of dump Deelnemers WWWie – Route I: 17x -> (met systeem) – Route II: allen -> (voor iedereen mogelijk) 1 deelnemer kiest hiervoor – Route III: 1x -> 1 deelnemer kiest hiervoor – Route IV: 3x -> (als aanpassingen mogelijk zijn, kies dan route III) 3x deelnemers migreren eenmalig; van 1 deelnemer geen informatie
  9. 9. 2. CRS-WieWasWie Online collectie- en databeheer • Invoeren, wijzigen en transcriberen van data • Controleren van invoer, koppelen van scans • Exporttabellen t.b.v. beheer en handmatige synchronisatie Invoer en update via OAI-PMH verbinding met eigen systeem (CRS) Via upload of dump naar platform WieWasWie • Alleen handmatige synchronisatie met GUID en mutatiedatum
  10. 10. OAI-PMH Open Archive Initiative Protocol for Metadata Harvesting  OAI-PMH is voor kopiëren (harvesting of oogsten) van beschrijvingen (metadata).  Enerzijds is er de computer van het samenwerkingsverband (service-provider) die een aparte dienst aanbiedt (webservice).  De computer van de archiefdienst is de data provider en voorziet de computer van het samenwerkingsverband van beschrijvingen.  Beschrijvingen worden verstuurd in XML formaat in een metadatamodel waarover overeenstemming is bereikt.  De webservice implementeert het OAI-PMH protocol versie 2.0 (zie beschrijving: http://www.openarchives.org/OAI/2.0/openarchivesprotocol.htm)  (zie eenvoudige introductie: http://www.oaforum.org/tutorial/english/intro.htm)
  11. 11. API application programming interface • API: Externe collectie registratiesystemen – Tussenplatform (De Ree, Pictura, Deventit, Mindbus etc) – Wijzigen van gegevens ofwel op WieWasWie, ofwel op hun bestaande CRS – Automatische synchronisatie van het andere CRS • •API: Uploaden collectiegegevens – Deelnemers zonder eigen collectie registratiesysteem – Direct uploaden van nieuw toegevoegde collecties naar WieWasWie – Wijzigen gegevens in WieWasWie • API: Harvesting – Inlezen van externe partijen (Meertens instituut, Koninklijke Bibliotheek etc) in WieWasWie – Verrijking van de data van WieWasWie (regelmatig) • API: WieWasWie search – Integratie met de software van de eigen website deelnemers (embedded widget): – op de website van de deelnemer wordt direct een zoekterm ingevoerd en de zoekresultaten vanuit WieWasWie worden getoond op de website van de deelnemer. – Bij doorklikken op individuele aktes of registraties in de zoekresultaten wordt doorgelinkt naar de detailpagina’s op WieWasWie.nl
  12. 12. 3. Datamodel
  13. 13. - Archive to Archive -  Generiek, flexibel, uitbreidbaar  Voldoet aan open standaarden  Sluit aan bij bestaande platforms  Goede en snelle zoekmethoden  Ondersteunt nauwkeurige in- en export  Voorziet in duidelijke mappings  Robuust en schaalbaar  Uniek, toepasbaar voor bron en stamboom
  14. 14. A2A: vijf entiteiten persoon gebeurtenis relatie persoon tot gebeurtenis bron (context gegevens) object (bv. schip, perceel) Een akte kan meer gebeurtenissen bevatten Persoon heeft minstens één rol met gebeurtenis Behalve bron zijn entiteiten herhaalbaar
  15. 15. 4. Mapping
  16. 16. Bronvelden BS Overlijden BS overlijden herhaalbaar verplicht herhaalbaar verplicht toegangnummer inventarisnummer overledene woonadres gemeentenummer relatie type blok herh (max 5x) gemeentenaam ja relatie voornaam akte soort (bron) relatie patroniem akte id ja relatie tussenvoegsel akte datum relatie achternaam akte nummer relatie beroep herhaalbaar jaar van registratie ja anders plaats overlijden vader voornaam datum overlijden vader patroniem overledene voornaam vader tussenvoegsel overledene patroniem vader achternaam overledene tussenvoegsel vader beroep herhaalbaar overledene achternaam moeder voornaam overledene leeftijd moeder patroniem overledene geslacht moeder tussenvoegsel overledene geboorteplaats moeder achternaam overledene geboortedatum moeder beroep herhaalbaar overledene beroep opmerkingen
  17. 17. Mapping naar A2A ctPersonName ctPersoonNaam PersonNameLiteral PersoonNaamLetterlijk PersonNameTitle PersoonNaamTitel PersonNameTitleOfNobility PersoonNaamAdellijkeTitel PersonNameFirstName PersoonNaamVoornaam PersonNameNickName PersoonNaamRoepnaam PersonNameAlias PersoonNaamAlias PersonNamePatronym PersoonNaamPatroniem PersonNamePrefixLastName PersoonNaamVoorvoegselAchternaam PersonNameLastName PersoonNaamAchternaam PersonNameFamilyName PersoonNaamFamilieNaam PersonNameInitials PersoonNaamInitialen PersonNameRemark PersoonNaamOpmerking ctPersonReligion ctPersoonReligie PersonReligionLiteral PersoonReligieLetterlijk ctPersonAge ctPersoonLeeftijd PersonAgeLiteral PersoonLeeftijdLetterlijk PersonAgeYears PersoonLeeftijdJaar PersonAgeMonths PersoonLeeftijdMaand PersonAgeWeeks PersoonLeeftijdWeek PersonAgeDays PersoonLeeftijdDag PersonAgeHours PersoonLeeftijdUur PersonAgeMinutes PersoonLeeftijdMinuut stMaritalStatus stBurgerlijkeStaat ctRelationEP ctRelatieGebeurtenisPersoon PersonKeyRef PersoonSleutelReferentie EventKeyRef GebeurtenisSleutelReferentie RelationType RelatieType ExtendedRelationType UitgebreidRelatieType Elementen Vertaling/Betekenis
  18. 18. Bevolkingsregister XML <?xml version="1.0" encoding="utf-8" ?> - <!-- Example for the A2A dataformat (no. A1) --> - <A2A xmlns="http://tempuri.org/A2A.xsd"> - <Person pid="Person1"> - <PersonName> <PersonNameFirstName>Benedicte Joseph</PersonNameFirstName> <PersonNameLastName>Bouvier</PersonNameLastName> </PersonName> - <BirthDate> <Year>1805</Year> <Month>01</Month> <Day>17</Day> </BirthDate> - <BirthPlace> <Place>Eindhoven</Place> </BirthPlace> <Profession Language="fr">Calituriere</Profession> - <MaritalStatus> <MaritalStatusType>single</MaritalStatusType> <MaritalStatusName /> </MaritalStatus> - <Remark> <Key>remark</Key> <Value>dochter van sub 9 folio 148</Value> </Remark> </Person> - <Event eid="Event1"> <EventType>Register</EventType> - <EventDate> <Year>1810</Year> </EventDate> </Event>
  19. 19. 5. Account Initiële migratie: FTP-server WieWasWie Folders: • - tekstuele data (XML) • - scans (JPEG-formaat) Acties: - conversies - XML-validatie mbv XSLT-per brontype
  20. 20. Migratieplan, HintTechMindbus november 2010
  21. 21. II Rolverdeling en praktijk Migratie Werkdag Deelnemers WieWasWie Tine van Nierop 29 november 2010
  22. 22. Waar sta ik?  Hoe is mijn data opgeslagen?  Voldoe ik aan de vier voorwaarden?  Kan ik een goede mapping maken?  Wat zijn mijn mogelijkheden voor export?  Wordt dat ondersteund door de eigenaar/beheerder?  Wat voor aanpassingen zijn nodig?  Wat heb ik zelf voor ondersteuning nodig?
  23. 23. Wat kan ik nu doen? • Mapping maken per brontype • Check of migratie kan plaatsvinden • Check of alle tools aanwezig zijn (GUID / PKZIP / XML-validator) • Proefdata beschikbaar maken • Proefdata omzetten en intern testen/valideren • Account starten met WWWie-server
  24. 24. Wat doet WieWasWie?  Beschikbaarstellen templates (def. veldenlijst)  Beschikbaarstellen standaard XSLT-sheets per brontype  Beschikbaarstellen Schematron (programnma voor validatie XML/XSLT-structuur)  Beschikbaarstellen protocol voor validatie  Beschikbaarstellen beschrijving CRS WieWasWie
  25. 25. Gezamenlijke planning • A2A Documentatie: aanwezig • Migratieplan WWWie (concept): aanwezig • Protocol migratie: week 48-50 • Proefdata op schijf WWWie: v.a. 1 jan 2010 • Proefmigratie/import testdata: 1 – 15 jan 2010 • Migratie deelnemerdata: feb 2011 - midden 2011 • Deelnemers bèta: mrt 2011 – mei 2011 • Gebruikers bèta: mei 2011 - juni 2011 • Lancering WieWasWie: midden 2011
  26. 26. Samenwerking: tine@ • Documentatie doornemen (week 46-52) • Vanaf 1 jan: proefsets data aanleveren • Samen met STAP: route migratie bepalen (voor 1 jan - later heeft consequenties) • Route III: zelf GUID en mutatiedatum aanbrengen (jan – mrt 2011) • Samen met STAP mappings maken per brontype jan – mrt 2011 Wat betekent dit voor u?
  27. 27. Projecteam STAP/WieWasWie.nl • Anne-Marie Bruggert, directeur a.i., anne-marie@projectburostap.nl • Lottie Herfkens, senior webredacteur, lottie@wiewaswie.nl Leila Liberge, directeur projecten, leila@wiewaswie.nl Tine van Nierop, datamanager, tine@wiewaswie.nl Aura Scaringi, communicatiemanager, aura@wiewaswie.nl Simon Scherff, ondersteuning en office manager, simon@projectbureaustap.nl (v.a. 1 december 2010) Ralph Stuyver, merk- en projectmanager, ralph@wiewaswie.nl
  28. 28. Vragen?
  29. 29. Dank! Tine van Nierop, Tine@wiewaswie.nl
  30. 30. SCHEMA VALIDATIE Migratieproces ErfgoedinstellingSTAPHtMb Migratiefas Gezipte Scans A2A XSD’s A2A XSLT’s XML Ruwe data DataconversieSTART Validatie o.b.v. XSD’s Validatie o.b.v. XSLT’s Zippen Gezipte, valide XML Unzippen XMLValidatie o.b.v. XSD’s Validatie o.b.v. XSLT’s Valide XMLWieWasWie database EINDE Afwijzing, corrupte ZIP-bestanden Afwijzing, Invalide XML o.b.v XSD Afwijzing, invalide XML o.b.v XSLT Download Gemapte CSV Conversie naar XML
  31. 31. Voorbeeld functionaliteiten huidige digitalestamboom
  32. 32. Voorbeeld functionaliteiten huidige digitalestamboom
  33. 33. Voorbeeld functionaliteiten huidige digitalestamboom
  34. 34. Voorbeeld functionaliteiten huidige digitalestamboom
  35. 35. Voorbeeld functionaliteiten huidige digitalestamboom
  36. 36. Voorbeeld functionaliteiten huidige digitalestamboom
  37. 37. Voorbeeld functionaliteiten huidige digitalestamboom
  38. 38. Voorbeeld functionaliteiten huidige digitalestamboom
  39. 39. Migratie Werkdag 29 november 2010 Einde
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×