Auto ingest demo-werklunch 2013-11-05
•Download as PPTX, PDF•
0 likes•346 views
How the CKCC project gave rise to the development of an auto ingest service at DANS
Recommended
Recommended
More Related Content
What's hot
What's hot (10)
Viewers also liked
Viewers also liked (15)
Similar to Auto ingest demo-werklunch 2013-11-05
Similar to Auto ingest demo-werklunch 2013-11-05 (20)
More from Dirk Roorda
More from Dirk Roorda (15)
Auto ingest demo-werklunch 2013-11-05
- 1. Data Archiving and Networked Services Geleerdenbrieven: Circulation of Knowledge and Learned Practices in the 17th-century Dutch Republic. A Web-based Humanities’ Collaboratory on Correspondences Dirk Roorda en Marjan Grootveld Werklunch DANS, 5 november 2013 DANS is een instituut van KNAW en NWO
- 2. Op het menu: • Onderzoeksvragen en live-omgeving ePistolarium • (Project)data geautomatiseerd ingesten in EASY
- 3. Circulation of Knowledge • 20.000 brieven • In Nederlands, Frans, Latijn, Grieks, … • Mensen, plaatsen, onderwerpen, …
- 4. Onderzoeksvragen • Kunnen we de kenniscirculatie achterhalen? • Hoe brengen we dit bij 20.000 brieven in beeld? NWO-middelgroot project uitgevoerd door • Descartes Centre voor Wetenschapsgeschiedenis en Wetenschapsfilosofie (UU) • Huygens ING • KB • UvA • DANS
- 5. 5
- 6. 6
- 10. epistolarium 10
- 11. 11
- 12. Metadata: DC, EAD en CMDI Dublin Core voor de dataset van het project
- 13. Metadata: DC, EAD en CMDI Encoded Archival Description: project > correspondentie (≈ geleerde) > band
- 14. Metadata: DC, EAD en CMDI Encoded Archival Description: project > correspondentie (≈ geleerde) > band
- 15. Metadata: DC, EAD en CMDI CMDI (CLARIN) toegekend per correspondentie en hierbinnen per brief
- 16. Opbrengsten voor DANS • Actieve rol in eHumanities-project, inclusief stuurgroep en advisering over externe experts • Internationale publicaties • Praktische ervaring met andere metadatasmaken • Mooie dataset (embargo tot medio december) • Goede basis voor auto-ingest-dienst voor Trusted Providers
- 23. my laptop
- 24. my laptop
- 27. From Product to Service Huygens Data Repositories SWORD Interface autoingest product CMDI creation Huygens Exporter for CKCC SFTP SIP Packager DANS AutoIngest Server SIP checking transformations checksums EASY submitted dataset
- 28. From Product to Service Huygens Data Repositories SWORD Interface autoingest service CMDI creation DANS SFTP server Huygens Repository Export SFTP SIP Packager SIP checking transformations checksums EASY submitted dataset
- 29. From Product to Service Huygens Data Repositories SWORD Interface autoingest service CMDI creation DANS SFTP server Huygens Repository Export SFTP SIP Packager SIP checking transformations checksums EASY submitted dataset
- 30. From Product to Service Small deposits e.g. annotation sets Huygens Data Repositories SWORD Interface autoingest service CMDI creation DANS SFTP server Huygens Repository Export SFTP SIP Packager SIP checking transformations checksums EASY submitted dataset
Editor's Notes
- Welke taal: soms ook binnen 1 briefSpellingnormalisatie: bij sommige woorden relatief eenvoudig want volgens de “regels” van het 17e-eeuws. Echter, the name Christiaan Huygens van Zuylichem is spelled in at least 320 different ways.NER is dus niet eenvoudig: wat is een eigennaam en op wie is het?Keyword analysis: welke woroden komen veel voor en onderscheiden teksten daardoor van elkaar?
- Welke taal: soms ook binnen 1 briefSpellingnormalisatie: bij sommige woorden relatief eenvoudig want volgens de “regels” van het 17e-eeuws. Echter, the name Christiaan Huygens van Zuylichem is spelled in at least 320 different ways.NER is dus niet eenvoudig: wat is een eigennaam en op wie is het?Keyword analysis: welke woroden komen veel voor en onderscheiden teksten daardoor van elkaar?
- Tot zover het ePistolarium.
- We hebben drie vormen van metadata in dit project. EAD was op verzoek van een van de onderzoekers en CMDI was een voorwaarde van mede-financier. Daarom gezocht naar zinnige afbakening / minimale redundantie. We zijn uitgekomen op verschillende “korreligheid”. Dit is niet inherent aan deze metadataschema’s en in een andersoortig project zou je ook andere keuzes kunnen maken.
- 1 Dit op verzoek van een onderzoeker van het Huygens, om goed te kunnen samenwerken met collega’s van Stanford en Oxford university.
- 1 Dit op verzoek van een onderzoeker van het Huygens, om goed te kunnen samenwerken met collega’s van Stanford en Oxford university.
- Dit als voorwaarde van mede-financier CLARIN. Bij de plaatsen van verzending en bestemming zijn lengte- en breedtegraden genoteerd. Denk aan visualisatie op de kaart.
- Actieve rol: ook in stuurgroep, ook bij testen van ePistolarium