Bronfoto: http://www.flickr.com/photos/eachdaycounts/97638443<br />
Kwaliteitscontrole en validatie van gedigitaliseerdarchiefmateriaal<br />Robert Gillesse, Stichting DEN<br />Marc Holtman,...
Altijd ok?<br />Video Duyvis<br />
Kwaliteitscontrole<br />Hoe ver moet je gaan?<br />Bron foto: http://www.flickr.com/photos/pierrelaphoto/2314190563 <br />
Hoe ver?<br /><ul><li>Welke kwaliteitscriteria, wanneer en in welke frequentie?
Welke steekproefmethode?
Wat is “fout” en hoe verhouden “fouten” zich tot elkaar?
Wat doet de leverancier aan kwaliteitsborging?
Hoe verhouden de kosten van kwaliteitscontrole zich tot de scanprijs?</li></li></ul><li>Inhoudparallelsessie en uw QA-Team...
Kwaliteitscontrole van digitale reproducties<br />Robert Gillesse, DEN<br />KVAN dagen 7-6-2011<br />
Afbakening<br /><ul><li>Digitale reproducties in de zin: originelen omgezet in digitale afbeeldingen bestaande uit pixels
Focus op beeldkwaliteit</li></li></ul><li>Geen standaardrecept voor kwaliteitscontrole van digitale afbeeldingen<br />Afha...
Vervanging “versus” beschikbaarstelling<br />In Beleidsregel Vervanging voor provincies verwezen naar Geheugen van Nederla...
In welke mate moet de digitale reproductie het origineel weerspiegelen?<br />
Wat zijn de essentiële eigenschappen van het origineel die ik in de digitale reproductie wil terugzien?<br />Concreet: det...
Kranten: belang leesbaarheidduidelijk. Maar hoe belangrijk is kleurbetrouwbaarheid?<br />Bron: KB Historische kranten: htt...
Maar dit is toch wel de juiste kleur blauw?<br />Bron: Geheugen van Nederland. Collectie Mauritshuis: http://www.geheugenv...
Uitdaging: essentiële eigenschappen van origineel vertalen in technische kwaliteitscriteria<br />
Vertaling te reproduceren eigenschappen origineel in technische kwaliteitseisen<br />
Afhankelijk van essentiële eigenschappen en projectdoelstellingen krijgen kwaliteitscriteria meer of minder nadruk<br />
Met andere woorden: niet alle “fouten” zijn even belangrijk <br />
Wat is erger? Het nietkunnenlezen van de tekst of de aanwezigheid van eenkleurzweem?<br />Bron: KB Historische kranten: ht...
Afwijkingendusverschillendgewichttoekennen<br />
Hoe nu de beeldkwaliteit te controleren?<br /><ul><li>Met behulp van foto testkaarten of referentie originelen
Deels handmatig, deels en liefst automatisch</li></li></ul><li>Kodak grijstrap<br />Macbeth kleuren testkaart<br />
Kodak grijstrap<br />Universal Test Target (Metamorfoze) <br />
Scherpte testkaart voor digitale fotografie<br />Microfilm scherpte testkaart<br />
Voorbeeld scanning referentie originelen uit de bron<br />
Automatische controle <br /><ul><li>Informatie uit bestandsheader - oa: kleurruimte, bitdiepte, resolutie, bestandsformaat...
Op termijn ook beeldkwaliteit via foto testkaarten en analysesoftware. </li></li></ul><li>Ten einde raad?<br />Lees  verde...
DE BASIS richtlijn voor vervaardiging van beeld, DEN
Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam, Stadsarchief Amtserdam
Foto´s: Digitisation of PhotographicalMaterialsGuidelines, Nationaal Archief, Den Haag</li></li></ul><li>Kwaliteitscontrol...
100% controle <br />= <br />zinloos<br />
Representatieve steekproef<br />
Probleem 1<br />Wat is representatief?<br />
Van een batch wordt 10% getest. Als meer dan 1% van de batch niet voldoet aan de normen (…), dan wordt de batch teruggezon...
Probleem 2<br />Wat is de kwaliteit van het geheel?<br />
Bijvoorbeeld<br />
De oplossing: AQL<br />
Vier dingen onthouden<br />Representativiteit<br />Acceptatielimieten<br />Overall kwaliteit<br />Verdiend vertrouwen<br />
Een uitgewerkt voorbeeld<br />
AQL = 1%<br />Batch = 5.000<br />
3 slides from hell<br />
Kwaliteit van eerdere batches, <br />bepaalt de omvang van de volgende steekproef<br />
Vier dingen onthouden<br />Representativiteit<br />Acceptatielimieten<br />Overall kwaliteit<br />Verdiend vertrouwen<br />
http://bit.ly/steekproeven<br />
Attributies<br />Quality checked check yes, Withassociates, http://www.flickr.com/photos/withassociates/5091295528/<br />H...
Klassieke controle<br />Leverancier<br />Eindproduct Scans<br />Scansysteem<br />Controles instelling<br />Controle van he...
Scansysteem: geheel van beleid, processen, hardware en software waarbinnen analoge originelen via scanning gedigitaliseerd...
Klassieke controle<br />Leverancier<br />Eindproduct Scans<br />Scansysteem<br />Kwaliteitswaarborging<br />Kwaliteitswaar...
Integrale beoordeling<br />Leverancier<br />Eindproduct Scans<br />Scansysteem<br />Kwaliteitswaarborging<br />Controles i...
Waarchuwing! Een lage prijs per scan in combinatie met een matige kwaliteitswaarborging<br />veroorzaakt schade aan de por...
I. Beoordeling scansysteem<br />Wanneer<br />Voorafgaand aan project bij de offerteaanvraag (en onderhandeling) en evt ged...
I. Beoordeling scansysteem<br />Samenwerking met de leverancier levert het beste product voor de scherpste prijs<br />Dit ...
II. Controle eindproduct<br />1. Technische parameters (resolutie, bestandsnamen etc)<br />2. Kwaliteit reproductie: detai...
1. Controle technische parameters<br />Resolutie<br />Bestandsnamen<br />Bestandsformaat<br />Data integriteit<br />Deze p...
Zelf doen: volledig in eigen hand<br />Maar vraagt om technische kennis<br />Kennis van Java<br />KVAN Leeuwarden 2011<br />
En SQL<br />procedure di_Verwerk_Scan (p_Filename varchar2) is<br />begin<br />  v_FileName := p_Filename;<br />  if lower...
Optie 2: uitvoering door leverancier en rapportage<br />Vraagt om samenwerking, openheid en vertrouwen<br />Eindproduct Sc...
2. Controle reproductie: detail en kleur<br />Methoden<br />Steekproef in scans, visuele controle (is de tekst leesbaar?)<...
Voorbeeld gestandaardiseerde referentieoriginelen en meetsoftware<br />
Voorbeeld scanning referentie originelen uit de bron<br />
Voorbeeld hybride: scannen testkaart, maar controle visueel<br />
2. Controle reproductie: detail en kleur<br />Meetfrequentie<br />Afhankelijk van doelstelling project, norm en materiaals...
Niet zo<br />Maar zo<br />Interval: eenheid, dagdeel, dag?  Per project afspreken<br />Consequentie: referentiescan afgeke...
Upcoming SlideShare
Loading in …5
×

Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

1,296 views
1,183 views

Published on

Presentatie KVAN 2011 van Robert Gillesse, Ingmar Koch en Marc Holtman

Published in: Sports, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,296
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Kwaliteitscontrole gedigitaliseerd archiefmateriaal KVAN2011

  1. 1. Bronfoto: http://www.flickr.com/photos/eachdaycounts/97638443<br />
  2. 2. Kwaliteitscontrole en validatie van gedigitaliseerdarchiefmateriaal<br />Robert Gillesse, Stichting DEN<br />Marc Holtman, Stadsarchief Amsterdam<br />Imgmar Koch, MedewerkerProvincialeArchiefinspectieNoord-Brabant en Limburg<br />KVAN Dagen 7 juni 2011<br />
  3. 3. Altijd ok?<br />Video Duyvis<br />
  4. 4. Kwaliteitscontrole<br />Hoe ver moet je gaan?<br />Bron foto: http://www.flickr.com/photos/pierrelaphoto/2314190563 <br />
  5. 5. Hoe ver?<br /><ul><li>Welke kwaliteitscriteria, wanneer en in welke frequentie?
  6. 6. Welke steekproefmethode?
  7. 7. Wat is “fout” en hoe verhouden “fouten” zich tot elkaar?
  8. 8. Wat doet de leverancier aan kwaliteitsborging?
  9. 9. Hoe verhouden de kosten van kwaliteitscontrole zich tot de scanprijs?</li></li></ul><li>Inhoudparallelsessie en uw QA-Team<br />Robert Gillesse: Controle van digitalereproducties<br />Ingmar Koch: Kwaliteitscontrole en steekproeven<br />Marc Holtman: kwaliteitscontrole en de worklow<br />Vragen en discussie<br />
  10. 10. Kwaliteitscontrole van digitale reproducties<br />Robert Gillesse, DEN<br />KVAN dagen 7-6-2011<br />
  11. 11. Afbakening<br /><ul><li>Digitale reproducties in de zin: originelen omgezet in digitale afbeeldingen bestaande uit pixels
  12. 12. Focus op beeldkwaliteit</li></li></ul><li>Geen standaardrecept voor kwaliteitscontrole van digitale afbeeldingen<br />Afhankelijk van projectdoelstellingen en soort materiaal<br />
  13. 13. Vervanging “versus” beschikbaarstelling<br />In Beleidsregel Vervanging voor provincies verwezen naar Geheugen van Nederland richtlijnen (sinds 2006 niet upgedate)<br />
  14. 14. In welke mate moet de digitale reproductie het origineel weerspiegelen?<br />
  15. 15. Wat zijn de essentiële eigenschappen van het origineel die ik in de digitale reproductie wil terugzien?<br />Concreet: detaillering, waarheidsgetrouwe weergave kleur of toon, vormvastheid, afwezigheid van beeldverstoringen<br />
  16. 16. Kranten: belang leesbaarheidduidelijk. Maar hoe belangrijk is kleurbetrouwbaarheid?<br />Bron: KB Historische kranten: http://kranten.kb.nl/view/article/id/ddd%3A010340569%3Ampeg21%3Ap002%3Aa0067/layout/fullscreen<br />
  17. 17. Maar dit is toch wel de juiste kleur blauw?<br />Bron: Geheugen van Nederland. Collectie Mauritshuis: http://www.geheugenvannederland.nl/?/nl/items/MAU01:0670<br />
  18. 18. Uitdaging: essentiële eigenschappen van origineel vertalen in technische kwaliteitscriteria<br />
  19. 19. Vertaling te reproduceren eigenschappen origineel in technische kwaliteitseisen<br />
  20. 20. Afhankelijk van essentiële eigenschappen en projectdoelstellingen krijgen kwaliteitscriteria meer of minder nadruk<br />
  21. 21. Met andere woorden: niet alle “fouten” zijn even belangrijk <br />
  22. 22. Wat is erger? Het nietkunnenlezen van de tekst of de aanwezigheid van eenkleurzweem?<br />Bron: KB Historische kranten: http://kranten.kb.nl/view/article/id/ddd%3A010340569%3Ampeg21%3Ap002%3Aa0067/layout/fullscreen<br />
  23. 23. Afwijkingendusverschillendgewichttoekennen<br />
  24. 24. Hoe nu de beeldkwaliteit te controleren?<br /><ul><li>Met behulp van foto testkaarten of referentie originelen
  25. 25. Deels handmatig, deels en liefst automatisch</li></li></ul><li>Kodak grijstrap<br />Macbeth kleuren testkaart<br />
  26. 26. Kodak grijstrap<br />Universal Test Target (Metamorfoze) <br />
  27. 27. Scherpte testkaart voor digitale fotografie<br />Microfilm scherpte testkaart<br />
  28. 28. Voorbeeld scanning referentie originelen uit de bron<br />
  29. 29. Automatische controle <br /><ul><li>Informatie uit bestandsheader - oa: kleurruimte, bitdiepte, resolutie, bestandsformaat (via tool JHOVE).
  30. 30. Op termijn ook beeldkwaliteit via foto testkaarten en analysesoftware. </li></li></ul><li>Ten einde raad?<br />Lees verder:<br /><ul><li>Metamorfoze richtlijnen, KB
  31. 31. DE BASIS richtlijn voor vervaardiging van beeld, DEN
  32. 32. Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam, Stadsarchief Amtserdam
  33. 33. Foto´s: Digitisation of PhotographicalMaterialsGuidelines, Nationaal Archief, Den Haag</li></li></ul><li>Kwaliteitscontrole <br />en <br />steekproeven<br />Ingmar Koch<br />KVAN-dagen Leeuwarden<br />7 juni 2011<br />
  34. 34. 100% controle <br />= <br />zinloos<br />
  35. 35.
  36. 36. Representatieve steekproef<br />
  37. 37. Probleem 1<br />Wat is representatief?<br />
  38. 38. Van een batch wordt 10% getest. Als meer dan 1% van de batch niet voldoet aan de normen (…), dan wordt de batch teruggezonden.  <br />Bijvoorbeeld<br />
  39. 39. Probleem 2<br />Wat is de kwaliteit van het geheel?<br />
  40. 40. Bijvoorbeeld<br />
  41. 41. De oplossing: AQL<br />
  42. 42. Vier dingen onthouden<br />Representativiteit<br />Acceptatielimieten<br />Overall kwaliteit<br />Verdiend vertrouwen<br />
  43. 43. Een uitgewerkt voorbeeld<br />
  44. 44. AQL = 1%<br />Batch = 5.000<br />
  45. 45. 3 slides from hell<br />
  46. 46.
  47. 47.
  48. 48.
  49. 49. Kwaliteit van eerdere batches, <br />bepaalt de omvang van de volgende steekproef<br />
  50. 50. Vier dingen onthouden<br />Representativiteit<br />Acceptatielimieten<br />Overall kwaliteit<br />Verdiend vertrouwen<br />
  51. 51. http://bit.ly/steekproeven<br />
  52. 52. Attributies<br />Quality checked check yes, Withassociates, http://www.flickr.com/photos/withassociates/5091295528/<br />Help I’m drowning in Quality Street, Nataliej, http://www.flickr.com/photos/nataliejohnson/2122722198<br />Green Legos, Roberto Bouza, http://www.flickr.com/photos/bouzafr/4420825483<br />Ringstekken Burgum, Andrys Stienstra, http://www.flickr.com/photos/andrys_stienstra/4957175345<br />Unknown Unknowns, Ami Clarke, http://www.amiclarke.com/uu.htm<br />Odd One Out, C.A. Muller, http://www.flickr.com/photos/cliff_robin/618199950<br />Crayola Pattern, C.A. Muller, http://www.flickr.com/photos/cliff_robin/617650131<br />29/365: Odd one out, Sarah and Mike ...probably, http://www.flickr.com/photos/sarahandmikeprobably/3237313650/<br />Brick Textures, BlueBec, http://www.flickr.com/photos/bluebec/2790924731<br />Quality, Nidhug, http://www.flickr.com/photos/nidhug/3495340350<br />Document Imaging Man, Richtpt, http://www.flickr.com/photos/bluebec/2790924731<br />Kaart van de hel, S. Botticelli, http://commons.wikimedia.org/wiki/File:Sandro_Botticelli_-_La_Carte_de_l%27Enfer.jpg<br />05811 Trust must be earned (on the floor), Frank Chan, http://www.flickr.com/photos/geekstinkbreath/3474900869<br />CC Birthday Party Berlin, Franz Patzig, http://www.flickr.com/photos/franzlife/2112776432<br />
  53. 53. Klassieke controle<br />Leverancier<br />Eindproduct Scans<br />Scansysteem<br />Controles instelling<br />Controle van het eindproduct<br />Constatering van een fout zegt iets over het scansysteem<br />Altijd te herleiden naar een oorzaak in het systeem<br />KVAN Leeuwarden 2011<br />
  54. 54. Scansysteem: geheel van beleid, processen, hardware en software waarbinnen analoge originelen via scanning gedigitaliseerd worden<br />Projectmanagement<br />Logistiek originelen<br />Scanning<br />Data verwerking<br />Levering<br />Technische infrastructuur<br />KVAN Leeuwarden 2011<br />
  55. 55. Klassieke controle<br />Leverancier<br />Eindproduct Scans<br />Scansysteem<br />Kwaliteitswaarborging<br />Kwaliteitswaarborging binnen systeem op orde: stabiele kwaliteit van de geleverde eindproducten<br />Dus: noodzaak controles op eindproduct door instelling minder groot!<br />KVAN Leeuwarden 2011<br />
  56. 56. Integrale beoordeling<br />Leverancier<br />Eindproduct Scans<br />Scansysteem<br />Kwaliteitswaarborging<br />Controles instelling<br />KVAN Leeuwarden 2011<br />
  57. 57. Waarchuwing! Een lage prijs per scan in combinatie met een matige kwaliteitswaarborging<br />veroorzaakt schade aan de portemonnee<br />KVAN Leeuwarden 2011<br />
  58. 58. I. Beoordeling scansysteem<br />Wanneer<br />Voorafgaand aan project bij de offerteaanvraag (en onderhandeling) en evt gedurende het project<br />Hoe<br />1. Stellen van eisen op alle onderdelen in de offerteaanvraag<br />2. Vragen stellen<br />3. Bezoek aan de werkvloer<br />KVAN Leeuwarden 2011<br />
  59. 59. I. Beoordeling scansysteem<br />Samenwerking met de leverancier levert het beste product voor de scherpste prijs<br />Dit vraagt om openheid van zowel leverancier als instelling<br />KVAN Leeuwarden 2011<br />
  60. 60. II. Controle eindproduct<br />1. Technische parameters (resolutie, bestandsnamen etc)<br />2. Kwaliteit reproductie: detail en kleur<br />3. Volledigheid<br />Belangrijk<br />Controles zoveel mogelijk aansluitend op het productieproces. <br />Niet wachten op afronding hele scantraject<br />Controle is integraal onderdeel van hele scanproces. <br />Goede afspraken maken met leverancier voor start project!<br />KVAN Leeuwarden 2011<br />
  61. 61. 1. Controle technische parameters<br />Resolutie<br />Bestandsnamen<br />Bestandsformaat<br />Data integriteit<br />Deze parameters kunnen geautomatiseerd gecontroleerd worden!<br />Twee opties<br />1. Zelf uitvoeren mbv software en / of scripts. <br />2. Uitvoering leverancier, resultaten rapporteren<br />KVAN Leeuwarden 2011<br />
  62. 62. Zelf doen: volledig in eigen hand<br />Maar vraagt om technische kennis<br />Kennis van Java<br />KVAN Leeuwarden 2011<br />
  63. 63. En SQL<br />procedure di_Verwerk_Scan (p_Filename varchar2) is<br />begin<br /> v_FileName := p_Filename;<br /> if lower(substr(v_Filename, length(v_Filename) - 3, 4)) = '.jpg' then<br /> v_FileName := replace(v_Filename, '.jpg', '');<br /> v_FileName := replace(v_Filename, '.JPG', '');<br /> v_OrderNr := substr(v_Filename, 1, length(v_Filename) - 6);<br /> v_OrderId := di_Order_id(v_OrderNr);<br /> v_VolgNr := 0;<br />begin<br /> select sort_feld_txt into v_ToegangsNr from aplkn_archv.tbs_vrzng_enht@scopeprd where vrzng_enht_id = v_ScopeId; <br /> select sgntr_cd into v_InventarisNr from aplkn_archv.tbs_vrzng_enht@scopeprd where vrzng_enht_id = v_ScopeId;<br /> v_Beeldbank := 0;<br /> begin<br /> select int_zahl into v_Beeldbank<br /> from aplkn_archv.tbs_gsft_obj_bzhng_hrch@scopeprd, aplkn_archv.tbs_gsft_obj_dtl@scopeprd<br /> where gsft_obj_1_id = gsft_obj_id<br /> and daten_elmnt_id = 10376<br /> and gsft_obj_2_id = v_OrderId;<br /> exception when no_data_found then null;<br /> end;<br />begin<br /> select Aantal into v_Aantal from di_scans where orderid = v_OrderId;<br /> if v_VolgNr - 1 <> v_Aantal then<br /> update di_scans set okay = 0, opmerking = 'Fout in nummering!' where orderid = v_OrderId;<br /> commit;<br /> v_Fout := 1;<br /> else<br /> update di_scans set aantal = aantal + 1 where orderid = v_OrderId;<br /> commit;<br /> end if;<br />end di_Verwerk_Scan;<br />KVAN Leeuwarden 2011<br />
  64. 64. Optie 2: uitvoering door leverancier en rapportage<br />Vraagt om samenwerking, openheid en vertrouwen<br />Eindproduct Scans<br />Scansysteem<br />Rapportage metingen<br />Kwaliteitswaarborging<br />KVAN Leeuwarden 2011<br />
  65. 65. 2. Controle reproductie: detail en kleur<br />Methoden<br />Steekproef in scans, visuele controle (is de tekst leesbaar?)<br />Scanning en controle van referentieoriginelen<br />A. Technische, gestandaardiseerde referentieoriginelen<br />B. Representatief document uit te digitaliseren bron<br />A. meest objectief en te automatiseren. Maar vraagt om technische kennis<br />B. subjectief en niet voor alle objecttypen geschikt, maar eenvoudig en effectief om snel verloop ik kwaliteit te toetsen<br />KVAN Leeuwarden 2011<br />
  66. 66. Voorbeeld gestandaardiseerde referentieoriginelen en meetsoftware<br />
  67. 67. Voorbeeld scanning referentie originelen uit de bron<br />
  68. 68. Voorbeeld hybride: scannen testkaart, maar controle visueel<br />
  69. 69. 2. Controle reproductie: detail en kleur<br />Meetfrequentie<br />Afhankelijk van doelstelling project, norm en materiaalsoort<br />Maar houd het realistisch!<br />KVAN Leeuwarden 2011<br />
  70. 70. Niet zo<br />Maar zo<br />Interval: eenheid, dagdeel, dag? Per project afspreken<br />Consequentie: referentiescan afgekeurd, dan alle tussenliggende scans afkeuren<br />KVAN Leeuwarden 2011<br />
  71. 71. 3. Volledigheid<br />Mogelijke methoden<br />1:1 controle<br />Scandummy  origineel waarvan bekend is hoeveel scans het oplevert<br />Genummerde originelen gemakkelijk op volledigheid te controleren<br />Dubbel scannen<br />Stem controle (en foutmarge!) af op doelstelling project en type bron.<br />Wees creatief<br />KVAN Leeuwarden 2011<br />
  72. 72. 3. Volledigheid<br />1:1 controle (origineel / scans)<br />Meest volledig<br />Liefst uitvoering door leverancier<br />KVAN Leeuwarden 2011<br />
  73. 73. 3. Volledigheid<br />1:1 controle (origineel / scans)<br />1:1 controle door instelling<br />Intensief bij nieuwe leverancier, nieuw project<br />Bij vertrouwen frequentie terugbrengen<br />KVAN Leeuwarden 2011<br />
  74. 74. 3. Volledigheid<br />Genummerde originelen<br />398 genummerde pagina’s, nummering begint bij scan 3<br />Type nummer = foliering<br />Scan volgnummer 400 moet folio 398 zijn<br />395<br />398<br />396<br />397<br />399<br />KVAN Leeuwarden 2011<br />
  75. 75. 3. Volledigheid<br />Dubbel scannen<br />x 9.000<br />Hoge kwaliteit master files<br />Lage kwaliteit telsessie<br /># scans = 365<br /># scans = 365<br />KVAN Leeuwarden 2011<br />

×