Presentatie van de namiddagessie "GIVE or take: het nut van kwaliteitscontrole bij digitalisering" tijdens meemoo's partnerevent op 30 november 2023. Een van de grootste uitdagingen in een digitaliseringsproject is het bepalen en controleren van de kwaliteit van je resultaten. Wanneer en hoe bouw je dit in? Doet de Metamorfoze-richtlijn misschien een belletje rinkelen? Hoorde je al over RIPT, QM-tool en ‘targets’? Tijdens deze sessie kwam je te weten wat deze richtlijnen, standaarden en tools voor jouw digitaliseringsproces kunnen betekenen! We deelden graag onze ervaring met kwaliteitscontrole in de GIVE-projecten én gaven plaats voor het uitwisselen van eigen ervaringen en ideeën.

1. GIVE or take
Het nut van kwaliteitscontrole bij digitalisering
30/11/2023

2. Agenda
0. Intro
1. Uitwisseling (20’)
2. Kwaliteitscontrole in de GIVE-projecten (60’):
2.1. Intro: Wat is GIVE? En wat is kwaliteitscontrole?
2.2. Het gebruik van Metamorfoze bij werken op papier of perkament
2.3. Als glasheldere standaarden ontbreken: best practices uit het
glasplatenproject
2.4. Fotografie van kunstwerken: een kwaliteitslabel voor hergebruik
3. Goesting in meer?
4. Q&A (10’)

3. Doel van deze sessie?
● Korte intro over kwaliteitscontrole (QC): wat en wanneer?
● Waarom? Het belang van QC bij een digitaliseringsproject
● Welke stappen bouw je in het QC-proces in?
● Op welke uitdagingen zijn wij in de GIVE-projecten gestoten?
● En hoe hebben we deze uitdagingen aangepakt?
⇒ En dit voor werken op papier/perkament, glasplaten en kunstwerken
En uitwisseling van ideeën, problemen, oplossingen, gedachten, …

4. 1. Uitwisseling
De namiddagkoffie, François Antoine De Bruycker, KMSKA,
artinflanders.be, Hugo Maertens, publiek domein

6. 1 2
3 4

7. Uitwisseling in groep: richtvragen
1. Heb je zelf al eens een kwaliteitscontroleproces ingebouwd in een
digitaliseringsproject?
a. Waarom wel/niet?
b. Welke standaarden heb je daarvoor gebruikt?
2. Welke uitdagingen kwam je tegen in dat proces?
3. Hoe heb je die uitdagingen aangepakt?
a. Heb je daarbij advies of hulp van buitenaf ingeroepen?
b. Zo ja, wie? En hoe is dat verlopen?
4. Welke (andere) vragen wil jij graag beantwoord zien deze sessie?

8. 2. Kwaliteits-
controle in de
GIVE-projecten
2.1. Intro
2.2. Metamorfoze bij werken op
papier of perkament
2.3. Zonder glasheldere
standaarden glasplaten
digitaliseren
2.4. Fotografie van kunstwerken
Trompe-l'oeil: brievenbord met dansmeesterviool en pistool, Cornelis Norbertus
Gijsbrechts, MSK Gent, artinflanders.be, Hugo Maertens, publiek domein

9. Wat is GIVE?
● Gecoördineerd Initiatief voor Vlaamse Erfgoeddigitalisering (2021-2023)
● GIVE kadert binnen het relanceplan Vlaamse Veerkracht en wordt
gerealiseerd met de steun van het Europees Fonds voor Regionale
Ontwikkeling (EFRO).
● Binnen GIVE wordt ingezet op 4 lijnen:
a. Krantendigitalisering (= Primeur, samen met VEB)
b. Glasplatendigitalisering (en uitbreiding kenjedrager/foto)
c. Topstukkendigitalisering: 2D, gigapixel, 3D en papier & perkament
d. Metadata via AI

10. ● Unieke inhaalbeweging voor het digitaliseren en digitaal toegankelijk
maken van enkele kranten, glasplaten en topstukken.
● Met de steun van Vlaanderen en Europa heeft meemoo de kans om de
komende jaren werk te maken van een verdere hoogwaardige
digitalisering.
● Om het project haalbaar te houden (eind 2023), zijn er keuzes gemaakt in
de scope van de deelprojecten.
● We zien dit eveneens als een gelegenheid om kennis rond specifieke
uitdagingen op vlak van nieuwe technieken van digitalisering te vergroten
en te delen met de erfgoedsector.
Wat is GIVE?

11. Wat is kwaliteitscontrole? (QC)
= systematische beoordeling & waarborging van de kwalitatieve digitalisering
● kwaliteit zou een integraal onderdeel van digitaliseringsprojecten (voor,
tijdens en na digitalisering) moeten zijn (zie volgende slide)
○ Quality Assurance (QA) = proactief: kwaliteitseisen formuleren & testen
○ Quality Control (QC) = reactief: vooropgestelde kwaliteitseisen controleren
● totaalpakket:
○ voldoen opgeleverde bestanden aan vooropgestelde kwaliteitseisen?
○ zijn de digitaliseringsresultaten (incl. metadata) volledig opgeleverd?
○ zijn de (master)bestanden geschikt voor duurzame archivering?
○ zijn de (afgeleide) bestanden geschikt voor ontsluiting?
○ overige: virusvrij? md5 correct (bestandsintegriteit/volledigheid)? bestandsformaat correct?
filenames correct? artefacten in beeld? enz.
● kan manueel en/of (deels) geautomatiseerd gebeuren

12. Wanneer kwaliteitscontrole?
Wanneer Wat
voor digitalisering kwaliteitseisen onderzoeken en formuleren
(in aanbesteding of draaiboek) en testen (in
testfase) = QA
tijdens digitalisering
(1-2 keer/dag & bij wijziging aan
digitaliseringsopstelling)
controle van de vooropgestelde
kwaliteitseisen, bv. m.b.v. targets = QC
na digitalisering verificatie van de opgeleverde
digitaliseringsresultaten = QC

13. Waarom kwaliteitscontrole?
● verzekeren van kwaliteit en volledigheid
● waarom?
○ hoogwaardige en uniforme digitalisering
○ duurzame archivering
● uitgangspunt of basis:
○ bij digitalisering door externe partij: aanbesteding (lastenboek)!
○ bij digitalisering door eigen organisatie: draaiboek
○ enkele vragen:
■ welke kwaliteitseisen stel je voorop? maak je gebruik van bepaalde standaarden? (QA)
■ hoe ga je deze kwaliteitseisen controleren? (QC)
■ welke acties onderneem je als niet aan de kwaliteitseisen wordt voldaan?

14. Hoe kwaliteitscontrole: tools?
Waarop let je bij de keuze van kwaliteitscontroletools?
● open source en gratis >< commercieel en betalend
○ levensduur?
● hoge performantie?
● toegankelijkheid van de tool?
● gebruiksvriendelijkheid?
● welke tools kan de (externe) digitaliseringspartner gebruiken?
● welke targets kan je ermee controleren?

15. tool kosteloos wat? opmerkingen
QM-Tool ❌ Metamorfoze: ColorChecker SG en
QA-62 (scherpte)
enkel Windows, €, maar wel
zeer performant
Delt.ae ✅ idem niet meer beschikbaar
OpenDICE ✅ verschillende targets (Metamorfoze,
FADGI, e.a.)
RIPT ✅ enkel vergelijking van meetresultaten
met benchmarks
andere tool nodig om
meetresultaten te bekomen
Photoshop ❌ uitlichting, geometrische vervorming
& visuele controle
werkt met licenties
GIMP ✅ idem
XNViewMP ✅ idem
DPF Manager ✅ TIFF-formaat niet meer beschikbaar

16. tool kosteloos wat? opmerkingen
QM-Tool ❌ Metamorfoze: ColorChecker SG en
QA-62 (scherpte)
enkel Windows, €, maar wel
zeer performant
Delt.ae ✅ idem niet meer beschikbaar
OpenDICE ✅ verschillende targets (Metamorfoze,
FADGI, e.a.)
RIPT ✅ enkel vergelijking van meetresultaten
met benchmarks
andere tool nodig om
meetresultaten te bekomen
Photoshop ❌ uitlichting, geometrische vervorming
& visuele controle
werkt met licenties
GIMP ✅ idem
XNViewMP ✅ idem
DPF Manager ✅ TIFF-formaat niet meer beschikbaar

17. Universal
Test
Target

18. 2. Kwaliteits-
controle in de
GIVE-projecten
2.1. Intro
2.2. Metamorfoze bij werken
op papier of perkament
2.3. Zonder glasheldere
standaarden glasplaten
digitaliseren
2.4. Fotografie van kunstwerken

19. Kranten
(Primeur)

20. Scope
● Vlaams krantenerfgoed:
○ ca. 630.000 krantenpagina’s
○ ca. 90.000 krantenedities
○ ca. 70 krantentitels
● focus ligt op kwetsbare kranten
met een dringende nood
aan digitalisering
● datering: 1814 - 1993
● 8 contentpartners

21. Doelstelling en uitdagingen
DOEL
● Hogeresolutiedigitalisering
● Duurzame bewaring
UITDAGING 1
Groot aantal materiaal en diversiteit
UITDAGING 2
Controle van het materiaal is tooling-
afhankelijk

22. Handschriften en
oude drukken
(topstukken)

23. Scope
40
objecten
18
beheer-
ders
ca.8700
folio’s
11
locaties
DIVERSITEIT: handgeschreven &
drukken, papier & perkament,
gebonden & ongebonden, kleur,
10e-20e eeuw, fysieke staat, …

24. Doelstelling en uitdagingen
DOEL
● Hogeresolutiedigitalisering
● Duurzame bewaring
UITDAGING 1
Theorie en praktijk verzoenen
UITDAGING 2
Aard van het materiaal: kleurrijk,
kostbaar én divers

25. Metamorfoze

26. Aanpak kwaliteitscontrole: Metamorfoze
● Metamorfoze-richtlijnen = meetbare normen voor digitaliseren van
erfgoedobjecten
○ gericht op het waarborgen van kwaliteit, duurzaamheid én toegankelijkheid
○ MAAR: moeilijk leesbaar voor een leek → integraal opnemen in aanbesteding of
draaiboek
● 3 niveaus:
○ Metamorfoze: strakke kleurnauwkeurigheid
■ (verluchte) handschriften, brieven met tekeningen, fotocollecties, schilderijen, ...
○ Metamorfoze Light: minder strakke kleurnauwkeurigheid
■ kranten, brieven zonder tekeningen, …
○ Metamorfoze Extra Light (targets optioneel)

27. uitlichting
geo (vervorming)
scherpte
kleur
QC

28. QM-Tool
QM-Tool
Spreadsheet
Delt.ae
QC

29. Aanpak kwaliteitscontrole:
aanbesteding
QA

30. Tips & tricks: kranten
● batch-systeem = behapbare
hoeveelheden
● regelmaat
● keuze van de tools afstemmen met
digitaliseringspartner
● contact met de instanties die de
tools onderhouden
UITDAGING 1
Groot aantal materiaal en
diversiteit
UITDAGING 2
Controle van het materiaal is
toolingafhankelijk

31. Tips & tricks: handschriften & oude drukken
● externe expertise
● dialoog met digitaliseringspartner,
maar ook kritisch zijn
● heldere, meetbare richtlijnen &
scope formuleren in aanbesteding
○ onderhandelingsprocedure
● meest performante tool én hoogste
kwaliteitsniveau kiezen
● voor, tijdens én na uitvoerige QC!
UITDAGING 1
Theorie en praktijk verzoenen
UITDAGING 2
Aard van het materiaal: kleurrijk,
kostbaar én divers

32. Soldaat kijkt door periscoop, In Flanders Fields Museum, 1914/1918
2. Kwaliteits-
controle in de GIVE-
projecten
2.1. Intro
2.2. Metamorfoze bij werken op
papier of perkament
2.3. Zonder glasheldere
standaarden glasplaten digitaliseren
2.4. Fotografie van kunstwerken

33. Scope
● 180.090 glasplaten
● 33 contentpartners
‘glasplaat’ als koepelterm:
● glasnegatieven
● glaspositieven (‘glasdia’s’)
● stereonegatieven en - positieven
● lantaarnplaten
photographies sur plaques de verre, Service intercommunal_
d'archivage, CC BY-SA 4.0

34. Doelstelling en uitdagingen
DOEL
● Hogeresolutiedigitalisering
● Duurzame bewaring
UITDAGING 1
Geen bruikbare standaard voor
doorzichtmateriaal zoals glasplaten
UITDAGING 2
Grote diversiteit in het materiaal
● negatief vs. positief
● verschillende formaten
● labels, kleur/zw, …
foto: GMS

35. Uitdaging 1: geen bruikbare standaard
● opgesteld i.s.m. consultant Bruno
Vandermeulen + expertise uit het veld
● algemene richtlijnen:
○ technische vereisten voor digitalisering
○ controle door meemoo
● MAAR: geen standaard of meetbare
benchmarks van kwaliteit
Aanpak kwaliteitscontrole:
aanbesteding
QA

36. Aanpak kwaliteitscontrole: testfase
“Het kwaliteitscontroleproces bij meemoo zal worden opgezet in de testfase
(...). De serviceprovider (SP) dient zijn kwaliteitscontroleproces hierop af te
stemmen.” (zie aanbestedingsdossier)
QA
dialoog tussen meemoo (i.s.m. consultant) en digitaliseringspartner:
● Wat is de hoogst mogelijke kwaliteit die de SP kan halen met een
zo’n efficiënt mogelijk opnameproces?
● Hoe kan meemoo de resultaten meten?
● Hoe streven we naar een uniforme kwaliteit?
Uitdaging 2: grote diversiteit!

37. Aanpak kwaliteitscontrole: testfase
1. Hoe komen de beelden e/a data bij de serviceprovider (SP) tot stand?
a. Welke software wordt gebruikt en in welke stap van het proces?
2. Hoe ga je om met de diversiteit binnen de objecten?
a. In GIVE-glasplatenproject: opdeling per resolutie
3. Feedbackloop adhv targets
a. per opdeling (zie punt 2)!
b. SP maakt target
c. opdrachtgever checkt
d. SP stelt bij
4. Kan de SP de kwaliteit gedurende het hele project behouden?
5. Kan de opdrachtgever de kwaliteit zelf controleren?
QA
Hoe zijn wij te werk gegaan:

38. IT8.7/1
OpenDICE
● BENCHMARK bepalen tijdens testfase (QA) → SP & meemoo
● dagelijkse KALIBRATIE van de opstelling (QC) → SP
● CONTROLE uniforme kwaliteit doorheen proces (QC) → SP & meemoo
ISA Film Target
Aanpak kwaliteitscontrole: gebruik targets

39. Aanpak kwaliteitscontrole: in productie
SP maakt
targetopname
meemoo checkt
targets in OpenDICE
PASS FAIL
gedigitaliseerde
glasplaten voldoen
aan afspraken
SP herkalibreert +
digitaliseert batch
opnieuw
ter illustratie: resultaat uit OpenDICE
ter illustratie: afspraken met SP (Film Target)
QC

40. Aanpak kwaliteitscontrole: in productie
visuele controle
● scherpte
● cropping
● omzetting
● rotatie
QC
XNViewMP
steekproef
per batch

41. Tips & tricks
● investeer in QA (aanbesteding én
testfase)
● externe expertise
● dialoog met digitaliseringspartner (SP):
kom samen benchmarks overeen
UITDAGING 2
Grote diversiteit in het materiaal
● bundel waar mogelijk tvv efficiënter
digitaliserings- en controleproces
● nut QC = uniforme aanpak over de
diversiteit heen
UITDAGING 1
Geen bruikbare standaard voor
doorzichtmateriaal

42. 2. Kwaliteits-
controle in de
GIVE-projecten
2.1. Intro
2.2. Metamorfoze bij werken op
papier of perkament
2.3. Zonder glasheldere
standaarden glasplaten
digitaliseren
2.4. Fotografie van
kunstwerken

43. Scope
● 2D-fotografie van 200 topstukken
○ Schilderijen, retabels, prenten
○ 175 foto-opnames van 2D-topstukken
○ 25 gigapixel opnames van 2D-topstukken
● komt niet aan bod hier (out of scope):
○ fotografie van 3D-objecten:
■ niet in GIVE- project
■ geen standaarden voor objectieve controle
○ 3D-scans: geen standaarden, wel controle van 3D modellen in Blender
■ Zie CEST

44. Doelstelling en uitdagingen
DOEL
● Foto’s in hoge resolutie,
geschikt voor hergebruik
● Duurzame bewaring
UITDAGING 1
Fotografen bewust maken van nut van
standaarden en controle
UITDAGING 2
In situ-fotografie ≠ fotostudio-context

45. Aanpak kwaliteitscontrole
Wat is kwaliteit?
● subjectieve perceptie van een kunstwerk
door publiek vs. objectieve kleurweergave
● hoe objectieve kleurweergave
benaderen?
● gebruik van internationale standaarden
nodig voor objectivering

46. Aanpak kwaliteitscontrole
Voor de start_
● aanbestedingsdossier:
○ standaarden en vereisten vastleggen
○ welke controles zullen worden uitgevoerd
○ hoe zullen de controles worden uitgevoerd
● duidelijke communicatie met fotografen over verwachtingen en
standaarden
voor de start van de digitalisering moeten concrete afspraken
gemaakt worden over de kwaliteitsvereisten
QA

47. Internationale standaarden
● standaarden of benchmarks opgenomen in de aanbesteding en
opgesteld in samenwerking met externe consultant verbonden aan
Rijksmuseum
● combinatie van Metamorfoze en FADGI: gemeten afwijkingen
○ kleurtoleranties
○ belichtingstoleranties neutralen (OECF)
○ kleurzweem
○ Gain Modulation in de hoge lichten
○ noise
QA

48. Tools voor controle
● Delt.ae-tool van Picturae
○ gaat offline eind 2023, maar er wordt
aan een alternatief gewerkt
● RIPT = Rijksmuseum Image
Performance Tool
○ Excel-bestand ontwikkeld door
het Rijksmuseum
○ geeft duidelijk overzicht van te
controleren waarden en
afwijkingen
QC

49. Target
ColorChecker Digital SG
● 140 kleurvakjes met elk
bepaalde waarde voor:
○ helderheid
○ kleurwaarde
○ verzadiging
● fotograaf levert eenmalig een
overzicht van de uitgemeten
standaardwaarden van
gebruikte target
QC

50. Effectieve controle
Tijdens de opnames_
● bij foto opname wordt het target voor
het schilderij gefotografeerd
● fotograaf controleert ter plekke mogelijke
afwijkingen op laptop
● belichting en setting wordt indien nodig
aangepast
QC

51. In situ-context

52. Controle na aanlevering
Na de opnames_
● eenmalig versie van RIPT aanmaken met aangeleverde
standaardwaarden van de kleurkaart per fotograaf
● per opname van kunstwerk:
○ opladen van foto met target in Delt.ae-tool
○ export van waarden van opname
○ invoeren van exportwaarden opname in RIPT
○ opslaan van spreadsheet per opname
● controle van afwijkingen in RIPT
QC

53. QC
Opladen van opname in Delt.ae-tool en export
van Lab-waarden

54. Ingeven van gemeten waarden per opname in RIPT
QC

55. QC
Controle van afwijkingen in RIPT

56. Eindresultaat en hergebruik
● objectieve weergave door standaarden of benchmarks
○ vroeger: subjectieve bewerking door fotografen
● gebruik van standaarden → beelden lijken donkerder
○ witwaarden zijn lager, maar meer detail in donkere partijen
● bij hergebruik voor print: meer verantwoordelijkheid bij
uitgevers/drukkers om beelden te bewerken aangepast aan druk en
soort papier

58. Tips & tricks
● duidelijk communiceren over
verwachtingen in aanloop naar de
aanbesteding
● normen zijn richtinggevend
● in veel gevallen niet 100% haalbaar
● korte verantwoording door fotograaf
in geval van moeilijke
omstandigheden
UITDAGING 1
Fotografen bewust maken van
nut van standaarden en
controle
UITDAGING 2
In situ-fotografie ≠ fotostudio-
context

59. 3. Goesting in
meer?
3.1. Wat hebben we geleerd?
3.2. Nog meer kwaliteitscontrole
Vruchten, Theodor Aenvanck, KMSKA,artinflanders.be, Hugo Maertens, publiek domein

60. Wat hebben we geleerd?
1. Kwaliteitscontrole van apero tot dessert:
Het belang van kwaliteitscontrole in elke fase van het digitaliseringsproces: van
aanbesteding tot en met archivering.
2. Voorproeven voorproeven voorproeven:
Heel belangrijk om de digitaliseringsresultaten zélf ook te valideren.
3. Ook als hobbykok kan je al mooie gerechtjes op tafel toveren:
Je hoeft geen expert digitale fotografie te zijn om hiermee aan de slag te gaan.
4. GIVE or take - je recept vs. je uiteindelijke taart:
Meten = weten, maar ook: theorie en praktijk verzoenen, door de dialoog aan te gaan
(met digitaliseringspartner en/of externe expert).
QA QC

61. Nog meer kwaliteitscontrole
● aanbestedingen:
○ kranten
○ glasplaten
○ topstukken
● CEST (later: kennisbank meemoo)
● Coachingdag: tools voor digitaal collectiebeheer (onder voorbehoud)
○ programma/tools vorige editie
● loketvraag bij collega’s van team Expertise
● Vraag: nood aan verdiepende opleiding vanuit meemoo?

62. 4. Q&A
detail uit: Het Lam Gods, Jan en Hubert van Eyck, Sint-Baafskathedraal Gent,
artinflanders.be, Dominique Provost, publiek domein
Zijn er nog vragen?

63. astrid.theerens
@meemoo.be
lobke.vandeneynden
@meemoo.be
axelle.vanmaele
@meemoo.be
timothy.naessens
@meemoo.be
loes.nijsmans
@meemoo.be
BEDANKT!
Dit project kadert binnen het relanceplan
Vlaamse Veerkracht en wordt gerealiseerd
met de steun van het Europees Fonds voor
Regionale Ontwikkeling.