Olivier Van Dhuynslager kwam vertellen over datacleaning bij het Gentse Design Museum. Nadat hij vaststelde dat hij een opstapje zou moeten maken van Open Refine naar Python om te kunnen doen wat hij wilde, heeft een steile leercurve van twee weken er voor gezorgd dat hij zijn projectdoelstellingen binnen enkele weken voltooid had.

1. Enter.
Data
Datacleaning
@ Design Museum Gent

2. Hello world
>> Kunstwetenschapper/curatorial
studies
>> NETWERK Aalst / Packed / Packed-
VIAA-Lukas/Design Museum Gent
>> inhaalbeweging digitale
collectieregistratie
>> not IT, Coder, informaticus,
archivaris, bibliothecaris,
datascientist, data analyst, …
>> nauwe samenwerking met
Digipolis, Foresight, Ugent, ..
(MoTFP, UiA)
olivier.vandhuynslager@stad.gent

3. EXPECTATIONS VS REALITY
• Export - Import ?
• Import/export Adlib
moeilijk omwille van hiërarchische en relationele
aard van de data
• Weinig controle > moeilijk te zeggen wat er
allemaal verandert is na de import
• Csv neemt enkel eerste occurence > noodzaak
om met XML Grouped te werken. Axiell Collections
biedt mogelijkheid tot export xcell maar
ongestructureerde data.
• Vastgeroeste beelden in Memorix Major
• Datable, Erfgoedinzicht, … ?

4. Data
BLACKHOLE
ONE TOOL TO
RULE THEM ALL?
ONE TOOL TO
RULE THEM ALL?

5. Data
BLACKHOLE
BE
RESOURCEFUL

6. Data
BLACKHOLE
READ >
ANALYZE>
TRANSFORM>
ANALYZE>
DEPLOY

7. READ
• Export uit CMS
• Transformeren van verschillende types
data en samenvoegen.
• (?) Data uit verschillende bronbestanden
• Bv. allemaal naar een csv
• Tools:
=> KNIME

8. ANALYZE (1)
• Iteratief proces
• Tvv dashboard.
• Overzicht behouden
• Outliers blootleggen
• Opschoonacties bepalen
• Analyse na import voor transformaties te
bepalen.
• Analyse na transformatie voor impact en
resultaat te meten,

9. Tooling:
OpenRefine
Tool for mangling, wrangling and
transforming data.
- Open Source
- Gratis
- Interactie met API’s (Wikidata, Getty, ..)
Moeilijk herhaalbaar, moeilijk om dingen aan
te passen in de flow. > KNIME

12. Tooling:
Python
Kaggle, Datacamp, youtube, github, stack
overflow, Coursera, Udemy, .. Boeken?
Create:
- IDE’s
Share:
- Jupyter notebook, Datalore.io

14. Pandas._libs.tslibs.np_datetime.Ou
tOfBoundsDateTime: Out of
bounds nanosecond timestamp:
0-01-01 00:00:00

15. TRANSFORM
‘Dirty cleaning’
• Vaak fiche per fiche. = in Adlib.
• Complexiteit relaties is moeilijk te volgen
wanneer je werkt in een ander
programma zoals OpenRefine of Knime.
• Noodzaak om vervaardiger naast
gekoppelde objecten te bij
onduidelijkheden.
• PT vs NPT vs verouderd (overlap Bib-
catalogus Design Museum Gent, noelijk
los te koppelen doordat relaties gelegd
zijn.)
• Reconciliering met authorities
(GETTY [AAT,TGN,ULAN], WIKIDATA, RKD)
• Mogelijkheid om te ‘koppelen’ met andere
databanken. (?)

16. TRANSFORM: ENRICH
OpenRefine
Ø API Getty
Ø Informatie ophalen
Ø Case: toevoegen van coordinaten voor
Geo-spatiale analyse. (Geopandas,
Tableau)

17. ANALYZE (2)
JOIN Datasets
Objecten - vervaardigers – TGN
> niet mogelijk in adlib. > beperkte
overlap thesaurus –
objectdatabank. > bijvoorbeeld
niet mogelijk om te zoeken op
geslacht in object databank.
• Pandas Dataframe (Python)
• DataGrip (SQL)
> geavanceerde queries uitvoeren
op de eigen en externe data.
• Tableau
• Adlib > ’kandidaat termen’
Ministry
of
Highway
Construction,
1975
Tbilisi,
Georgian
SSR

18. Tooling:
GeoPandas
Data visualiseren (geo-spatiaal)

19. DEPLOY
Stimuleer gebruik van het aangeleverd
materiaal:
1. Binnen de eigen instelling
2. Buiten de instelling
3. Tussen de verschillende instellingen

20. Tooling:
KNIME
Open source
Software to create and productionize data
science using one easy and intiuitive
environment.
One time build
> drag and drop
> tweak and change

24. “when the vendors say no”
Dasboard - niet voor iedereen(?)
Ø Eigen (gepersonaliseerde) tools zijn
duurzaam(er) – Open source
ontwikkeld sneller, kan sneller
ageren aan de noden van zijn
gebruiker.
Ø Case:
Memorix Major – ErfgoedInzicht
adlib – Erfgoedinzicht.

27. Tooling:
Wikidata
Databank vervaardigers verbonden met
Wikidata
- property: ‘has works in collection’
- QUERY’s
https://w.wiki/9xs
https://w.wiki/9xt

28. T
Are bleeding together
Think VALUE
Not TECH

29. 2/08/18
Uitgangspunt.
• Welke waarden willen we vooropstellen in een digitale
wereld?
• Cf. CHANGE! Virtual & Real virtues for a Better Future – Christoph Thun-
Hohensteing (MAK)
• values-based innovation (vbi) i.p.v technology-based
innovation (tbi)
• Hoe kan innovatie ons helpen in het versterken van onze
waarden?
• Connect the new entrepeneurial avant-garde + new creative avant-garde
• Start-ups, spin-offs, social entrepeneurs

30. 2/08/18
Welke waarden?
Appreciative, caring, common good-oriented,
cooporative, creative and co-creative, critical thinking,
fair, genuine, high-quality, holistic, humble, imaginative,
literate, digital literacy, open and tolerant, resonant
(Hartmunt Rosa), respectful, responsible, sensitive and
loving, sharing, social and inclusive, sustainable,
tradition-conscious, regional and local, trusting,
visionary

32. ART &
TECHAre bleeding together

33. Culture eats
Technology for breakfast

34. Foundations
Foundations
Foundations
Foundations
Foundations
Foundations

35. Generist maps
(GAN)
MIT – Microsoft –
MET
>> Hackaton
How Artificial Intelligence Can Change the
Way We Explore Visual Collections

37. De vraag is er
get out there
reach out

38. What next?
What’s
NEXT?

39. Design
Museum
Gent
OpenStructures

40. Design
Museum
Gent
OpenStructures

41. Design
Museum
Gent
OpenStructures

42. Design
Museum
Gent
De Collectie
van de
Gentenaar
“Deep is the well of the past”
- Thomas Mann
“The past is not dead, it’s not even past”
- William Falk

43. Thank you for
listening.
Find me at
olivier.vandhuynslager@stad.gent