Data Cleansing met Open Refine, door Alina Saenko, Packed vzw Inge van Stokkom, Rijksmuseum Amsterdam

2. WORKSHOP
OPEN REFINE
Alina Saenko | PACKED vzw
Inge van Stokkom | Rijksmuseum
30.04.2015

3. DATA CLEANING
… is arbeidsintensief
Open Refine is een gratis open-source tool
waarmee je data snel kan:
 analyseren
 schonen
 normaliseren
 verrijken

4. AGENDA
 Wat is Open Refine?
 Schonen van data
 Normaliseren en verrijken (RKD, VIAF, AAT,
Wikidata, Geonames…)
 Exporteren
 CEST:
http://www.projectcest.be/index.php/Handleiding_Open_Refine
 Handout:
http://www.projectcest.be/images/3/38/20150430_Handout_Ope
n_Refine_workshop.pdf

5. OPEN REFINE

6. Open Refine

7. WAT?
 “a powerful tool for working with messy data”
 open-source project
- Freebase Gridworks (may 2010)
- aankoop Google -> Google Refine (juli 2010)
- 2010-2012: v.2.0 > v2.5
- Stop Google support > Open refine (October 2012) beta versie 2.6
- 2015: RefinePro – Cloud oplossing
 stand alone desktop application, geen internet nodig
 data schonen, normaliseren, transformeren naar verschillende
formaten

8. Features?
Facets and filters

9. Features?
Cluster &
Merge

10. Features?
Google Refine
Expression language

11. Features?
Reconciliation
Services

12. Meer informatie?
• Website: http://openrefine.org/
• Wiki: https://github.com/OpenRefine/OpenRefine/wiki
• GREL reference:
https://github.com/OpenRefine/OpenRefine/wiki/Google
-refine-expression-language
• Blogs:
http://googlerefine.blogspot.com
http://blog.ouseful.info/
http://freeyourmetadata.org/cleanup/

13. Installeren -> http://openrefine.org/
Download, Unzip,
Run …

14. DATASET UPLOADEN IN OPEN REFINE

15. DATASET UPLOADEN IN OPEN REFINE

16. LOOK & FEEL

17. FACET/FILTER

18. UNDO/REDO

19. SORT

20. ONNODIGE KOLOMMEN VERWIJDEREN

21. ONNODIGE RIJEN VERWIJDEREN

22. SCHONEN

23. WAARDES AANPASSEN (GREL EXPRESSIONS)

24. CONCEPTEN SCHONEN (CLUSTER AND EDIT)

25. NORMALISEREN EN
VERRIJKEN

26. SEMI-AUTOMATISCHE IDENTIFICATIE EN
VERRIJKING
Vier mogelijkheden:
• Via een export van een authority
• Met behulp van een Reconciliation service
• Automatisch gegevens ophalen uit externe
standaardterminologieën via URLs
• DERI RDF Extension

27. VIA EEN EXPORT

28. RECONCILIATION SERVICE - ODIS

29. RECONCILIATION SERVICE - ODIS

30. RECONCILIATION SERVICE - ODIS

31. RECONCILIATION SERVICE - RKD

32. RECONCILIATION SERVICE - RKD

33. GEGEVENS OPHALEN - VIAF

34. GEGEVENS OPHALEN - VIAF

35. VERRIJKING VIAF

36. GEGEVENS OPHALEN - AAT

41.  Zie Handout voor Wikidata en Geonames…

42. EXPORTEREN

43. EXPORT MAKEN

44. CUSTOM TABULAR EXPORTER

45. TEMPLATING

46. EXPORT VOOR ADLIB

49. BEDANKT!
alina@packed.be
I.van.Stokkom@rijksmuseum.nl