Hoe de impact van je bibliotheek evalueren

2. Hoe de impact
van je bibliotheek evalueren?
KBR (Koninklijke Bibliotheek van België)
Ann Van Camp
2
Informatie aan Zee
Oostende, 19 oktober 2021

3. Overzicht
3
• Welk verschil maken we?
Impact
• Hoe impact evalueren?
Evalueren
• Een troef van KBR
Belgische
Bibliografie

4. IMPACT
Welk verschil maken we?
4

5. Wat is impact?
Thema van Informatie aan Zee 2023
Impact: Maken we het verschil? Maak het verschil!
“Met dat thema willen we dieper ingaan op de
maatschappelijke rol van onze sector en hoe we ons
relevant kunnen houden voor de steeds evoluerende
samenleving. Welk verschil maken we en hoe kunnen we
dat verschil maken?”
Bron: https://www.vvbad.be/informatie-aan-zee-2023
5

6. Wat is impact?
ISO 16439:2014 Methods and procedures for assessing the impact of libraries
ISO 21248:2019 Quality assessment for national libraries
“difference or change in an individual or group
resulting from the contact with library services”
verschil of verandering in een individu of groep
als resultaat van het contact met bibliotheekdiensten
6

7. 3 domeinen van impact
7
INDIVIDUEN
• vaardigheden &
competenties
• attitudes & gedrag
• professioneel succes
• welzijn
INFORMATIESECTOR
• metadata &
informatiediensten
• verzamelen,
beschrijven en
bewaren van
uitgeefpatrimonium
SOCIO-CULTUREEL
• sociale inclusie
• toegang tot informatie
& onderwijs
• lokale/nationale
cultuur & identiteit
• culturele diversiteit
• gemeenschapsvorming
• cultureel erfgoed
bewaren
vaak niet tastbaar of moeilijk te kwantificeren

8. + Economische waarde
• Als aanvulling op de niet kwantificeerbare impact
• Kan helpen bij subsidie-aanvragen of fondsenwerving
• Verschillende schattingen mogelijk
8

9. Kritische noot
Lotte Dodion: “Alles van waarde is weerbarstig” (De Standaard, 12-11-2022)
“In de cultuursector wordt, net zoals in vele andere sectoren, vaak met gemeenschapsgeld
gewerkt. Dat verdient een discussie over inzet en rendement. Cijfers kunnen daarbij helpen. Maar
zolang we voor de waardebepaling van kunst alleen naar het financieel rendement kijken, kloppen
de tabellen niet. Je kan wel berekenen hoe het zit met jobcreatie in de sector, loonkost en
vergoedingen, maar zolang je de impact van het werk zelf niet in rekening brengt, geen
maatschappelijk, psycho-sociaal of emotioneel rendement toevoegt aan je cijfers, is je berekening
pijnlijk onvolledig. En onjuist.
[...]
Wat is de return on investment van mijn poëzie? Hoe bereken ik die? Hoe berekent een overheid
die? Hoe giet je de diepmenselijke noden die de spil van cultuur uitmaken in een Excel-tabel:
nadenken, voelen, verbinden?
[...]
Alleen wanneer we wat we waardevol vinden met sterke cijfers weerbarstig maken, kunnen we
echt over ‘waarde’ in gesprek gaan.”
9

10. Publieke sector versus privésector
10
Toch ter inspiratie, business model canvas:
hoe een organisatie waarde creëert, levert en behoudt
Maatschappelijk belang
Cultureel erfgoed
Vrije toegang tot informatie voor elke burger
Duurzame dienstverlening
Gebruikers centraal stellen
...
Wablieft
???
Marktonderzoek
SWOT-analyse
Toegevoegde waarde en USP’s
Investeringen en ROI
User experience en
customer satisfaction
...
Bv. informatiesector
onderzoekswereld

11. Relevante vragen
Welke duurzame meerwaarde
bieden we aan de samenleving
in ruil voor de (publieke) middelen
die men in onze werking investeert?
Hoe kunnen we die impact evalueren
en eventueel nog verhogen?
11

12. EVALUEREN
Hoe impact evalueren?
12

13. Doelen van impactevaluatie
Bepaal welk(e) doel(en) je wilt bereiken met de evaluatie:
• eigen beleid en beheer van middelen ondersteunen;
• middelen (budget, personeel, gebouw, ...) verantwoorden;
• vergelijken met gelijkaardige organisaties;
• rapporteren op regionaal of (inter)nationaal niveau;
• maatschappelijk belang van bibliotheken promoten;
• ...
13

14. Uitdagingen van impactevaluatie
• Impact = meestal niet tastbaar en moeilijk te kwantificeren
• Invloed van bibliotheek = meestal niet de enige / sterkste
• Impact van diensten varieert i.f.v. doelgroep en context
• Effecten op lange termijn opvolgen gaat enkel als gebruikers
beschikbaar blijven
• Kwalitatieve data = eerder subjectief dan objectief
• Bibliotheekpersoneel mogelijk niet vertrouwd met methodes
• Arbeidsintensief
14

15. 3 methodes om te combineren
15
AFLEIDEN
‘inferred evidence’
•  invloed van de
bibliotheek
• statistieken,
bv. Okapi2, Lokale
vrijetijdsmonitor
• performantie-
indicatoren
• tevredenheidsscores
OBSERVEREN
‘observed evidence’
•  gedrag tijdens of
na contact met
bibliotheekdiensten
• waarnemingen door
onderzoekers of
apparaten
bv. Wise Analytics
• ‘logboek’ van
gebruikers
• citatie-analyse
• tests
VRAGEN
‘solicited evidence’
•  ervaring van
gebruikers
• enquêtes,
bv. LIBQUAL+,
onderzoek Bib22,
Impactmonitor KB
• interviews
• focusgroepen

16. + Economische waarde schatten
• monetaire waarde van bibliotheekdiensten
- hoeveel zou het kosten om die diensten te vervangen?
- hoeveel tijd & geld besparen de gebruikers?
- (subjectieve) schattingen vragen aan gebruikers
• invloed op economisch leven in regio of land:
werkgelegenheid, aankopen, faciliteiten in de buurt voor
bibliotheekbezoekers (bv. horeca), professioneel succes van
gebruikers etc.
16

17. Impact op specifieke doelgroepen
• Onderzoekers
• Onderwijzers
• Lerenden
• Breed publiek
• Uitgevers en auteurs
• Publieke overheden
• Zakenleven
17

18. Handige voorbeelden bij methodes
bv. Bijlage A: vragenlijst i.v.m. impact
• Intro over doelen van bevraging
• Frequentie van fysieke of virtuele bibliotheekbezoeken
• Soorten bibliotheekgebruik
• Vragen over ‘library impact’:
- Have you benefited from visiting the library or using its online services?
- If this library were closed down, do you think you could get the same services/information
elsewhere?
- If you think you could get all or part of the same services/information elsewhere, where
would you get it?
- Do you have a story about your experience with the library?
• Persoonlijke gegevens
18
Bron: ISO 16439:2014, pp. 65-69

19. Voorbeeld AFLEIDEN:
19
Bron: https://www.vlaanderen.be/vrijetijdsmonitor

20. 20
Bron: https://www.vlaanderen.be/vrijetijdsmonitor/nl/rapporten/aanbod/openbare-bibliotheken
Activiteiten
Auteurslezing
Bibliotheekintroductie en -instructie
Bijeenkomst van club of kring
Concert- of muziekvoorstelling
Debat
Filmvoorstelling
Informatiesessie of -lezing
Loopbaanstimulerende activiteit
Publiekswervende activiteit
Taalcursus
Taalstimulerende activiteit
Tentoonstelling
Theatervoorstelling
Themapakketten/Vertelkoffers
Themastands
Voorlees- of vertelsessie
Workshop of cursus
Workshops en cursussen ICT en digitale media
Beleidsdoelstellingen
Leesmotivatie of -bevordering
Ontspanning en vrije tijd
Scholenwerking of onderwijs
Gemeenschapsvorming of ontmoeting
Cultuurparticipatie of -spreiding
Doelgroepenwerking of laagdrempeligheid
Levenslang leren
Cultuureducatie
E-inclusie of mediawijsheid
Community information of maatschappelijke thema's
Voorbeeld AFLEIDEN:

21. 21
Bron: https://www.vlaanderen.be/vrijetijdsmonitor/nl/rapporten/participatie
Voorbeeld AFLEIDEN:

22. 22
Bron: Referentiejaar 2021, https://www.vlaanderen.be/vrijetijdsmonitor/nl/rapporten/samenwerking/samenwerking-
van-openbare-bibliotheken
Voorbeeld AFLEIDEN:

23. 23
Voorbeeld OBSERVEREN: Wise analytics
Bron: https://leerplatform.cultuurconnect.be/courses/wise-analytics/lessons/cultuurconnect-dashboards-
algemeen/topic/jaaroverzicht

24. Voorbeeld VRAGEN: onderzoek Bib22
o.a. Welke impact heeft een bezoek aan een bibliotheek
op het welzijn van zijn gebruikers?
24
Veilige haven 3,90 Perspectief 3,64
Ik voel me goed in de bib 4,48 Breidt kennis uit en verruimt blik 3,98
Onderdompelen en concentreren 3,69 Stof tot nadenken 3,52
Bib wekt emoties op 3,52 Helpt om kritisch na te denken 3,50
Gemeenschap 3,20 Creativiteit 3,49
Geeft inzicht in het leven van anderen 3,39 Motiveert me om iets nieuws te proberen 3,67
Nieuwe gesprekken met mijn omgeving 3,26 Inspireert mij 3,64
Ik ontmoet er anderen 2,94 Ik leerde nieuwe dingen 3,15
Bron: Verboven, N. & Schramme, A. (2022). Analyse publieksonderzoek openbare bibliotheken 2022

25. Model: Denemarken, Roskilde (2021)
25
4 dimensies
12 impact
indicatoren
5 scores

26. Model: Denemarken, Roskilde (2021)
26
4 deelaspecten  bibliotheek als geheel
1 collectie
2 activiteiten
3 fysieke faciliteiten
4 ondersteuning door medewerkers

27. Voorbeeld VRAGEN: Impactmonitor KB NL
27
Bron: Impact meten met de Bibliotheekmonitor | Bnetwerk (bibliotheeknetwerk.nl)
Voorbeeld: vragenlijsten

28. Belgische Bibliografie
Een troef van KBR
28

29. Een troef van KBR
Belgische Bibliografie
= een overzicht van het nationale uitgeefpatrimonium
= de informatiebron bij uitstek over publicaties die:
a) in Belgë uitgegeven zijn; via wettelijk depot sinds 1966
b) in het buitenland verschenen, maar van de hand van een Belgisch auteur
zijn; via wettelijk depot sinds 1966
c) in het buitenland verschenen, maar over België in een of ander opzicht
handelen aanwinsten van ‘Belgicana’, ondertussen niet meer
opgenomen in de Belgische Bibliografie
29

30. Historiek
• 19 juni 1837 Oprichting Koninklijke Bibliotheek van België
opdracht om de lopende Belgische Bibliografie te publiceren
• 1875 – 1997 Tijdschrift (met abonnement)
• 1998 – ... Online publicatie (gratis raadpleegbaar)
maandelijkse pdf’en op de Belgische Bibliografie
exporteerbare records in online catalogus (EN-FR-NL)
30

31. Historiek
1875: Eerst i.s.m. uitgever Manceaux en enkel in FR
31

32. Historiek
1875-1931: verschillende wissels
1890-1894: uitgegeven door P. Weissenbruch (‘imprimeur du Roi’)
1895-1911: door de Cercle belge de la librairie et de l’imprimerie
1912-1920: door de Bibliothèque Royale
1921-1930: door nieuwe dienst Service de la Bibliographie de Belgique
1931: terug door de Bibliothèque Royale | Koninklijke Bibliotheek
van ééntalig FR naar tweetalig FR & NL
32

33. Historiek
1966: Inwerkingtreding wettelijk depot
belangrijk voor de volledigheid
van de Belgische Bibliografie
33

34. Historiek
1997: Laatste gedrukte aflevering
34

35. Historiek
1998 – ... Online publicatie (gratis raadpleegbaar)
maandelijkse pdf’en op de Belgische Bibliografie
exporteerbare records in online catalogus (EN-FR-NL)
beschrijving: https://www.ifla.org/belgian-national-bibliography
35

36. Impact evalueren
• Evolutie van lezerspubliek:
aanvankelijk door en voor de boekensector
tegenwoordig eerder van belang voor onderzoekers
bv. voor het vertaalonderzoek BELTRANS of
voor het opstellen van de Bibliografie van de Geschiedenis van België
• Impact moeilijk in te schatten:
- nauwelijks feedback via belbib@kbr.be of andere kanalen
- geen aparte cijfers over de online raadpleging ervan
36

37. Impact verhogen
• Van ééntalig naar tweetalig (sinds 1931)
• Van gedrukt naar online wereldwijde toegang (sinds 1998)
• Van betalend naar gratis (sinds 1998)
• Naast maandelijkse publicatie in pdf-formaat
ook continue bron van nieuwe records via online catalogus
• Vlotter eigen selectie maken dankzij zoekfacetten
• Ook records van gelinkte auteurs zijn opzoekbaar (sinds 2022)
+ Overleg i.v.m. extra acties om unieke troef optimaal te benutten
37

38. Conclusies: samen werken aan impact
Impact centraal stellen helpt bij het stellen van scherpe en
haalbare doelen, het maken van keuzes en het motiveren en
onderbouwen van activiteiten.
Werken aan impact betekent nadenken over alle facetten van de
organisatie: Aan welke maatschappelijke verandering willen we
bijdragen? In hoeverre bereiken we die doelstelling? En doen we
dan de juiste dingen, op de juiste manier? (...)
Werken aan impact betekent dat de maatschappelijke
verandering die je nastreeft, het kompas biedt waarop de
organisatie vaart. Om op koers te blijven moet ruimte zijn voor
kritische reflectie op het functioneren van de organisatie en
bereidheid om te veranderen. Dat kan spannend en lastig zijn,
want het raakt ieders werk en kan leiden tot vervelende
beslissingen. Maar het kan ook motiveren: samen werken aan
maatschappelijk nut.
38
Bron: https://www.bibliotheeknetwerk.nl/publicaties/dossier-impact/impactmanagement-
meer-dan-meten-en-weten
Bron: Huysmans, F. (2022). De impact en
publieke waarde van de openbare
bibliotheek

39. Meer lezen?
Crossick, G., & Kaszynska, P. (2016). Understanding the value of arts & culture. The AHRC cultural value project.
Swindon: Arts & Humanities Research Council.
ISO International Organization for Standardization (2014). ISO 16439:2014 | Information and documentation – Methods
and procedures for assessing the impact of libraries.
ISO International Organization for Standardization (2019). ISO 21248:2019 | Information and documentation – Quality
assessment for national libraries
Koninklijke Bibliotheek (2021) Impactmonitor | Bibliotheekinzicht.
Huysmans, F. (2022). De impact en publieke waarde van de openbare bibliotheek. Een leidraad voor het gesprek met de
gemeente.
Oomes, M. & Hermans, M. (2021). Dossier Impact | Bibliotheekinzicht.
Verboven, N. & Schramme, A. (2022). Analyse publieksonderzoek openbare bibliotheken 2022. Antwerpen: Universiteit
Antwerpen.
Sørensen KM (2021) Where’s the value? The worth of public libraries: A systematic review of findings,
methods and research gaps. Library and Information Science Research 43 (101067): pp. 1–10.

40. Vragen?
Hartelijk dank!
40