Mengidentifikasi dampak perpustakaan memang proses yang kompleks. ISO 16439 ini menyediakan pedoman bagi perpustakaan mengenai metode untuk menilai dampak dan nilai manfaat perpustakaan, bagi individu, kelompok dan masyarakat. Kemudian, ketika melakukan kajian dampak sangat penting untuk secara jelas dan terperinci menentukan bidang mana dampak yang akan diidentifikasi, dan jenis data apa saja yang diperlukan. Semoga materi ini menjadi titik awal yang berguna untuk proyek penelitian lanjutan terkait subjek "penilaian dampak perpustakaan". *Dipresentasikan pada Webinar dan Knowledge Sharing Kepustakawanan II 2020 dengan tema “Manejemen dan Akuntabilitas Perpustakaan Berbasis Standar” yang diselenggarakan oleh Forum Perpustakaan LPNK Ristek dan Badan Standardisasi Nasional, secara daring melalui Aplikasi Zoom, 15 Desember 2020

1. MENILAI DAMPAK PERPUSTAKAAN
MENGGUNAKAN ISO 16439:2014
– Tinjauan Umum
Dipresentasikan pada Webinar dan Knowledge Sharing Kepustakawanan II 2020 dengan tema “Manejemen dan Akuntabilitas Perpustakaan Berbasis Standar”
yang diselenggarakan oleh Forum Perpustakaan LPNK Ristek dan Badan Standardisasi Nasional, secara daring melalui Aplikasi Zoom, 15 Desember 2020
Muhammad Bahrudin
Badan Standardisasi Nasional

2. OUTLINE
1. Pendahuluan
2. Desain Kajian
3. Pembahasan
4. Penutup
5. Daftar Bacaan Lanjutan

3. PENDAHULUAN
Isu terkait cara mengukur atau melakukan penilaian dampak perpustakaan
belum banyak dibahas dan dilakukan di Indonesia.
Perpustakaan masih berfokus pada bagaimana mengukur kinerjanya secara
inward looking (berorientasi diri sendiri) dalam berbagai aspek dan penyediaan
data statistik yang dilakukan dengan berbagai alat/metode/pendekatan.
Telah tersedia SNI 11620:2014 tentang indikator kinerja perpustakaan dan SNI
ISO 2789:2013 tentang statistik perpustakaan.
Standar mengenai penilaian dampak perpustakaan belum banyak dikenal di
kalangan pustakawan Indonesia.

4. Makalah ini merupakan review paper atau makalah tinjauan/ulasan
Metode yang digunakan adalah tinjauan umum (general review) terhadap
standar internasional yang tersedia untuk menilai dampak perpustakaan yaitu
ISO 16439:2014, Information and documentation - Methods and procedures for
assessing the impact of libraries.
Makalah ini meringkas metode-metode penilaian dampak perpustakaan yang
dijelaskan dalam standar tersebut dan memberikan referensi untuk
pembelajaran lanjutan.
Batasan; Tidak semua metode dan komponennya ditinjau secara mendetail
pada makalah ini
DESAIN KAJIAN

5. PEMBAHASAN

6. Dikembangkan oleh International Organization for
Standardization (ISO) melalui ISO/TC 46/SC 8 Quality -
Statistics and performance evaluation – WG 10,
melibatkan 17 ahli dari 13 negara.
Diinisiasi tahun 2010, dan ditetapkan pada tahun 2014
Dikembangkan untuk memenuhi kebutuhan dunia
perpustakaan terkait metode yang efektif untuk menilai
dampak perpustakaan, dari semua jenis dan level.
Terdiri atas 10 Klausul dan 3 Lampiran
ISO 16439:2014 merupakan versi termutakhir standar
terkait penilaian dampak perpustakaan  telah direviu
dan dikonfirmasi ulang pada 2020
TENTANG ISO 16439:2014

7. Pada akhirnya, sudah seharusnya semua layanan
perpustakaan memiliki tujuan akhir pada dampak
(impact) dan ternyata hal itu sulit untuk diukur…
Pertanyaan:
Apakah penilaian dampak dapat distandardisasi?

8. ISO 16439;
Standardisasi istilah dan definisi untuk penilaian dampak perpustakaan.
Memberikan pedoman bagi perpustakaan tentang metode untuk menilai
(assessing) dampak dan nilai manfaat perpustakaan.
Mendeskripsikan dan menyelaraskan metode penilaian dampak yang telah
diuji dan terbukti memberikan hasil yang bermakna.

9. STRUKTUR ISO 16439
Annex A. (informative) Examples of impact surveys
Annex B. (informative) Choosing a method
Annex C. (informative) Library impact assessment within broader institutional and organisational
assessment

10. ISO 16439 mendefinisikan berbagai istilah untuk penilaian dampak perpustakaan
dan menentukan metode dengan tujuan;
> perencanaan strategis dan manajemen mutu internal perpustakaan
> perbandingan dampak perpustakaan dari waktu ke waktu dan antara
perpustakaan dengan tipe dan misi yang sama
> mempromosikan peran dan nilai manfaat perpustakaan untuk pembelajaran
dan penelitian, pendidikan dan budaya, serta kehidupan sosial-ekonomi
> mendukung pengambilan keputusan pada tingkat layanan dan penentuan
sasaran strategis perpustakaan
RUANG LINGKUP - KLAUSUL 1

11. DAMPAK PERPUSTAKAAN – KLAUSUL 4
Input (masukan)
Process (proses)
Output (luaran)
Outcome (hasil)
Impact (dampak)
Value (nilai)
Input; sumber daya yang mendukung pengelolaan perpustakaan (mis.
Anggaran, staf, koleksi, ruang, peralatan)
Process; aktivitas yang saling terkait yang mengubah masukan menjadi luaran
(mis. Katalogisasi, peminjaman, dll)
Output; produk dari proses perpustakaan (mis. Katalog, koleksi yang
dipinjamkan, unduhan koleksi elektronik, dll)
Outcome; efek langsung, yang telah ditentukan sebelumnya dari output
berkaitan dengan tujuan dan sasaran perencanaa perpustakaan (mis. Jumlah
pengguna, tingkat kepuasan pengguna)
Impact; perbedaan atau perubahan pada individu atau kelompok
setelah melakukan kontak dengan layanan perpustakaan
Value; kepentingan yang dibawa oleh stakeholder terhadap
perpustakaan dan yang terkait dengan persepsi manfaat aktual atau
potensial

12. ASPEK DAMPAK PERPUSTAKAAN – KLAUSUL 4.3
Dampak perpustakaan dapat terjadi secara;
>> IMMEDIATE (mis. menemukan informasi bermanfaat)
LONG-TERM (mis. Peningkatan literasi informasi)
>> FAR-REACHING (mis. mengubah kehidupan masyarakat)
LIMITED (mis. perubahan dalam keterampilan mencari informasi)
>> INTENDED (mis. sesuai dengan tujuan dan misi perpustakaan)
UNINTENDED (mis. kemungkinan kontak sosial antarpengunjung)
>> ACTUAL BENEFITS (mis. manfaat eksistensi perpustakaan terhadap peningkatan literasi anak)
POTENTIAL BENEFITS (mis. manfaat pelestarian budaya untuk generasi yang akan datang)

13. Individu(4.4.2)
•Perubahan
keterampilan
dan kompetensi
•Perubahan sikap
dan perilaku
•Keberhasilan
dalam riset,
kajian atau karir
•Kesejahteraan
individu
Institusi/Komunitas
perpustakaan(4.4.3)
•Peningkatan prestise
dan peringkat institusi
•Visibilitas perpustakaan
lebih besar dan positif
•Peningkatan
pendanaan
kelembagaan, hibah
penelitian, donor
•Menarik para peneliti,
staf dan mahasiswa
terbaik
•Menarik populasi
pengguna baru
Sosial(4.4.4)
•Inklusi dan kohesi
sosial
•Akses gratis informasi
•Pendidikan dan
pembelajaran
sepanjang hayat
•Budaya dan identitas
local (keragaman
budaya, pelestarian
budaya)
•Pemberdayaan
masyarakat
Nilaiekonomi
(4.4.5)
• ROI, cost-
benefit ratio
• Pengaruh
pada
kehidupan
ekonomi
(masyarakat,
wilayah,
nasional)
PENGARUH DAMPAK PERPUSTAKAAN – KLAUSUL 4.4

14. METODE PENILAIAN DAMPAK PERPUSTAKAAN
KLAUSUL 5 (umum), 6, 7, 8, dan 9
KLAUSUL 10 untuk menilai nilai manfaat ekonomi perpustakaan

15. Data yang dikumpulkan secara
teratur untuk statistik tahunan,
pengukuran kinerja dan survei
kepuasan pengguna dapat
digunakan untuk mengidentifikasi
dampak potensial
1. Statistik data luaran (ISO 2789)
- jumlah kunjungan fisik/virtual
- jumlah kehadiran di acara
perpustakaan
2. Indikator kinerja (ISO 11620)
- jumlah pinjaman per kapita
- kunjungan perpustakaan per
kapita
3. Survei kepuasan pengguna
- Nilai yang tinggi pada layanan
sumber elektronik
- Nilai yang tinggi pada layanan
literasi informasi
Catatan; data harus divalidasi
dengan metode lain
KLAUSUL 6. INFERRED EVIDENCE

16. 1. Survei dampak; (tertulis, kuisioner) menanyakan
pengaruh yang dialami pengguna secara
individual; dan pengaruh yang mereka pikir
perpustakaan miliki
2. Wawancara dan focus group; (lisan) terstruktur,
tidak terstruktur, semi-terstruktur,
3. Self-assessment pengguna; proses meninjau
secara kritis kualitas keterampilan, pengetahuan,
atau kepercayaan diri seseorang
4. Mengumpulkan bukti anekdotal; komentar
pengguna, kuesioner, wawancara
KLAUSUL 7. SOLICITED EVIDENCE

17. 1. Observasi; tertsruktur - non-terstruktur, partisipan –
nonpartisipan, terbuka – rahasia
2 Analisis log; dapat menggantikan pengamatan langsung
pribadi dalam penggunaan sumber daya dan layanan
elektronik.
3. Self-recording; pengguna diminta untuk mencatat perilaku
dan / atau sikap mereka dalam pencarian informasi dan
penggunaan informasi selama periode waktu tertentu untuk
melihat apakah perpustakaan memiliki dampak.
4. Analisis kutipan; menunjukkan perubahan perilaku kutipan
setelah periode tertentu penggunaan layanan perpustakaan,
atau setelah menghadiri program literasi informasi.
KLAUSUL 8. OBSERVED EVIDENCE

18. KLAUSUL 9. COMBINING METHODS
FOR ASSESSING LIBRARY IMPACT
Menggabungkan data kualitatif dan kuantitatif,
contoh;
> dampak koleksi perpustakaan
> dampak perpustakaan sebagai ruang/tempat
(library as place)
> dampak pada keberhasilan pengguna

19. Contoh:
Menilai dampak perpustakaan sebagai tempat (library as place) dengan metode
gabungan
> Perpustakaan menyediakan data kuantitatif terkait penggunaan sarana-prasarana
dan data kualitatif dapat digunakan untuk mengidentifikasi alasan pengguna datang ke
perpustakaan.

20. Nilai manfaat perpustakaan yang
dinyatakan dalam terminologi ekonomi
(moneter)
> Menghitung biaya pengganti
untuk layanan perpustakaan
> Kalkulator nilai perpustakaan
> Menghitung biaya waktu
> Penilaian kontingensi
Dampak ekonomi perpustakaan
> Dampak terhadap kehidupan
ekonomi di lingkup lokal
Mis. Pembelian barang/jasa,
menyediakan lapangan kerja,
berpengaruh pada usaha ritel di
sekitar
> Dampak terhadap ekonomi
regional atau nasional
KLAUSUL 10. ASSESSING THE ECONOMIC VALUE OF
LIBRARIES

21. LAMPIRAN B.
MEMILIH METODE
Seperti semua penelitian, metode yang dipilih
tergantung pada jawaban yang ingin diperoleh.
Pilihan metode (1 atau lebih) tergantung pada
sejumlah faktor diantaranya;
> subjek dan tujuan penelitian (mis. Dampak
jangka pendek/jangka panjang, dampak
umum/dampak spesifik dari satu layanan)
> populasi target yang akan disurvei
> audiens yang dituju
> keahlian dan sumberdaya yang tersedia
> faktor eksternal

22. Jenis dampak Metode yang dapat digunakan
Perubahan keterampilan dan
kompetensi
Observasi, analisis log, tes, wawancara, self-
assessment,
Perubahan sikap dan perilaku Survei, wawancara, data anecdotal, self-recording,
statistik penggunaan perpustakaan, observasi
Peningkatan keberhasilan
pengguna dalam studi, riset,atau
karier
Membandingkan penggunaan perpustakaan oleh
individu dengan data keberhasilan pengguna;
wawancara
Dampak sosial Survei, wawancara, fokus grup
>> Contoh pemilihan metode berdasarkan jenis dampak

23. Jenis layanan Metode yang dapat digunakan
Layanan referensi Observasi, analisis log, wawancara, self-assessment
Literasi informasi Tes, self-assessment, kuesioner, analisis kutipan
Layanan akses internet Wawancara, survei, data anekdotal
Layanan e-resources Statistik penggunaan, survei, wawancara, fokus
grup, analisis log
>> Contoh pemilihan metode berdasarkan jenis layanan

24. a] Sebagian besar dampak tidak
berwujud (intangible)dan sulit diukur
b] Dampak perpustakaan umumnya
bukanlah satu-satunya yang
berpengaruh dan kemungkinan
bukan yang terkuat
c] Dampak dari layanan perpustakaan
yang sama dapat bervariasi dalam
populasi pengguna, lingkungan
budaya dan ekonomi yang
berbeda
TANTANGAN DALAM MENILAI DAMPAK PERPUSTAKAAN
d] Efek jangka panjang tidak dapat
dipastikan jika pengguna tidak
memberikan tindak lanjut
e] Data kualitatif bersifat subjektif
f] Staf perpustakaan tidak
familiar/memiliki keterampilan
menggunakan metode penilaian
dampak
g] Membutuhkan alokasi waktu dan
tenaga - dan mungkin biaya - yang
besar

25. Dalam melakukan penilaian dampak perpustakaan, sangat membantu jika kita
memecah proses dalam komponen yang terfokus, dengan cara sebagai berikut;
>> Tentukan bidang layanan yang ingin diidentifikasi dampaknya. Mis. Fokus pada
layanan referensi, layanan literasi, layanan e-resources, atau lebih umum seperti
terkait penyediaan sumberdaya perpustakaan
>> Fokus pada dampak yang diharapkan dari bidang layanan tersebut, mis.
Layanan literasi informasi, dampak yang diharapkan adalah peningkatan
keterampilan
>> Tentukan parameter atau bukti yang menunjukkan bahwa dampak yang
diharapkan telah tercapai. Mis. Peningkatan keterampilan literasi informasi
ditunjukkan dengan penggunaan sumber informasi yang lebi akurat, penggunaan
referensi yang lebih baik, dsb.
PENUTUP

26. >> Selanjutnya, mengidentifikasi dan menentukan langkah untuk mendapatkan
bukti, di mana data diperoleh, baik dari internal maupun eksternal
perpustakaan. Pada tahap inilah, langkah-langkah dalam ISO 16439 dapat
digunakan sebagai metode penilaian dampak , termask contoh survei yang
data digunakan.
PENUTUP […LANJUTAN]

27. Bagaimana? Tertarik untuk mulai menilai
dampak perpustakaanmu?
Yuk, mari berdiskusi dan sampaikan tanggapanmu yaa…

28. KORESPONDENSI
MUHAMMAD BAHRUDIN
Pustakawan Data | Data Librarian
Perpustakaan BSN
Biro Hubungan Masyarakat, Kerja Sama
dan Layanan Informasi – BSN
Jalan M.H. Thamrin 08, Jakarta Pusat 10340
T. 021 3917300 | E. dokinfo@bsn.go.id
https://perpustakaan.bsn.go.id/
Kontak pribadi.
m.ambar@live.com
IG - Twitter: @amberrtrixx
artikelpustakawan.wordpress.com
researchgate.net/profile/Muhammad_Bahrudin

29. DAFTAR BACAAN LANJUTAN
Berikut adalah beberapa rekomendasi daftar bacaan bagi rekan sejawat yang ingin belajar lebih
lanjut terkait penilaian dampak perpustakaan. Daftar tersebut masih terbatas, dan semoga dapat
terus dikembangkan dengan berbagai referensi dari Indonesia.

30. Standar dan proyek terkait dampak perpustakaan
ISO 16439:2014 Information and documentation – Methods and procedures for assessing the
impact of libraries
LibValue. Value, outcomes and return on investment of academic libraries.
http://libvalue.org/home
IBEC. Information School of the University of Washington. Information behavior in everyday
contexts. Helping maximize the impact of information in communities.
http://ibec.ischool.washington.edu/
Jisc. Library Impact Data Project.
http://www.jisc.ac.uk/whatwedo/programmes/inf11/activitydata/libraryimpact.aspx
RAILS. Rubric assessment of information literacy skills. http://www.railsontrack.info/

31. Bibliografi
ALA. American Library Association: Libraries matter: impact research.
http://www.ala.org/research/librariesmatter/
Oakleaf, Megan: Value of academic libraries: a comprehensive research review and report.
Bibliography. ALA 2010. www.acrl.ala.org/value
Dean, Margaret: The role of public libraries in promoting information literacy: an annotated
bibliography. Information Access & Resources 2011.
http://www.pages.drexel.edu/~mhd27/eport/artifacts.html
Poll, Roswitha: Can we quantify the library's influence? Creating an ISO standard for impact
assessment. In: Performance Measurement and Metrics 13,2 (2012), pp.121-130
Poll, Roswitha; Payne, Philip: Impact measures for libraries and information services. In: LIBRARY
HI TECH 24,4 (2006), pp.547 – 562. http://conference.ub.uni-
bielefeld.de/2006/proceedings/payne_poll_final_web.pdf

32. Dampak sosial
Aabø, Svanhild: The value of public libraries: a socio-economic analysis. In: Belotti, M. (Ed.). Verso
un'economia della biblioteca: Finanziamenti, programmazione e valorizzazione in tempo di crisi,
Editrice Bibliografica, Milano, pp. 169-176.
https://oda.hio.no/jspui/bitstream/10642/674/2/804033post.pdf
Aabø, Svanhild; Audunson, Ragnar; Vårheim, Andreas: How do public libraries function as meeting
places? In: Library & Information Science Research 32,1 (2010), pp.16–26.
http://www.sciencedirect.com/science/journal/07408188/32/1
Bawden David et al.: Understanding our value: Assessing the nature of the impact of library services.
In: Library and Information Research 33,105 (2009), pp.62–89.
http://www.lirgjournal.org.uk/lir/ojs/index.php/lir/article/view/115
Bhatt, Rachana: The impact of public library use on reading, television, and academic outcomes. In:
Journal of Urban Economics 68,2 (2010), pp.148-166.
http://www.sciencedirect.com/science/article/pii/S0094119010000197
CyMAL: Museums Archives and Libraries Wales: Libraries making a difference: the fifth quality
framework of Welsh Public Library Standards 2014-2017.
http://gov.wales/docs/drah/publications/140425wpls5en.pdf

33. Nilai manfaat ekonomi perpustakaan
Aabø, Svanhild: The value of public libraries. World Library and Information Congress: 71st IFLA
General Conference and Council Oslo 2005. http://www.ifla.org/IV/ifla71/papers/119e-
Aabo.pdf
ALMA-UK. Archives, Libraries & Museums Alliance UK. Economic impact toolkit, 2013.
http://almauk.org/working-together/our_activity/economic-impacts/
ALMA-UK. Archives, Libraries & Museums Alliance UK. The economic value of library services.
Final report. Bristol 2014. http://almauk.org/working-together/our_activity/economic- impacts/
Holt, Glen E.; Elliott, Donald: Measuring outcomes: applying cost-benefit analysis to middle-
sized and smaller public libraries. In: Library Trends, 51 (3) 2003, pp. 424-440.
http://ptarpp2.uitm.edu.my/silibus/MeasuringOutcomes.pdf
Indianan Business Research Center: The economic impact of libraries in Indiana. 2007.
http://www.ibrc.indiana.edu/studies/EconomicImpactofLibraries_2007.pdf

34. Dampak perpustakaan khusus
Australian Library and Information Association: Putting a value on “priceless”. An independent
assessment of the return on investment of special libraries in Australia. Canberra 2014.
https://www.alia.org.au/roispecials
Cuddy, Theresa M.: Value of hospital libraries: the Fuld Campus study. In: Journal of the
Medical Library Association 93,4 (2005), pp.446-449.
http://www.ncbi.nlm.nih.gov/pmc/issues/122940/
He, Leifang; Juterbock, Deborah: Quantitative evaluation of the impact of Novartis Knowledge
Center information services in drug discovery and development. In: QQML 3 (2012), pp.357-366.
http://www.qqml.net/December_2012_issue.html
King, David N.: The contribution of hospital library information services to clinical care: A study
in eight hospitals. In: Journal of the Medical Library Association 100 (2012) Suppl., pp.291-301.
http://www.ncbi.nlm.nih.gov/pmc/issues/219584/
Sherwill-Navarro, Pamela J.; Wallace, Addajane L.: Research on the value of medical library
services: does it make an impact in the health care literature? In: Journal of the Medical Library
Association 92,1 (2004), pp. 34–45. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC314101/