Cómo medir el desempeño de su biblioteca usando LibQual (1) Dr. Javier López-Gijón ( jgijon@ugr.es) Mtra. Belén Ávila ( bavila@ugr.es) Taller Pre-Coloquio ALCI_08

TABLA DE CONTENIDOS Introducción . Metodología LibQual. Resultados LibQual. Resultados Bibliotecas_1 Resultados Bibliotecas_2 Correlación Conclusiones

Introducción .

Metodología LibQual.

Resultados LibQual.

Resultados Bibliotecas_1

Resultados Bibliotecas_2

Correlación

Conclusiones

1. INTRODUCCIÓN Hacia la Calidad en las Bibliotecas. Factores que llevan a la Calidad. Criterios para Medir la Calidad. Evaluación Global. El Usuario como Medida de Calidad. Estudios de Satisfacción de Usuarios. Modelo de Evaluación Cualitativa de Secaba. Realizar un Estudio de Satisfacción: Requisitos.

Hacia la Calidad en las Bibliotecas.

Factores que llevan a la Calidad.

Criterios para Medir la Calidad.

Evaluación Global.

El Usuario como Medida de Calidad.

Estudios de Satisfacción de Usuarios.

Modelo de Evaluación Cualitativa de Secaba.

Realizar un Estudio de Satisfacción: Requisitos.

HACIA LA CALIDAD EN LAS BIBLIOTECAS Fenómeno reciente (2000 - ). Proceso de maduración de las instituciones. Implica a toda la Institución (procesos, personal, etc .). Proceso de mejora continua. ¿Qué entendemos por CALIDAD? ¿Qué causas o factores cree usted que llevan a la calidad?

Fenómeno reciente (2000 - ).

Proceso de maduración de las instituciones.

Implica a toda la Institución (procesos, personal, etc .).

Proceso de mejora continua.

FACTORES QUE LLEVAN A LA CALIDAD Imagen social de la biblioteca: cooperación, competitividad, prestigio (ranking de bibliotecas). Nueva visión de la biblioteca: orientado/centrado en el usuario . Justificar la necesidad de mantener servicios. Innovación : ofrecer nuevos servicios, mejorar los existentes. Para conseguir dotaciones presupuestarias y otras subvenciones. Demanda de la sociedad y de las Administraciones.

Imagen social de la biblioteca: cooperación, competitividad, prestigio (ranking de bibliotecas).

Nueva visión de la biblioteca: orientado/centrado en el usuario .

Justificar la necesidad de mantener servicios.

Innovación : ofrecer nuevos servicios, mejorar los existentes.

Para conseguir dotaciones presupuestarias y otras subvenciones.

Demanda de la sociedad y de las Administraciones.

CRITERIOS PARA MEDIR LA CALIDAD Visión de la biblioteca desde la gestión : Evaluación objetiva Datos Indicadores Visión de la biblioteca desde la opinión del usuario : Evaluación Subjetiva Encuestas / Opiniones de los Usuarios Satisfacción Criterios Objetivos: lo que los usuarios HACEN Criterios Subjetivos: lo que los usuarios DICEN

Visión de la biblioteca desde la gestión :

Evaluación objetiva

Datos

Indicadores

Visión de la biblioteca desde la opinión del usuario :

Evaluación Subjetiva

Encuestas / Opiniones de los Usuarios

Satisfacción

“… sólo los usuarios juzgan la calidad, los demás juicios son irrelevantes” Zeithaml, Parasuraman, Berry (1990) Taller Pre-Coloquio ALCI 2008 Laboratorio SECABA

COMPONENTES DE LA EVALUACIÓN GLOBAL Evaluación Global (6.35 ó ponderación) Evaluación Objetiva (6.20) Listado de Indicadores Agregación de Indicadores Evaluación Subjetiva (6.5) Valor Afectivo del Servicio La Biblioteca como Lugar Control de la Información

Listado de Indicadores

Agregación de Indicadores

Valor Afectivo del Servicio

La Biblioteca como Lugar

Control de la Información

EL USUARIO COMO MEDIDA DE CALIDAD Usuario pasa a ser centro de la biblioteca / servicio. Usuario se convierte en patrón de calidad. Conocer sus opiniones y expectativas. Mercado abierto (no cautivo), mantener usuarios. Mercado abierto (no cautivo), atraer nuevos usuarios. Nuevos usuarios, propios y externos . Calidad se mide por el grado de satisfacción de los usuarios Calidad como capacidad de fidelizar y atraer nuevos usuarios

Usuario pasa a ser centro de la biblioteca / servicio.

Usuario se convierte en patrón de calidad.

Conocer sus opiniones y expectativas.

Mercado abierto (no cautivo), mantener usuarios.

Mercado abierto (no cautivo), atraer nuevos usuarios.

Nuevos usuarios, propios y externos .

ESTUDIOS DE SATISFACCIÓN DE USUARIOS USA ESPAÑA - IBEROAMÉRICA ServQual. LibQual (desde 2000). Buscan estudios que permitan Benchmarking. En bibliotecas son poco usuales. Estudios ad hoc (desde 1999). No permiten Benchmarking. Estudios basados en LibQual (2005 - ). Benchmarking.

ServQual.

LibQual (desde 2000).

Buscan estudios que permitan Benchmarking.

En bibliotecas son poco usuales.

Estudios ad hoc (desde 1999).

No permiten Benchmarking.

Estudios basados en LibQual (2005 - ).

Benchmarking.

MODELO DE EVALUACIÓN CUALITATIVA DE SECABA OBJETIVO CARACTERÍSTICAS Basado en la Metodología LibQual Encuesta en Herramienta Automática. Tabulación y Procesamiento Automático de Datos. Visualización Gráfica de Resultados. Interpretación de Resultados y Conclusiones. Benchmarking. Informe Final de Evaluación. Conocer la Satisfacción de Usuarios.

Basado en la Metodología LibQual

Encuesta en Herramienta Automática.

Tabulación y Procesamiento Automático de Datos.

Visualización Gráfica de Resultados.

Interpretación de Resultados y Conclusiones.

Benchmarking.

Informe Final de Evaluación.

Conocer la Satisfacción de Usuarios.

REALIZAR UN ESTUDIO DE SATISFACCIÓN Firma de Convenio entre Secaba y Universidad interesada. Formar una pequeña Comisión que se haga responsable bibliotecas). Curso a todo el personal de la biblioteca, por parte de la Comisión, del estudio a realizar (qué se pretende, medios, etc.). Posibilidad de capturar datos en encuestas en papel. En el caso anterior la biblioteca se hará cargo de introducirlas en máquina. Campaña de publicidad en la biblioteca que se va a estudiar. Una vez con los resultados elaborar un Plan de mejora . Que la comunidad universitaria conozca los resultados del estudio de satisfacción de usuarios y el Plan de mejora.

Firma de Convenio entre Secaba y Universidad interesada.

Formar una pequeña Comisión que se haga responsable bibliotecas).

Curso a todo el personal de la biblioteca, por parte de la Comisión, del estudio a realizar (qué se pretende, medios, etc.).

Posibilidad de capturar datos en encuestas en papel.

En el caso anterior la biblioteca se hará cargo de introducirlas en máquina.

Campaña de publicidad en la biblioteca que se va a estudiar.

Una vez con los resultados elaborar un Plan de mejora .

Que la comunidad universitaria conozca los resultados del estudio de satisfacción de usuarios y el Plan de mejora.

TABLA DE CONTENIDOS Introducción. Metodología LibQual. Resultados LibQual. Resultados Bibliotecas_1 Resultados Bibliotecas_2 Correlación Conclusiones

Introducción.

Metodología LibQual.

Resultados LibQual.

Resultados Bibliotecas_1

Resultados Bibliotecas_2

Correlación

Conclusiones

2. METODOLOGÍA LIBQUAL OBJETIVOS ¿CÓMO MIDE LIBQUAL LA CALIDAD? TRES DIMENSIONES TRES NIVELES DE SERVICIO ZONA DE TOLERANCIA DOS RESULTADOS - Adecuación - Superioridad DM-SCORE

OBJETIVOS

¿CÓMO MIDE LIBQUAL LA CALIDAD?

TRES DIMENSIONES

TRES NIVELES DE SERVICIO

ZONA DE TOLERANCIA

DOS RESULTADOS

- Adecuación

- Superioridad

DM-SCORE

LIBQUAL: OBJETIVOS Fomentar una cultura de excelencia en la prestación del servicio bibliotecario. Ayudar a las bibliotecas en el mejor conocimiento de lo que los usuarios perciben como (servicios de) calidad. Recoger e interpretar retroalimetación de los usuarios (a lo largo del tiempo). Ofrecer información de evaluación comparable con otros centros homogéneos ( benchmarking ). Identificar las buenas prácticas . Mejorar las destrezas analíticas de los bibliotecarios para interpretar y actuar según datos.

Fomentar una cultura de excelencia en la prestación del servicio bibliotecario.

Ayudar a las bibliotecas en el mejor conocimiento de lo que los usuarios perciben como (servicios de) calidad.

Recoger e interpretar retroalimetación de los usuarios (a lo largo del tiempo).

Ofrecer información de evaluación comparable con otros centros homogéneos ( benchmarking ).

Identificar las buenas prácticas .

Mejorar las destrezas analíticas de los bibliotecarios para interpretar y actuar según datos.

¿POR QUÉ LIBQUAL? Colleen Cook, “ Academic Library and Information Services: New Paradigms for the Digital Age ” Estándar. Encuesta validada. Universalidad. Traducida varios idiomas. Benchmarking. Localizar buenas prácticas, bibliotecas modelo. Identificar áreas de los servicios que deben mejorar.

Estándar.

Encuesta validada.

Universalidad.

Traducida varios idiomas.

Benchmarking.

Localizar buenas prácticas, bibliotecas modelo.

Identificar áreas de los servicios que deben mejorar.

¿CÓMO MIDE LIBQUAL LA CALIDAD DEL SERVICIO? DIMENSIONES TRES NIVELES DE SERVICIO ZONA DE TOLERANCIA DOS RESULTADOS Adecuación Superioridad DM-SCORE

DIMENSIONES

TRES NIVELES DE SERVICIO

ZONA DE TOLERANCIA

DOS RESULTADOS

Adecuación

Superioridad

DM-SCORE

¿Cómo mide LibQual la calidad del servicio? DIMENSIONES - ¿QUÉ ES UNA DIMENSIÓN? - ¿CUÁNTAS DIMENSIONES TIENE LIBQUAL? Laboratorio SECABA Taller Pre-Coloquio ALCI 2008

¿Cómo mide LibQual la calidad del servicio? TRES DIMENSIONES Mide las percepciones y las expectativas de los usuarios en tres grandes dimensiones : Valor Afectivo del Servicio La Biblioteca como Lugar Control de la Información

Mide las percepciones y las expectativas de los usuarios en tres grandes dimensiones :

Valor Afectivo del Servicio

La Biblioteca como Lugar

Control de la Información

¿Cómo mide LibQual la calidad del servicio? TRES NIVELES DE SERVICIO Nivel de Servicio MÍNIMO Nivel de Servicio OBSERVADO Nivel de Servicio DESEADO ¿CÓMO DEFINIRÍA ESTOS NIVELES? Laboratorio SECABA Taller Pre-Coloquio ALCI 2008

¿Cómo mide LibQual la calidad del servicio? TRES NIVELES Nivel de servicio mínimo (VM) : es el valor por debajo del cual el usuario no tolera respecto al ítem que se le está preguntando. Nivel observado (VO) : el valor que observa o percibe respecto al ítem que se le está preguntando. Nivel de servicio deseado (VD) : valor que el usuario desearía sobre el ítem que se le está preguntando (máximas expectativas). Encuesta de satisfacción basada en 22 preguntas En cada pregunta hay que contestar 3 cuestiones (puntuación de 1 a 9):

Nivel de servicio mínimo (VM) : es el valor por debajo del cual el usuario no tolera respecto al ítem que se le está preguntando.

Nivel observado (VO) : el valor que observa o percibe respecto al ítem que se le está preguntando.

Nivel de servicio deseado (VD) : valor que el usuario desearía sobre el ítem que se le está preguntando (máximas expectativas).

Encuesta de satisfacción basada en 22 preguntas

En cada pregunta hay que contestar 3 cuestiones (puntuación de 1 a 9):

Preguntas: VALOR AFECTIVO DEL SERVICIO Af 1: El personal le inspira confianza Af 2: El personal le ofrece atención personalizada Af 3: El personal es siempre amable Af 4: El personal muestra buena disposición para responder a las preguntas planteadas Af 5: El personal tiene conocimiento y es capaz de responder a las preguntas que se le formulan Af 6: El personal es atento con las necesidades del usuario Af 7: El personal comprende las necesidades de sus usuarios Af 8: El personal manifiesta voluntad de ayudar a los usuarios Af 9: El personal muestra fiabilidad en el tratamiento de los problemas del servicio manifestadas por los usuario

Af 1: El personal le inspira confianza

Af 2: El personal le ofrece atención personalizada

Af 3: El personal es siempre amable

Af 4: El personal muestra buena disposición para responder a las preguntas planteadas

Af 5: El personal tiene conocimiento y es capaz de responder a las preguntas que se le formulan

Af 6: El personal es atento con las necesidades del usuario

Af 7: El personal comprende las necesidades de sus usuarios

Af 8: El personal manifiesta voluntad de ayudar a los usuarios

Af 9: El personal muestra fiabilidad en el tratamiento de los problemas del servicio manifestadas por los usuario

Preguntas: LA BIBLIOTECA COMO ESPACIO Es 1: El espacio de la biblioteca ayuda al estudio y al aprendizaje Es 2: El espacio de la biblioteca es tranquilo para el trabajo individual Es 3: El espacio de la biblioteca es un lugar confortable y acogedor Es 4: El espacio de la biblioteca es un lugar para el estudio, el aprendizaje o la investigación Es 5: Existen espacios colectivos para aprendizaje y estudio en grupo

Es 1: El espacio de la biblioteca ayuda al estudio y al aprendizaje

Es 2: El espacio de la biblioteca es tranquilo para el trabajo individual

Es 3: El espacio de la biblioteca es un lugar confortable y acogedor

Es 4: El espacio de la biblioteca es un lugar para el estudio, el aprendizaje o la investigación

Es 5: Existen espacios colectivos para aprendizaje y estudio en grupo

Preguntas: CONTROL DE LA INFORMACIÓN CI 1: El acceso a los recursos electrónicos es factible desde mi casa o despacho CI 2: El sitio Web de la biblioteca permite encontrar información por uno mismo CI 3: Los materiales impresos de la biblioteca cubren las necesidades de información que tengo CI 4: Los recursos digitales cubren las necesidades de información que tengo CI 5: El equipamiento es moderno y me permite un acceso fácil a la información que necesito CI 6: Los instrumentos para la recuperación de información (catálogos, bases de datos,...) son fáciles de usar y me permiten encontrar por mi mismo lo que busco CI 7: Puedo acceder fácilmente a la información para usarla y procesarla en mis tareas CI 8: Las revistas en versión electrónica y/o impresa cubren mis necesidades de información

CI 1: El acceso a los recursos electrónicos es factible desde mi casa o despacho

CI 2: El sitio Web de la biblioteca permite encontrar información por uno mismo

CI 3: Los materiales impresos de la biblioteca cubren las necesidades de información que tengo

CI 4: Los recursos digitales cubren las necesidades de información que tengo

CI 5: El equipamiento es moderno y me permite un acceso fácil a la información que necesito

CI 6: Los instrumentos para la recuperación de información (catálogos, bases de datos,...) son fáciles de usar y me permiten encontrar por mi mismo lo que busco

CI 7: Puedo acceder fácilmente a la información para usarla y procesarla en mis tareas

CI 8: Las revistas en versión electrónica y/o impresa cubren mis necesidades de información

CAJA DE TEXTO ABIERTO Y PREGUNTAS LOCALES Ejemplos de Preguntas Locales: Cuando realiza una petición de información, ¿cree que la documentación que le proporciona la Biblioteca está …? ¿Qué tipo de información (recursos electrónicos) cree usted que debería suministrar la biblioteca? ¿Qué revistas electrónicas considera de interés y le gustaría que la Biblioteca tuviera suscripción? ¿QUÉ LE PARECE QUE EL USUARIO PUEDA OPINAR LIBREMENTE? - ¿LE PARECE IMPORTANTE?

Ejemplos de Preguntas Locales:

Cuando realiza una petición de información, ¿cree que la documentación que le proporciona la Biblioteca está …?

¿Qué tipo de información (recursos electrónicos) cree usted que debería suministrar la biblioteca?

¿Qué revistas electrónicas considera de interés y le gustaría que la Biblioteca tuviera suscripción?

¿QUÉ LE PARECE QUE EL USUARIO PUEDA OPINAR LIBREMENTE?

- ¿LE PARECE IMPORTANTE?

¿Cómo mide LibQual? ZONA DE TOLERANCIA La Zona de Tolerancia mide la distancia entre el valor deseado y el valor mínimo.

¿Cómo mide LibQual? DOS RESULTADOS 1 de 2 1. ADECUACIÓN Libqual mide la distancia entre el valor mínimo y el observado La adecuación del servicio nos dice, según los usuarios, si el servicio es adecuado o no. Cuanto mayor sea el valor obtenido más adecuado es el servicio. Adecuación negativa : el servicio no es adecuado.

La adecuación del servicio nos dice, según los usuarios, si el servicio es adecuado o no.

Cuanto mayor sea el valor obtenido más adecuado es el servicio.

Adecuación negativa : el servicio no es adecuado.

¿Cómo mide LibQual? DOS RESULTADOS 2 de 2 1. ADECUACIÓN -A VO < VM  +A VO > VM  0 VO = VM  ADECUACIÓN

Libqual mide la distancia entre el valor observado y deseado La superioridad del servicio nos dice, según los usuarios, si el servicio que se presta es de calidad . Cuanto mayor sea el valor obtenido mayor superioridad refleja el servicio. Superioridad negativa: el servicio no es de calidad. ¿Cómo mide LibQual? DOS RESULTADOS 1 de 2 2. SUPERIORIDAD

La superioridad del servicio nos dice, según los usuarios, si el servicio que se presta es de calidad .

Cuanto mayor sea el valor obtenido mayor superioridad refleja el servicio.

Superioridad negativa: el servicio no es de calidad.

¿Cómo mide LibQual? DOS RESULTADOS 2 de 2 2. SUPERIORIDAD -S VO < VD  +S VO > VD  0 VO = VD  SUPERIORIDAD

MEDICIÓN DM-SCORE

Taller Pre-Coloquio ALCI 2008 Laboratorio SECABA ¿? VD < VM ¿? VD = VM ¿? VM = VO = VD ¿QUE OPINA USTED DE ESTAS SITUACIONES?

ERRORES MÁS FRECUENTES AL CUMPLIMENTAR LA ENCUESTA ANULAR VD < VM ANULAR VD = VM ANULAR VM = VO = VD ¿QUE OPINA USTED DE ESTAS SITUACIONES?

ESTADOS DE LA BIBLIOTECA SEGÚN MEDICIONES LIBQUAL UMBRAL / LÍMITE A=0 INADECUADO Mal / Problema / Acción -A (Adecuación) Negativo ADECUACIÓN Bien / Esperado / Normal +A (Adecuación) Positivo CALIDAD Extraordinario / Excelente Modelo de buenas prácticas +S (Superioridad) Positivo ESTADO DE LA BIBLIOTECA RESULTADO LibQual

CALIDAD ¿Qué entiende usted por calidad? ¿Cómo podría medirla?

¿Qué entiende usted por calidad?

¿Cómo podría medirla?

En LibQual… No tener Superioridad quiere decir que los usuarios consideran que los servicios no son de calidad. Taller Pre-Coloquio ALCI 2008 Laboratorio SECABA

SATISFACCIÓN DE USUARIOS ¿Un servicio adecuado puede satisfacer al usuario?

¿Un servicio adecuado puede satisfacer al usuario?

En LibQual… La Adecuación puede conseguir la satisfacción del usuario. Taller Pre-Coloquio ALCI 2008 Laboratorio SECABA

SATISFACCIÓN DE USUARIOS ¿Cuándo no hay satisfacción de usuarios?

¿Cuándo no hay satisfacción de usuarios?

En LibQual… Cuando el servicio es inadecuado (Adecuación negativa), no hay satisfacción de usuarios. Taller Pre-Coloquio ALCI 2008 Laboratorio SECABA

TABLA DE CONTENIDOS Introducción. Metodología LibQual. Resultados LibQual. Resultados Bibliotecas_1 Resultados Bibliotecas_2 Correlación Conclusiones

Introducción.

Metodología LibQual.

Resultados LibQual.

Resultados Bibliotecas_1

Resultados Bibliotecas_2

Correlación

Conclusiones

3. RESULTADOS LIBQUAL (SECABA) ESCALA DE COLORES GRÁFICOS RADIALES RESULTADOS GLOBALES RESULTADOS POR BIBLIOTECAS RESULTADOS POR TIPOS DE USUARIOS BENCHMARKING

ESCALA DE COLORES

GRÁFICOS RADIALES

RESULTADOS GLOBALES

RESULTADOS POR BIBLIOTECAS

RESULTADOS POR TIPOS DE USUARIOS

BENCHMARKING

ESCALA DE COLORES INADECUADO Mal / Problema / Acción -A (Adecuación) ROJO Negativo ADECUACIÓN Bien / Esperado / Normal +A (Adecuación) AZUL Positivo CALIDAD Extraordinario / Excelente Modelo de buenas prácticas +S (Superioridad) VERDE Positivo ESTADO DE LA BIBLIOTECA RESULTADO LibQual

GRÁFICOS RADIALES LIBQUAL (SECABA) 1 de 4 RESULTADOS GLOBALES

GRÁFICOS RADIALES LIBQUAL (SECABA) 2 de 4 RESULTADOS GLOBALES

GRÁFICOS RADIALES LIBQUAL (SECABA) 3 de 4 RESULTADOS GLOBALES

GRÁFICOS RADIALES LIBQUAL (SECABA) 4 de 4 RESULTADOS GLOBALES

Facultad de Ciencias Facultad de Derecho GRÁFICOS RADIALES LIBQUAL (SECABA) RESULTADOS POR BIBLIOTECAS

Estudiantes de Grado Personal Docente e Investigador GRÁFICOS RADIALES LIBQUAL (SECABA) RESULTADOS POR TIPOS DE USUARIOS

BENCHMARKING 1 de 3 TABLA DE DOBLE ENTRADA BUH -0.58 UNLP -0.39 UPO -0.15 UDEM -0.07 0.12 BUG 0.14 UCLM 0.46 BUJA Bibliotecas Adecuación negativa Adecuación positiva Bibliotecas ADECUACION DEL CONTROL DE LA INFORMACION

BENCHMARKING 2 de 3 GRÁFICO RADIAL: 19 BIBLIOTECAS DE UNA UNIVERSIDAD

BENCHMARKING 2 de 3 GRÁFICO DE LÍNEAS: USUARIOS vs MEDIA UNIVERSIDAD

Cómo medir el desempeño de su biblioteca usando LibQual (1) Dr. Javier López-Gijón ( jgijon@ugr.es) Mtra. Belén Ávila ( bavila@ugr.es) Taller Pre-Coloquio ALCI_08