Indicadores Objetivos para Medir el Desempeño de la Biblioteca

INDICADORES OBJETIVOS PARA MEDIR EL DESEMPEÑO DE LA BIBLIOTECA Dr. Javier López Gijón Facultad de Comunicación y Documentación Universidad de Granada (UGR) Correo-e: [email_address] Mtra. Belén Ávila Tribunal Superior de Justicia de Andalucía Correo-e: [email_address] Laboratorio SECABA

TABLA DE CONTENIDOS

Introducción a la Evaluación

Evaluación y Calidad

Metodología

Indicadores de Primer Nivel

Indicadores de Segundo Nivel

Modelización / Modelo

Conclusiones

Ejercitación Indicadores 2º Nivel

SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INTRODUCCIÓN A LA EVALUACIÓN SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INTRODUCCIÓN A LA EVALUACIÓN

Qué entendemos por evaluar

Para qué evaluar

Para qué la queremos

Preparando la evaluación

Enfoques en la evaluación

Interpretación de resultados

QUÉ ENTENDEMOS POR EVALUAR

Valorar

Función diagnóstica

Conocer puntos fuertes, fallos, limitaciones

Comparación entre actividad y objetivos

Comparar lo que es con lo que debería ser

Indicar cómo mejorar el servicio

Herramienta para la retroinformación

LA EVALUACIÓN (en la BIBLIOTECA)

Componente esencial de la gestión

Parte del proceso de planificación

¿PARA QUÉ EVALUAR? 1 de 2

Conocer el nivel de rendimiento

Comprobar y comparar la eficacia

Grado de cumplimiento de los objetivos

Asignación coherente de recursos

Ayuda en la toma de decisiones

Campo de la investigación bibliotecaria

Benchmarking

¿PARA QUÉ EVALUAR? 2 de 2

Medir cambios en la capacidad y uso

Justificar la existencia del servicio

Base para determinar la calidad

Información para la mejora del rendimiento

Mejorar la imagen de la biblioteca

Conocer grado satisfacción usuarios

Retroalimentación

¿PARA QUÉ LA QUEREMOS? Representación Simplificación Abstracción Formalización Realidad Para generar un MODELO SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

PREPARANDO LA EVALUACIÓN

La recogida de datos (tarea bibliotecaria)

¿Qué es un dato? ¿Qué datos capturar?

Normalización de captura y procesamiento

Gestión con metas y objetivos

Clarificar conceptos (eficacia, beneficio…)

Datos y mediciones fiables, válidos, útiles

ENFOQUES EN LA EVALUACIÓN Criterios Objetivos: lo que los usuarios HACEN Criterios Subjetivos: lo que los usuarios DICEN

Visión de la biblioteca desde la gestión :

- Evaluación objetiva

- Datos

- Indicadores

Visión de la biblioteca desde la opinión del usuario :

- Evaluación Subjetiva

- Encuestas / Opiniones de los Usuarios

- Satisfacción

EVALUACIONES OBJETIVAS MÁS USUALES

Eficacia

Alcanzar los resultados previstos en función de los objetivos , sin tener en cuenta los medios o recursos.

Eficiencia

Alcanzar los resultados previstos en función de los recursos empleados.

Costo/Beneficio

Evaluación que relaciona el capital invertido (costos) y el beneficio generado, con la idea de que el beneficio supere a los costos.

En el caso de bibliotecas esta evaluación debe verse más como evaluación social, no como económica.

Impacto

Efectos/beneficios que produce la biblioteca sobre el entorno

Pueden ser económicos, socioculturales, tecnológicos, etc.

El impacto de las bibliotecas, a diferencia del ambiental,que puede ser positivo o negativo, tiende a considerarse solo positivo.

EVALUACIÓN GLOBAL Evaluación Global (6.35 ó ponderación) Evaluación Objetiva (6.20)

Listado de Indicadores

Agregación de Indicadores

Evaluación Subjetiva (6.5)

Valor Afectivo del Servicio

La Biblioteca como Lugar

Control de la Información

INTERPRETACIÓN DE RESULTADOS 1 de 2

No son absolutas

En función del logro de los objetivos

La significación de las mediciones varia según los objetivos y recursos del centro

Los objetivos deben reflejar las necesidades de los usuarios

No interpretar los indicadores aisladamente

INTERPRETACIÓN DE RESULTADOS 2 de 2

Diferentes servicios se miden por separado

Debería decirnos si se tiene que actuar, dónde y cómo podemos mejorar

Comparaciones

Con la propia biblioteca (en el tiempo)

Con otros centros (benchmarking)

Con normas

EVALUACIÓN y CALIDAD SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

EVALUACIÓN y CALIDAD

Datos y Bibliotecas

¿Por qué tan pocas mediciones?

Hacia la Calidad

DATOS y BIBLIOTECAS

La biblioteca manual (tradicional) y gestión por inercia ( -85)

La fase de la automatización (85 - 95)

De inercia a gestión basada eficacia y productividad (95-)

Hacia la calidad (00-)

Necesidad de datos para esta transición

Escasez y poca fiabilidad de los datos

Captura datos es fenómeno reciente en bibliotecas

Necesario definir un conjunto de indicadores

ISO 11620

¿POR QUÉ TAN POCAS MEDICIONES? 1 de 2

Formación insuficiente del personal en técnicas cuantitativas.

Formación humanística .

No aparece hasta los planes de estudio de 1995.

Desprecio-nula valoración de los datos y las mediciones.

Poco interés en justificar el servicio.

Gestión sin objetivos .

¿POR QUÉ TAN POCAS MEDICIONES? 2 de 2

La evaluación no se considera parte de las funciones del bibliotecario.

La documentación ha gestionado la biblioteca, pero ha reflexionado muy poco sobre ella.

La biblioteca no ha tenido retroalimentación .

Falta de acuerdo sobre los indicadores a aplicar.

No hemos contado con modelos para seguir.

HACIA LA CALIDAD

ANECA

Certificación de calidad (2003)

Subvenciones y ayudas a las bibliotecas que logran la Certificación.

REBIUN

II Plan Estratégico (2007-2010)

Línea estratégica 3 (REBIUN y la calidad)

La prestación de un servicio óptimo de biblioteca en las universidades se considera un factor esencial de calidad del sistema universitario en el EEES.

METODOLOGÍA SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

METODOLOGÍA

Método

Método Ciego

Método Juego Intelectual

Método de Conocimiento

Método de Análisis: TGS

La Medición

Cálculo de Indicadores

Modelo de Evaluación Cuantitativa

MÉTODO: HACIA LA MODELIZACIÓN SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MÉTODO CIEGO Objeto (Datos) MUNDO MENTAL MUNDO FÍSICO Empírico Concreto Cantidad Experiencia Método (Correspondencia) SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MÉTODO JUEGO INTELECTUAL Conocimiento (Información) MUNDO MENTAL MUNDO FÍSICO Formal Abstracto Cualidad Lenguaje Método (Correspondencia) SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MÉTODO DE CONOCIMIENTO Conocimiento (Información) Objeto (Datos) MUNDO MENTAL MUNDO FÍSICO Empírico Concreto Cantidad Experiencia Formal Abstracto Cualidad Lenguaje Método (Correspondencia) Abstracción, Medición, Formalización SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MÉTODO DE ANÁLISIS TEORÍA GENERAL DE SISTEMAS 1 de 2

Lectura de la BIBLIOTECA como un SISTEMA:

Indicadores para medir los elementos de la biblioteca , y sus relaciones

MÉTODO DE ANÁLISIS TEORÍA GENERAL DE SISTEMAS 2 de 2

Permite el enfoque científico de sistemas.

Paralelismo entre máquinas, cerebro y sociedades.

Visión global (aproximación holística ).

No sólo conocer las partes, también las relaciones .

Disciplina lógico-matemática modelos .

Desarrolla el concepto de información.

Una forma de mirar-pensar.

Lenguaje común entre distintas especialidades.

Diseño y Cálculo de nuevos indicadores (Segundo Nivel).

MEDICIONES POSIBLES

Entradas:

Presupuestos..

Entidad:

Colecciones, Infraestructura, TICs

Salidas

Servicios, Circulación..

Población a la que sirve la biblioteca

Entorno

Relaciones entre estos elementos

No sólo conocer las partes, también las relaciones… SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

LA MEDICIÓN 1 de 2

Medición:

Proceso de la captura de datos, procesamiento y producción de indicadores

Indicador:

Medición que describe lo que ocurre, lo que hay

LA MEDICIÓN 2 de 2

En base a datos que proceden del objeto a evaluar.

Mediciones claras antes de evaluar.

La medición es la forma de conocer el objeto.

Aplicar la fórmula de cálculo ( procesamiento de datos).

Herramienta en el proceso de evaluación.

El análisis de las mediciones puede ser más útil que los propios resultados.

La estadística como puente entre los modelos matemáticos y la realidad.

Elaborar modelos teóricos.

El modelo permite la simulación y la predicción .

CÁLCULO DE INDICADORES

Datos que necesitamos

Fórmula de cálculo

Resultado (producto del cálculo)

Representación gráfica (si merece pena)

Análisis e Interpretación

Cómo se mejora

Indicadores relacionados

MODELO DE EVALUACIÓN CUANTITATIVA

Entendemos por evaluación objetiva la que pretende conocer el sistema desde el estudio del propio sistema

OBJETIVO:

Conocer: Eficacia , Eficiencia , Beneficios , Impacto

CARACTERISTICAS :

A partir de datos de la Biblioteca

Aplicación de Indicadores de Primer y Segundo Nivel

Tabulación y Procesamiento automático de datos

Representación gráfica de resultados

Interpretación de Resultados

Benchmarking. Conclusiones

Informe Final de Evaluación

INDICADORES DE PRIMER NIVEL SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INDICADORES DE ENTRADA

Euros por habitante para adquisiciones

Gasto por revista suscrita

Gasto en personal por habitante

Volúmenes añadidos per cápita total

Vol. añadidos a colección pc (Libros)

Vol. añadidos a colección pc (Revistas papel)

Vol. añadidos a colección pc (Revistas-e)

INDICADORES DE ENTIDAD

Volúmenes per cápita

Títulos de revistas por 100 habitantes

Títulos de revistas (papel) por 100 habitantes

Títulos de revistas (electrónicas) por 100 habitantes

Bases de datos por 100 habitantes / investigador

Tasa de crecimiento de la colección papel

Tasa de crecimiento de la colección digital

Índice de profesionalidad

Habitantes por personal de la biblioteca

INDICADORES DE SALIDA

Porcentaje de usos

Media de artículos-e bajados por revistas-e

Circulación per cápita total

Circulación por habitante – Papel

Circulación electrónica per cápita

Artículos electrónicos bajados per cápita

Circulación por trabajador

Tasa de rotación (Total de la colección)

TR colección papel (Libros y volúmenes revistas papel)

TR colección digital (Volúmenes electrónicos)

FOCALIZACIÓN DE LOS INDICADORES Tasa Rotación Euros por habitante Circulación pc Tasa Crecimiento Colección PRIMER NIVEL SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

CÁLCULO DE INDICADORES: REBIUN INDICADORES DE PRIMER NIVEL SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

REBIUN

ASIBU

USA??

ROBLE (Arg).

Estándares Chilenos

INDICADORES DE SEGUNDO NIVEL SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INDICADORES DE SEGUNDO NIVEL

Operatividad

Operatividad de la colección

Operatividad del gasto para adquisiciones

Esfuerzo (S)

Esfuerzo en circulación

Esfuerzo del gasto para adquisiciones

Formulación del Sistema

Potencia del Sistema P(Sis)

FOCALIZACIÓN DE LOS INDICADORES SEGUNDO NIVEL Operatividad presupuesto Esfuerzo en entrada Esfuerzo en salida Operatividad Colección SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

INDICADOR DE OPERATIVIDAD

La Operatividad mide la capacidad de un elemento para realizar una función .

Puede medir la operatividad de las entradas (gasto), o de la entidad ( colección ).

La operatividad pone en relación la operatividad determinada que estemos calculando respecto a la circulación .

Fórmulas:

- OC = % circulación - % colección

- OGT = % circulación - % gasto total

- OGA = % circulación - % gasto adquisiciones

CÁLCULO: OPERATIVIDAD PRESUPUESTO

Datos: presupuestos y circulaciones

Fórmula: % circulación - % presupuesto

Resultado: X

Indicadores relacionados: operatividad gasto adquisiciones y esfuerzo en presupuesto

Cómo mejorarlo: + circulación

Representación gráfica:

INDICADOR DE ESFUERZO

El Esfuerzo (S) mide la energía que se emplea (consume) para lograr un fin.

Puede medir el esfuerzo de las entradas (gasto), de la entidad ( colección ) o de las salidas (circulación).

El esfuerzo pone en relación el esfuerzo determinado que estemos calculando respecto a la población .

Fórmulas:

- Sc= % circulación - % población

- Sgt = % gasto total - % población

- Sga = % gasto adquisiciones - % población

- Sco= % colección - % población

CÁLCULO: ESFUERZO EN CIRCULACIÓN

Datos: circulaciones y poblaciones

Fórmula: % circulación - % población

Resultado: X

Indicadores relacionados: esfuerzo en entradas ó operatividad de la circulación ó circulación per capita

Cómo mejorarlo: + circulación

Representación gráfica:

POTENCIA DEL SISTEMA

La Potencia de un Sistema, P(Sis) , mide, como su nombre indica, la potencia que tiene un sistema.

P(Sis) pone en relación la Potencia de Entrada, P(E) con la Potencia de Salida P(Sal) .

La P(E) es la alimentación del Sistema.

La P(Sal) es la capacidad que tiene el Sistema de generar Salidas.

Fórmula:

P(Sis) = P(Sal) / P(E)

GRÁFICO DE LA POTENCIA DEL SISTEMA BASE SISTEMA 1 SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

GRÁFICO DE LA POTENCIA DEL SISTEMA BASE SISTEMA 2 SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MODELIZACIÓN / MODELO SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MODELIZACIÓN / MODELO

¿Qué es un Modelo?

Sistema Empírico y Modelo

Modelo

Proceso de Modelización

Formulación de un Sistema

Correlación

Principio General de la Circulación

Estados de un Sistema

Los Tres Mundos

¿QUÉ ES UN MODELO? Representación Simulación Predicción Realidad SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

SISTEMA EMPÍRICO Y MODELO SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

MODELO

Cierta descomposición de M en partes

Relaciones entre componentes de S son análogas a las que se establecen en M

M permite engendrar datos, que son aproximados a los de S

¿QUÉ PODEMOS CONSEGUIR? Idea-Modelo Representación Realidad Predicción Simulación Control SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

PROCESO DE MODELIZACIÓN MUNDO MENTAL SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM Sistema Empírico Objeto Indicadores Resultados Interpretación (S) Conclusiones (P) Modelo p1 p2 p3 Abstracción, Medición, Formalización Nivel 1 Nivel 3 Predetermina Flujo de datos Flujos de retroali . Flujo de control Flujos de in- formación Nivel 2 MUNDO FISICO

FORMULACIÓN DE UN SISTEMA

La Formulación de un Sistema pone en relación las entradas de dicho sistema con las salidas que produce.

Vemos el sistema como una caja negra , donde ocultando la entidad solo miramos las entradas y las salidas .

Representación:

X (Entradas) producen Y (Salidas) x E  y Sal SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

FORMULACIÓN DE SISTEMAS: Andalucía y Europa SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

CORRELACIÓN €/hab y Circulación pc SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

CORRELACIÓN (S)Entradas y (S)Salidas SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

PRINCIPIO GENERAL DE LA CIRCULACIÓN La circulación de un sistema (potencia de salida) es igual a la potencia de entrada por la potencia del sistema P(Sal) = P(E) * P(Sis) SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

ESTADOS DEL SISTEMA / BIBLIOTECA Un Sistema / Biblioteca necesariamente se encuentra en uno de estos tres estados SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

LOS TRES MUNDOS Realidad Sistema empírico Modelo Procesamiento Correspondencia Predetermina Predice SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

CONCLUSIONES SECABA –Taller: “Indicadores Objetivos para Medir el Desempeño de la Biblioteca” - Monterrey, Septiembre 2008 REBIESNE -- UDEM -- ITESM

CONCLUSIONES

La Biblioteca es Modelizable .

Poco avance en la predicción, modelización y leyes en nuestro campo se debe a la poca investigación y no al azar.

Las salidas de un Sistema están en función de sus Entradas y de su Potencia ( Principio de la Circulación )

Existe correlación entre Entradas y Salidas.

Podemos Formalizar el Funcionamiento de una Biblioteca (o una red de bibliotecas).

CONCLUSIONES

Los esfuerzos de un mismo signo se atraen .

La Teoría General de Sistemas ha demostrado gran utilidad en el avance de nuestro campo.

Es posible la formulación de principios y leyes en nuestro campo.

Por tanto, existe capacidad predictiva .

INDICADORES OBJETIVOS PARA MEDIR EL DESEMPEÑO DE LA BIBLIOTECA Dr. Javier López Gijón Facultad de Comunicación y Documentación Universidad de Granada (UGR) Correo-e: [email_address] Mtra. Belén Avila Tribunal Superior de Justicia de Andalucía Correo-e: [email_address] Laboratorio SECABA Taller de Evaluación Objetiva ¡GRACIAS POR SU ATENCIÓN!