Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

Herramientas e indicadores bibliométricos para la evaluación de la investigación en Ciencias de la Salud Emilio Delgado López-Cózar Profesor de Metodología de la Investigación

El guión
Propongo que hoy
primero pensemos y después actuemos
En evaluación de la ciencia con indicadores bibliométricos lo habitual es primero actuar y después pensar
Los territorios de la ciencia: las disciplinas científicas y sus especialidades. Hábitos de comunicación
Las tribus de la ciencia: El tamaño de las comunidades científicas
La calidad en la publicación científica: ¿cómo valorarla? ¿cómo se encara en Biomedicina?
Los indicadores bibliométricos
Las herramientas bibliométricas

Heterogeneidad de la ciencia los campos científicos
La naturaleza del conocimiento científico es muy diferente según
Áreas : CyT, CCSS, Humanidades
Disciplinas : Física, Química, Economía, Derecho, Psicología
Especialidades : Psicobiología, Psicología de la educación…
Microbiología, Bioquímica, Inmunología, Nefrología, Neurología…
Fundamentos de la investigación: qué es una investigación
Prácticas de investigación: cómo se hace
Hábitos de comunicación: publicación e información
Procesos de evaluación: cómo se evalúa
Duras / Básicas Blandas / Aplicadas

Heterogeneidad de la ciencia los campos científicos Juicios de valor Citas = Impacto Evaluación trabajos ex post CONSENSO COGNITIVO ¿Peer review? Peer Review Evaluación trabajos ex ante Descriptivos / Cualitativos Exprimentales Métodos de investigación Cualitativas Cuantitativas Técnicas análisis datos Realidad humana (Subjetiva / contextual) Realidad natural (Objetiva / universal) Objeto de investigación Lenguaje natural Matemático Lenguaje Individuo Grupo Organización Libros Revistas Medio publicación Humanidades Sociales CyT Inglés Lengua vernácula Lenguaje publicación

Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Publicación de resultados de investigación por tipo de documento Científicos británicos ( N=944 )

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Importancia de la revistas científicas como canales de publicación Científicos británicos

Los hábitos informativos Porcentaje citas a revistas Bases de datos SCI / SSCI (1993) (600.000 artículos, 10.000.000 referencias ) Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44

Biomedicina Ingenierías Psicología Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

Los hábitos informativos Distribución edad de las citas en tres disciplinas Citas en Web of Science )

Las comunidades científicas el tamaño Científicos = Publicaciones = Referencias bibliográficas = + + Citas Indicadores bibliométricos de mayor tamaño Mayores Impact Factor, Índice H… + +

Efectos en la productividad y la citación
Nº de publicaciones por autor
Nº de citas por trabajo
Web of Science 1999-2009 Media de citas por artículo y por especialidades Producción ISI-WOS anual Investigadores Principales muy productivos proyectos Plan nacional español 2007 1 EDUCACION 1 ECONOMIA 2 PSICOLOGIA 4 MATEMATICAS 4 AGRICULTURA 6 BIOMEDICINA 8 FISICA 9 QUIMICA Artículos ISI-WOS año

Efectos en las clasificaciones y rankings
Los países y las instituciones poseen especializaciones temáticas diferentes
Si un país o una institución está especializado
Áreas con un ritmo de publicación bajo y lento Áreas con elevada fluidez y productividad investigadora Si la base de datos empleada para el estudio tiene diferentes grados de cobertura para cada área

¿Qué es la calidad de una trabajo científico? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales

Métodos para valorarla Recuentos Cuantitativos Evaluación por pares Cualitativos
Nº publicaciones
Nº citas
Opiniones: juicios de valor
Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes

RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Trabajos de investigación publicados y presentados a evaluación en el RAE por investigadores biomédicos británicos

¿Y si le preguntamos a los científicos españoles? Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramos Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 * * * Opinión científicos españoles

“ Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el «Subject Category Listing» del « Journal Citation Reports » del « Science Citation Index » (Institute for Scientific Information -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI ” “ Con carácter orientador se considera que para obtener una evaluación positiva en las áreas de Ciencias Biomédicas, tanto básicas como clínicas, al menos dos de dichas aportaciones deben ser artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index ” Las agencias de evaluación Criterios evaluación científicos

Se puede considerar un menor número de trabajos si corresponden a publicaciones de elevada calidad “ [Publicar artículos en revistas científicas] es el elemento fundamental de la evaluación y la autoría de un buen número de publicaciones en revistas de calidad permite conseguir casi todos los puntos (…) para obtener la puntuación máxima en este apartado se requiere la aportación por el solicitante de un mínimo de (…) publicaciones científicas recogidas en Science Citation Index , si la mitad de ellas pertenecen al primer tercio de la categoría ” Las agencias de evaluación Criterios evaluación científicos Número de publicaciones para obtener la puntuación máxima Total primer tercio Total artículos ISI-JCR 6 10 20 12 20 40 Contratados Dr. Titulares Catedráticos

Los indicadores bibliométricos

Evaluación de la actividad científica Marcando el territorio

Presupuestos
Los resultados de investigación se manifiestan fundamentalmente a través de las publicaciones científicas.
Al contar publicaciones se asume implícitamente que todas ellas portan la misma cantidad de conocimiento científico certificado.
Todos los firmantes de un trabajo son responsables de la investigación expuesta y han contribuido de igual manera a la misma.
Las citas son una medida fiable y válida de la repercusión de los trabajos

Unidades de análisis Grandes números = estabilidad Pequeños números = alta variabilidad Deficiente Departamentos, grupos, investigadores Micro Buena Regiones, Instituciones, áreas temáticas Meso Máxima Países Macro Fiabilidad y Validez Agregado Nivel

Los métodos de recuento
Total o completo : A cada coautor se le atribuye el resultado completo.
El más empleado: fácil de aplicar, prima la colaboración, genera recuentos redundantes
Fraccionado : Se divide por el número de coautores que hayan producido el trabajo
Se penaliza la colaboración
Al primer autor : Todo para el primero nada para los restantes.
Más al primero que al resto
Fracción decreciente según el orden de firma

Instituciones firmantes y factor de impacto de los artículos publicados por autores con filiación española en las revistas Nature, Science, PNAS, New England Journal of Medicine, Lancet y JAMA distribuidos según posición firmante (2004-2005) Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona) ; 134(2):76-81

Contar por contar no sirve del todo para medir la contribución real de un científico, una institución o un país. Hay que pesar: la posición en la firma puede ser una unidad de medida
Los factores de impacto no se heredan como los rasgos genéticos
El impacto se mide con citas reales y no atribuyéndose el Impact Factor de la revista
Los métodos de recuento

Fuentes de datos
La calidad, fiabilidad y validez de los resultados de los estudios bibliométricos son proporcionales a la calidad, fiabilidad y cobertura de las bases de datos en que estos se sustentan
No son estadísticamente representativas en el sentido literal del término
Muestran distribuciones sesgadas (campos, temas, países, lenguas…)
El acceso a los datos es barato: La obtención de los mismos es casi instantánea
Los datos deben ser previamente tratados: el trabajo de normalización es duro (nombres autores e instituciones, sobre todo)
Podemos crear muchos indicadores y hacer “experimentos”

Fuentes de datos
Curriculun Vitae del investigador
SICA (Andalucía), OCU, CIENTIFICA (EC3)
Bases de datos bibliográficas
Multidisciplinares: Web of Science / SCOPUS
Filiación institucional todos los autores
Incluye referencias bibliográficas citadas
Especializadas
PUBMED
Solo filiación institucional para el primer autor
No incluye referencias bibliográficas citadas
Google Scholar
Mayor cobertura: total de documentos, tipo de publicaciones (libros, informes, tesis…), idiomas
Falta de control: selección de fuentes, normalización, dificultades descarga y tratamiento de la información
NO RECOMENDABLE PARA ESTUDIOS BIBLIOMÉTRICOS DE GRANDES AGREGADOS

Bases de datos nacionales versus internacionales Sociales / Humanidades Biomedicina Ciencia y Tecnología

Web of Science
Es la base de datos de referencia internacional para estudios bibliométricos
Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000)
La selección de las revistas se basa en la ley de Bradford y la
empresa selecciona según un protocolo muy conocido en el que las
citas y el prestigio juegan un papel esencial
La cobertura de las revistas es cover to cover y recoge las citas de
todas las publicaciones indizadas así como los resúmenes de las
mismas aunque no en toda la extensión temporal de la base de
datos que llega hasta 1900.
Ofrece un variado conjunto de indicadores bibliométricos
“ precocinados”

SCOPUS
Se perfila como la competencia a WoS
Multidisciplinar aunque con menos atención a las Ciencias Sociales
(4%) y humanidades (1%) aunque están ampliándola a marchas
forzadas.
Ofrece información sobre unas 16.000 revistas y otra serie fuentes como páginas web, patentes… aunque la indización parece menos intensiva
Parte de las revistas están procesadas de forma incompleta
Incluye también citas pero sólo hasta 1996
Excelente software de consulta y navegación que incluye
indicadores de revistas
Excelente localizador de autores
Menos sesgo anglosajón
No se explican los criterios de selección
Prima la cantidad sobre la calidad

Torres-Salinas, D.; Jiménez-Contreras, E.; Delgado López-Cózar, E. Rankings for departments and researchers within a university using two different databases: Web of Science versus SCOPUS. Scientometrics. 2009, 80(3): 761-774 Comparando WoS y Scopus Biomedicina en la Universidad de Navarra (1999-2005)

Los indicadores
Producción
Colaboración
Impacto
Nuevos indicadores

Producción
Producción bruta
Producción desagregada por fuente de información
JCR / no JCR
Pubmed, IME, WOS
Por tipología documental:
Citables: Artículos, revisiones, notas / No citables (ISI/JCR)
Artículos, revisiones, notas, cartas, editoriales
Libros, capítulos de libros, congresos …
Por especialidades o áreas:
Porcentajes: % o peso que representan respecto al marco disciplinar
Índices de actividad y especialización
Autoría
Productividad:
Número de trabajos por autor (Lotka)
Índice de transitoriedad de Price: nº de autores con un sólo trabajo
Orden de firma: primer autor, último, posición intermedia, responsable correspondencia
Percentil productivo: posición relativa del científico, institución…
Tasas de variación

Producción

Colaboración
Autores
Tasa de colaboración: % de documentos firmados por más de un autor
Índice de coautoría: firmas/trabajo
Redes de coautorías
Instituciones
Tasa de colaboración: % de documentos firmados por más de una institución
Número de instituciones por trabajo
Tipo de colaboración:
Intrainstitucional: entre departamentos de una misma institución
Local: entre las instituciones de una misma provincia
Regional: entre las instituciones de una CCAA
Nacional: con otras CCAA diferentes a la de la institución
Internacional (países, zonas geográficas)
Redes de colaboración

Colaboración

Impacto
Aclaración previa
Impacto esperado (Impact Factor y sucedáneos)
Es el impacto de la revista: promedio de citas de los trabajos publicados
Fácil de aplicar: El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos
Impacto observado:
Número de citas observadas, esto es, recibidas por los trabajos
Difícil de aplicar : El impacto de un trabajo es el de la revista en que se publica. Asignación automática. El preferido en los estudios bibliométricos

Impacto
Impacto
ISI-JCR
Impact Factor
Inmediacy Incdx
Cited Half Life
Las alternativas: SJR, SNIPP , Eigenfactor, Article influence
Posiciones: TOP 3, Cuartiles…
Factor impacto relativo…
Citas
Promedio de citas por trabajo
% de documentos citados
% de documentos muy citados
Caracterización citantes: autocitas, domésticas,
Índice H
Une tamaño (producción) e impacto
Los derivados del H: G, E, R, HC, HG, HI, HM, AW, AWCR, AWCRpA, q2, R

Impacto

M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Thomson ISI-JCR

Factor de impacto Ese anhelado objeto del deseo

Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005 Número de trabajos publicados en 2004 y 2005 Impact Factor = A/B 2006 2005 2004 2006 Impact Factor 2003 2007 Tiempo JCR La fórmula mágica

El factor de impacto es un promedio
OJO: La distribución asimétrica de las citas de una revista hace que dicho promedio no sea representativo
El impacto de un artículo nunca equivale al impacto de la revista
Citas trabajos publicados en 2007 International Journal of Nursing Studies 8 (5%) trabajos concentran el 74% de las citas 150 (95%) trabajos concentran el 26% de las citas Advertencias

Sesgos en la fórmula de cálculo:
Numerador: citas a todos los items publicados en la revista
(artículos, revisiones, casos clínicos, editoriales, cartas…)
Denominador: solo contabiliza los trabajos citables
(artículos originales y de revisión)
M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Advertencias

Advertencias
El factor de impacto depende de múltiples factores :
Naturaleza y tipo de la disciplina científica: básica/aplicada
Hábitos de publicación y prácticas de citación de las comunidades científicas
Tamaño de las disciplinas y comunidades científicas

Advertencias
El factor de impacto es sensible a múltiples factores :
Tamaño de las revistas

Advertencias
El factor de impacto es sensible a múltiples factores :
Tipo de revista: general o especializada
Rapidez en la publicación (ventana de citación)
Tipo de trabajos publicados: revisiones, artículos metodológicos, cartas…
Publicación en open access

Cautelas Editores en su afán de incrementar el impacto de su revista se aprestan a manipular las políticas editoriales
Fomentan la autocitación: recomiendan directamente a los autores que citen masivamente artículos publicados en la propia revista
Publican artículos polémicos
Favorecen la publicación de trabajos que tienen una alta potencialidad de citación, que no computan en el denominador pero sí en el numerador de la fórmula que calcula el factor de impacto

La impactitis Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean Cautelas

Miden la utilidad y la influencia intelectual, no la calidad
Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas
Mide el impacto de la revista y no el del artículo
Son un magnífico indicador de competitividad
Si se emplea para evaluar países, instituciones o individuos recordar que entonces es un indicador de impacto esperado y no observado
Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y
no ser aplicados mecánicamente
Recomendaciones

Las alternativas al Impact Factor Citas con pesos Torres-Salinas, Daniel ; Jiménez-Contreras, Evaristo . Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información , 2010, v. 19, n. 2, pp. 201-207.

Loet Leydesdorff. How are new citation-based journal indicators adding to the bibliometric toolbox?, Journal of the American Society for Information Science and Technology 60(7) (2009) 1327-1336 Las alternativas al Impact Factor Citas con pesos

Nuevos indicadores Redes Sociales
Redes basadas en coautorías, cocitas, copalabras o en algún otro tipo de enlace
Grado : Expresa el porcentaje de lazos que tiene un actor. Cuanto mayor es el grado mayor será el número de personas con las que se conecta un nodo
Intermediación : Grado en que un punto está situado entre los otros
puntos de la red. Mide la capacidad que tienen los nodos para conectar diversos grupos y hacer de intermediarios
Cercanía : Vinculación entre nodos. Muestra la capacidad de llegar directamente a muchos de los otros miembros de la red sin apoyarse en intermediarios

El Índice H

Fortalezas
Combina producción e impacto en un solo indicador
Simple y sensillo de calcular y entender
Debilidades
Valora la carrera de un investigador:
No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas-
Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar).
Inadecuado para comparar a investigadores de distintas áreas científicas
Favorece a los autores senior frente a los noveles
No excluye las autocitas
Penaliza a los autores con estrategias de publicación muy selectivas: pocos documentos y altamente citados
El Índice H

Nuevos indicadores Redes Sociales

Nuevos indicadores El uso • “ a number of initiatives have attempted to measure scientific impact from usage log data” • “ derivation of metrics to assess the quality and impact of scholarly communication units” Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009 Los datos de uso tienen diferentes ventajas sobre los de citas • Inmediatos Consisten en procesar la información derivada de los ficheros log de consulta, donde que recogidos las sesiones de consulta de los usuarios – Fechas/duración – Identificador de la sesión – Identificador de los artículos – Tipo/resultados de la consulta Los indicadores de uso. • ¿Han venido para quedarse? • ¿Aportan nueva información? • ¿La información es complementaria?, ¿alternativa?, ¿mejor? ¿distinta? • ¿Son una alternativa real a las citas?

¿Es lo mismo visitar un sitio, descargar un pdf, que citar un trabajo?
Visitar
¿Sabemos qué se hace cuando se visita?
Leer sumarios, resúmenes, artículos
¿Todas las visitas duran lo mismo?
Descargar
¿Se leen de forma completa antes y por eso se descargan? ¿se lee un resumen y se descarga para proceder después a leerlo?
¿Todos los trabajos que se descargan después se leen?
Citar
El trabajo se ha leído… supuestamente
Ha sido útil para el lector, por ello se cita. Existe ya un juicio de valor
Ha influido en el trabajo, por ello se cita
Lo que es más difícil es saber en qué sentido se emite un juicio de valor: positivo o negativo
Nuevos indicadores El uso

Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009

Nuevos indicadores El uso: métrica de PLOS One Uso real Prestaciones

Las herramientas

Productos para análisis automáticos pegados a bases de datos de referencia
Thomson ISI:
WoS: Analyze results, create citation reports
Essential Science Indicators
Science Watch
Harzing and Perish (Google Scholar)
SCOPUS
Citation Tracker
Journal analyzer
Scival (Elsevier)
Productos cerrados
CIENTIFICA (EC3)

PROYECTO científica_ugr El sistema de información y evaluación científica de la Universidad de Granada Vicerrectorado de Investigación y Política Científica. En colaboración con el grupo EC3

CENTRALIZACIÓN DE FUENTES DE INFORMACIÓN ERIH JCR Proyectos vice Personal UGR Contratos OTRI Tramos INTERNAS EXTERNAS
Producción revistas
Libros
Congresos
Otras fuentes

EJEMPLO: DEPARTAMENTOS Niveles de consulta: Univ, Dpt, GI, Ponenca, Investigador

EJEMPLO: DEPARTAMENTOS 1. Seleccionamos el nivel 2. Seleccionamos DPT 3 Menú de opciones

EJEMPLO: DEPARTAMENTOS OPCIONES DEL MENÚ (para todos los niveles) TABLEROS (opción de consulta de la información en pantalla). - Tablero ejecutivo (es un resumen del agregado) - Producción en revistas científicas y visibilidad (ciencias y sociales/humanidades) - Producción de libros, capítulos y congresos - Recursos Económicos: Proyectos I+D y contratos - Rankings INFORMES DE DATOS - La misma información que en los tableros pero dispuesta a modo de informe A4 e imprimible en pdf. INFORMES DESGLOSADOS. - Son las referencias de artículos, proyectos, etc… (por ejemplo referencias bibliográficas) TABLERO EXPORTACIÓN - Permite exportar toda la información en diferentes formatos (.doc, .xls, . Txt, etc…)

EJEMPLO: DEPARTAMENTOS, TABLERO EJECUTIVO 1. Tablero ejecutivo permita comparativas 2. Los tableros incluyen varias fichas

EJEMPLO: DPT, TABLERO PRODUCCIÓN CIENTÍFICA
Producción en revistas
Producción en revistas JCR
Publicaciones por profesor
Publicaciones 1º Cuartil
Publicaciones Top3
Impact Factor (Sum, Prom)

Producción
por categorías
Producción
por revista

Ranking
investigadores
Ranking
Investigadores gráfico

EJEMPLO: RANKING GRUPOS DE INVESTIGACIÓN

EJEMPLO: CONSULTA DE PONENCIAS

EJEMPLO: DPT, OTRAS OPCIONES: INFORMES

Un ejemplo

Cuidado con los nombres

Autores más productivos instituciones paises Tipos documentales

Organismo financiador Áreas temáticas Revistas

Essential Science Indicators

La investigación de más impacto a nivel mundial Ruiz Pérez, R.; Jiménez Contreras, E.; Delgado López-Cózar, E. Complementos bibliométricos de Thomsom Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información 2008, 17(5): 553-557 ACCESIBLE EN http://ec3. ugr.es /publicaciones

Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3

http://bib.us.es	235
http://ec3noticias.blogspot.com	48
http://ec3noticias.blogspot.com.es	8
http://www.ec3noticias.blogspot.com	7
http://auctor.us.es	3
http://www.ec3noticias.blogspot.com.es	1

Curso UIMP 2010 Herramientas e indicadores bibliometricos para la evaluacion de la investigacion en ciencias de la salud

by EmilioDelgado

Accessibility

Categories

Upload Details

Usage Rights

6 Embeds 302

Statistics