1. La Bibliometría en la evaluación de
resultados de la investigación
Daniel torres salinas
torressalinas@gmail.com
Máster en Dirección y Gestión de la
I+D +I en Ciencias de la Salud
Madrid 8 de Julio de 2011

2. 0. INTRODUCCIÓN Y RECURSOS
RECOMENDADOS

3. Contenidos y características del curso
• Objetivos del curso:
Conseguir que en 150 minutos seamos capaces de aprender que
es la bibliometría, cuales son sus indicadores clave y aprender
prácticamente a calcularlos en la Web of Knowledge.
• Contenidos del curso:
Introducción teórica a la bibliometria, para qué sirve, set básico
de indicadores, la Web of Science. Práctica: calculando
indicadores a partir de la Web of Knowledge
• Fecha y duración:
8 de Julio, 16 horas; 3 horas (con 30 minutos de descanso)
• Profesor:
Daniel Torres-Salinas (GIEC3 – Univ. Navarra)
torressalinas@gmail.com

4. Recursos básicos: monografías
• Maltrás Barba, Bruno. Los indicadores
bibliométricos: fundamentos y aplicación al análisis
de la ciencia. Gijón, Trea, 2003
• Moed, Henk F. Citation analysis in research
evaluation. Kluwer Academic, 2005
• Vinkler, Peter. Evaluation of research by
scientometrics indicators. Oxford Publishing, 2010

5. Recursos básicos: miscelánea
• Boletines y sites
Research Trends de Elsevier
ScienceWatch de Thomson Reuters
• Blogs
Bibliometría de Álvaro Roldán
Ec3noticias del Grupo de Investigación EC3
• Revistas científicas
Scientometrics
Revista Española Documentación Científica
• Redes Sociales
Hashtag #GIEC3

6. 1. TEORÍA. CUESTIONES
BÁSICAS A TENER EN CUENTA

7. ¿Por qué es necesario estar familiarizado con la
bibliometría? (1/3)
Porque la mayor de las políticas científicas y la
evaluación del rendimiento científico a nivel
individual se articulan en torno a bases de datos y
productos de evaluación basados en la bibliometria
CNEAI

8. ¿Por qué es necesario estar familiarizado con la
bibliometría? (2/3)
El rendimiento en centros I+D se suele comparar a partir
de rankings basados en indicadores bibliométricos

9. ¿Por qué es necesario estar familiarizado con la
bibliometría? (3/3)
Gran parte de los recursos se asignan en la actualidad
teniendo en cuenta o con un peso importante de los
indicadores bibliométricos logrados.
Convocatoria Centros de Excelencia Severo Ochoa
Convocatoria Programa Nacional Contratación RRHH I+D

10. El lugar de la bibliometria en la investigación
biomédica y los objetivos de la sociedad

11. Por tanto la bibliometría es una herramienta de
diagnóstico

12. Presupuestos para realizar evaluaciones basadas
en indicadores bibliométricos
Al contar Todos los
publicaciones se firmantes de un
Los resultados Las citas son
asume que trabajo son
investigación se una medida
todas ellas responsables de
manifiestan a fiable y válida
portan la misma la investigación
través de de la
cantidad de expuesta y han
publicaciones repercusión de
conocimiento contribuido de
científicas. los trabajos
científico igual manera a
certificado. la misma.

13. Nivel de análisis o agregación
• Es la base de datos de referencia internacional para estudios
bibliométricos MACRO
• AGREGADO: países
• Cubre las mejores revistas de todas las áreas (10,000) y buena parte
de las actas de • FIABILIDAD: Máxima
congresos (100.000)
• La selección de las revistas se basa en la ley de Bradford y la
MESO
empresa selecciona según un protocolo muy conocido en el que las
citas y el prestigio juegan un papel esencial
• AGREGADO: regiones, instituciones, áreas
• La cobertura de las revistas es cover to cover y recoge las citas de
• FIABILIDAD: Moderada
todas las publicaciones indizadas así como los resúmenes de las
mismas aunque no en toda la extensión temporal de la base de
datos que llegaMICRO
hasta 1900.
• AGREGADO: personas, grupos, secciones
• Ofrece un variado conjunto de indicadores bibliométricos
“precocinados”• FIABILIDAD: Lectura con precauciones

14. Los métodos de recuento de las publicaciones
• A cada coautor • Se divide el • Todo el trabajo
se le da asigna trabajo entre el se asigna
igual el trabajo número de únicamente al
publicado. coautores primer autor
Total Completo 1º Autor
• Se le da más • Fracción
peso al primer decreciente
autor que al según orden de
resto. firma.
1º Autor + Decreciente

15. Diferentes comportamientos según disciplina (1/2)
Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA
CLINICAL
NEUROPSYCHOL.
Vida Media
9 años
GENOME
RESEARCH
Vida Media
5 años
Fuente:
JCR 2010 ed.

16. Diferentes comportamientos según disciplina (2/2)
Volúmenes y promedios de citas diferentes
Datos: España | Categorías JCR | Período 2001-2010

17. Los indicadores bibliométricos son asimétricos
Seglen, P. The Skeeness of science. Journal of the American Society for
Information Science and Technology. V. 43, N. 9, pp. 628–638, 1992

18. 2. LA FUENTE DE DATOS:
WEB OF KNOWLEDGE

19. Introducción mínima a la Web of Knowledge

20. La Web of Knowledge, nuestra fuente de datos
PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:
WEB OF SCIENCE (WOS): ESI
aglutina 3 índices de citas Essential Science
Science
SCI SSCI A&HCI Watch
Indicators
Science Social Art &
Citation Science Humaniti. JCR
Index Citation Citation Journal
(7858 Index Index Citation
revistas) (2553 (1462 Reports
revistas) revistas)
A PARTIR DE ESTAS BASES DE DATOS
THOMSON ELABORA OTROS PRODUCTOS
BIBLIOMÉTRICOS:

21. Los productos derivados de la Web of Science
Journal Citation Reports
Science Watch
Essential Science Indicators
• Tiene solo dos • Contiene datos • Es una web
ediciones de sobre gratuita donde
Ciencias y de instituciones, podemos
Ciencias Sociales países, disciplinas encontrar análisis
• Se calculan para • Podemos localizar específicas
un total de 8200 los artículos , los • Se analizan desde
revistas diferentes investigadores y investigadores ,
• Las revistas están los frentes más revistas hasta
clasificadas en un citados áreas y países
total de 235 • Contiene • Enriquecen la
categorías Baselines que nos información
científicas permite bibliométrica con
• En la web contextualizar la entrevistas, fotos,
tenemos impactos información comentarios,
disponibles desde bibliométrica gráficos, etc..
1996.

22. Web of Science, una selección de las mejores revistas
Web of Science
(SCI, SSCI, AHCI)
DIAN Revistas
Científicas
(importantes)
s
Todas las
Revistas
Científicas

23. ¿Qué tal es su cobertura en Ciencias de la Salud?
Cobertura WoS de las principales áreas y
su adecuación como fuente de evaluación
DIAN
> 80% 60-80% 40-60%
Biología Molecular y Física aplicada y química Matemáticas
bioquímica Ciencias s
Biológicas Ingeniería
(animales y plantas)
Ciencias Biológicas Economía
(humanos) Psicología y Psiquiatría
<40%
Ciencias Sociales
Medicina Clínica relacionadas con Medicina Otras Ciencias Sociales
Física y Astronomía Geociencias Arte y Humanides
Química
EXCELENTE MUY BUENA BUENA-MODERADA
Moed, 2005

24. El interfaz de consulta de la ISI WOK
WEB OF
SCIENCE
DIAN
s
RECURSOS
OTROS

25. 3. LOS INDICADORES
BIBLIOMÉTRICOS

26. Tipos de indicadores bibliométricos
PRODUCCIÓN IMPACTO
Indicadores
s
Bibliométricos
NUEVOS
COLABORACIÓN
INDICADORES

27. Ejemplos de indicadores bibliométricos habituales
Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos
Producción Impacto Colaboración
• Nº Total documentos • Promedio y suma del • Tasas de colaboración
• Nº Total documentos Impacto Factor • Índice de coautoría
citables • Factor de Impacto de general
• Nº de documentos por relativo • Índice de coautoría
investigador • Nº o % de documentos institucional
• Nº de documentos por cuartil (o bien decil • Análisis de Redes
según posición firma y tercil) s Sociales a partir firma
(inicial o final etc.) • Promedio de citas de la firma
• Índice de • Número de citas • Número de
Especialización • Tasa Autocitación Instituciones firmantes
Temática • Citas normalizadas: • Patrones de
• Índice de Actividad Crown Indicator, colaboración (interna,
temática Karolinska nacional,
• Índice H y derivados internacionales)
* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.

28. Indicadores recomendados
COLABORACÍÓN PRODUCCIÓN
Nº
CIENTÍFICA
Doc
(cit.)
Nº docs en
H-INDEX
1º Cuartil
Nº o
Prom
citas
IMPACTO IMPACTO
OBSERVADO ESPERADO

29. Ejemplos: Nº docs Citables
Evolución de la producción citable de la Universidad de Navarra

30. Ejemplos: Índice Actividad Temática
IAT de la Universidad Navarra comparado con España. 2005-2009
% España (E): 0,17
% Univ Navarra (N): 0,50
IAT: 0,50/0,17 = 2,94

31. Ejemplos: % Docs en el 1º Cuartil
% de docs en el 1º Cuartil por área para España. 2005-2009
OJO Con los indicadores basados en el IF: son promedios | el impacto de una revista
no equivale al impacto de un artículo | No es un valor comparable por área | Fácil de
manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad

32. Ejemplos: Promedio de Citas
Nº y Promedio de Citas de la Universidad de Navarra comparado
con otras universidades españolas. 2005-2009
OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible
tener algunos promedios de referencia como el del área o el páis

33. Ejemplos: Nº Docs. Citables VERSUS
Promedio de citas
Nº Docs Citables y Promedio de Citas de las universidades
españolas en Medicina Clínica y Farmacia.

34. Ejemplos: el indicador CROWN
CROWN INDICATOR del CITIC-UGR de la Universidad de Granada
para el período 2001-2010
Tomamos como referencia los promedios de citas del área de
Ingeniería disponible en los ESI

35. Ejemplos: El índice-H
Índice H para diferentes hospitales españolas con
diferentes cortes cronológicos
OJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina
autocitas | Penaliza a los autores selectivos

36. Ejemplos: % Colaboración Inter.
% de documentos firmados con instituciones extranjeras
por la Universidad de Navarra

37. Estrategia para evaluar un centro
Todas las evaluaciones son multimensionales y así hay plantearlas
Moed 2011

38. Estrategia para evaluar un centro
Ejemplo de Evaluación de un centro
Vinkler
2010

39. Es importante contar con cuadros de
mando
Cuadro de mando empleado en la UNAV (software: CIENTIFICA)

40. 4. PRÁCTICAS BÁSICAS
NOTA: Con las consultas directas en Web of Science que veremos en
éstas prácticas nos podemos aproximar a la producción de un centro,
investigador etc.… pero no se consiguen resultados exactos
(necesarios para la toma de decisiones) ya que existen numerosos
problemas de normalización de los nombres de autores e
instituciones. En esta práctica mencionaremos dichos problemas
aunque no profundizaremos sobre los mismos.

41. Práctica 1
CALCULAR EL Nº DE DOCUMENTOS CITABLES DE
CIBERNED DURANTE EL PERÍODO 2007-2010

42. Práctica 1. Nº de Citables de CIBERNED
1. Realiza la búsqueda en el menú principal
2. Filtra en el menú de la derecha las tipologías documentales citables
3. Filtra en el menú de la derecha por años

43. Práctica 2
CALCULAR LAS ÁREAS DE ESPECIALIZACIÓN DE
CIBERNED Y VER CUANTOS CITABLES TIENE EN
CADA UNA DE ELLAS Y ESPECÍFICAMENTE EN
“NEUROSCIENCE”. 2007-2010

44. Práctica 2. Nº Citables de CIBERNED en la
categoría de “Neurosciences”
Con la búsqueda anterior
1. En la zona izquierda selecciona la opción “Analyze Results” y en la siguiente
pantalla selecciona “subject área” y pincha en “Analyze”
2. Resultado

45. Práctica 3
CALCULAR CUANTOS Y QUE PORCENTAJE DE
DOCUMENTOS CITABLES APORTA CIBERNED A LA
PRODUCCIÓN CIENTÍFICA DE ESPAÑA EN LA
CATEGORÍA “NEUROSCIENCES”. 2007-2010

46. Práctica 3. Aportación a España en
“Neuroscience” de CIBERNED
1. Vuelve al menú de búsqueda y busca la producción española global
2. Selecciona como anteriormente solo los documentos citables
3. Analiza resultados por área (subject) y filtra por “Neuroscience”
Producción Producción
Citables en Citables en
“Neurosciences
de CIBERNED”
“Neurosciences
de España” 12%
= 245 = 2016

47. Práctica 4
INDENTIFICAR CUAL ES LA REVISTA CIENTÍFICA
DONDE TIENE MÁS PUBLICACIONES EL
CIBERNED. UNA VEZ IDENTIFICADA CONSULTAR
SU IMPACT FACTOR Y EL CUARTIL EN EL QUE SE
SITÚA.

48. Práctica 4. Revista donde más publica
CIBERNED. Factor de impacto y cuartil
1. Vuelve a la búsqueda original
2. Analiza o filtra por revista (source title)
4. Ve a “additional Resources” y selecciona el JCR
5. Busca la revista y mira su IF y el cuartil para la 2010 ed

49. Práctica 5
IDENTIFICA LAS REVISTAS CON MAYOR IMPACTO
Y QUE PUEDEN SER OBJETIVO DE CIBERNED

50. Práctica 5. Consultar JCR por categoría
1. Identifica como anteriormente las áreas donde publica el centro
2. Acude al JCR y consulta para su ed. De 2010 las revistas con mayor impacto en
“Neurosciences”, “Clinical Neurology” y “Biochemistry & Molecular Biology”.

51. Práctica 6
CALCULA CUAL ES EL PROMEDIO Y EL NÚMERO
DE CITAS DE CIBERNED. 2007-2010

52. Práctica 6. Obtener para CIBERNED, Número
de Citas y Promedio
1. Vuelve a la búsqueda original
2. Selecciona en la zona derecha la opción “Create Citation Report”
3. Puedes obtener los indicadores en el informe generado

53. Práctica 7
CALCULA EL CROWN INDICADOR (SEGÚN
ESTÁNDAR DEL CWTS) PARA CIBERNED
TENIENDO EN CUENTA LA CATEGORÍA MUNDIAL
“ ESI” NEUROSCIENCE. 2007-2010

54. Práctica 7. Introducción al cálculo del CROWN
PASO 1. Obtener unos valores de referencia (mundiales, país, región, …)
PASO 2. Obtenemos el número de citas de la unidad (persona, centro,
etc..) que estamos evaluando.

55. Práctica 7. Introducción al cálculo del CROWN
PASO 3. Clasificamos esos trabajos según el área de publicación
PASO 4. Vemos que valor debería haber alcanzado según la tabla de
referencia del Paso 1 (respetar área , año de publicación y tipo doc.)

56. Práctica 7. Introducción al cálculo del CROWN
Finalmente dividimos las
citas alcanzadas entre las citas teóricas
CROWN = 1,7

57. Práctica 7. Cálculo CROWN para CIBERNED
1. A partir del “Citation Reports” y año por año preparamos una tabla con el número
de trabajos citables y el número de citas
2. Buscamos la tabla de referencia de promedio de citas de“Neuroscience”* en ESI
*Asumimos para agilizar la práctica que todos los trabajos pertenecen al área de Neuroscience

58. Práctica 7. Cálculo CROWN para CIBERNED
3. Añadimos columna con las citas que se esperan para un trabajo de neuroscience
4. Calculamos el global de citas que se esperaban para nuestro centro multiplicando
las columnas A por C

59. Práctica 7. Cálculo CROWN para CIBERNED
4. Finalmente calculamos el CROWN dividiendo las citas alcanzada entre las citas
esperadas , esto es dividir B entre D

60. Práctica 8
CÁLCULA EL ÍNDICE H DE CAMINS A (PROGRAMA
Author=(PALACIOSY COMPARALO CON EL DE PALACIOS
1) JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL
OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))
SATIBAÑEZ JL Y PUELLES JL

61. Práctica 8. Cálculo del índice H
1. Has las búsquedas para cada autor y utiliza “Citation Reports” para conocer el H
CAMINS, ANTONIO PALACIOS SANTIBAÑEZ, JOSE M PUELLES LOPEZ, LUIS
Author=(PALACIOS JM)
Author=(CAMINS A) Author=(PALACIOS JM) AND Author=(PUELLES L)
Address=((AD=((NEURO* OR
PHARMA* OR ALMIRALL OR
BASEL OR INST BIOL FUND*)
NOT (POLITECN AND
MADRID))))

62. Práctica 9
IDENTIFICA LOS TRES TRABAJOS MÁS CITADOS
DE CIBERNED. CONTEXTUALIZA LAS CITAS A
Author=(PALACIOS JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL
OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))
NIVEL MUNDIAL Y NIVEL NACIONAL

63. Práctica 9. Trabajos a nivel internacional
Viendo como un trabajo se sitúa a nivel internacional
1. Busca la producción de CIBERNED; en resultados ordena según el número de citas
Author=(PALACIOS JM)

64. Práctica 9. Trabajos a nivel internacional
2. Ve a los ESI y busca la tabla de percentiles de Neuroscience
Author=(PALACIOS JM)
3. Mira donde se situaría cada trabajo
TRABAJO 1. Autophagy (2008) con 489 citas se sitúa en el 0,01% mundial de
los más citados
TRABAJO 2. Nature Genetics (2009) con 200 citas se sitúa en el 0,10%
mundial de los más citados
TRABAJO 2. Lancet Neurology (2008) con 124 citas se sitúa en el 1,00 %
mundial de los más citados

65. Práctica 9. Trabajos a nivel nacional
Viendo como un trabajo se sitúa a nivel nacional
1. Coge el trabajo más citado e identifica en qué área se ha publicado
Author=(PALACIOS JM)
2. Busca la producción científica española en 2008 (año de publicación del trabajo)

66. Práctica 9. Trabajos a nivel nacional
3. A través de la opción analyze quédate solo con los trabajos publicados en CELL
BIOLOGY (Categoría donde se publicó el trabajo)
4. Ordena los resultados (producción de España en CELL BIOLOGY en el año 2008)
Author=(PALACIOS JM)
El trabajo es el número 1 !!

67. Práctica 10
CÁLCULA EL NÚMERO Y PORCENTAJE DE
Author=(PALACIOS JM) AND Address=(AD=((NEURO* ORINTERNACIONAL. BASEL
TRABAJOS FIRMADOS A NIVEL PHARMA* OR ALMIRALL OR
OR INST BIOL FUND*) NOT (POLITECN AND MADRID)))
2007-2010

68. Práctica 10. Colaboración internacional
1. Volver a la búsqueda de 443 y en “analyze results” seleccionar countries; una vez
que tengamos el lista seleccionar todos los países menos España y View Records
Author=(PALACIOS JM)
2. Una vez que tenemos los registros ver cuantos se han publicado por año y calcular %

69. Daniel torres salinas
torressalinas@gmail.com