La bibliometría en la evaluación de resultados de la investigación

4,364 views
4,252 views

Published on

Published in: Technology, Business
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
4,364
On SlideShare
0
From Embeds
0
Number of Embeds
7
Actions
Shares
0
Downloads
127
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

La bibliometría en la evaluación de resultados de la investigación

  1. 1. La Bibliometría en la evaluación de resultados de la investigación Daniel torres salinas torressalinas@gmail.com Máster en Dirección y Gestión de la I+D +I en Ciencias de la Salud Madrid 8 de Julio de 2011
  2. 2. 0. INTRODUCCIÓN Y RECURSOS RECOMENDADOS
  3. 3. Contenidos y características del curso• Objetivos del curso:Conseguir que en 150 minutos seamos capaces de aprender quees la bibliometría, cuales son sus indicadores clave y aprenderprácticamente a calcularlos en la Web of Knowledge.• Contenidos del curso:Introducción teórica a la bibliometria, para qué sirve, set básicode indicadores, la Web of Science. Práctica: calculandoindicadores a partir de la Web of Knowledge• Fecha y duración:8 de Julio, 16 horas; 3 horas (con 30 minutos de descanso)• Profesor:Daniel Torres-Salinas (GIEC3 – Univ. Navarra)torressalinas@gmail.com
  4. 4. Recursos básicos: monografías• Maltrás Barba, Bruno. Los indicadoresbibliométricos: fundamentos y aplicación al análisisde la ciencia. Gijón, Trea, 2003• Moed, Henk F. Citation analysis in researchevaluation. Kluwer Academic, 2005• Vinkler, Peter. Evaluation of research byscientometrics indicators. Oxford Publishing, 2010
  5. 5. Recursos básicos: miscelánea• Boletines y sitesResearch Trends de ElsevierScienceWatch de Thomson Reuters• BlogsBibliometría de Álvaro RoldánEc3noticias del Grupo de Investigación EC3• Revistas científicasScientometricsRevista Española Documentación Científica• Redes SocialesHashtag #GIEC3
  6. 6. 1. TEORÍA. CUESTIONESBÁSICAS A TENER EN CUENTA
  7. 7. ¿Por qué es necesario estar familiarizado con la bibliometría? (1/3) Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel individual se articulan en torno a bases de datos y productos de evaluación basados en la bibliometriaCNEAI
  8. 8. ¿Por qué es necesario estar familiarizado con la bibliometría? (2/3)El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos
  9. 9. ¿Por qué es necesario estar familiarizado con la bibliometría? (3/3) Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los indicadores bibliométricos logrados. Convocatoria Centros de Excelencia Severo Ochoa Convocatoria Programa Nacional Contratación RRHH I+D
  10. 10. El lugar de la bibliometria en la investigación biomédica y los objetivos de la sociedad
  11. 11. Por tanto la bibliometría es una herramienta de diagnóstico
  12. 12. Presupuestos para realizar evaluaciones basadas en indicadores bibliométricos Al contar Todos los publicaciones se firmantes de un Los resultados Las citas son asume que trabajo son investigación se una medida todas ellas responsables de manifiestan a fiable y válida portan la misma la investigación través de de la cantidad de expuesta y han publicaciones repercusión de conocimiento contribuido de científicas. los trabajos científico igual manera a certificado. la misma.
  13. 13. Nivel de análisis o agregación• Es la base de datos de referencia internacional para estudios bibliométricos MACRO • AGREGADO: países• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de • FIABILIDAD: Máxima congresos (100.000)• La selección de las revistas se basa en la ley de Bradford y la MESO empresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial • AGREGADO: regiones, instituciones, áreas• La cobertura de las revistas es cover to cover y recoge las citas de • FIABILIDAD: Moderada todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llegaMICRO hasta 1900. • AGREGADO: personas, grupos, secciones• Ofrece un variado conjunto de indicadores bibliométricos “precocinados”• FIABILIDAD: Lectura con precauciones
  14. 14. Los métodos de recuento de las publicaciones • A cada coautor • Se divide el • Todo el trabajo se le da asigna trabajo entre el se asigna igual el trabajo número de únicamente al publicado. coautores primer autor Total Completo 1º Autor • Se le da más • Fracción peso al primer decreciente autor que al según orden de resto. firma. 1º Autor + Decreciente
  15. 15. Diferentes comportamientos según disciplina (1/2) Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA CLINICAL NEUROPSYCHOL. Vida Media 9 años GENOME RESEARCH Vida Media 5 años Fuente: JCR 2010 ed.
  16. 16. Diferentes comportamientos según disciplina (2/2) Volúmenes y promedios de citas diferentes Datos: España | Categorías JCR | Período 2001-2010
  17. 17. Los indicadores bibliométricos son asimétricos Seglen, P. The Skeeness of science. Journal of the American Society for Information Science and Technology. V. 43, N. 9, pp. 628–638, 1992
  18. 18. 2. LA FUENTE DE DATOS: WEB OF KNOWLEDGE
  19. 19. Introducción mínima a la Web of Knowledge
  20. 20. La Web of Knowledge, nuestra fuente de datos PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA: WEB OF SCIENCE (WOS): ESI aglutina 3 índices de citas Essential Science Science SCI SSCI A&HCI Watch Indicators Science Social Art & Citation Science Humaniti. JCR Index Citation Citation Journal (7858 Index Index Citation revistas) (2553 (1462 Reports revistas) revistas) A PARTIR DE ESTAS BASES DE DATOS THOMSON ELABORA OTROS PRODUCTOS BIBLIOMÉTRICOS:
  21. 21. Los productos derivados de la Web of Science Journal Citation Reports Science Watch Essential Science Indicators • Tiene solo dos • Contiene datos • Es una web ediciones de sobre gratuita donde Ciencias y de instituciones, podemos Ciencias Sociales países, disciplinas encontrar análisis • Se calculan para • Podemos localizar específicas un total de 8200 los artículos , los • Se analizan desde revistas diferentes investigadores y investigadores , • Las revistas están los frentes más revistas hasta clasificadas en un citados áreas y países total de 235 • Contiene • Enriquecen la categorías Baselines que nos información científicas permite bibliométrica con • En la web contextualizar la entrevistas, fotos, tenemos impactos información comentarios, disponibles desde bibliométrica gráficos, etc.. 1996.
  22. 22. Web of Science, una selección de las mejores revistas Web of Science (SCI, SSCI, AHCI) DIAN Revistas Científicas (importantes) s Todas las Revistas Científicas
  23. 23. ¿Qué tal es su cobertura en Ciencias de la Salud? Cobertura WoS de las principales áreas y su adecuación como fuente de evaluación DIAN > 80% 60-80% 40-60% Biología Molecular y Física aplicada y química Matemáticas bioquímica Ciencias s Biológicas Ingeniería (animales y plantas) Ciencias Biológicas Economía (humanos) Psicología y Psiquiatría <40% Ciencias Sociales Medicina Clínica relacionadas con Medicina Otras Ciencias Sociales Física y Astronomía Geociencias Arte y Humanides Química EXCELENTE MUY BUENA BUENA-MODERADA Moed, 2005
  24. 24. El interfaz de consulta de la ISI WOKWEB OFSCIENCE DIAN sRECURSOS OTROS
  25. 25. 3. LOS INDICADORES BIBLIOMÉTRICOS
  26. 26. Tipos de indicadores bibliométricos PRODUCCIÓN IMPACTO Indicadores s Bibliométricos NUEVOS COLABORACIÓN INDICADORES
  27. 27. Ejemplos de indicadores bibliométricos habituales Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos Producción Impacto Colaboración • Nº Total documentos • Promedio y suma del • Tasas de colaboración • Nº Total documentos Impacto Factor • Índice de coautoría citables • Factor de Impacto de general • Nº de documentos por relativo • Índice de coautoría investigador • Nº o % de documentos institucional • Nº de documentos por cuartil (o bien decil • Análisis de Redes según posición firma y tercil) s Sociales a partir firma (inicial o final etc.) • Promedio de citas de la firma • Índice de • Número de citas • Número de Especialización • Tasa Autocitación Instituciones firmantes Temática • Citas normalizadas: • Patrones de • Índice de Actividad Crown Indicator, colaboración (interna, temática Karolinska nacional, • Índice H y derivados internacionales) * Habría que incluir los derivados de la combinación de este con los RRHH y económicos.
  28. 28. Indicadores recomendadosCOLABORACÍÓN PRODUCCIÓN Nº CIENTÍFICA Doc (cit.) Nº docs en H-INDEX 1º Cuartil Nº o Prom citas IMPACTO IMPACTO OBSERVADO ESPERADO
  29. 29. Ejemplos: Nº docs CitablesEvolución de la producción citable de la Universidad de Navarra
  30. 30. Ejemplos: Índice Actividad TemáticaIAT de la Universidad Navarra comparado con España. 2005-2009 % España (E): 0,17 % Univ Navarra (N): 0,50 IAT: 0,50/0,17 = 2,94
  31. 31. Ejemplos: % Docs en el 1º Cuartil % de docs en el 1º Cuartil por área para España. 2005-2009OJO Con los indicadores basados en el IF: son promedios | el impacto de una revistano equivale al impacto de un artículo | No es un valor comparable por área | Fácil de manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad
  32. 32. Ejemplos: Promedio de CitasNº y Promedio de Citas de la Universidad de Navarra comparado con otras universidades españolas. 2005-2009OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible tener algunos promedios de referencia como el del área o el páis
  33. 33. Ejemplos: Nº Docs. Citables VERSUS Promedio de citasNº Docs Citables y Promedio de Citas de las universidades españolas en Medicina Clínica y Farmacia.
  34. 34. Ejemplos: el indicador CROWNCROWN INDICATOR del CITIC-UGR de la Universidad de Granada para el período 2001-2010 Tomamos como referencia los promedios de citas del área de Ingeniería disponible en los ESI
  35. 35. Ejemplos: El índice-H Índice H para diferentes hospitales españolas con diferentes cortes cronológicosOJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina autocitas | Penaliza a los autores selectivos
  36. 36. Ejemplos: % Colaboración Inter.% de documentos firmados con instituciones extranjeras por la Universidad de Navarra
  37. 37. Estrategia para evaluar un centroTodas las evaluaciones son multimensionales y así hay plantearlas Moed 2011
  38. 38. Estrategia para evaluar un centro Ejemplo de Evaluación de un centro Vinkler 2010
  39. 39. Es importante contar con cuadros de mandoCuadro de mando empleado en la UNAV (software: CIENTIFICA)
  40. 40. 4. PRÁCTICAS BÁSICASNOTA: Con las consultas directas en Web of Science que veremos enéstas prácticas nos podemos aproximar a la producción de un centro,investigador etc.… pero no se consiguen resultados exactos(necesarios para la toma de decisiones) ya que existen numerososproblemas de normalización de los nombres de autores einstituciones. En esta práctica mencionaremos dichos problemasaunque no profundizaremos sobre los mismos.
  41. 41. Práctica 1CALCULAR EL Nº DE DOCUMENTOS CITABLES DE CIBERNED DURANTE EL PERÍODO 2007-2010
  42. 42. Práctica 1. Nº de Citables de CIBERNED 1. Realiza la búsqueda en el menú principal 2. Filtra en el menú de la derecha las tipologías documentales citables 3. Filtra en el menú de la derecha por años
  43. 43. Práctica 2CALCULAR LAS ÁREAS DE ESPECIALIZACIÓN DECIBERNED Y VER CUANTOS CITABLES TIENE EN CADA UNA DE ELLAS Y ESPECÍFICAMENTE EN “NEUROSCIENCE”. 2007-2010
  44. 44. Práctica 2. Nº Citables de CIBERNED en la categoría de “Neurosciences” Con la búsqueda anterior1. En la zona izquierda selecciona la opción “Analyze Results” y en la siguiente pantalla selecciona “subject área” y pincha en “Analyze” 2. Resultado
  45. 45. Práctica 3 CALCULAR CUANTOS Y QUE PORCENTAJE DEDOCUMENTOS CITABLES APORTA CIBERNED A LA PRODUCCIÓN CIENTÍFICA DE ESPAÑA EN LA CATEGORÍA “NEUROSCIENCES”. 2007-2010
  46. 46. Práctica 3. Aportación a España en “Neuroscience” de CIBERNED1. Vuelve al menú de búsqueda y busca la producción española global 2. Selecciona como anteriormente solo los documentos citables 3. Analiza resultados por área (subject) y filtra por “Neuroscience” Producción Producción Citables en Citables en “Neurosciences de CIBERNED” “Neurosciences de España” 12% = 245 = 2016
  47. 47. Práctica 4INDENTIFICAR CUAL ES LA REVISTA CIENTÍFICA DONDE TIENE MÁS PUBLICACIONES ELCIBERNED. UNA VEZ IDENTIFICADA CONSULTARSU IMPACT FACTOR Y EL CUARTIL EN EL QUE SE SITÚA.
  48. 48. Práctica 4. Revista donde más publicaCIBERNED. Factor de impacto y cuartil 1. Vuelve a la búsqueda original 2. Analiza o filtra por revista (source title) 4. Ve a “additional Resources” y selecciona el JCR 5. Busca la revista y mira su IF y el cuartil para la 2010 ed
  49. 49. Práctica 5IDENTIFICA LAS REVISTAS CON MAYOR IMPACTO Y QUE PUEDEN SER OBJETIVO DE CIBERNED
  50. 50. Práctica 5. Consultar JCR por categoría 1. Identifica como anteriormente las áreas donde publica el centro2. Acude al JCR y consulta para su ed. De 2010 las revistas con mayor impacto en “Neurosciences”, “Clinical Neurology” y “Biochemistry & Molecular Biology”.
  51. 51. Práctica 6CALCULA CUAL ES EL PROMEDIO Y EL NÚMERO DE CITAS DE CIBERNED. 2007-2010
  52. 52. Práctica 6. Obtener para CIBERNED, Número de Citas y Promedio 1. Vuelve a la búsqueda original 2. Selecciona en la zona derecha la opción “Create Citation Report” 3. Puedes obtener los indicadores en el informe generado
  53. 53. Práctica 7 CALCULA EL CROWN INDICADOR (SEGÚN ESTÁNDAR DEL CWTS) PARA CIBERNEDTENIENDO EN CUENTA LA CATEGORÍA MUNDIAL “ ESI” NEUROSCIENCE. 2007-2010
  54. 54. Práctica 7. Introducción al cálculo del CROWN PASO 1. Obtener unos valores de referencia (mundiales, país, región, …) PASO 2. Obtenemos el número de citas de la unidad (persona, centro, etc..) que estamos evaluando.
  55. 55. Práctica 7. Introducción al cálculo del CROWN PASO 3. Clasificamos esos trabajos según el área de publicación PASO 4. Vemos que valor debería haber alcanzado según la tabla de referencia del Paso 1 (respetar área , año de publicación y tipo doc.)
  56. 56. Práctica 7. Introducción al cálculo del CROWN Finalmente dividimos las citas alcanzadas entre las citas teóricas CROWN = 1,7
  57. 57. Práctica 7. Cálculo CROWN para CIBERNED1. A partir del “Citation Reports” y año por año preparamos una tabla con el número de trabajos citables y el número de citas 2. Buscamos la tabla de referencia de promedio de citas de“Neuroscience”* en ESI*Asumimos para agilizar la práctica que todos los trabajos pertenecen al área de Neuroscience
  58. 58. Práctica 7. Cálculo CROWN para CIBERNED3. Añadimos columna con las citas que se esperan para un trabajo de neuroscience4. Calculamos el global de citas que se esperaban para nuestro centro multiplicando las columnas A por C
  59. 59. Práctica 7. Cálculo CROWN para CIBERNED 4. Finalmente calculamos el CROWN dividiendo las citas alcanzada entre las citas esperadas , esto es dividir B entre D
  60. 60. Práctica 8 CÁLCULA EL ÍNDICE H DE CAMINS A (PROGRAMAAuthor=(PALACIOSY COMPARALO CON EL DE PALACIOS 1) JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID))) SATIBAÑEZ JL Y PUELLES JL
  61. 61. Práctica 8. Cálculo del índice H1. Has las búsquedas para cada autor y utiliza “Citation Reports” para conocer el HCAMINS, ANTONIO PALACIOS SANTIBAÑEZ, JOSE M PUELLES LOPEZ, LUIS Author=(PALACIOS JM) Author=(CAMINS A) Author=(PALACIOS JM) AND Author=(PUELLES L) Address=((AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID))))
  62. 62. Práctica 9 IDENTIFICA LOS TRES TRABAJOS MÁS CITADOS DE CIBERNED. CONTEXTUALIZA LAS CITAS AAuthor=(PALACIOS JM) AND Address=(AD=((NEURO* OR PHARMA* OR ALMIRALL OR BASEL OR INST BIOL FUND*) NOT (POLITECN AND MADRID))) NIVEL MUNDIAL Y NIVEL NACIONAL
  63. 63. Práctica 9. Trabajos a nivel internacional Viendo como un trabajo se sitúa a nivel internacional1. Busca la producción de CIBERNED; en resultados ordena según el número de citas Author=(PALACIOS JM)
  64. 64. Práctica 9. Trabajos a nivel internacional 2. Ve a los ESI y busca la tabla de percentiles de Neuroscience Author=(PALACIOS JM) 3. Mira donde se situaría cada trabajo TRABAJO 1. Autophagy (2008) con 489 citas se sitúa en el 0,01% mundial de los más citados TRABAJO 2. Nature Genetics (2009) con 200 citas se sitúa en el 0,10% mundial de los más citados TRABAJO 2. Lancet Neurology (2008) con 124 citas se sitúa en el 1,00 % mundial de los más citados
  65. 65. Práctica 9. Trabajos a nivel nacional Viendo como un trabajo se sitúa a nivel nacional 1. Coge el trabajo más citado e identifica en qué área se ha publicado Author=(PALACIOS JM)2. Busca la producción científica española en 2008 (año de publicación del trabajo)
  66. 66. Práctica 9. Trabajos a nivel nacional3. A través de la opción analyze quédate solo con los trabajos publicados en CELL BIOLOGY (Categoría donde se publicó el trabajo)4. Ordena los resultados (producción de España en CELL BIOLOGY en el año 2008) Author=(PALACIOS JM) El trabajo es el número 1 !!
  67. 67. Práctica 10 CÁLCULA EL NÚMERO Y PORCENTAJE DEAuthor=(PALACIOS JM) AND Address=(AD=((NEURO* ORINTERNACIONAL. BASEL TRABAJOS FIRMADOS A NIVEL PHARMA* OR ALMIRALL OR OR INST BIOL FUND*) NOT (POLITECN AND MADRID))) 2007-2010
  68. 68. Práctica 10. Colaboración internacional1. Volver a la búsqueda de 443 y en “analyze results” seleccionar countries; una vez que tengamos el lista seleccionar todos los países menos España y View Records Author=(PALACIOS JM)2. Una vez que tenemos los registros ver cuantos se han publicado por año y calcular %
  69. 69. Daniel torres salinas torressalinas@gmail.com

×