Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Bibliometría y la evaluación de investigadores

2,558 views

Published on

Seminario de formación organizado por el Grupo Interdisciplinar de Políticas Educativas GIPE (http://gipe-igep.org/), celebrado el 8 de abril de 2015 en la Universidad Autónoma de Barcelona

Published in: Education

Bibliometría y la evaluación de investigadores

  1. 1. Bibliometría y la evaluación de investigadores Nicolas Robinson-Garcia EC3Metrics SL & EC3 Research Group Universidad de Granada ...in progress
  2. 2. OBJETIVOS >> Obtener unas nociones básicas de bibliometría y de los principales indicadores bibliométricos empleados >> Adoptar una visión crítica de la aplicación de indicadores bibliométricos en la evaluación individual >> Conocer las recomendaciones básicas que la comunidad bibliométrica sugiere para un uso responsable de las métricas CONTACTO >> elrobin@ugr.es ...Contenido >> Seminario de Formación Miércoles 8 de abril, 2015 >> Organiza: GIPE - Grupo Interdisciplinar de Políticas Educativas
  3. 3. 1. LA BIBLIOMETRÍA Y EVALUACIÓN DE LA CIENCIA >> Nociones básicas: el qué y el cómo >> La era de las métricas 2. INDICADORES PARA LA EVALUACIÓN DE INVESTIGADORES >> Cuestiones metodológicas >> Indicadores y limitaciones 3. RECOMENDACIONES Y ALTERNATIVAS >> En la búsqueda de buenas prácticas -> LEIDEN MANIFESTO >> Decálogo de buenas prácticas -> Dos & don’ts ...Agenda
  4. 4. >> La bibliometría y la evaluación de la ciencia ...in progress 1
  5. 5. ...Bibliometrics Nociones básicas de bibliometría [Bibliometrics] The application of mathematics and statistical methods to books and other media of communication Pritchard, 1969 [Scientometrics] The quantitative methods of the research on the development of science as an informational process Nalimov & Mulchenko, 1971 [Informetrics] The study of the application of mathematical methods to the objects of information science for the description and analysis of its phenomena, the discovery of its laws and the support of its decisions Nacke, 1979
  6. 6. ...Bibliometrics Nociones básicas de bibliometría La bibliometría desarrolla metodologías y técnicas cuantitativas para analizar y entender cómo se desarrolla el progreso científico
  7. 7. LOS CULPABLES ...Bibliometrics Nociones básicas de bibliometría IMPLICACIONES SCIENCE CITATION INDEX FUNDAMENTOS PRÁCTICAS TEÓRICOS
  8. 8. ...Bibliometrics Nociones básicas de bibliometría PRINCIPIOS BÁSICOS >> El prestigio de un investigador se mide a través de su obra >> El principal medio de transmisión de la actividad investigadora es la publicación científica >> La cita refleja la influencia de la obra de un investigador
  9. 9. ...Bibliometrics Nociones básicas de bibliometría LEYES DE LA BIBLIOMETRIA LOTKA >> Un número reducido de autores produce la mayor parte del conocimiento científico BRADFORD >> Un número reducido de revistas contiene el core del conocimiento científico de una disciplina PRICE >> El conocimiento científico crece de manera exponencial
  10. 10. ...Bibliometrics Nociones básicas de bibliometría >> El peer review es esencial para la evaluación. La bibliometría es una herramienta de apoyo >> Las citas que se analizan son aquellas que vienen de trabajos que han pasado un proceso de revisión por pares >> Las citas son un proxy del impacto científico de una obra y miden más de un aspecto >> Hay sesgos en la citación de los trabajos externos a la calidad del contenido. Ej: EFECTO MATEO, DISCIPLINAS…
  11. 11. ...Bibliometrics Nociones básicas de bibliometría Producción Impacto Colaboración Nuevos indicadores
  12. 12. ...Bibliometrics Nociones básicas de bibliometría Tipo de indicador Tipo de medida Unidad de análisis  Publicaciones  Citas  Métricas alternativas  Actividad  Impacto  Colaboración  Nivel micro  Nivel meso  Nivel macro Producción Impacto Colaboración Nuevos indicadores
  13. 13. ...Bibliometrics La era de las métricas The need for bibliometric indicators arises from the enormous growth in scientific and technological activity that has been occuring for centuries, and has now reached avalanche proportions. Narin et al., 1994 Governments absorbed, in the 1990s, the “new management” ideology that focused on the evaluation of everything using indicators and benchmarks as “objective” measures of efficiency and return on investment. Gingras, 2014
  14. 14. ...Bibliometrics La era de las métricas AMATEUR BIBLIOMETRICS Los investigadores y las agencias han pasado de tener una posición escéptica sobre la utilización de la bibliometría a una aceptación moderada hasta la presente integración de métricas en todos los procesos evaluativos Amateur bibliometrics es la aplicación de métodos bibliométricos sin conocer sus fundamentos teóricos y limitaciones
  15. 15. ...Bibliometrics La era de las métricas AMATEUR BIBLIOMETRICS […] it is much easier to make a measurement than to ascertain just what has been measured, and considerable caution must therefore be exercised in any interpretations of the statistics of publication. Price, 1951
  16. 16. ...Bibliometrics La era de las métricas
  17. 17. >> Indicadores para la evaluación de investigadores ...in progress 2
  18. 18. ...Indicators Cuestiones metodológicas Henk F. MoedLA MATRIZ MULTIDIMENSIONAL PARA LA EVALUACIÓN DE LA INVESTIGACIÓN
  19. 19. ...Indicators Cuestiones metodológicas NIVELES DE AGREGACION Macro >> Países, áreas científicas • Máxima fiabilidad Meso >> Instituciones, disciplinas • Fiabilidad moderada Micro >> Grupos, investigadores • Fiabilidad relativa
  20. 20. ...Indicators Cuestiones metodológicas BASES DE DATOS Y COBERTURA TEMÁTICA CIENCIAS BIOMÉDICAS CIENCIAS NATURALES Y EXACTAS INGENIERÍAS Y COMPUTACIÓN CIENCIAS SOCIALES HUMANIDADES
  21. 21. ...Indicators Cuestiones metodológicas The Google Scholar Experiment BASES DE DATOS Y FIABILIDAD
  22. 22. ...Indicators Cuestiones metodológicas MÉTODO DE RECOGIDA DE DATOS Top down Bottom up
  23. 23. ...Indicators Cuestiones metodológicas ¿QUÉ QUEREMOS MEDIR? Impacto científico Visibilidad Liderazgo Capital social Productividad Transferencia
  24. 24. ...Indicators Cuestiones metodológicas ¿QUÉ QUEREMOS MEDIR? Impacto científico Visibilidad Liderazgo Capital social Productividad Transferencia OTRAS CONSIDERACIONES >> Rango académico / Edad científica >> Disciplina científica >> Grandes productores vs. One hit wonders >> Posición de firma
  25. 25. ...Indicators Indicadores y limitaciones Indicador estrella > H-Index >> Creado por el físico Jorge Hirsch en 2005 >> Se popularizó gracias a un artículo en la revista Nature >> Relaciona producción con impacto
  26. 26. ...Indicators Indicadores y limitaciones H-IndexUn autor tiene un índice h cuando h de sus trabajos han recibido al menos h citas
  27. 27. ...Indicators Indicadores y limitaciones Limitaciones >> H-Index >> No discrimina entre autores con un one hit wonder y autores con baja citación >> No sirve para comparar a investigadores de distintos campos >> No discrimina entre investigadores con ≠ edad científica
  28. 28. ...Indicators Indicadores y limitaciones Agencias >> CNEAI >> ¿informed? peer review >> Cinco aportaciones donde se prima el posicionamiento de la revista >> Considera diferencias por campos y no evalúa contenido
  29. 29. ...Indicators Indicadores y limitaciones Agencias >> ANECA >> Publicaciones con índice de calidad relativo >> Experiencia docente >> Experiencia en gestión
  30. 30. ...Indicators Indicadores y limitaciones En España las agencias priman especialmente la revista de publicación por encima del impacto ‘real’ de las publicaciones
  31. 31. ...Indicators Indicadores y limitaciones En otros países parece que también
  32. 32. >> Recomendaciones y alternativas ...in progress 3
  33. 33. ...Propuestas En búsqueda de buenas prácticas Costas & Noyons, 2014 Identificación de perfiles de publicación
  34. 34. ...Propuestas En búsqueda de buenas prácticas Altmetrics Indicadores para medir el impacto ¿social? de la investigación • Facebook, Twitter, Google Plus… Redes sociales • Mendeley, Citeulike… Marcadores sociales • Descargas, visionados…Uso • Menciones en blogs científicos….Discusión
  35. 35. ...Propuestas En búsqueda de buenas prácticas Altmetrics >> Evanescencia >> Significado >> Expansión
  36. 36. ...Propuestas En búsqueda de buenas prácticas Jiménez-Contreras y otros, 2011 3 años 5 años 7 años P50 P75 P90 P50 P75 P90 P50 P75 P90 Umbrales de referencia de citación por áreas Apoyo a los procesos de selección y promoción
  37. 37. ...Propuestas En búsqueda de buenas prácticas UGRInvestiga Promoción y visibilidad de la investigación de una institución
  38. 38. ...Propuestas En búsqueda de buenas prácticas UGRInvestiga PRINCIPIOS >> Sólo se muestran investigadores con perfil en Google Scholar >> Se muestran los datos que aparecen en sus perfiles [no es una herramienta evaluativa] >> El investigador puede decidir no aparecer en el listado
  39. 39. ...Propuestas En búsqueda de buenas prácticas UGRInvestiga
  40. 40. ...Propuestas En búsqueda de buenas prácticas UGRInvestiga DERIVADAS >> Mayor control institucional de la producción de los investigadores >> Aumento de la visibilidad de la producción de la universidad >> Descubrimiento de talentos escondidas
  41. 41. ...Propuestas En búsqueda de buenas prácticas LEIDEN MANIFESTO >> En los últimos congresos bibliométricos se baraja la idea de un manifiesto de buenas prácticas >> Se percibe un rechazo a la bibliometría por parte de la comunidad resultado de malas prácticas en política científica
  42. 42. ...Propuestas En búsqueda de buenas prácticas LEIDEN MANIFESTO >> Aplicación de indicadores bibliométricos por objetivos EJEMPLO 1. Una institución considera que sus investigadores no tienen proyección internacional ACCIÓN. Fomentar la publicación en revistas del primer cuartil de su categoría
  43. 43. ...Propuestas En búsqueda de buenas prácticas LEIDEN MANIFESTO >> Aplicación de indicadores bibliométricos por objetivos EJEMPLO 2. El PDI de una institución tiene entre sus obligaciones publicar, pero muchos no lo hacen ACCIÓN. Permitir que sólo el PDI con más de XX publicaciones pueda participar en comités de contratación
  44. 44. ...Propuestas En búsqueda de buenas prácticas LEIDEN MANIFESTO >> Aplicación de indicadores bibliométricos por objetivos EJEMPLO 3. Una institución busca fomentar las redes de colaboración con investigadores externos ACCIÓN. Se incrementa XX% el presupuesto de grupos con colaboración internacional en revistas de prestigio
  45. 45. ...Propuestas Dos & don’t s Decálogo de buenas prácticas 1. No evalúes a investigadores con 1 solo indicador 2. No utilices el FI como medida de calidad 3. No apliques‘filtros bibliométricos invisibles’ 4. No apliques ‘pesos’ aleatorios a la posición de firma 5. No hagas rankings de investigadores según 1 solo indicador Glänzel & Wouters, 2013
  46. 46. ...Propuestas Dos & don’t s Decálogo de buenas prácticas 6. No mezcles datos de distintas fuentes 7. No utilices estadísticas sesgadas 8. No confíes ciegamente en los one hit wonders 9. No compares peras con manzanas 10.No permitas que los plazos límite te impidan aplicar buenas prácticas Glänzel & Wouters, 2013
  47. 47. ...Propuestas Dos & don’t s Decálogo de buenas prácticas 1. Los indicadores a nivel micro deben ser estadísticamente sólidos 2. Analiza la colaboración de los investigadores 3. Combina métodos cualitativos y cuantitativos 4. Analiza el contexto de citación 5. Analiza los perfiles temáticos Glänzel & Wouters, 2013
  48. 48. ...Propuestas Dos & don’t s Decálogo de buenas prácticas 6. Selecciona el periodo de tiempo a analizar 7. Combina bibliometría y la carrera científica 8. Procesa los datos bibliométricos y utiliza fuentes externas 9. No te tomes los don’ts al pie de la letra 10.Ayuda al usuario a entender e interpretar correctamente los indicadores Glänzel & Wouters, 2013
  49. 49. >> Consideraciones finales ...in progress 3
  50. 50. ...in progress Los indicadores bibibliométricos deben ser interpretados siempre con precaución Ranking de editoriales en Economía, Empresa y Negocios ordenados por impacto normalizado Fuente: Bipublishers.es
  51. 51. ...in progress Siempre es mejor combinar indicadores y metodologías Ranking de universidades españolas en TICS Fuente: Rankings I-UGR
  52. 52. ...in progress Siempre es mejor combinar indicadores y metodologías
  53. 53. ...in progress Para la evaluación de investigadores los indicadores bibliométricos deben aplicarse con transparencia y servir de apoyo a la toma de decisiones, pero no decisorios
  54. 54. ...in progress ¿Qué puedes hacer TU investigador para mejorar tu impacto? 1. Haz buena investigación y céntrate en tu investigación, no en las recompensas 2. Sé visible, pon tus publicaciones en abierto y hazte visible en Internet 3. Cuida tu imagen, utiliza una firma única de tu nombre
  55. 55. ...in progress Lecturas recomendadas Butler, L. (2003). Modifying publication practices in response to funding formulas. Research Evaluation, 12(1), 39–46 Glänzel W. & Wouters, P. (2013). The dos and don’ts in individual- level bibliometrics. http://www.slideshare.net/paulwouters1/issi2013-wg-pw Lepori, B., Barre, R., Fillitreau, G., 2008. New perspectives and challenges for the design and production of S&T indicators. Research Evaluation 17, 33–44 Wouters, P. (2013). Bibliometrics of individual researchers. Citation Culture. http://bit.ly/1JjUEFb
  56. 56. Muchas gracias! Nicolas Robinson-Garcia EC3Metrics SL & EC3 Research Group Universidad de Granada http://www.ugr.es/~elrobin

×