Indicadores bibliométricos como instrumento de las políticas científicas

1,231
-1

Published on

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,231
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
20
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Indicadores bibliométricos como instrumento de las políticas científicas

  1. 1. Indicadores Bibliométricos como Instrumentos de Política Científica. Los Retos de los Sistemas de Evaluación de la Calidad Científica en los Países Emergentes Dr. Evaristo Jiménez-Contreras Facultad de Comunicación y Documentación Universidad de Granada Monterrey 0ctubre 2013 EC3metrics – GRUPO EC3
  2. 2. Contenidos Una reflexión inicial La percepción sobre las evaluaciones Es posible la evaluación? Las herramientas Aplicaciones: Proyectos Instituciones Rankings Los resultados Los retos, reflexiones y valoración final EC3metrics
  3. 3. Una reflexión inicial La reflexión sobre los indicadores no es meramente técnica, tiene unas evidentes implicaciones políticas. Su uso deben ser decidido a la luz del modelo de universidad que busquemos (y no hay un modelo único). La no evaluación de las actividades científicas, o su disolución entre un conjunto más o menos amplio de objetivos o indicadores. también es una opción política, EC3metrics
  4. 4. La percepción de las evaluaciones Actitud de los investigadores franceses ante los procesos evaluativos: Actitud Porcentaje Totalmente en contra 15 Aceptan con reparos 85 Totalmente a favor 0 Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS y H), Desde luego no gustan en España (en Latinoamérica?) Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones En Alemania a día de hoy no hay un sistema constituido de evaluación institucional EC3metrics
  5. 5. Es posible la evaluación? EC3metrics
  6. 6. Evaluación en Ciencia • La evaluación es inherente a la actividad científica. – La revisión por expertos es uno de los signos distintivos del quehacer científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo) • Es cualitativa/cuantitativa • Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica EC3metrics
  7. 7. Es posible la planificación y la evaluación en Ciencia? • El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muy complejo que implica a numerosos agentes: – Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto • • • • Sus efectos y algunos de sus factores son en parte intangibles Es incierta y a veces impredecible Las herramientas analíticas están poco desarrolladas (aunque cada vez más) Con frecuencia genera polémicas y tiene efectos contraproducentes EC3metrics
  8. 8. A quien interesa? Y porque puede ser aconsejable • Economía : Aprovecha los resultados, optimización de recursos. Planificación de inversiones, • Academia: Aporta fundamentos teóricos, herramientas, autoevalúación, priorización • Sociedad: beneficio, prioridades, rendición de cuentas • Política: Desde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades EC3metrics
  9. 9. El debate sobre la Política científica Entre la Ciencia responsable. Bernal JD, (1931) La responsabilidad social del científico Los poderes públicos pueden y deben controlar la orientación de la Ciencia Y la república de la Ciencia… La evaluación ex ante no es necesaria porque “the results of any one particular investigation cannnot be predicted with accuracy” (Bush, V. 1945) Los científicos debían gozar de libertad total, nace la NSF la práctica evaluadora se generaliza a partir de los 70-80 como consecuencia de la crisis económica EC3metrics
  10. 10. Fundamentos de la evaluación bibliométrica EC3metrics
  11. 11. Dimensiones de la actividad científica y sus productos Formación/docencia Innovación Nuevo conocimiento Libros, MOOCS… Patentes, spin-off Artículos Artículos Investigación Subvenciones y programas Políticas públicas EC3metrics Comunicación, informes, asesorías.. Divulgación y peritaje
  12. 12. Que es lo que producen/valoran los científicos? EC3metrics
  13. 13. Qué leen/citan los investigadores? EC3metrics
  14. 14. Donde prefieren publicar Research Information Network and JISC. 2009 EC3metrics
  15. 15. Cómo prefieren los científicos ser evaluados EC3metrics
  16. 16. • La conclusión de que se puede obtener una imagen ajustada de un investigador a partir de su obra, de las revistas en las que publica o del impacto que alcanza, puede considerarse hoy en día un razonamiento correcto y en consecuencia un punto de partida para construir políticas evaluativas • Pero no es el único y debe ser complementario a otros EC3metrics
  17. 17. Herramientas EC3metrics
  18. 18. Bases de datos; Preguntas • Que fuente elegir? – – – – Thomson Sci. Scopus Google Scholar Otras: Redalyc, SciELO – – – – – – Exhaustividad vs. Selectividad Control en el ingreso de las fuentes frente a repositorios abiertos Indicadores clásicos o nuevos indicadores (almetrics) Adaptación a perfiles propios o a standards internacionales Indicadores simples vs. complejos Indicadores absolutos vs. relativos EC3metrics Bibliometría Output científico
  19. 19. Selección vs exhaustividad Ejemplo Psicología TS Revistas Scopus 555 890 Citas circa 300 >50% Diferencial 9% 14000 Revistas Diferencial Citas 58 60entre 1 y 9 Artícuos 0 3700 La ganancia en cobertura, en contra de los que suele pensar no es necesariamente un beneficio. Lo que nos falta desde hace años no es información sino tiempo para leerla.. EC3metrics
  20. 20. Pautas de actuación • La elección de las fuentes determina el resultado • La respuesta no es la misma según se trate se Ciencias Exactas y Experimentales o Ciencias Sociales y Humanidades. • Aunque los criterios de fondo no deberían alterarse • Calidad de la información – Científica – Accuracy • Complementariedad y ajuste al perfil institucional EC3metrics
  21. 21. Aplicaciones EC3metrics
  22. 22. Ámbitos de actuación • Valoración de proyectos • Aplicación a la evaluación de las carreras académicas e institucionales • Rankings EC3metrics
  23. 23. Valoración de proyectos • Desde los primeros ensayos en USA la valoración de proyectos ha incluido sistemáticamente un apartado de valoración de los CV de los solicitantes • Gradualmente esta valoración ha incorporado elementos bibliométricos – Producción, impacto, citas como parte del proceso EC3metrics
  24. 24. Valoración de proyectos, Caso España, la ANEP Agencia Nacional de evaluación y Prospectiva (1989) 1, Méritos científicos del investigador principal y del resto del equipo de investigación. 1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo. 1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación 2. Interés científico-técnico del proyecto. 3. Viabilidad de la propuesta. Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros. EC3metrics
  25. 25. Aplicación a la evaluación de las carreras académicas e institucionales • Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia… han implementado alguna forma de premio por publicar fuera. • Se vincula la carrera académica a la publicación en los “mainstream journals”. • En general promueven la autoselección por parte de los autores • Consecuencias: • La investigación ha pasado a ser el centro de la vida universitaria • Incremento de las cifras de publicaciones internacional • Reacción en contra de las áreas de CCSS y Hum. EC3metrics
  26. 26. Algunos ejemplos; Noruega • Tipos de publicaciones “A,B,C publications that could have achieved greater significance by expending more effort and being compiled into a smaller number of publications” • Tipos de investigadores: local, nacional, Internacional • “As a general rule, publications in publication channels with local authorship are not to be included in the statistics on academic publishing reported to the Database for Statistics on Higher Education (DBH), and which would therefore be included in the Ministry’s basis for setting the research component of the budgets.” • Se diferencia entre Thomson Sci, Norart y BibSys EC3metrics
  27. 27. Algunos ejemplos; UK, del RAE al REF Controvertido, calificado como muy negativo o muy positivo Mide la calidad de los resultados (publicaciones), entorno, reputación Flexible: cada panel establece sus reglas y umbrales. Se valoraban los 7 años anteriores del miembros permanentes pero se consideró a los part-time más adelante. • Selección de las mejores publicaciones • 15 paneles y 67 subpaneles • Muy costoso • Incremento de la visibilidad pero no necesariamente de la calidad (Moed 2008) • Ha generado una adaptación de conductas EC3metrics • • • •
  28. 28. Algunos ejemplos; UK, del RAE al REF (2014) • Valoración en 5 niveles. • Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente 15% • 36 paneles • Cada panel desarrolla sus propios criterios. A modo de ejemplo en el de Medicina no se menciona el impacto científico clásico medido en citas o similar. • Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither receive nor make use of citation data, or any other form of bibliometric analysis including journal impact factors.
  29. 29. España • CNEAI: objetivos – Introducir un régimen retributivo para incentivar, mediante evaluaciones, la actividad investigadora de calidad – Fomentar que los investigadores orienten sus trabajos a lograr resultados de amplia repercusión (internacional) científica y social • Procedimiento: – Evaluación sobre resultados de investigación: Las publicaciones – Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación forma – Evaluación por pares: comisiones de expertos y selección de las mejores publicaciones de cada candidato (5 en 6 años) – Valoración bibliométrica sobre todo EC3metrics
  30. 30. ANECA, dimensiones de evaluación MÉRITOS DOCENTES ACTIVIDAD INVESTIGADORA • • • • • Artículos en revistas Libros y Capítulos Proyectos y contratos Transferencia Congresos FORMACIÓN ACADÉMICA • • • Títulos y premios Becas y ayudas Estancias de investigación Docencia universitaria Dirección de tesis, tesinas, trabajos grado… Cursos de formación docente • • • GESTIÓN • • • Cargos Académicos Puestos en la administración Liderazgo de grupos de investigación y docentes OTROS MÉRITOS
  31. 31. Pesos y puntuaciones para acreditación CU TU Investigación Docencia Investigación Docencia Formación Formación Gestión Gestión
  32. 32. Valoración de las revistas Revistas Indexadas o con Índice de Calidad Relativo JCR Revistas no Indexadas o sin Índice de Calidad Relativo
  33. 33. Rankings • Cual es la razón del éxito? – Percepciones, metodologías, información, expectación mediática • Los rankings han venido para quedarse por tanto… – hay que tener un programa de actuación y debemos ser proactivos – Conocer sus criterios internos y potenciarlos en nuestra política científica si son razonables y es factible hacerlo, por ejemplo; • Favorecer la publicación en revistas internacionales de alto impacto • Contratar profesores de reconocido prestigio • Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos EC3metrics
  34. 34. Rankings • • • • Los rankings son un arma arrojadiza Unidimensionales o lo que es peor multidimensionales Difieren en sus reglas por tanto son incomparables entre sí No descansan en supuestos teóricos claros en muchos de sus apartados
  35. 35. Desmontando los rankings • Elementos que componen la realidad universitaria: Investigación Investigación Docencia Reconocimiento Inserción laboral Opinión de los expertos Transferencia Opiniones y éxito de los egresados Otras labores sociales • Elementos que componen la realidad de los rankings EC3metrics
  36. 36. Antes de tomar medidas… • No existe un patrón común: – Países con sistemas universitarios muy desarrollados: México, Chile, Brasil y otros no tanto… – Países con infraestructuras organizativas maduras y otros no tanto… • También hay que considerar si nos dirigimos a: – Universidades enfocadas a investigación o a docencia – Si tienen orientación internacional, nacional o local – Si los destinatarios de los indicadores son usuarios, gestores, responsables políticos – Públicas o privadas • Por tanto los indicadores deben adaptarse a esos modelos y objetivos.
  37. 37. Los retos… reflexiones y valoración final EC3metrics
  38. 38. Pros & Cons • Los indicadores bibliométricos miden outputs que en general son aceptados como válidos por la comunidad científica (sobre todo en Ciencias) • Utilizan una evaluación ex post que se basa en el principio de que los resultados anteriores son un buen predictor del rendimiento futuro. • Se centran principalmente (y en muchos casos únicamente) en el rendimiento de la investigación, prestando poca atención a otros aspectos de la actividad universitaria como la enseñanza o la innovación • Uno de sus objetivos principales es la distribución eficiente de los fondos. Por lo tanto el presupuesto final de las universidades (u otras instituciones de investigación) dependerá en cierta medida, de los resultados de dicha evaluación. EC3metrics
  39. 39. Pros & Cons • Se implementan sobre todo a nivel nacional. Altamente enfocados en los detalles y las características de su sistema universitario nacional. • A pesar de los anterior utilizan metodologías y enfoques bastante homogéneos • Son sistemas dinámicos que se actualizan y rediseñan constantemente. • Son económicos • Son transparentes o deberían serlo EC3metrics
  40. 40. Pros & Cons • Dependen vitalmente de la calidad de las fuentes. - (actualmente la disponibilidad de fuentes nacionales de calidad es limitado) • Tienden a crear un escenario común con unas reglas únicas • Favorecen la orientación hacia un modelo de universidad internacional, de excelencia investigadora, especializada en áreas experimentales, tecnológicas y salud • Son parciales Por tanto: • Deben combinarse con otras fuentes que incorporen información sobre recursos humanos y económicos • Deben manejarlos expertos EC3metrics
  41. 41. Conclusiones • No hay una receta mágica. Todos las metodologías de evaluación tienen pros y contras y hasta cierto punto pueden ser complementarias • La bibliométrica es especialmente eficiente para los aspectos relacionados con la investigación. • Introducir la cultura de la evaluación no tanto como sistema de competencia despiadada, sino como herramienta para optimizar los recursos y como forma de rendición de cuentas. • Debemos tener claro el modelo que queremos, tanto en la enseñanza académica como en la investigación pero en ambos la necesidad de disponer de recursos de información de calidad es imprescindible. • Si se opta por la vía bibliométrica es necesario profesionalizar la gestión. Se necesitan expertos que procesen, que adapten los indicadores y que generen los informes liberando en lo posible a los investigadores y actúen cerca de los centros de toma de decisiones, lo que en algunas universidades llamamos unidades de bibliometría EC3metrics
  42. 42. Recuerden • Al final seguramente habrá que elegir entre: • Procedimientos bibliométricos: “groseros”, sencillos y supuestamente “fáciles de engañar” • Procedimientos basados en paneles: cualitativos, costosos, sensibles y finalmente subjetivos y por tanto con poca comparabilidad
  43. 43. Muchas Gracias! evaristo@ugr.es
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×