Indicadores Bibliométricos como Instrumentos de Política
Científica.
Los Retos de los Sistemas de Evaluación de la Calidad...
Contenidos

Una reflexión inicial
La percepción sobre las evaluaciones
Es posible la evaluación?
Las herramientas
Aplicaci...
Una reflexión inicial

La reflexión sobre los indicadores no es meramente técnica, tiene
unas evidentes implicaciones polí...
La percepción de las evaluaciones

Actitud de los investigadores franceses ante los procesos evaluativos:

Actitud
Porcent...
Es posible la evaluación?

EC3metrics
Evaluación en Ciencia
• La evaluación es inherente a la actividad científica.
– La revisión por expertos es uno de los sig...
Es posible la planificación y la evaluación en Ciencia?

• El proceso de creación y aplicación de nuevo conocimiento es un...
A quien interesa? Y porque puede ser aconsejable

• Economía : Aprovecha los resultados, optimización de
recursos. Planifi...
El debate sobre la Política científica
Entre la Ciencia responsable.
Bernal JD, (1931) La responsabilidad social del cient...
Fundamentos de la evaluación bibliométrica

EC3metrics
Dimensiones de la actividad científica y sus productos

Formación/docencia

Innovación

Nuevo conocimiento

Libros,
MOOCS…...
Que es lo que producen/valoran los científicos?

EC3metrics
Qué leen/citan los investigadores?

EC3metrics
Donde prefieren publicar

Research Information Network and JISC. 2009

EC3metrics
Cómo prefieren los científicos ser evaluados

EC3metrics
• La conclusión de que se puede obtener una imagen ajustada
de un investigador a partir de su obra, de las revistas en
las...
Herramientas

EC3metrics
Bases de datos; Preguntas
• Que fuente elegir?
–
–
–
–

Thomson Sci.
Scopus
Google Scholar
Otras: Redalyc, SciELO

–
–
–
–...
Selección vs exhaustividad
Ejemplo Psicología
TS
Revistas

Scopus

555

890

Citas

circa 300

>50%

Diferencial
9%

14000...
Pautas de actuación

• La elección de las fuentes determina el resultado
• La respuesta no es la misma según se trate se C...
Aplicaciones

EC3metrics
Ámbitos de actuación

• Valoración de proyectos
• Aplicación a la evaluación de las carreras académicas
e institucionales
...
Valoración de proyectos
• Desde los primeros ensayos en USA la valoración de
proyectos ha incluido sistemáticamente un apa...
Valoración de proyectos, Caso España, la ANEP

Agencia Nacional de evaluación y Prospectiva (1989)

1, Méritos científicos...
Aplicación a la evaluación de las carreras académicas e institucionales

• Numerosos países: Australia, Bélgica, Holanda, ...
Algunos ejemplos; Noruega
• Tipos de publicaciones “A,B,C publications that could have achieved
greater significance by ex...
Algunos ejemplos; UK, del RAE al REF
Controvertido, calificado como muy negativo o muy positivo
Mide la calidad de los res...
Algunos ejemplos; UK, del RAE al REF (2014)
• Valoración en 5 niveles.
• Astectos nuevos: Calidad 65%; Impacto 20%; Medio ...
España
• CNEAI: objetivos
– Introducir un régimen retributivo para incentivar, mediante evaluaciones,
la actividad investi...
ANECA, dimensiones de evaluación
MÉRITOS
DOCENTES

ACTIVIDAD
INVESTIGADORA
•
•
•
•
•

Artículos en revistas
Libros y Capít...
Pesos y puntuaciones para acreditación
CU

TU

Investigación
Docencia

Investigación
Docencia

Formación

Formación

Gesti...
Valoración de las revistas

Revistas Indexadas o con
Índice de Calidad Relativo
JCR

Revistas no
Indexadas o sin
Índice de...
Rankings

• Cual es la razón del éxito?
– Percepciones, metodologías, información, expectación mediática

• Los rankings h...
Rankings

•
•
•
•

Los rankings son un arma arrojadiza
Unidimensionales o lo que es peor multidimensionales
Difieren en su...
Desmontando los rankings

• Elementos que componen la realidad universitaria:
Investigación

Investigación

Docencia

Reco...
Antes de tomar medidas…
• No existe un patrón común:
– Países con sistemas universitarios muy desarrollados: México, Chile...
Los retos… reflexiones y valoración final

EC3metrics
Pros & Cons
• Los indicadores bibliométricos miden outputs que en general son aceptados
como válidos por la comunidad cien...
Pros & Cons
• Se implementan sobre todo a nivel nacional. Altamente enfocados en los
detalles y las características de su ...
Pros & Cons
• Dependen vitalmente de la calidad de las fuentes.
- (actualmente la disponibilidad de fuentes nacionales de ...
Conclusiones
• No hay una receta mágica. Todos las metodologías de evaluación tienen pros y
contras y hasta cierto punto p...
Recuerden

• Al final seguramente habrá que elegir entre:
• Procedimientos bibliométricos:
“groseros”, sencillos y supuest...
Muchas Gracias!
evaristo@ugr.es
Upcoming SlideShare
Loading in...5
×

Indicadores bibliométricos como instrumento de las políticas científicas

1,076

Published on

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,076
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
17
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Indicadores bibliométricos como instrumento de las políticas científicas

  1. 1. Indicadores Bibliométricos como Instrumentos de Política Científica. Los Retos de los Sistemas de Evaluación de la Calidad Científica en los Países Emergentes Dr. Evaristo Jiménez-Contreras Facultad de Comunicación y Documentación Universidad de Granada Monterrey 0ctubre 2013 EC3metrics – GRUPO EC3
  2. 2. Contenidos Una reflexión inicial La percepción sobre las evaluaciones Es posible la evaluación? Las herramientas Aplicaciones: Proyectos Instituciones Rankings Los resultados Los retos, reflexiones y valoración final EC3metrics
  3. 3. Una reflexión inicial La reflexión sobre los indicadores no es meramente técnica, tiene unas evidentes implicaciones políticas. Su uso deben ser decidido a la luz del modelo de universidad que busquemos (y no hay un modelo único). La no evaluación de las actividades científicas, o su disolución entre un conjunto más o menos amplio de objetivos o indicadores. también es una opción política, EC3metrics
  4. 4. La percepción de las evaluaciones Actitud de los investigadores franceses ante los procesos evaluativos: Actitud Porcentaje Totalmente en contra 15 Aceptan con reparos 85 Totalmente a favor 0 Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS y H), Desde luego no gustan en España (en Latinoamérica?) Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones En Alemania a día de hoy no hay un sistema constituido de evaluación institucional EC3metrics
  5. 5. Es posible la evaluación? EC3metrics
  6. 6. Evaluación en Ciencia • La evaluación es inherente a la actividad científica. – La revisión por expertos es uno de los signos distintivos del quehacer científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo) • Es cualitativa/cuantitativa • Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica EC3metrics
  7. 7. Es posible la planificación y la evaluación en Ciencia? • El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muy complejo que implica a numerosos agentes: – Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto • • • • Sus efectos y algunos de sus factores son en parte intangibles Es incierta y a veces impredecible Las herramientas analíticas están poco desarrolladas (aunque cada vez más) Con frecuencia genera polémicas y tiene efectos contraproducentes EC3metrics
  8. 8. A quien interesa? Y porque puede ser aconsejable • Economía : Aprovecha los resultados, optimización de recursos. Planificación de inversiones, • Academia: Aporta fundamentos teóricos, herramientas, autoevalúación, priorización • Sociedad: beneficio, prioridades, rendición de cuentas • Política: Desde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades EC3metrics
  9. 9. El debate sobre la Política científica Entre la Ciencia responsable. Bernal JD, (1931) La responsabilidad social del científico Los poderes públicos pueden y deben controlar la orientación de la Ciencia Y la república de la Ciencia… La evaluación ex ante no es necesaria porque “the results of any one particular investigation cannnot be predicted with accuracy” (Bush, V. 1945) Los científicos debían gozar de libertad total, nace la NSF la práctica evaluadora se generaliza a partir de los 70-80 como consecuencia de la crisis económica EC3metrics
  10. 10. Fundamentos de la evaluación bibliométrica EC3metrics
  11. 11. Dimensiones de la actividad científica y sus productos Formación/docencia Innovación Nuevo conocimiento Libros, MOOCS… Patentes, spin-off Artículos Artículos Investigación Subvenciones y programas Políticas públicas EC3metrics Comunicación, informes, asesorías.. Divulgación y peritaje
  12. 12. Que es lo que producen/valoran los científicos? EC3metrics
  13. 13. Qué leen/citan los investigadores? EC3metrics
  14. 14. Donde prefieren publicar Research Information Network and JISC. 2009 EC3metrics
  15. 15. Cómo prefieren los científicos ser evaluados EC3metrics
  16. 16. • La conclusión de que se puede obtener una imagen ajustada de un investigador a partir de su obra, de las revistas en las que publica o del impacto que alcanza, puede considerarse hoy en día un razonamiento correcto y en consecuencia un punto de partida para construir políticas evaluativas • Pero no es el único y debe ser complementario a otros EC3metrics
  17. 17. Herramientas EC3metrics
  18. 18. Bases de datos; Preguntas • Que fuente elegir? – – – – Thomson Sci. Scopus Google Scholar Otras: Redalyc, SciELO – – – – – – Exhaustividad vs. Selectividad Control en el ingreso de las fuentes frente a repositorios abiertos Indicadores clásicos o nuevos indicadores (almetrics) Adaptación a perfiles propios o a standards internacionales Indicadores simples vs. complejos Indicadores absolutos vs. relativos EC3metrics Bibliometría Output científico
  19. 19. Selección vs exhaustividad Ejemplo Psicología TS Revistas Scopus 555 890 Citas circa 300 >50% Diferencial 9% 14000 Revistas Diferencial Citas 58 60entre 1 y 9 Artícuos 0 3700 La ganancia en cobertura, en contra de los que suele pensar no es necesariamente un beneficio. Lo que nos falta desde hace años no es información sino tiempo para leerla.. EC3metrics
  20. 20. Pautas de actuación • La elección de las fuentes determina el resultado • La respuesta no es la misma según se trate se Ciencias Exactas y Experimentales o Ciencias Sociales y Humanidades. • Aunque los criterios de fondo no deberían alterarse • Calidad de la información – Científica – Accuracy • Complementariedad y ajuste al perfil institucional EC3metrics
  21. 21. Aplicaciones EC3metrics
  22. 22. Ámbitos de actuación • Valoración de proyectos • Aplicación a la evaluación de las carreras académicas e institucionales • Rankings EC3metrics
  23. 23. Valoración de proyectos • Desde los primeros ensayos en USA la valoración de proyectos ha incluido sistemáticamente un apartado de valoración de los CV de los solicitantes • Gradualmente esta valoración ha incorporado elementos bibliométricos – Producción, impacto, citas como parte del proceso EC3metrics
  24. 24. Valoración de proyectos, Caso España, la ANEP Agencia Nacional de evaluación y Prospectiva (1989) 1, Méritos científicos del investigador principal y del resto del equipo de investigación. 1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo. 1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación 2. Interés científico-técnico del proyecto. 3. Viabilidad de la propuesta. Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros. EC3metrics
  25. 25. Aplicación a la evaluación de las carreras académicas e institucionales • Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia… han implementado alguna forma de premio por publicar fuera. • Se vincula la carrera académica a la publicación en los “mainstream journals”. • En general promueven la autoselección por parte de los autores • Consecuencias: • La investigación ha pasado a ser el centro de la vida universitaria • Incremento de las cifras de publicaciones internacional • Reacción en contra de las áreas de CCSS y Hum. EC3metrics
  26. 26. Algunos ejemplos; Noruega • Tipos de publicaciones “A,B,C publications that could have achieved greater significance by expending more effort and being compiled into a smaller number of publications” • Tipos de investigadores: local, nacional, Internacional • “As a general rule, publications in publication channels with local authorship are not to be included in the statistics on academic publishing reported to the Database for Statistics on Higher Education (DBH), and which would therefore be included in the Ministry’s basis for setting the research component of the budgets.” • Se diferencia entre Thomson Sci, Norart y BibSys EC3metrics
  27. 27. Algunos ejemplos; UK, del RAE al REF Controvertido, calificado como muy negativo o muy positivo Mide la calidad de los resultados (publicaciones), entorno, reputación Flexible: cada panel establece sus reglas y umbrales. Se valoraban los 7 años anteriores del miembros permanentes pero se consideró a los part-time más adelante. • Selección de las mejores publicaciones • 15 paneles y 67 subpaneles • Muy costoso • Incremento de la visibilidad pero no necesariamente de la calidad (Moed 2008) • Ha generado una adaptación de conductas EC3metrics • • • •
  28. 28. Algunos ejemplos; UK, del RAE al REF (2014) • Valoración en 5 niveles. • Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente 15% • 36 paneles • Cada panel desarrolla sus propios criterios. A modo de ejemplo en el de Medicina no se menciona el impacto científico clásico medido en citas o similar. • Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither receive nor make use of citation data, or any other form of bibliometric analysis including journal impact factors.
  29. 29. España • CNEAI: objetivos – Introducir un régimen retributivo para incentivar, mediante evaluaciones, la actividad investigadora de calidad – Fomentar que los investigadores orienten sus trabajos a lograr resultados de amplia repercusión (internacional) científica y social • Procedimiento: – Evaluación sobre resultados de investigación: Las publicaciones – Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación forma – Evaluación por pares: comisiones de expertos y selección de las mejores publicaciones de cada candidato (5 en 6 años) – Valoración bibliométrica sobre todo EC3metrics
  30. 30. ANECA, dimensiones de evaluación MÉRITOS DOCENTES ACTIVIDAD INVESTIGADORA • • • • • Artículos en revistas Libros y Capítulos Proyectos y contratos Transferencia Congresos FORMACIÓN ACADÉMICA • • • Títulos y premios Becas y ayudas Estancias de investigación Docencia universitaria Dirección de tesis, tesinas, trabajos grado… Cursos de formación docente • • • GESTIÓN • • • Cargos Académicos Puestos en la administración Liderazgo de grupos de investigación y docentes OTROS MÉRITOS
  31. 31. Pesos y puntuaciones para acreditación CU TU Investigación Docencia Investigación Docencia Formación Formación Gestión Gestión
  32. 32. Valoración de las revistas Revistas Indexadas o con Índice de Calidad Relativo JCR Revistas no Indexadas o sin Índice de Calidad Relativo
  33. 33. Rankings • Cual es la razón del éxito? – Percepciones, metodologías, información, expectación mediática • Los rankings han venido para quedarse por tanto… – hay que tener un programa de actuación y debemos ser proactivos – Conocer sus criterios internos y potenciarlos en nuestra política científica si son razonables y es factible hacerlo, por ejemplo; • Favorecer la publicación en revistas internacionales de alto impacto • Contratar profesores de reconocido prestigio • Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos EC3metrics
  34. 34. Rankings • • • • Los rankings son un arma arrojadiza Unidimensionales o lo que es peor multidimensionales Difieren en sus reglas por tanto son incomparables entre sí No descansan en supuestos teóricos claros en muchos de sus apartados
  35. 35. Desmontando los rankings • Elementos que componen la realidad universitaria: Investigación Investigación Docencia Reconocimiento Inserción laboral Opinión de los expertos Transferencia Opiniones y éxito de los egresados Otras labores sociales • Elementos que componen la realidad de los rankings EC3metrics
  36. 36. Antes de tomar medidas… • No existe un patrón común: – Países con sistemas universitarios muy desarrollados: México, Chile, Brasil y otros no tanto… – Países con infraestructuras organizativas maduras y otros no tanto… • También hay que considerar si nos dirigimos a: – Universidades enfocadas a investigación o a docencia – Si tienen orientación internacional, nacional o local – Si los destinatarios de los indicadores son usuarios, gestores, responsables políticos – Públicas o privadas • Por tanto los indicadores deben adaptarse a esos modelos y objetivos.
  37. 37. Los retos… reflexiones y valoración final EC3metrics
  38. 38. Pros & Cons • Los indicadores bibliométricos miden outputs que en general son aceptados como válidos por la comunidad científica (sobre todo en Ciencias) • Utilizan una evaluación ex post que se basa en el principio de que los resultados anteriores son un buen predictor del rendimiento futuro. • Se centran principalmente (y en muchos casos únicamente) en el rendimiento de la investigación, prestando poca atención a otros aspectos de la actividad universitaria como la enseñanza o la innovación • Uno de sus objetivos principales es la distribución eficiente de los fondos. Por lo tanto el presupuesto final de las universidades (u otras instituciones de investigación) dependerá en cierta medida, de los resultados de dicha evaluación. EC3metrics
  39. 39. Pros & Cons • Se implementan sobre todo a nivel nacional. Altamente enfocados en los detalles y las características de su sistema universitario nacional. • A pesar de los anterior utilizan metodologías y enfoques bastante homogéneos • Son sistemas dinámicos que se actualizan y rediseñan constantemente. • Son económicos • Son transparentes o deberían serlo EC3metrics
  40. 40. Pros & Cons • Dependen vitalmente de la calidad de las fuentes. - (actualmente la disponibilidad de fuentes nacionales de calidad es limitado) • Tienden a crear un escenario común con unas reglas únicas • Favorecen la orientación hacia un modelo de universidad internacional, de excelencia investigadora, especializada en áreas experimentales, tecnológicas y salud • Son parciales Por tanto: • Deben combinarse con otras fuentes que incorporen información sobre recursos humanos y económicos • Deben manejarlos expertos EC3metrics
  41. 41. Conclusiones • No hay una receta mágica. Todos las metodologías de evaluación tienen pros y contras y hasta cierto punto pueden ser complementarias • La bibliométrica es especialmente eficiente para los aspectos relacionados con la investigación. • Introducir la cultura de la evaluación no tanto como sistema de competencia despiadada, sino como herramienta para optimizar los recursos y como forma de rendición de cuentas. • Debemos tener claro el modelo que queremos, tanto en la enseñanza académica como en la investigación pero en ambos la necesidad de disponer de recursos de información de calidad es imprescindible. • Si se opta por la vía bibliométrica es necesario profesionalizar la gestión. Se necesitan expertos que procesen, que adapten los indicadores y que generen los informes liberando en lo posible a los investigadores y actúen cerca de los centros de toma de decisiones, lo que en algunas universidades llamamos unidades de bibliometría EC3metrics
  42. 42. Recuerden • Al final seguramente habrá que elegir entre: • Procedimientos bibliométricos: “groseros”, sencillos y supuestamente “fáciles de engañar” • Procedimientos basados en paneles: cualitativos, costosos, sensibles y finalmente subjetivos y por tanto con poca comparabilidad
  43. 43. Muchas Gracias! evaristo@ugr.es
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×