1. Necesidad evaluación rendimiento y calidad actividad investigadora: Tema polémico y trascendente 2. Evaluación actividad investigadora en España - ¿Desde cuándo? Antecedentes - ¿Para qué se evalúa? - ¿Qué se evalúa? - ¿Con qué criterios? - ¿Cómo y quién evalúa? - Controles - Los resultados - Los defectos - Las consecuencias - Las propuestas

1. Evaluación de la
actividad investigadora española:
luces y sombras
Emilio Delgado López-Cózar
Profesor Técnicas Documentales aplicadas a la Investigación y
Metodología del Trabajo Intelectual
Departamento de Biblioteconomía y Documentación
Universidad de Granada
Centro Mediterráneo Universidad de Granada
La evaluación en la ciencia
Motril 21-25/09/1998

2. Axiomas previos
• Necesidad evaluación rendimiento y calidad
actividad investigadora
– Impacto social de la ciencia
– Recursos escasos
– En ciencia no todos somos iguales
• Tema polémico
• Tema trascendente
– Condiciona la orientación de la investigación de un país
– Condiciona la promoción profesional
– Condiciona la posibilidad de investigar
– Otorga reconocimiento personal y social

3. Axiomas previos
El sistema de evaluación
• El mejor sistema es el menos malo
• No existen fórmulas mágicas
• Dificultad evaluar producción científica
 ¿Qué es y cómo se mide la calidad científica?
 Objeto multidimensional
 El conocimiento científico no es objetivable
• Un buen sistema de evaluación es como un buen traje:
debe estar hecho a medida
Los métodos de evaluación más objetivos (los bibliométricos) son
los menos relevantes mientras que los menos objetivos
(evaluación por pares) son los más relevantes

4. Evaluación actividad investigadora
en España
• ¿Desde cuándo? Antecedentes
• ¿Para qué se evalúa?
• ¿Qué se evalúa?
• ¿Con qué criterios?
• ¿Cómo y quién evalúa?
• Controles
• Los resultados
• Los defectos
• Las consecuencias
• Las propuestas

5. ¿Desde cuándo?
Antecedentes
• Ley de Reforma Universitaria 1983
• Ley 13/1986 de Fomento y Coordinación General de la Investigación
Científica y Técnica
Necesidad medidas para el fomento de la productividad del personal investigador
• Estudio UAB para el MEC sobre modelo retributivo profesores
universitarios españoles:
– Modelo retributivo estrecho
– Buenos salarios profesores que inician su carrera docente y malos para los que
la finalizan
• Real Decreto 1086/1989 sobre Retribuciones del Profesorado de
Universidad
– Introducción complemento productividad
– Introducción complemento por méritos docentes
• Creación panel científicos a iniciativa del MEC para fijar
procedimiento evaluación:
– Evaluación por pares
– Evalación individualizada por comités campos científicos con sus propios
criterios evaluativos

6. ¿Desde cuándo?
Antecedentes
• Creación de la Comisión Nacional de Evaluación de la
Actividad Investigadora
– Orden de 28 de diciembre de 1989
• Aprobación procedimiento evaluación
– Orden 5 de febrero de 1990
• Primera evaluación 1990
• Cambios y matizaciones y desarrollos parciales
procedimiento evaluación
– Orden de 3 de noviembre de 1989
– Orden 3 de diciembre de 1992
– Nuevo procedimiento de evaluación. Órdenes de 2 y 5 de
diciembre de 1994
– Aprobación criterios específicos en los campos de evaluación de la
actividad investigadora (Resolución 6 de noviembre de 1996)

7. ¿Para qué se evalúa?
• Incentivar la actividad docente e investigadora
individualizada de los profesores universitarios e
investigadores del CSIC
– Estimular la calidad en el desempeño de la actividad docente e
investigadora
– Premiar individualmente a quiénes realizan un esfuerzo por
conseguirlo
– No se trata de aprobar o suspender la labor investigadora de un
profesor, sino incentivar, premiar un trabajo
• Mejorar la difusión nacional e internacional de la
producción científica española

8. ¿Qué se evalúa?
• Las cinco aportaciones más relevantes de un investigador en un
período de 6 años
• Aportaciones ordinarias:
– Libros, capítulos de libros, prólogos, introducciones y anotaciones de
textos
– Artículos en revistas científicas
– Patentes y modelos de utilidad
• Aportaciones extraordinarias:
– Informes, estudios y dictámenes
– Trabajos técnicos y artísticos
– Participación en exposiciones, excavaciones arqueológicas y
catalogaciones de reconocido prestigio
– Dirección de tesis doctorales de méritos excepcionales
– Comunicaciones a congresos, como excepción
Se evaluarán fundamentalmente las aportaciones ordinarias. Las
extraordinarias tienen carácter complementario, salvo
circunstancias especiales

9. ¿Cómo se evalúa?
Procedimiento
• Solicitud voluntaria
• Adscripción solicitud a campo científico. Solicitante
sugiere, CNEAI decide
• Juicio técnico no vinculante emitido por el Comité
Asesor o especialista ad hoc
– El juicio se expresará en términos numéricos de 0 a 10 puntos.
– Evaluación positiva: mínimo 6 puntos
– Deberán ser valoradas positivamente las 5 aportaciones,
excepto si algunas de ellas son de gran calidad y poseen alta
difusión
• CNEAI decide a la vista del informe
• Notificación personal y directamente al solicitante

10. ¿Quién evalúa?
• Órgano evaluador: Comisión Nacional Evaluadora de la
Actividad Investigadora.
– Composición
• Director General de Investigación Científica y Técnica
• Un representante por cada CCAA con competencias
• Siete representantes MEC designados por SEUI
• Órganos asesores:
– Comités Asesores:
• 11 campos científicos: Matemáticas y Física, Química, Biología Celular
y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza,
Ingenierías y Arquitectura, Ciencias Sociales / Económicas /Políticas /
Comportamiento y Educación, Ciencias Económicas y Empresariales,
Derecho y Jurisprudencia, Historia y Arte, Filosofía/Filología
/Lingüística
• Composición: Investigadores de reconocido prestigio con al menos tres
tramos de investigación concedidos.
– Especialistas ad hoc, cuando sean necesarios en función de la
especificidad de las aportaciones.

11. ¿Con qué criterios?
Criterios de evaluación
- Principios generales
- Principios específicos según campos de
conocimiento

12. Principios generales
• La contribución al progreso del conocimiento, la
innovación y creatividad
• Se primarán los trabajos formalmente científicos o
innovadores, frente a los meramente descriptivos, a
los que sean simple aplicación de los conocimientos
establecidos o a los de carácter divulgativo
• No se valorarán los trabajos meramente descriptivos
o las reiteraciones de trabajos previos, salvo en los
casos en que contribuyan claramente a la
consolidación del conocimiento

13. Principios específicos
• Matemáticas, Física, Química, Biología Celular/Molecular,
Biomedicina
– Sólo aportaciones ordinarias
• Ciencias de la Naturaleza
– Trabajos de investigación
– Trabajos descriptivos del medio natural que sean de interés social
incuestionable
• Ingeniería y Arquitectura
– Trabajos de investigación
– Trabajos de desarrollo técnico. En función:
• Interés para el sector productivo o institucional
• No servicios o aplicaciones de conocimientos establecidos
– Trabajos de creación artística. Deberán:
• Repercusión medible en su entorno
• Tener amplio reconocimiento

14. Principios específicos
• Ciencias Sociales, Políticas, del Comportamiento y
Educación
– Sólo aportaciones ordinarias
– Excepcionalmente estudios, informes, dictámenes en función de
que:
• El tema tratado sea importante desde una perspectiva nacional/regional o
ayude a la solución de problemas en las administraciones públicas o
empresas
• Posean rigor científico
• No sean una mera aplicación
• Ciencias Económicas y Empresariales
– Fundamentalmente ordinarias y excepcionalmente
extraordinarias
– También estudios, informes, dictámenes con los mismos
requisitos del área anterior

15. Derecho y Jurisprudencia
– Fundamentalmente ordinarias y excepcionalmente extraordinarias
– También se considerarán:
• Monografías que se reconozcan como obras de referencias de difusión generalizada
• Manuales si suponen un progreso en la organización de un campo de conocimiento
• Los textos legislativos y jurisprudenciales que ofrezcan soluciones a problemas de
interpretación, lagunas y contradicciones del ordenamiento jurídico español
• Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o
temas conexos, que esclarezcan criterios de actuación de los tribunales y comentarios
sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del
derecho
– No se considerarán:
• Libros de texto, programas, apuntes, supuestos...
• Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares
• Recopilaciones legislativas
• Glosas de sentencias
• Dictámenes y proyectos que no sean de público conocimiento
– Se valorarán preferentemente los trabajos que:
• Constituyan una aportación original de carácter doctrinal, teórico o conceptual que hayan
tenido repercusión nacional o internacional
• Desarrollen nuevas perspectivas de la ciencia jurídica, basadas en estudios doctrinales,
legislativos y jurisprudcenciales de derecho comparado

16. Historia y Arte
– Fundamentalmente ordinarias y excepcionalmente
extraordinarias
– Se valorarán preferentemente los estudios analíticos y
comparados frente a los descriptivos
– No se considerarán
• Libros de texto, apuntes, obras de divulgación o artículos de
opinión
• Ediciones de textos o traducciones salvo que estén precedidas de
estudios preliminares
• Meras catalogaciones sin estudios históricos o artísticos
• Meras transcripciones sin juicio crítico y análisis histórico
• Prólogos o introducciones que sean meros resúmenes o
descripciones de la obra
• Trabajos localistas

17. Filosofía, Filología y Lingüística
– Fundamentalmente ordinarias y excepcionalmente
extraordinarias
– No se considerarán:
• Libros de texto o apuntes
• Artículos de opinión
• Obras de divulgación
• Antologías o diccionarios comunes
• Ediciones de textos o traducciones salvo que estén
precedidas de estudios preliminares
• Manuales salvo que supongan un progreso en la
organización de un campo de conocimiento

18. Indicios de calidad
• Relevancia científica del medio de difusión en
el que se haya publicado cada aportación
• Citas recibidas de otros autores
• Apreciación del propio investigador sobre la
contribución de su obra
• Datos sobre la explotación de patentes
• Reseñas en revistas especializadas

19. Indicios calidad revistas científicas
• Las que ocupan posiciones relevantes en los listados del
JCR del SCI y SSCI
(Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias
Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitecturas, Ciencias
Sociales, Económicas)
• Aquellas que cuenten con
– Comité editorial formado por especialistas de reconocido
prestigio en su materia
– Un riguroso proceso de evaluación de manuscritos
(Ciencias Sociales, Económicas, Historia, Arte, Filosofía, Filología y
Lingüística)
• Revistas incluidas en bases de datos o repertorios
bibliográficos de prestigio (Philosopher’s Index)
(Filosofía, Filología y Lingüística)
• CNEAI elabora listados de revistas de calidad

20. Indicios de calidad
complementarios
• Importancia del tema del trabajo, que deberá
ser equivalente a los que se publican
normalmente en las revistas descritas en el
punto anterior
• Rigor en el planteamiento y desarrollo del
trabajo
• Importancia de los resultados, analizados por
el impacto científico medible

21. Controles
• Publicación en BOE nombres de los
integrantes Comités Asesores
• Recusación miembros comités evaluación
• Informe motivado: inclusión de los
informes emitidos por los Comités asesores
o especialistas
• Recursos en tribunales ordinarios

22. Gráfico 1
Resultados globales evaluación investigadores españoles
(1990-1996)
78,6
70,0
0
10
20
30
40
50
60
70
80
90
100
Tramos concedidos Tramos solicitados

23. Gráfico 2
Resultados evaluación investigadores españoles
(1990-1996)
0
20
40
60
80
100
1990 1991 1992 1993 1994 1995 1996
%
Tramos concedidos Tramos solicitados

24. Gráfico 3
Tramos presentados investigadores españoles (1990-1996)
Distribución campos científicos
76,6
83,9
87,9
74,3
78,4
73,0
76,0
73,1
79,6 80,4 81,6
0
20
40
60
80
100
M
atem
áticas/Física
Q
uím
ica
Biología
C
elular/M
olecularBiom
edicina
C
iencias
de
la
N
aturaleza
Ingenierías/Arquitectura
C
iencias
Sociales
C
iencias
Económ
icas
D
erechoH
istoria/Arte
Filosofía/Filología

25. Gráfico 4
Tramos concecidos investigadores españoles (1990-1996)
Distribución campos científicos
81 80,3
85,1
70,3 70,4
59,1 57,6 58,6
73,6
68,4
65,3
0
20
40
60
80
100
M
atem
áticas/Física
Q
uím
ica
Biología
C
elular/M
olecularBiom
edicina
C
iencias
de
la
N
aturaleza
Ingenierías/Arquitectura
C
iencias
Sociales
C
iencias
Económ
icas
D
erechoH
istoria/Arte
Filosofía/Filología

26. Gráfico 5
Comparación tramos concedidos y presentados por campos científicos
(1990-1996)
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8 9 10 11
%
Tramos concedidos Tramos presentados

27. Gráfico 6
Comparación tramos concedidos y presentados por áreas científicas
(1990-1996)
74,4
63,2
66,8
79,1
76,2
81
0
10
20
30
40
50
60
70
80
90
100
Ciencia y Tecnología Ciencias sociales Humanidades
%
Tramos concedidos Tramos presentados

28. Gráfico 10
Número de áreas por campo científico
20
11
9
25
20
40
28
9
15
19
22
0
5
10
15
20
25
30
35
40
45
1 2 3 4 5 6 7 8 9 10 11
Campos científicos
Nºáreas

29. Gráfico 11
Comparación heterogeneidad de los campos científicos ccon tasas de presentación y éxito de tramos de
investigación
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8 9 10 11
Campos
Número de áreas por campo científico Tramos solicitados Tramos concedidos

30. Los defectos
• Sólo mide outputs
• Los evaluadores: ¿son realmente pares?
• No es realmente externo
• Produce sesgos
Conflictos de intereses
Efecto Mateo
• La difusión no es un indicador de calidad
• Uso acrítico del factor impacto: la
impactolatría

31. El factor impacto
ese oscuro objeto del deseo
• Cita = Calidad  Más citas = Más calidad ?
• El FI se calcula a partir del SCI: esta BD no representa la
producción científica española en su conjunto
• El FI de una revista no es estadísticamente representativo de
los artículos individuales
• No existe correlación entre impacto de la revista y tasa de
citación de los artículos de científicos individuales o grupos
de investigación
• El FI es calculado por procedimientos que causan sesgos

32. Las consecuencias
• Se acabó el café para todos: un estímulo ante la atonía
universitaria
• Mejora en la calidad y rigor de los trabajos
• La publicación como problema: el síndrome de publicar.
La grafomanía
– Publica o Perece  Perecer por Publicar
– Investigar para Publicar  Publicar para Investigar
• Investigar lo publicable: Modificación en los temas de
investigación
• Cambios en los hábitos de publicación: la emigración
• Deficiente conexión de la ciencia española
– De los científicos españoles entre sí
– De los científicos y los profesionales

33. Artículos científicos producidos por España
14
15
18
25
23
21 20
13
11
10
9
0
5000
10000
15000
20000
25000
1974 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97
Años
Trabajos
SCI-E SCI-CD

34. % Participación en SCI
0
0,5
1
1,5
2
2,5
77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97
Años
%
%

35. DATOS DE PRODUCCIÓN E I+D DE EUROPA OCC.
0
10000
20000
30000
40000
50000
60000
70000
AL RU FR IT HO ES SU BE DI GR IR PO
TRABAJOS
Producción
Inversiones en I+D

36. AUTORES CIENTÍFICOS Y PRODUCTIVIDAD
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
AL RU FR IT HO ES SU BE DI GR IR PO
TRABAJOS
POBLACIÓN AUTORES
TRAB/ AUT

37. Las consecuencias
• Aumento comportamientos antiéticos:
– Autoría: el autor fantasma
– Publicación duplicada
– Publicación esterilizante: el eterno bucle
– Publicación múltiple o salami
– Plagio
– Inmadurez resultados
– Publicación fraudulenta: falseamiento de datos
• Destrucción del español como lengua científica y de las
revistas españolas como medios de comunicación
• Abandono o descuido de la docencia

38. Las propuestas
• Obtener el respaldo de la comunidad científica objeto
de evaluación
– Tener en cuenta opinión investigadores (encuestas)
– Tener en cuenta opinión expertos en política y evaluación
científica
• Compensar la evaluación por pares con técnicas
bibliométricas
• Creación índice de citas de la producción científica
española
– Utilización Factor de Impacto observado
• Mantenimiento de las bases de datos nacionales
• Evaluación imputs (recursos de investigación).
Relación recursos/resultados

39. Las propuestas
• Monitorización proceso de evaluación
– Evaluación de los evaluadores y del proceso de evaluación
– Participación de Administración, Evaluadores e
Investigadores
• Mejora herramientas evaluación
– Más evaluadores: nacionales e internacionales
– Elaboración protocolos de evaluación: más ítemes, escalas de
valor, conjunción juicios cuantitativos y cualitativos
• Mayor transparencia y difusión del proceso de
evaluación:
– Criterios de evaluación, procedimiento, aplicación
– Evaluadores: criterios de selección
– Publicidad de los resultados
• No postergar la publicación en revistas españolas que
cumplan estándares editoriales

40. Tabla 1
Número de documentos producidos en Biomedicina en el mundo y España
según el Science Citation Index y el Índice Médico Español (1980-1989)
Total mundial
SCI
España
SCI
España
IME
1980 174.324 966 4.548
1981 181.460 1.065 4.784
1982 196.257 1.278 5.526
1983 200.583 1.352 6.696
1984 206.948 1.471 8.352
1985 213.693 1.807 8.944
1986 216.492 2.122 8.992
1987 221.004 2.394 11.091
1988 227.725 2.624 11.944
1989 216.279 2.618 13.698
Total 2.054.765 17.697 84.575

41. Gráfico 7
Comparación de la producción biomédica española indizada en el Índice
Médico Español con la indizada en el Science Citation Index
(1980-1989)
21,2
22,2
23,1
20,2
17,6
20,2
23,6
21,6 22
19,1
0
5
10
15
20
25
1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
%Documentos

42. Comparativa según FI
UNIVERSIDAD SANIDAD CSIC
1986-89 2,16 1,84 1,53
1990-93 1,87 1,93 1,48

43. La citación
1980-84 1985-89
España Producción 20 13
Citas esperadas 29 77% 24 78%
Citas observadas 26 57% 26 56%
Biomedicina Producción 22 16
Citas esperadas 20 77% 20 75%
Citas observadas 24 54% 27 49%

44. Autores vs citas
N Eng J Med
2 3 2
22
54
0
20
40
60
80
100
120
140
160
>60 59--25 25--11 10--2 1 0
Autores/citas
Autores
Citas

45. Gráfico 8
Número de documentos indizados en el Índice Médico Español
(1980-1998)
0
2.000
4.000
6.000
8.000
10.000
12.000
14.000
16.000
1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998

46. Cobertura artículos españoles
en bases de datos
0
2000
4000
6000
8000
10000
12000
14000
1990 1991 1992 1993 1994 1995 1996 1997 1998
Años
Trabajos
IME
SCI-cd
MEDLINE