Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades

6,242 views
6,140 views

Published on

elgado López-Cózar, Emilio. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades. Las humanidades en España y en Europa. Retos y oportunidades de la convergencia europea en la educación superior y en la investigación. Universidad Complutense de Madrid y CSIC. Madrid, 23-25 de marzo de 2010

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
6,242
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
100
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • Agradecimiento invitación Es costumbre comenzar un acto como el que aquí nos convoca agradeciendo lo organizadores su deferencia y amabilidad por la invitación cursada. Lo digo sinceramente, yo les estoy agradecido por dos razones: En primer lugar, por haberme permitido volver, aunque sea temporalmente, a lo que fueron mis orígenes: los de historiador. Como muchos otros de los que habitamos en este campo de la Documentación, nos formamos en las Humanidades, en la historia contemporánea en mi caso Y en segundo lugar, por compartir tribuna con tan ilustres y sabios humanistas, a muchos de los cuales yo leí
  • España en estado de excepción evaluativa: Parafraseando al clásico bien podría decirse que un fantasma recorre la Universidad Española, es el fantasma de la evaluación, de repente todo el mundo se ha puesto a evaluar a todo el mundo a todas horas. Hace 25 años este verbo solo lo conjugaba el profesor en su voz activa cuando evaluaba a sus alumnos pero no en su voz pasiva o lo hacía ocasionalmente cuando accedía la plaza o ganaba la oposición (uno o dos ascensos) Hoy se conjuga en su voz activa (evalúo) o pasiva (soy evaluado). Y se hace a todos los niveles (personas, programas, instituciones, titulaciones, proyectos, publicaciones), en los diversos ámbitos geográficos en que despliega su actividad (internacional, nacional, regional y local) y - Tesis: informes valoración, tribunal, premio extraordinario - Artículos, libros: revisor o asesor - Proyectos de investigación - Acceso a plazas: comité - Promoción: tribunal - Sexenios de investigación - Tramos autonómicos - Evaluación institucional: autoevaluación, evaluación externa Cuando uno se levanta por la mañana dice a quien evaluaré o hoy o quien me evaluará a mi Quién notiene que acreditarse, habilitarse, opositar…
  • De aquellos polvos estos lodos España es diferente: pero no en sentido negativo. No hay otro país europeo que haya lanzado tantas iniciativas al respecto. Estamos en la vanguardia Lamentablemente se han financiado proyectos y sistemas, con objetivos y ámbitos de aplicación concurrentes por no decir idénticos, que han supuesto un gasto innecesario de recursos y han contribuido a desorientar a los científicos a los que iban destinados
  • Primera OBSERVACIÓN: siendo los libros el principal medio de publicación de resultados de investigación en Humanidades es el que cuenta con menos herramientas Realmente solo con propuestas: dos de ellas españolas Razones: Universo amplio (libros) frente al reducido (revistas) Descontrolado y poco normalizado / Controlado y más normalizado Irregular / Regularidad en la publicación Problema con la selección muestral
  • Permitidme antes de adentrarnos en el tema de la conferencia que averiguemos que es lo que piensan los científicos españoles de Humanidades respecto a cuales son los criterios que más deberían pesar en la evaluación de un curriculun de un profesor de Humanidades A DESTACAR ENTRE LOS 19 CRITERIOS MÁS VALORADOS PRÁCTICAMENTE TODOS SON DE INVESTIGACIÓN: 16 EN CCSS y HUMANIDADES LAS PUBLICACIONES COPAN LAS PRIMERAS POSICIONES (3 DE LOS 5 PRIMEROS EN CCSS Y 3 DE LOS 5 PRIMEROS EN HUM) Y OCUPAN LOS PUESTOS MÁS DESTACADOS (1 Y 2) SE CONSTATAN LIGERAS DIFERENCIAS ENTRE LAS DOS ÁREAS EN EL ORDEN DE LOS INDICADORES QUE NO EN LOS QUE FORMAN PARTE DE LOS 19 MÁS IMPORTANTES (SOLO SE DISCREPA CON MIEMBRO DE CONSEJO EDITORIAL EN REVISTA ISI). Y COINCIDENCIA EN EL LIBRO COMO EL ELEMENTO MÁS DESTACADO PUNTUACIONES MÁS ELEVADAS EN HUMANIDADES Y CONSIDERACIÓN DE MÁS CRTIERIOS CON PUNTUACIÓN DE APROBADO SORPRENDE LA ELEVADA CONSIDERACIÓN DE ARTÍCULOS ISI PARA HUMANIDADES EN ESTE TRABAJO SE PRESENTARON 42 CRITERIOS A CONSIDERACIÓN DE LOS ENCUESTADOS FORMACIÓN 2 DOCENCIA 6 ARTE Y HUMANIDADES
  • Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades

    1. 1. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Madrid, 23-25 de marzo de 2010
    2. 2. España en estado de excitación evaluativa
    3. 3. El laberinto de las herramientas para la evaluación de las publicaciones científicas españolas
    4. 4. Libros Revistas Todo Nada Libros Revistas Revistas Libros Revistas
    5. 5. Los criterios
    6. 6. Indicios de calidad de los libros CNEAI, ANECA, ANEP HUM Obras de referencia imprescindibles en los estudios grado y postgrado  Inclusión en bibliografías independientes del autor y su entorno  Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias PCD  Traducciones de la propia obra a otras lenguas    Riguroso proceso de selección y evaluación de originales     ANECA JURID.     CNEAI Poseer ISBN (imprescindible) Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1  Reseñas en las revistas científicas especializadas CCSS Prestigio de la editorial, los editores, la colección en la que se publica la obra  Número de citas generadas (cantidad y calidad) ANEP Criterios
    7. 7. Indicios calidad revistas científicas CNEAI, ANECA, ANEP  Estar acreditada por la FECYT    Satisfacer criterios de calidad editorial  Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF  ANECA  CNEAI  Inclusión de las revistas en bases de datos internacionales Preferentes: Arts and Humanities Citation Index y Social Science Citation Index Similares : FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature , Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1) ANEP Criterios
    8. 8. Criterios calidad editorial revistas científicas    Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces    Periodicidad de las revistas y regularidad    Emplea el anonimato en la revisión de manuscritos   Comunica a los autores la decisión editorial de forma motivada    ANEP    ANECA    CNEAI Traduce el sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de Congresos Cuenta con Instrucciones a Autores detalladas Identifica los miembros de los Comités Editoriales y Científicos Criterios
    9. 9. Criterios calidad editorial revistas científicas   Cuenta con un Consejo de Redacción efectivo   Cuenta con un Consejo Asesor efectivo  Al menos el 75% de los autores son ajenos a los Comités Editoriales  Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista  La tasa de aceptación de trabajos es igual o menor al 60%   Al menos el 75% de los artículos son trabajos que comunican resultados de investigación originales ANEP ANECA CNEAI Criterios
    10. 10. Preguntemos a los científicos
    11. 11. Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 1 Opinión científicos españoles 2 3 4
    12. 12. Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales 2009 Muy idóneo 5 – Poco 1 Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica Muestra: 2.301 profesores e investigadores españoles de Humanidades
    13. 13. Las herramientas
    14. 14. RESH y DICE Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA ± 1.000 revistas españolas
    15. 15. RESH y DICE ● BASES DE DATOS ● PERIODICIDAD ● EVALUADORES EXTERNOS ● APERTURA DEL CONSEJO EDITORIAL ● APERTURA EXTERIOR DE LOS AUTORES ● ÍNDICE DE VALORACIÓN A+B ● ÍNDICE DE IMPACTO MEDIO (sin actualizar) ● CRITERIOS LATINDEX Metodología de evaluación en RESH y DICE Citas 1999-2003
    16. 16. 1. Años de vida de la revista    20 años o más = 10 puntos   de 10 a 19 años = 5 puntos   de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex    25 criterios o más = 13 puntos    de 20 a 24 criterios = 9 puntos    de 15 a 19 criterios = 5 puntos     menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos    5. Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos 7. Bases de Datos 100      Total   16      BBDD 7 16      IIM 6 16      Índice A + B 5 16      Revisores externos 4 13      Criterios Latindex 3 13      Cumplimiento de la periodicidad 2 10      Años vida de la revista 1 Puntuación máxima Parámetros de calidad       0,75 1,5 3 6 Multidisciplinar 0,35 0,75 1,5 3 Especializada en otra área 0,75 1,5 3 6 Especializada del área SD C B A Tipo de base de datos
    17. 17. El catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal OJO tiene dos productos - DIRECTORIO: 16.963 revistas. Información básica normalizada - CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad ! !
    18. 18. Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Mención de la Dirección 8 Mención del Director 7 Entidad editora 6 Lugar de edición 5 Identificación de los autores 4 Antigüedad mínima 1 año 3 Contenido 2 Mención del cuerpo Editorial 1 Características básicas Recepción y aceptación de originales 17 Afiliación de los autores 16 Afiliación institucional de los miembros del consejo editorial 15 Miembros del consejo editorial 14 Membrete bibliográfico en cada página 13 Membrete bibliográfico al inicio del artículo 12 Tabla de contenidos (Indice) 11 Mención de periodicidad 10 Páginas de presentación 9 Características de presentación de la revista Palabras clave en dos idiomas 33 Palabras clave 32 Resumen en dos idiomas 31 Resumen 30 Exigencia de originalidad 29 Elaboración de las referencias bibliográficas 28 Instrucciones a los autores 27 Contenido original 26 Características de los contenidos Cumplimiento de periodicidad 25 Servicios de información 24 Apertura editorial 23 Autores externos 22 Evaluadores externos 21 Sistema de arbitraje 20 Definición de la revista 19 ISSN 18 Características de gestión y política editorial
    19. 19. ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
    20. 20. ¿Qué son? <ul><li>Índices bibliométricos </li></ul><ul><ul><li>Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas </li></ul></ul>● CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional ● ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque ● ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico (1994-2008), década y quinquenio 1.095 revistas 243.534 artículos 62.026 citas
    21. 21. ¿Qué son? Índices de impacto Índices de citas
    22. 22. Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos. A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria) 27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología
    23. 23. ICDS (Índice Compuesto de Difusión Secundaria)
    24. 24. Los procedimientos
    25. 25. Análisis calidad editorial <ul><li>Mide </li></ul><ul><ul><li>Calidad informativa </li></ul></ul><ul><ul><li>Gestión proceso editorial </li></ul></ul><ul><ul><li>Organización y estructura editorial </li></ul></ul>
    26. 26. <ul><li>Fiabilidad y validez de los resultados </li></ul><ul><ul><li>Cambios en la políticas editoriales: exigen actualización constante </li></ul></ul><ul><ul><li>Puede ser recogida sin control en la observación </li></ul></ul><ul><ul><li>Se basa en declaraciones y no en hechos comprobados </li></ul></ul>Análisis calidad editorial
    27. 27. Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión Análisis calidad editorial
    28. 28. Análisis de la difusión y visibilidad Mide el grado en que una revista es visible (bases de datos / Internet ) y accesible (Biblioteca / Internet)
    29. 29. <ul><li>Fiabilidad y validez </li></ul><ul><ul><li>Cambios en la indización: exige actualización constante de la información </li></ul></ul><ul><ul><li>Los criterios de las bases de datos y sus exigencias en la selección son muy dispares </li></ul></ul>Análisis difusión y accesibilidad
    30. 30. Encuestas de opinión de los científicos Miden percepciones más que realidades (calidad percibida), la reputación y el prestigio <ul><li>Fiabilidad y validez </li></ul><ul><ul><li>Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados </li></ul></ul><ul><ul><li>Tasas de respuesta normalmente bajas y no participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados </li></ul></ul><ul><li>Sus resultados suelen correlacionar con los producidos por recuentos de citas </li></ul>
    31. 31. Recuentos de citas e índices de impacto Miden la repercusión científica: la utilidad y la influencia intelectual, no la calidad Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas <ul><li>Cautela y prudencia con el uso de los datos de citación en las Humanidades </li></ul><ul><li>Números “pequeños”: pocas citas. </li></ul><ul><li>Escuálidas comunidades científicas. Falta de masa crítica </li></ul><ul><li>Atomización y dispersión temática por la propia naturaleza de las Humanidades </li></ul><ul><li>Tiempos largos en la citación </li></ul>
    32. 32. <ul><li>Fiabilidad y validez </li></ul><ul><li>Los recuentos de citas son sensibles a múltiples factores </li></ul><ul><ul><li>Tamaño de las comunidades científicas: nº científicos </li></ul></ul><ul><ul><li>Temas de los trabajos: nacionales/regionales/locales, modas… </li></ul></ul><ul><ul><li>Hábitos de publicación y prácticas de citación de las comunidades científicas: nº publicaciones por autor, nº referencias por artículo … </li></ul></ul><ul><ul><li>Tipo de trabajos: revisiones, artículos… </li></ul></ul><ul><ul><li>Rapidez en la publicación (ventana de citación) </li></ul></ul>Recuentos de citas e índices de impacto Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente
    33. 33. Las propuestas
    34. 34. Las revistas
    35. 35. Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
    36. 36. Próximo futuro: noviembre 2010… Y después: el destino es incierto… Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI Sistema de evaluación integrada de revistas españolas OPINIÓN PARES CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI LATINDEX ANECA DIFUSIÓN
    37. 37. Las Libros
    38. 40. ¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información? SÍ ¿dónde?
    39. 42. Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E . Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510
    40. 45. Una reflexión final
    41. 46. ¿Qué es la calidad de una publicación científica? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales
    42. 47. Recuentos Opiniones <ul><ul><li>Nº publicaciones en </li></ul></ul><ul><ul><li>- Editoriales de prestigio </li></ul></ul><ul><ul><li>- Revistas de alto nivel </li></ul></ul><ul><ul><li>Nº citas </li></ul></ul><ul><li>Comité de sabios o expertos </li></ul><ul><li>Comunidad científica: los pares </li></ul><ul><ul><li>Encuestas de opinión </li></ul></ul>Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes
    43. 48. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3

    ×