Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio...
España en estado de excitación evaluativa
El  laberinto  de las herramientas para la evaluación de las publicaciones científicas españolas
Libros Revistas Todo Nada Libros Revistas Revistas Libros Revistas
Los criterios
Indicios de calidad de los libros CNEAI, ANECA, ANEP HUM Obras de referencia imprescindibles en los estudios grado y postg...
Indicios calidad revistas científicas   CNEAI, ANECA, ANEP  Estar acreditada por la FECYT    Satisfacer criterios de c...
Criterios calidad editorial revistas científicas    Informa sobre el proceso de evaluación y selección de manuscritos e...
Criterios calidad editorial revistas científicas   Cuenta con un Consejo de Redacción efectivo   Cuenta con un Consejo...
Preguntemos a los científicos
Muestra: 1.294 Profesores TU y Catedráticos  (181 de Humanidades)  con al menos 2 sexenios Buela-Casal, G. y Sierra, J. C....
Encuesta calidad revistas españolas de  Humanidades y Ciencias Sociales 2009 Muy idóneo 5 – Poco  1 Valore la idoneidad de...
Las herramientas
RESH y DICE Difusión y Calidad Editorial de las  Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas  Revist...
RESH y DICE ●   BASES DE DATOS ●   PERIODICIDAD ●   EVALUADORES EXTERNOS ●   APERTURA DEL CONSEJO EDITORIAL ●   APERTURA E...
1. Años de vida de la revista    20 años o más = 10 puntos   de 10 a 19 años = 5 puntos   de 5 a 9 años = 3 puntos 2.   Cu...
El catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe Españ...
Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los...
ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
¿Qué son? <ul><li>Índices bibliométricos </li></ul><ul><ul><li>Índices estadísticos basados en recuentos de referencias bi...
¿Qué son? Índices de impacto Índices de citas
Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos.  A partir ...
ICDS (Índice Compuesto de Difusión Secundaria)
Los procedimientos
Análisis calidad editorial <ul><li>Mide </li></ul><ul><ul><li>Calidad informativa </li></ul></ul><ul><ul><li>Gestión proce...
<ul><li>Fiabilidad y validez de los resultados </li></ul><ul><ul><li>Cambios en la políticas editoriales: exigen actualiza...
Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión Análisis calida...
Análisis de la difusión y visibilidad Mide  el grado en que una revista es visible (bases de datos  / Internet ) y accesib...
<ul><li>Fiabilidad y validez </li></ul><ul><ul><li>Cambios en la indización: exige actualización constante de la informaci...
Encuestas de opinión de los científicos Miden   percepciones más que realidades (calidad percibida), la reputación y  el p...
Recuentos de citas e índices de impacto Miden la repercusión científica: la utilidad y la influencia intelectual, no la ca...
<ul><li>Fiabilidad y validez </li></ul><ul><li>Los recuentos de citas son sensibles a múltiples factores </li></ul><ul><ul...
Las propuestas
Las revistas
Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
Próximo futuro: noviembre 2010… Y después: el destino es incierto… Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/S...
Las Libros
 
 
¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información? SÍ ¿dónde?
 
Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E . Google Scholar como herramienta para la evaluación científic...
 
 
Una reflexión final
¿Qué es la calidad de una publicación científica? Algo fácil de percibir pero difícil de medir Consenso implícito: cualqui...
Recuentos Opiniones <ul><ul><li>Nº publicaciones en </li></ul></ul><ul><ul><li>-  Editoriales de prestigio </li></ul></ul>...
Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluac...
Upcoming SlideShare
Loading in …5
×

Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades

6,640 views

Published on

elgado López-Cózar, Emilio. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades. Las humanidades en España y en Europa. Retos y oportunidades de la convergencia europea en la educación superior y en la investigación. Universidad Complutense de Madrid y CSIC. Madrid, 23-25 de marzo de 2010

  • Be the first to comment

Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades

  1. 1. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Madrid, 23-25 de marzo de 2010
  2. 2. España en estado de excitación evaluativa
  3. 3. El laberinto de las herramientas para la evaluación de las publicaciones científicas españolas
  4. 4. Libros Revistas Todo Nada Libros Revistas Revistas Libros Revistas
  5. 5. Los criterios
  6. 6. Indicios de calidad de los libros CNEAI, ANECA, ANEP HUM Obras de referencia imprescindibles en los estudios grado y postgrado  Inclusión en bibliografías independientes del autor y su entorno  Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias PCD  Traducciones de la propia obra a otras lenguas    Riguroso proceso de selección y evaluación de originales     ANECA JURID.     CNEAI Poseer ISBN (imprescindible) Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1  Reseñas en las revistas científicas especializadas CCSS Prestigio de la editorial, los editores, la colección en la que se publica la obra  Número de citas generadas (cantidad y calidad) ANEP Criterios
  7. 7. Indicios calidad revistas científicas CNEAI, ANECA, ANEP  Estar acreditada por la FECYT    Satisfacer criterios de calidad editorial  Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF  ANECA  CNEAI  Inclusión de las revistas en bases de datos internacionales Preferentes: Arts and Humanities Citation Index y Social Science Citation Index Similares : FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature , Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1) ANEP Criterios
  8. 8. Criterios calidad editorial revistas científicas    Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces    Periodicidad de las revistas y regularidad    Emplea el anonimato en la revisión de manuscritos   Comunica a los autores la decisión editorial de forma motivada    ANEP    ANECA    CNEAI Traduce el sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de Congresos Cuenta con Instrucciones a Autores detalladas Identifica los miembros de los Comités Editoriales y Científicos Criterios
  9. 9. Criterios calidad editorial revistas científicas   Cuenta con un Consejo de Redacción efectivo   Cuenta con un Consejo Asesor efectivo  Al menos el 75% de los autores son ajenos a los Comités Editoriales  Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista  La tasa de aceptación de trabajos es igual o menor al 60%   Al menos el 75% de los artículos son trabajos que comunican resultados de investigación originales ANEP ANECA CNEAI Criterios
  10. 10. Preguntemos a los científicos
  11. 11. Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 1 Opinión científicos españoles 2 3 4
  12. 12. Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales 2009 Muy idóneo 5 – Poco 1 Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica Muestra: 2.301 profesores e investigadores españoles de Humanidades
  13. 13. Las herramientas
  14. 14. RESH y DICE Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA ± 1.000 revistas españolas
  15. 15. RESH y DICE ● BASES DE DATOS ● PERIODICIDAD ● EVALUADORES EXTERNOS ● APERTURA DEL CONSEJO EDITORIAL ● APERTURA EXTERIOR DE LOS AUTORES ● ÍNDICE DE VALORACIÓN A+B ● ÍNDICE DE IMPACTO MEDIO (sin actualizar) ● CRITERIOS LATINDEX Metodología de evaluación en RESH y DICE Citas 1999-2003
  16. 16. 1. Años de vida de la revista    20 años o más = 10 puntos   de 10 a 19 años = 5 puntos   de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex    25 criterios o más = 13 puntos    de 20 a 24 criterios = 9 puntos    de 15 a 19 criterios = 5 puntos     menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos    5. Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos 7. Bases de Datos 100      Total   16      BBDD 7 16      IIM 6 16      Índice A + B 5 16      Revisores externos 4 13      Criterios Latindex 3 13      Cumplimiento de la periodicidad 2 10      Años vida de la revista 1 Puntuación máxima Parámetros de calidad       0,75 1,5 3 6 Multidisciplinar 0,35 0,75 1,5 3 Especializada en otra área 0,75 1,5 3 6 Especializada del área SD C B A Tipo de base de datos
  17. 17. El catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal OJO tiene dos productos - DIRECTORIO: 16.963 revistas. Información básica normalizada - CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad ! !
  18. 18. Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Mención de la Dirección 8 Mención del Director 7 Entidad editora 6 Lugar de edición 5 Identificación de los autores 4 Antigüedad mínima 1 año 3 Contenido 2 Mención del cuerpo Editorial 1 Características básicas Recepción y aceptación de originales 17 Afiliación de los autores 16 Afiliación institucional de los miembros del consejo editorial 15 Miembros del consejo editorial 14 Membrete bibliográfico en cada página 13 Membrete bibliográfico al inicio del artículo 12 Tabla de contenidos (Indice) 11 Mención de periodicidad 10 Páginas de presentación 9 Características de presentación de la revista Palabras clave en dos idiomas 33 Palabras clave 32 Resumen en dos idiomas 31 Resumen 30 Exigencia de originalidad 29 Elaboración de las referencias bibliográficas 28 Instrucciones a los autores 27 Contenido original 26 Características de los contenidos Cumplimiento de periodicidad 25 Servicios de información 24 Apertura editorial 23 Autores externos 22 Evaluadores externos 21 Sistema de arbitraje 20 Definición de la revista 19 ISSN 18 Características de gestión y política editorial
  19. 19. ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
  20. 20. ¿Qué son? <ul><li>Índices bibliométricos </li></ul><ul><ul><li>Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas </li></ul></ul>● CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional ● ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque ● ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico (1994-2008), década y quinquenio 1.095 revistas 243.534 artículos 62.026 citas
  21. 21. ¿Qué son? Índices de impacto Índices de citas
  22. 22. Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos. A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria) 27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología
  23. 23. ICDS (Índice Compuesto de Difusión Secundaria)
  24. 24. Los procedimientos
  25. 25. Análisis calidad editorial <ul><li>Mide </li></ul><ul><ul><li>Calidad informativa </li></ul></ul><ul><ul><li>Gestión proceso editorial </li></ul></ul><ul><ul><li>Organización y estructura editorial </li></ul></ul>
  26. 26. <ul><li>Fiabilidad y validez de los resultados </li></ul><ul><ul><li>Cambios en la políticas editoriales: exigen actualización constante </li></ul></ul><ul><ul><li>Puede ser recogida sin control en la observación </li></ul></ul><ul><ul><li>Se basa en declaraciones y no en hechos comprobados </li></ul></ul>Análisis calidad editorial
  27. 27. Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión Análisis calidad editorial
  28. 28. Análisis de la difusión y visibilidad Mide el grado en que una revista es visible (bases de datos / Internet ) y accesible (Biblioteca / Internet)
  29. 29. <ul><li>Fiabilidad y validez </li></ul><ul><ul><li>Cambios en la indización: exige actualización constante de la información </li></ul></ul><ul><ul><li>Los criterios de las bases de datos y sus exigencias en la selección son muy dispares </li></ul></ul>Análisis difusión y accesibilidad
  30. 30. Encuestas de opinión de los científicos Miden percepciones más que realidades (calidad percibida), la reputación y el prestigio <ul><li>Fiabilidad y validez </li></ul><ul><ul><li>Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados </li></ul></ul><ul><ul><li>Tasas de respuesta normalmente bajas y no participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados </li></ul></ul><ul><li>Sus resultados suelen correlacionar con los producidos por recuentos de citas </li></ul>
  31. 31. Recuentos de citas e índices de impacto Miden la repercusión científica: la utilidad y la influencia intelectual, no la calidad Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas <ul><li>Cautela y prudencia con el uso de los datos de citación en las Humanidades </li></ul><ul><li>Números “pequeños”: pocas citas. </li></ul><ul><li>Escuálidas comunidades científicas. Falta de masa crítica </li></ul><ul><li>Atomización y dispersión temática por la propia naturaleza de las Humanidades </li></ul><ul><li>Tiempos largos en la citación </li></ul>
  32. 32. <ul><li>Fiabilidad y validez </li></ul><ul><li>Los recuentos de citas son sensibles a múltiples factores </li></ul><ul><ul><li>Tamaño de las comunidades científicas: nº científicos </li></ul></ul><ul><ul><li>Temas de los trabajos: nacionales/regionales/locales, modas… </li></ul></ul><ul><ul><li>Hábitos de publicación y prácticas de citación de las comunidades científicas: nº publicaciones por autor, nº referencias por artículo … </li></ul></ul><ul><ul><li>Tipo de trabajos: revisiones, artículos… </li></ul></ul><ul><ul><li>Rapidez en la publicación (ventana de citación) </li></ul></ul>Recuentos de citas e índices de impacto Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente
  33. 33. Las propuestas
  34. 34. Las revistas
  35. 35. Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
  36. 36. Próximo futuro: noviembre 2010… Y después: el destino es incierto… Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI Sistema de evaluación integrada de revistas españolas OPINIÓN PARES CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI LATINDEX ANECA DIFUSIÓN
  37. 37. Las Libros
  38. 40. ¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información? SÍ ¿dónde?
  39. 42. Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E . Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510
  40. 45. Una reflexión final
  41. 46. ¿Qué es la calidad de una publicación científica? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales
  42. 47. Recuentos Opiniones <ul><ul><li>Nº publicaciones en </li></ul></ul><ul><ul><li>- Editoriales de prestigio </li></ul></ul><ul><ul><li>- Revistas de alto nivel </li></ul></ul><ul><ul><li>Nº citas </li></ul></ul><ul><li>Comité de sabios o expertos </li></ul><ul><li>Comunidad científica: los pares </li></ul><ul><ul><li>Encuestas de opinión </li></ul></ul>Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes
  43. 48. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3

×