Calidad de revistas y evaluación de la actividad investigadora

Calidad de revistas y evaluación de la actividad investigadora Presentación general del contexto de la publicación científica y su evaluación. Indicadores relacionados con “el impacto “ de las revistas

Indicadores relacionados con "el impacto" de las revistas científicas

Bibliometría y cienciometría

Evaluación de la actividad científica

Análisis de la producción literaria

Análisis de citas

Índices e indicadores

Citation Indexes

Journal Citation Reports

Factor de impacto

Índice de inmediatez, cuartil, eigenfactor , article influence

Índices desarrollados en España

Otros indicadores de impacto: índice/factor h, PageRank , SJR

[...] llegando a establecer lo que yo llamaría una “ estadística de las ideas ”, a fin de precisar con todo rigor el instante cronológico en que una idea brota, el proceso de su expansión, el período exacto que dura como vigencia colectiva y luego la hora de su declinación, de su anquilosamiento en mero tópico, en fin, su ocaso tras el horizonte del tiempo histórico.

Ortega y Gasset (Misión del bibliotecario)

Años 60 del s. XX:

Bibliometría / Cienciometría o Ciencia de la ciencia

Bibliometría :

Estudios sobre la producción, comunicación y consumo de información científica enfocados a la gestión de bibliotecas (desarrollo de colecciones y servicios)

Indicadores relacionados con "el impacto" de las revistas científicas Documentación científica Sociología de la Ciencia Historia social de la Ciencia Cienciometría / Ciencia sobre la Ciencia

Cienciometría / Ciencia sobre la Ciencia :

Evaluación de la pertinencia

Evaluación de la eficacia de la gestión

Identificar puntos fuertes y débiles

Impacto de la financiación pública

Personas Organismos Disciplinas

Análisis de citas

Producción literaria de un científico :

Informes

Notas técnicas

Libros

Tesis

Evaluaciones

Reglamentos

...

Artículos

Ponencias y comunicaciones

Patentes

Indicadores relacionados con "el impacto" de las revistas científicas Busca información de otros Realiza su investigación: Cita a otros Publica su trabajo: Difusión Debate público Produce información para otros El investigador inicia su trabajo…. La comunicación científica

Inherente a la dinámica de la ciencia

Necesidad para evaluación:

Promoción

Financiación

Becas

...

Consumir y producir información escrita

Análisis de citas

Utilidad de las citas :

Conexiones entre autores

Conexiones entre grupos de investigación

Conexiones entre temas de estudio

Conexiones entre zonas geográficas

Impacto de los autores, obras y revistas sobre la comunidad científica

Razones por las que se cita :

Exposición abreviada de contenidos ya expuestos en detalle con anterioridad

Proveer lectura de fondo para profundizar

Homenaje a los “pioneros” de un tema

Acreditar trabajos relacionados

Desarrollo de ideas o métodos iniciados en trabajos previos

Evidencias adicionales a conclusiones previas

Comparación de métodos

Conocimiento de teorías anteriores

Corrección o crítica de trabajos previos

... Y también :

Omisión de citar a todos los autores

Se cita incluso a los ayudantes de laboratorio, informáticos, etc.

Citas de conveniencia

“ Referencias cosméticas”

Autocitas

Obliteración

Análisis de citas

Citation Indexes

Factor de impacto

Otros indicadores de impacto: índice/factor h, PageRank , SJR

Definición de índice :

En un libro u otra publicación, lista ordenada de los capítulos, artículos, materias, voces, etc., en él contenidos, con indicación del lugar donde aparecen .

(DRAE, 22a. ed.)

Definición de indicador :

Expresión utilizada para describir actividades en términos cuantitativos y cualitativos con el fin de evaluarlas de acuerdo con un método .

(ISO 11620, UNE 50137)

Principales indicadores de evaluación :

Cómputo de publicaciones

Cómputo de citas = Indicadores de impacto

Trabajos (núm. total de citas)

Revistas (media de artículos citados)

+ CITAS

+ IMPACTO (VISIBILIDAD) + PRESTIGIO DE LA FUENTE ¿+ CALIDAD?

Primer índice de citas:

Science Citation Index

(1961, Institute for Scientific Information)

Web of Science (Thomson Reuters) (+Social Sciences Citation Index +Arts & Humanities Citation Index)

Un sistema bibliográfico que permita al investigador edificar sobre bases fiables

Rastrear conexiones entre ideas y disciplinas

Conocer las repercusiones del propio trabajo

(Garfield, 1955)

REVISTA A

Art. A1

Art. A2

Art. A3

Art. A4:

art. B1

art. C3

REVISTA B

Art. B1

Art. B2

Art. B3

Art. B4:

art. A2

art. A3

art. C3

REVISTA C

Art. C1

Art. C2

Art. C3

Art. C4:

art. A2

art. C1

art. B2

En un principio se rastrea el impacto o visibilidad de:

Los autores

Los trabajos concretos

... Y posteriormente se explotan esos datos para conocer las revistas que reúnen los trabajos más citados

JCR (Journal Citation Reports)

Primer indicador de impacto:

Factor de impacto

( Garfield )

+ FI = + prestigio ¿?

+ FI = + calidad de la revista ¿?

El conjunto de revistas con FI + alto son las publicaciones esenciales en ese campo ¿?

El FI de una revista es la media de veces que en un año determinado fueron citados los artículos publicados por esta revista durante los dos años anteriores

Indicadores relacionados con "el impacto" de las revistas científicas Cómo se calcula el FI de una revista: Número de artículos publicados en esos dos años Citas que han recibido durante el año x los artículos publicados en los dos años anteriores

Indicadores relacionados con "el impacto" de las revistas científicas Ejemplo. FI en 2008 para Psicothema : 253 307 = FI 1.213

FI instrumento de ayuda a la toma de decisiones:

Desarrollo de colecciones

Localizar revistas principales ( core journals )

Guía para los editores

Guía para autores

Evaluación de la ciencia por países, instituciones o autores

Ventajas del FI :

Visión global

Fácil de entender y manejar

No tiene en cuenta la frecuencia, antigüedad o número de páginas

Series temporales

Visibilidad de publicaciones recientes

Limitaciones del FI :

No sustituye a la revisión por pares

Sesgo por lengua y área geográfica

Cuentan las citas a cartas, editoriales,...

Ventana de 2 años

Ventana de 5 años

Indicadores relacionados con "el impacto" de las revistas científicas Fuente: ADLER, R., EWING, J., TAYLOR, P. (2009) Estadísticas de citas: un informe de la Unión Matemática Internacional (IMU)... La Gaceta de la RSME , 12(1), 2009, pp. 23-48

Indicadores complementarios al FI :

Índice de inmediatez

Cuartil

Eigenfactor

Article influence

Índice de inmediatez ( immediacy index ):

Mide la rapidez con la que se cita un artículo. Indica con cuánta frecuencia son citados los artículos de una revista en el mismo año

Cited half-life : n. de años de la publicación en que se acumula el 50% de las citas recibidas

Citing half-life : n. de años en que se acumula el 50% de las citas realizadas

Cited journal listing : lista de las publicaciones que con más frecuencia citan una revista

Citing journal listing : lista de publicaciones que con más frecuencia son citadas por una revista

Cited-only journals : revistas que son citadas pero no citan

Cómo se calcula el índice de inmediatez :

Número de citas a artículos publicados durante el año x Número de artículos publicados durante el año x

Ejemplo para la revista Psicothema en 2008:

22 144 = 0.153

Cuartil :

Es cada una de las cuatro partes en que se divide una lista de revistas ordenadas de mayor a menor impacto.

Las revistas del primer cuartil son las de mayor impacto.

Ofrece un dato para conocer la posición relativa de una revista en su área

Eigenfactor :

Otro indicador de impacto para las revistas recogidas en JCR

Indicador basado en el número de veces que han sido citados en un año determinado los artículos publicados en esa revista durante los cinco años anteriores

Las diferencias con el FI son :

Se cuentan las citas tanto de ciencias como de ciencias sociales

Elimina las autocitas (citas dentro de la misma revista)

Da más valor a las citas aparecidas en las revistas más importantes. Las revistas más importantes son aquellas que tienen mayor cantidad de citas y consultas (algo similar a un PageRank )

Article influence :

Indicador comparable al FI del JCR

Mide la influencia o impacto medio de un artículo dentro de su revista

Se calcula dividiendo el Eigenfactor por el número de artículos de la revista

Indicadores relacionados con "el impacto" de las revistas científicas El Article influence se mide respecto de una media de 1. Así, vemos que Science tiene 17 veces la influencia de la revista media recogida en JCR. (Figura y texto tomados de BERGSTROM, C. (2007) Eigenfactor: measuring the value and prestige of scholarly journals. C&RL news (68)5, May 2007)

Citation Indexes

Factor de impacto

Otros indicadores de impacto: factor h, PageRank , SJR

Índices desarrollados en España :

SCImago

Ciencias sociales:

IN-RECS

RESH

Ciencias médicas:

Factor de Impacto Potencial de las Revistas Médicas Españolas

Otros indicadores de impacto :

Índice/Factor h

PageRank (Google)

SJR

...

Índice h :

Establece el número de artículos que tiene ese autor con tantas o más citas que su factor h.

Ejemplo: un índice h=20 significa que ese científico tiene 20 artículos que han sido citados 20 o más veces

Puede consultarse en WoS y SCImago

Ventajas del índice h :

Impacto a lo largo del tiempo

Sólo puede crecer o estancarse

Permite comparar científicos de distintas edades

Es útil incluso en las carreras científicas cortas

Inconvenientes del índice h :

No tiene en cuenta la calidad de las revistas

No se pueden comparar distintas áreas

Depende de si se usa WoK o Scopus

“ Penaliza” a los autores que publican poco

Incorporado a WoK y a SCImago

H=20 típico de una carrera exitosa después de 20 años investigando

H=35-45 se da entre los mejores científicos

H=60 en científicos excepcionales

Ejemplo: Ed Witten (físico de Princeton) h=110

Ejemplo: Manuel Cardona (físico experimental) h=60

PageRank (Google)

Interpreta los enlaces de un recurso que apuntan a otro como un voto

A más “votos”, más importancia y más alto el PR

No todas los recursos tienen el mismo valor

El algoritmo de búsqueda y los criterios de valoración de recursos no son públicos

Se consulta a través de la Google Toolbar y algunas webs de usuarios

Veamos el PR de la BUC aquí

En este algoritmo se basan otros indicadores de impacto nuevos

SJR ( Scimago Journal Rank )

Desarrollado por el grupo SCImago Research Group

Se calcula sobre Scopus de Elsevier

Su algoritmo se basa en el PageRank de Google

Cuenta el número de enlaces a una revista a través de la citación ponderada de sus documentos en relación con el número de documentos publicados durante el año por cada publicación

Es decir, que el recurso citante no tiene siempre el mismo valor (“ citación ponderada ”) al estilo del PR

Resumen de índices de publicaciones científicas:

Citation indexes

Journal Citation Reports (JCR)

Scopus

SCImago

Google Scholar

InRECS

RESH

FI potencial de Revistas médicas españolas

Resumen de indicadores de impacto:

JCR:

Factor de impacto

I. de inmediatez

Cuartil

Eigenfactor

Article influence

Índice h

PageRank

SJR

Bibliografía:

CALLON, M., COURTIAL, J-P., PENAN, H.(1995) Cienciometría. La medición de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: Trea.