Grupo EC3

EC3metrics

Calidad de la Investigación y
métodos de medición en el actual
contexto nacional e internacional

Á...
Grupo EC3

EC3metrics

Estructura del taller
ÍNDICE
1. CÓMO MEDIR LA INVESTIGACIÓN: LA
OMNIPRESENCIA DE LA BIBLIOMETRÍA EN LOS
PROCESOS EVALUATIVOS
2. LOS INDICADORES ...
Grupo EC3

EC3metrics

1.CÓMO
1.CÓMO MEDIR LA
INVESTIGACIÓN: LA
OMNIPRESENCIA DE LA
BIBLIOMETRÍA EN LOS
PROCESOS
EVALUATIV...
¿Qué es la calidad de un trabajo científico?

Algo fácil de percibir pero difícil de medir
Consenso implícito: cualquier c...
Métodos para valorar la calidad

Cuantitativos

Cualitativos

Mixtos

* Bibliometría

* Peer Review

*Combinando los

* In...
¿Por qué es necesario estar familiarizado con la
bibliometría? (1/3)
Porque la mayor de las políticas científicas y la eva...
¿Por qué es necesario estar familiarizado con la
bibliometría? (2/3)
El rendimiento en centros I+D se suele comparar a par...
¿Por qué es necesario estar familiarizado con la
bibliometría? (3/3)
Gran parte de los recursos se asignan en la actualida...
Presupuestos para realizar evaluaciones basadas en indicadores
bibliométricos

Los resultados
investigación se
manifiestan...
Problemas a nivel de investigador y CV
El ‘estándar’ ISI no siempre funciona
especialmente por dos razones relacionadas
co...
El problema de los ‘hábitos’
Hábitos de publicación
en la UGR durante el
quinquenio 2007-2011
en diferentes áreas
científi...
Publicación de resultados de investigación
por tipo de documento

…pero, la publicación en revistas, cada vez más importan...
Los hábitos informativos
Incremento en el % de citas a revistas)
Biomedicina

Psicología

Ingenierías

Larivière, V., Arch...
Las comunidades científicas
El tamaño
Compare peras con peras, y manzanas con manzanas. Cada disciplina tiene
patrones de ...
Diferentes comportamientos según disciplina
Volúmenes y promedios de citas diferentes

Datos: España | Categorías JCR | Pe...
Efectos en la productividad y la citación
Nº trabajos x autor
Producción anual Investigadores muy
productivos (Población: ...
Grupo EC3

EC3metrics

2. LOS INDICADORES
BIBLIOMETRICOS, CON
ESPECIAL ATENCIÓN AL
FACTOR DE IMPACTO Y AL
ÍNDICE H
Tipos de indicadores bibliométricos

PRODUCCIÓN

IMPACTO

Indicadores
Bibliométricos
s

COLABORACIÓN

INDICADORES DE
USO Y...
Ejemplos de indicadores bibliométricos habituales
Existen cientos y cientos de indicadores, nos concentramos solo en unos ...
Ejemplos de indicadores bibliométricos habituales
Existen cientos y cientos de indicadores, nos concentramos solo en unos ...
Indicadores de producción. Ejemplo
Ejemplo: Producción total y citable de la Univ. Navarra en WoS (se consideran ítems
cit...
Ejemplos: Índice Actividad Temática
Índice de Actividad temática (IAT)
de la Universidad de Granada

IAT 1 = MUNDO
El factor de impacto
¿Qué entendemos por Factores de Impacto?

La denominación Factores de Impacto la
empleamos para refer...
El origen del término impacto
El origen del término impacto: años ‘60 y
’70. Construye a partir de las bases de datos
del ...
Consideraciones a tener en cuenta

• Miden la utilidad y la influencia intelectual de las
revistas científicas, aunque en ...
Cómo indicador de competitividad
El Factor de Impacto
como un indicador de competitividad
• Todo los investigadores aspira...
Otras limitaciones de los indicadores de impacto
Algunas de las limitaciones del Factor de
Impacto que debes conocer

●
●
...
La fórmula mágica del Factor de Impacto
2006 Impact Factor
Tiempo

2003

2004

2005

2006

2007

JCR

A: Número de citas r...
Las alternativas al Impact Factor
CITAS REALES
CITAS CON PESOS
ÍNDICE H
CROWN INDICATOR
FACTOR DE IMPACTO NORMALIZADO
% DE...
Citas reales
Profesores, Doc. Citables por profesor, citas y
promedio de citas para el TO10 de las
universidades españolas...
El índice H
Un investigador tiene un índice h cuando h de sus documentos han recibido al menos
h citas cada uno, y el rest...
El índice H

2
Posición o
rango de los
trabajos

1
Trabajos
ordenados
según
número de
citas

3
coinciden
posición y
citas ...
El índice H

• Fortalezas
– Combina producción e impacto en un solo indicador
– Simple y sencillo de calcular y entender

...
El índice H
Índice H de universidades españolas en dos campos
científicos diferentes para 2007-2011
CROWN Indicator
TOP Categorías de la UGR según producción citable. Se puede ver
el detalle del cálculo del CROWN INDICADOR...
Factor de impacto normalizado
Ejemplo: Impacto Vs Impacto Normalizado para las categorías JCR con más
documentos de la Uni...
% Docs en el 1º Cuartil
Ejemplo: Producción de las universidades españolas según área de conocimiento y %
de documentos en...
El ‘Scimago Journal Rank’

Sobre el indicador SJR

● Trata de medir el prestigio científico y visibilidad de las
revistas ...
Altmetrics
El contexto tecnológico e internet han
evolucionado enormemente en los
últimos años
Han surgido cientos de plat...
Altmetrics
Surgen múltiples herramientas de gestión,
almacenamiento o networking en ciencia
Medios
Sociales
Gestores de
re...
Altmetrics
Qué generan estadísticas de la actividad de la
actividad e interacciones entre sus usuarios
Medios
Sociales
Ges...
Altmetrics
Ejemplo de indicadores obtenidos con
ImpactStory para una conferencia
Consejos muy básicos
Si queremos de verdad que estas métricas
funcionen con nuestros trabajos y aportaciones
académicas de...
Grupo EC3

EC3metrics

3. LOS ÍNDICES DE CITAS
(WEB OF SCIENCE,
SCOPUS, GOOGLE
SCHOLAR) -PRÁCTICUM-
Web of Science: SCI, SSCI y AHCI

• Es la base de datos de referencia internacional para estudios
bibliométricos. Cubre la...
Web of Science: SCI, SSCI y AHCI
• El concepto de un índice fue desarrollado por el
doctor Eugene Garfield. El publicó su ...
Web of Science: SCI, SSCI y AHCI
La Web of Science contiene 7 bases de
datos diferentes de citas. Sin embargo para
nosotro...
Web of Science: Interfaz
Interfaz que nos encontramos una vez estamos
dentro de la Web of Science
Web of Science: Interfaz

Campo de Búsqueda. Nos permiten seleccionar el
campo de búsqueda. Hay que controlar el campo
“Au...
Campos sobre los que podemos hacer los filtros

Web of Science
Categories
Document Types
Subject Areas
Authors
Group Autho...
Cited Reference Search
• Encuentra las citas a un artículo, libro, … (incluso si no
está recogido en WoS) pero ha sido cit...
Cómo localizar las revistas indexadas en la WoS
• Thomson cuenta con un listado maestro (master list)
donde aparecen las r...
Web of Science: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico

Human adult stem cells derived ...
Web of Science: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico

2. Introducimos
título del artí...
Web of Science: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico
Después de Search este sería el ...
Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
El...
Web of Science: Caso práctico

• Prueba diferentes opciones de consulta
• Por ejemplo para Daniel Torres Salinas
• Torres-...
Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando y analizando la producción científica de
un investigador en la Web ...
Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando y analizando la producción científica de
un investigador en la Web ...
Web of Science: Caso práctico
CASO PRÁCTICO 2
Buscando y analizando la producción científica de
un investigador en la Web ...
Precauciones generales en las búsquedas
•
•
•
•
•

Cuidado con la búsqueda por fechas
Cuidado con la sintaxis de WoS
Cuida...
SCOPUS

● La base de dato Scopus cuenta con casi 50 millones
de registros. Es una base de datos de datos mayor que
la Web ...
SCOPUS
Ésta es la cobertura de la base de datos
Scopus según el número de revistas que tiene
indexada en cada una de la ár...
SCOPUS
Ésta es la cobertura por área geográfica
comparada con la Web of Science. Vemos como
para todas las zonas tiene más...
Scopus: Interfaz
Scopus: Interfaz

El interfaz de consulta de Scopus es muy
similar al de la Web of Science. Aunque
incluye campos de consu...
Scopus: Caso práctico
CASO PRÁCTICO 1.
Buscando las citas a un trabajo científico
Un investigador llega a la biblioteca y ...
Scopus: Caso práctico
CASO PRÁCTICO 2.
Buscando las citas a un trabajo científico
1. Nos situamos en la pestaña Document S...
Scopus: Caso práctico
CASO PRÁCTICO 2.
Buscando las citas a un trabajo científico
Si pinchamos
podríamos ver la cita
compl...
Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science
El profeso...
Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science

Introduci...
Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science

Con la op...
Scopus: Caso práctico
CASO PRÁCTICO 2
Buscando la producción científica de un
investigador en la Web of Science

Resultado...
SCOPUS. Author evaluator
SCOPUS. Author evaluator
Google Scholar

Subproducto de Google nacido en 2004
especializado en buscar e identificar material
bibliográfico publicad...
¿Qué tipologías documentales cubre?

Cubre
● Artículos de revistas científicas y libros
● Comunicaciones y ponencias a con...
Diapositiva 78
em2

emilio delgado; 22/08/2008
¿Cuáles son sus fuentes de información?

● Webs académicas, universidades y centros de I+D:
> harvard.edu 2.240.000 ; ugr....
Cómo se ordenan los resultados

Cómo se ordenan los resultados?

• El número de citas es fundamental para determinar
la po...
Fortalezas y debilidades (I)

Fortalezas
● Localiza toda la literatura especialmente la
no anglosajona que es la peor cont...
Fortalezas y debilidades (II)

Debilidades
● No existe control de calidad de las fuentes
procesadas. Errores en el procesa...
Cómo puedo conseguir que GS indexe mis trabajos

Si quiero que mi producción aparezca entre los
resultados de Google Schol...
Grupo EC3

EC3metrics

4. LOS PRODUCTOS
DOCUMENTALES QUE
OFRECEN INDICIOS DE
CALIDAD
Grupo EC3

EC3metrics

Productos de evaluación de
revistas
El ‘Journal Citation Reports’
Descripción básica
El ‘Journal Citation Reports’ es un producto
creado por el Institute for ...
El ‘Journal Citation Reports’

Para acceder tenemos
que ir a Additional Resources

1
El ‘Journal Citation Reports’

En la versión web solo encontramos
impactos desde el año 1997 hasta el año
2011 que es el ú...
El ‘Journal Citation Reports’
Los indicadores que podemos encontrar

Aunque en el Journal Citation Reports podemos
encontr...
El ‘Journal Citation Reports’
Ejemplo de cálculo del Impact Factor para el
año 2011. Se trata de una simple división
Citas...
El ‘Journal Citation Reports’
Ejemplo del Ranking

1
3
Posición revista

Consulta
Categoría

2
Nos devuelve este
ranking d...
El ‘Journal Citation Reports’
Ejemplo de búsqueda revista
1. Seleccionar edición y opción ‘Search for a especific journal’...
El ‘Journal Citation Reports’
Dentro de la ficha seleccionar Journal
Ranking y obtendremos todos los datos que
nos piden l...
Essential Science Indicators

Para acceder tenemos
que ir a Additional Resources

1
Essential Science Indicators
ESI ofrece un archivo rodante de diez años, actualizado cada dos
meses, que permite a los usu...
Essential Science Indicators
• Indicadores a nivel macro de producción y citación
• Nos proporciona un marco comparativo; ...
Essential Science Indicators
Essential Science Indicators
BASELINES

INTERPRETACIÓN: Un artículo publicado en 2003 en una revista de Computer
Science d...
El ‘Scimago Journal Rank’

● El SCImago Journal & Country Rank es un
producto desarrollado por el grupo SCImago que
tiene ...
El ‘Scimago Journal Rank’
Acceso al producto, gratis desde su web
http://www.scimagojr.com/journalrank.php
El ‘Scimago Journal Rank’
● Aunque ofrecen
varios indicadores
nos interesa sobre
todo el SJR que es
su propuesta frente
al...
El ‘Scimago Journal Rank’
Ejemplo del Ranking. Opciones de consulta.
Claramente vemos como se puede hacer
rankings por Áre...
El ‘Scimago Journal Rank’
Ejemplo del Ranking. Resultado de la
consulta anterior ordenada según el ‘SJR’
El ‘Scimago Journal Rank’
Sobre el indicador SJR

● Trata de medir el prestigio científico y visibilidad de las
revistas c...
El ‘Scimago Journal Rank’
Ejemplo Práctico
Un profesor ha publicado el siguiente artículo y
necesita conocer su SJR (Scima...
El ‘Scimago Journal Rank’
Ejemplo Práctico
1. Nos vamos a la página de SJR y
seleccionamos ‘Journal Search’
2. Introducimo...
El ‘Scimago Journal Rank’
Ejemplo Práctico
3. Obtenemos resultado y pinchamos
4. A continuación pinchamos en una de las
di...
El ‘Scimago Journal Rank’
Ejemplo Práctico
5. podemos ver como la revista ocupa la posición
número 3 en Artificial Intelli...
Google Scholar Metrics
Producto de Google que proporciona el índice h de las
revistas científicas
Nacido en 2012, elabora ...
Publicaciones Top en Inglés en GSM
Indicadores en GSM
Ofrece el índice h de las revistas científicas, tomando en
cuenta los trabajos publicados en los último...
Qué revistas indiza GSM

DEBEN CUMPLIR
2 REQUISITOS
1. Que hayan publicado al menos 100 trabajos en los 5 años
de análisis...
Ventajas de GSM frente a WoS y Scopus

•Indiza más revistas
•Indiza más tipos documentales
•Indiza revistas de un mayor nú...
Desventajas

•No hay apenas normalización por lo que se
detectan errores en la asignación de citas
•No se pueden acceder m...
Latindex
- Latindex es producto de la cooperación de una
red de instituciones que funcionan de manera
coordinada para reun...
Latindex
EL CATÁLOGO LATINDEX
Las revistas se evalúan según el cumplimento de 33 (36
en revistas electrónicas) característ...
Latindex

Búsqueda

Hay que seleccionar el catálogo para identificar
aquellas revistas que nos interesan desde el
punto de...
Latindex

Cuando buscamos una
revistas nos indica
cuantos criterios cumple
y el detalle de cuales son
ERIH: European Index for the…

ERIH
- ‘European Reference Index for the Humanities’
es una clasificación de revistas a niv...
ERIH: European Index for the…

Grupos
- Este es un indicio que se puede aportar en las
diferentes agencias de evaluación. ...
ERIH: European Index for the…
WEB: https://www2.esf.org/asp/ERIH/Foreword/index.asp
El interfaz de
búsqueda es
bastante si...
ULRICHS Global Serials Directory

Ulrichsweb es una fuente de información detallada, y fácil de
usar, sobre más de 300.000...
ULRICHS Global Serials Directory
Menú de búsqueda. texto libre

Resultado
ULRICHS Global Serials Directory
Una vez dentro
de la ficha
debemos
seleccionar la
sección
Abstracting &
Indexing. Allí
en...
La Familia INREC*
ÍNDICES DE IMPACTO DE REVISTAS
ESPAÑOLAS EN CIENCIAS SOCIALES,
JURÍDICAS Y HUMANAS
La Familia INREC*
Índices de impacto de revistas españolas elaborados
por el grupo de investigación EC3 desde el año 2003
...
Clasificación CIRC
CIRC toma las diferentes plataformas de evaluación
de revistas para crear una única clasificación de
re...
Clasificación CIRC: GRUPOS

A

C

Integrado por las revistas científicas
de mayor nivel. Pertenecerían al
mismo las revist...
Clasificación CIRC: GRUPOS

A

-SCI, SSCI O A&HCI según
los master list de 2010
-Listas ERIH con un
calificación de A

C

...
DICE
Producto auspiciado por ANECA y elaborado por grupo
EPUC del CSIC
Mide la difusión y calidad editorial de revistas es...
RESH
Producto elaborado por grupo EPUC del CSIC y EC3 de la
Universidad de Granada
Similar a DICE, además proporciona núme...
Grupo EC3

EC3metrics

Productos de evaluación de libros
Iniciativas en la evaluación de libros y editoriales

1. Están apareciendo los primeros rankings
de editoriales basados en...
Iniciativas en la evaluación de libros y editoriales

Elaborado por el GRUPO EPUC de Elea Giménez Toledo
Encuesta 11.647 a...
Scholarly Publishers Indicators (SPI)

● Es una ranking de editoriales construido a partir de la
opinión de más de 3000 in...
Scholarly Publishers Indicators (SPI)
El top de las editoriales españolas según SPI

● La posición que
ocupa la editorial
...
Scholarly Publishers Indicators (SPI)
Bellas Artes
Antropología
Arqueología y Prehistoria
Documentación
Comunicación
Econo...
Book Citation Index (BKCI)
• Índice de citas de Web of Science enfocado a
libros y capítulos
• Indización selectiva. Se as...
Distribución por áreas de libros y sus citas

Libros indexados en el BKCI y
las citas que han recibido
Idiomas

Oh!
96%
Principales editoriales del BKCI

Ranking de
editoriales del
BKCI en Ciencias
Sociales y
Humanas según
el número de
libros...
Limitaciones actuales del BKCI

• Orientación total anglosajona (lengua y
editoriales)
• Gran concentración editorial
• Au...
Dicho todo esto…
si fuera editor haría todo lo posible por estar en
el BKCI
si fuera autor me gustaría publicar en editori...
Grupo EC3

EC3metrics
¡MUCHAS GRACIAS!

Calidad de la Investigación y
métodos de medición en el actual
contexto nacional e...
Upcoming SlideShare
Loading in …5
×

Calidad de la Investigación y Métodos de Medición en el actual contexto Nacional e Internacional, by Álvaro Cabezas (EC3 UGR)

648 views
589 views

Published on

Lecture. MedSouk 2013
University of Murcia, Campus Mare Nostrum
By Álvaro Cabezas (EC3 Group, University of Granada)

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
648
On SlideShare
0
From Embeds
0
Number of Embeds
131
Actions
Shares
0
Downloads
13
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Calidad de la Investigación y Métodos de Medición en el actual contexto Nacional e Internacional, by Álvaro Cabezas (EC3 UGR)

  1. 1. Grupo EC3 EC3metrics Calidad de la Investigación y métodos de medición en el actual contexto nacional e internacional ÁLVARO CABEZAS CLAVIJO
  2. 2. Grupo EC3 EC3metrics Estructura del taller
  3. 3. ÍNDICE 1. CÓMO MEDIR LA INVESTIGACIÓN: LA OMNIPRESENCIA DE LA BIBLIOMETRÍA EN LOS PROCESOS EVALUATIVOS 2. LOS INDICADORES BIBLIOMÉTRICOS, CON ESPECIAL ATENCIÓN AL FACTOR DE IMPACTO Y AL ÍNDICE H 3. LOS ÍNDICES DE CITAS (WEB OF SCIENCE, SCOPUS, GOOGLE SCHOLAR) -PRÁCTICUM4. LOS PRODUCTOS DOCUMENTALES QUE OFRECEN INDICIOS DE CALIDAD - DE REVISTAS (LA SOPA DE LETRAS: JCR, SJR, ULRICHS, LATINDEX, ERIH, DICE, RESH, INREC*, CIRC,…) - DE LIBROS (SPI, BKCI)
  4. 4. Grupo EC3 EC3metrics 1.CÓMO 1.CÓMO MEDIR LA INVESTIGACIÓN: LA OMNIPRESENCIA DE LA BIBLIOMETRÍA EN LOS PROCESOS EVALUATIVOS
  5. 5. ¿Qué es la calidad de un trabajo científico? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede implícito: distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros. No existen medidas absolutas y directas de la calidad sino indicadores parciales Multidimensional
  6. 6. Métodos para valorar la calidad Cuantitativos Cualitativos Mixtos * Bibliometría * Peer Review *Combinando los * Indicadores I+D * Paneles dos anteriores
  7. 7. ¿Por qué es necesario estar familiarizado con la bibliometría? (1/3) Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel individual en la mayoría de países se articulan en torno a bases de datos y productos de evaluación basados en la bibliometria CNEAI
  8. 8. ¿Por qué es necesario estar familiarizado con la bibliometría? (2/3) El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos
  9. 9. ¿Por qué es necesario estar familiarizado con la bibliometría? (3/3) Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los indicadores bibliométricos logrados. Convocatoria Centros de Excelencia Severo Ochoa Convocatoria Programa Nacional Contratación RRHH I+D
  10. 10. Presupuestos para realizar evaluaciones basadas en indicadores bibliométricos Los resultados investigación se manifiestan a través de publicaciones científicas. Al contar publicaciones se asume que todas ellas portan la misma cantidad de conocimiento científico certificado. Todos los firmantes de un trabajo son responsables de la investigación expuesta y han contribuido de igual manera a la misma. Las citas son una medida fiable y válida de la repercusión de los trabajos
  11. 11. Problemas a nivel de investigador y CV El ‘estándar’ ISI no siempre funciona especialmente por dos razones relacionadas con las áreas de Ciencias Sociales, Humanidades, Arte, Derecho, etc..: ● Gran parte de las áreas no están bien cubiertas en el set de revistas de las bases de datos Thomson-Reuters. Son áreas con menor grado de internacionalización. ● Estas áreas pueden tener hábitos de publicación diferentes, es decir los libros y capítulos tienen un valor importante y han de ser tenidos en cuenta.
  12. 12. El problema de los ‘hábitos’ Hábitos de publicación en la UGR durante el quinquenio 2007-2011 en diferentes áreas científicas (Fuente: SICA2) • Para respetar los hábitos de publicación de áreas como las Humanidades, Sociales, Derecho, etc.. Se da cabida a los libros / monografías y los capítulos de libros entre los méritos que se pueden evaluar
  13. 13. Publicación de resultados de investigación por tipo de documento …pero, la publicación en revistas, cada vez más importante RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings.
  14. 14. Los hábitos informativos Incremento en el % de citas a revistas) Biomedicina Psicología Ingenierías Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004
  15. 15. Las comunidades científicas El tamaño Compare peras con peras, y manzanas con manzanas. Cada disciplina tiene patrones de publicación y citación diferenciados. ¡¡No compare a un sociólogo con un físico!! + Científicos = + Publicaciones = + Referencias bibliográficas = + Indicadores bibliométricos de mayor tamaño Mayores Impact Factor, Índice H… Citas
  16. 16. Diferentes comportamientos según disciplina Volúmenes y promedios de citas diferentes Datos: España | Categorías JCR | Período 2001-2010
  17. 17. Efectos en la productividad y la citación Nº trabajos x autor Producción anual Investigadores muy productivos (Población: Invest. Principales de Proyectos Plan nacional español 2007) Artículos ISI-WOS año QUIMICA 9 FISICA 8 BIOMEDICINA 6 AGRICULTURA 4 MATEMATICAS 4 PSICOLOGIA 2 ECONOMIA 1 EDUCACION 1 Nº de citas x trabajo Web of Science 1999-2009 Media de citas por artículo y por especialidades
  18. 18. Grupo EC3 EC3metrics 2. LOS INDICADORES BIBLIOMETRICOS, CON ESPECIAL ATENCIÓN AL FACTOR DE IMPACTO Y AL ÍNDICE H
  19. 19. Tipos de indicadores bibliométricos PRODUCCIÓN IMPACTO Indicadores Bibliométricos s COLABORACIÓN INDICADORES DE USO Y ALTMETRICS MAPAS DE LA CIENCIA
  20. 20. Ejemplos de indicadores bibliométricos habituales Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos Producción Impacto Colaboración • Nº Total documentos • Nº Total documentos citables • Nº de documentos por investigador • Nº de documentos según posición firma (inicial o final etc.) • Índice de Especialización Temática • Índice de Actividad temática • Promedio y suma del Impacto Factor • Factor de Impacto de relativo • Nº o % de documentos por cuartil (o bien decil y tercil) s • Promedio de citas • Número de citas • Tasa Autocitación • Citas normalizadas: Crown Indicator, Karolinska • Índice H y derivados • Tasas de colaboración • Índice de coautoría general • Índice de coautoría institucional • Número de Instituciones firmantes • Patrones de colaboración (interna, nacional, internacionales) * Habría que incluir los derivados de la combinación de este con los RRHH y económicos.
  21. 21. Ejemplos de indicadores bibliométricos habituales Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos Uso • • • • Descargas Visitas Páginas vistas Enlaces Mapping • Mapas de cocitación • Historiogramas • Análisis de redes s sociales • Técnicas de visualización de información científica (PCA, MDS, mapas heliocéntricos) Altmetrics • Lectores en Mendeley • Visualizaciones en Slideshare • Retweets en Twitter • Reproducciones en Youtube • Likes en Facebook…
  22. 22. Indicadores de producción. Ejemplo Ejemplo: Producción total y citable de la Univ. Navarra en WoS (se consideran ítems citables los artículos de investigación, las revisiones, las cartas y las notas, mientras que no citables son las editoriales, las reseñas de libros, resúmenes de congresos,… )
  23. 23. Ejemplos: Índice Actividad Temática Índice de Actividad temática (IAT) de la Universidad de Granada IAT 1 = MUNDO
  24. 24. El factor de impacto ¿Qué entendemos por Factores de Impacto? La denominación Factores de Impacto la empleamos para referirnos a indicadores bibliométricos destinados a valorar el impacto de una revista científica Además estos indicadores deben estar construidos a partir de una fórmula que contemple el número de citas que las revistas reciben Asimismo no solo nos basta el número; las revistas deben aparecer ordenadas en función de una categoría temática de manera que podamos conocer su posición un año determinado
  25. 25. El origen del término impacto El origen del término impacto: años ‘60 y ’70. Construye a partir de las bases de datos del SCI y SSCI y fue formulado por Eugene Garfield en este articulo científico.
  26. 26. Consideraciones a tener en cuenta • Miden la utilidad y la influencia intelectual de las revistas científicas, aunque en ocasiones puede equiparse a calidad no siempre es así. •Hay que tener muy claro que miden el impacto de la revista y no el impacto del artículo. • Por tanto es un indicador de impacto esperado y no observado
  27. 27. Cómo indicador de competitividad El Factor de Impacto como un indicador de competitividad • Todo los investigadores aspiran y necesitan publicar gran parte de su producción científica en revistas de “Alto Impacto”. • Son revistas globales, nos enfrentamos a científicos de todo el mundo • Reciben muchos manuscritos por lo que tienen por tanto tasas de rechazo más elevadas. • Los procesos de revisión son más duros, más exigentes y realizados por los mejores expertos del área. Al contar con más manuscritos los editores tienen más donde seleccionar y más posibilidades de contar con los mejores papers del área, que suelen ser los más citados, por tanto lo que más reconocimiento reciben, por tanto alcanzan un IF más elevado.
  28. 28. Otras limitaciones de los indicadores de impacto Algunas de las limitaciones del Factor de Impacto que debes conocer ● ● ● ● ● ● No es representativo del índice de citación de los artículo Es variable según la disciplina científica Es sensible al número y el tipo de trabajos de las revistas Puede manipularse por parte de los editores Existe un problema con las autocitas La ventana de citación de dos años a veces no es suficiente
  29. 29. La fórmula mágica del Factor de Impacto 2006 Impact Factor Tiempo 2003 2004 2005 2006 2007 JCR A: Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005 B: Número de trabajos publicados en 2004 y 2005 Impact Factor = A/B
  30. 30. Las alternativas al Impact Factor CITAS REALES CITAS CON PESOS ÍNDICE H CROWN INDICATOR FACTOR DE IMPACTO NORMALIZADO % DE ARTÍCULOS EN PRIMER CUARTIL SCIMAGO JOURNAL RANK Se recomienda usar siempre varios indicadores en la evaluación de la actividad científica, a fin de superar los sesgos y limitaciones de cada uno de ellos
  31. 31. Citas reales Profesores, Doc. Citables por profesor, citas y promedio de citas para el TO10 de las universidades españolas. Absoluto Vs Relativo
  32. 32. El índice H Un investigador tiene un índice h cuando h de sus documentos han recibido al menos h citas cada uno, y el resto tiene no más de h citas por documento. uno,
  33. 33. El índice H 2 Posición o rango de los trabajos 1 Trabajos ordenados según número de citas 3 coinciden posición y citas o la posición > citas tenemos el H-Index H- 9
  34. 34. El índice H • Fortalezas – Combina producción e impacto en un solo indicador – Simple y sencillo de calcular y entender • Debilidades – Valora la carrera de un investigador: • No existen bases de datos que contengan todos los trabajos y las citas asociadas a las mismas• Las que existen se limitan a un número limitado de publicaciones (artículos en revistas indizadas en WoS o SCOPUS; todo tipo de publicaciones en Google Scholar). – – – – Inadecuado para comparar a investigadores de distintas áreas científicas Favorece a los autores senior frente a los noveles No excluye las autocitas Penaliza a los autores con estrategias de publicación muy selectivas: pocos documentos y altamente citados
  35. 35. El índice H Índice H de universidades españolas en dos campos científicos diferentes para 2007-2011
  36. 36. CROWN Indicator TOP Categorías de la UGR según producción citable. Se puede ver el detalle del cálculo del CROWN INDICADOR (Citas Teóricas/Reales)
  37. 37. Factor de impacto normalizado Ejemplo: Impacto Vs Impacto Normalizado para las categorías JCR con más documentos de la Univ. Navarra
  38. 38. % Docs en el 1º Cuartil Ejemplo: Producción de las universidades españolas según área de conocimiento y % de documentos en el 1º Cuartil.
  39. 39. El ‘Scimago Journal Rank’ Sobre el indicador SJR ● Trata de medir el prestigio científico y visibilidad de las revistas científicas. SCImago lo ha desarrollado tomando como base el algoritmo ideado por Google para ordenar sus resultados de búsqueda (más conocido como Google PageRank). ● SJR: expresa el número de enlaces que una revista recibe a través de la citación ponderada de sus documentos en relación con el número de documentos publicados en el año por cada publicación. La ponderación de las citas se hace en función de las que recibe la publicación citante.
  40. 40. Altmetrics El contexto tecnológico e internet han evolucionado enormemente en los últimos años Han surgido cientos de plataformas que permiten compartir libremente todo tipo de información y conectarnos a través de redes (web 2.0) También se ha visto reflejado en la actividad académica y científica: • • • • • Redes sociales académicas Repositorios de acceso abierto Gestores de referencias on-line Data Sharing etc…
  41. 41. Altmetrics Surgen múltiples herramientas de gestión, almacenamiento o networking en ciencia Medios Sociales Gestores de referencias Blogs Científicos Repositorios acceso abierto • Twitter, Facebook, youtube… • Connotea, Mendeley, Zotero.. • Researchblogging, etc.. • Artículos (Arxiv), revistas (PLoS), datos (Dryad)..
  42. 42. Altmetrics Qué generan estadísticas de la actividad de la actividad e interacciones entre sus usuarios Medios Sociales Gestores de referencias Blogs Científicos Repositorios • Retweet, Like, menciones conversaciones • Lecturas, incorporación a bibliografías de los usuarios • Comentarios, enlaces recibidos por la entrada, … • Consultas, vistas del artículo, descargas
  43. 43. Altmetrics Ejemplo de indicadores obtenidos con ImpactStory para una conferencia
  44. 44. Consejos muy básicos Si queremos de verdad que estas métricas funcionen con nuestros trabajos y aportaciones académicas debemos ser activos en la web: IMPLICA PLUS DE TIEMPO QUE NOS SERÁ POCO RECONOCIDO • Tendremos por ejemplo que tener cuenta/pefil en las redes sociales habituales (Twitter o Facebook) • Subir los trabajos a un repositorio en acceso abierto profesional o institucional. • Utilizar aquellas plataformas sobre las que se construyen las métricas (slideshare, mendeley, etc..)
  45. 45. Grupo EC3 EC3metrics 3. LOS ÍNDICES DE CITAS (WEB OF SCIENCE, SCOPUS, GOOGLE SCHOLAR) -PRÁCTICUM-
  46. 46. Web of Science: SCI, SSCI y AHCI • Es la base de datos de referencia internacional para estudios bibliométricos. Cubre las mejores revistas de todas las áreas • La selección de las revistas se basa en la ley de Bradford y la empresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial • La cobertura de las revistas es cover to cover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega a 1900 • Ofrece un variado conjunto de indicadores bibliométricos como puede es el caso de todos aquellos incluidos en los Essential Science Indicators (investigadores altamente citas, hot papers, indicadores por países, …)
  47. 47. Web of Science: SCI, SSCI y AHCI • El concepto de un índice fue desarrollado por el doctor Eugene Garfield. El publicó su concepto en un artículo en la revista “Science” en 1955. • Con el apoyo del ‘National Science Foundation’ y el ‘National Institutes of Health’ el doctor Garfield creó el Índice de Genética en 1961. • El doctor Garfield se dio cuenta que para investigar completamente un tema se necesitaba una vista más global/ multidisciplinaria y creó el Índice de Ciencias (SCI) en 1963. SCI Print
  48. 48. Web of Science: SCI, SSCI y AHCI La Web of Science contiene 7 bases de datos diferentes de citas. Sin embargo para nosotros son de interés los índices de citas de revistas: SCI, SSCI y A&HCI REVISTAS ● Science Citation Index Expanded ● Social Sciences Citation Index ● Arts & Humanities Citation Index SCI-EXPANDED SSCI A&HCI CONFERENCIAS ● Conference Proceedings Citation Index- Science ● Conference Proceedings Citation Index- Social Science & Humanities CPCI-S CPCI-SSH LIBROS ● Book Citation Index– Science ● Book Citation Index– Social Sciences & Humanities BKCI-S BKCI-SSSH
  49. 49. Web of Science: Interfaz Interfaz que nos encontramos una vez estamos dentro de la Web of Science
  50. 50. Web of Science: Interfaz Campo de Búsqueda. Nos permiten seleccionar el campo de búsqueda. Hay que controlar el campo “Author” que nos permite buscar la producción científica de un investigador introduciendo su nombre (firma científica). También nos interesa el campo ‘Topic’ y ‘Title’ que nos permite lanzar búsquedas de temás y es especialmente útil a la de buscar un artículo concreto de un investigador
  51. 51. Campos sobre los que podemos hacer los filtros Web of Science Categories Document Types Subject Areas Authors Group Authors Editors Source Titles Book Series Titles Conference Titles Publication Years Institutions Funding Agencies Languages Countries/Territories
  52. 52. Cited Reference Search • Encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS • Ejemplo: citas recibidas por los artículos publicados en 2007 en la revista NO ISI Anales de Documentación
  53. 53. Cómo localizar las revistas indexadas en la WoS • Thomson cuenta con un listado maestro (master list) donde aparecen las revistas recogidas en sus índices de citas http://science.thomsonreuters.com/mjl/ ¡Ojo! No confundir con JCR: No todas las revistas incluidas en WoS tienen factor de impacto JCR
  54. 54. Web of Science: Caso práctico CASO PRÁCTICO 1. Buscando las citas a un trabajo científico Human adult stem cells derived from adipose tissue protect against expe rimental colitis and sepsis Gonzalez-Rey, E.; Anderson, P.; Gonzalez, M. A.; et al. GUT Vol: 58 Nº: 7 PP: 929-939 Debemos por tanto hacer una búsqueda por el campo ‘Title’ en la Web of Science
  55. 55. Web of Science: Caso práctico CASO PRÁCTICO 1. Buscando las citas a un trabajo científico 2. Introducimos título del artículo 1. Seleccionamos la Web of Science 3. No olvidar seleccionar campo ‘Title’ 4. Pulsa Search
  56. 56. Web of Science: Caso práctico CASO PRÁCTICO 1. Buscando las citas a un trabajo científico Después de Search este sería el resultado Si pinchamos podríamos ver la cita completa NÚMERO DE CITAS RECIBIDAS POR EL ARTÍCUO
  57. 57. Web of Science: Caso práctico CASO PRÁCTICO 2 Buscando la producción científica de un investigador en la Web of Science El profesor Francisco Gónzalez Lodeiro quiere que le busquemos su producción científica (quiere saber el número de artículo en la base de datos) y quiere conocer el número de citas de cada artículo Para buscar por autor en la Web of Science tienes que buscar por Apellidos y la Inicial del Nombre. Además tendrás que probar varias combinaciones. Por ejemplo, en el caso de nuestro investigador podría estar firmando con las siguiente combinaciones: 1. Gonzalez-Lodeiro F 2. Lodeiro FG
  58. 58. Web of Science: Caso práctico • Prueba diferentes opciones de consulta • Por ejemplo para Daniel Torres Salinas • Torres-Salinas D | Salinas DT | Torres D • Limita siempre por su institución • Por ejemplo para Daniel Torres Salinas • Author: Torres-Salinas D AND Adress: Univ Navarra • Limita por años de su carrera • Por ejemplo para Daniel Torres Salinas • Author: Torres-Salinas D AND Adress: Univ Navarra AND Publication date: 2007-2012
  59. 59. Web of Science: Caso práctico CASO PRÁCTICO 2 Buscando y analizando la producción científica de un investigador en la Web of Science 1. Nombre del investigador 3. Buscamos 2. Seleccionamos Campo de autor
  60. 60. Web of Science: Caso práctico CASO PRÁCTICO 2 Buscando y analizando la producción científica de un investigador en la Web of Science 2. Que automáticamente podemos analizar si pinchamos en la opción Create Citation Report 1. Hemos obtenido 31 resultados/trabajos
  61. 61. Web of Science: Caso práctico CASO PRÁCTICO 2 Buscando y analizando la producción científica de un investigador en la Web of Science Al pinchar en Citation Report el sistema nos genera un informe con diversos indicadores como por ejemplo: Total Trabajos (results found), Suma de citas (Sum of the Time Cited) o el Promedio de citas (Average Citations per Item).
  62. 62. Precauciones generales en las búsquedas • • • • • Cuidado con la búsqueda por fechas Cuidado con la sintaxis de WoS Cuidado con los autores con dos apellidos Cuidado con los homónimos Cuidado con nombre regionales, abreviaturas o “nombres artísticos” • Cuidado con los errores de indización • Extremo cuidado al limitar por los campos afiliación o categoría JCR
  63. 63. SCOPUS ● La base de dato Scopus cuenta con casi 50 millones de registros. Es una base de datos de datos mayor que la Web of Science. Aunque solo cubre información desde el año 1996. Incluye 17.500 revistas científicas, que cuentan con revisión por expertos ● No solo incluye revistas científicas también podemos encontrar otras tipologías (al igual que ocurre en la Web of Science) como Congresos o Libros. Por ejemplo incluye 300 series de libros y 4.4 millones de sus registros son conferencias a congresos
  64. 64. SCOPUS Ésta es la cobertura de la base de datos Scopus según el número de revistas que tiene indexada en cada una de la áreas científicas Ciencias Exactas y Naturales Ciencias de la salud y Biomedicina Ciencias Sociales y Humanidades Ciencias de la Vida 6350 REVISTAS 6200 REVISTAS 5900 REVISTAS 3950 REVISTAS Química Oncología Psicología Neurociencias Física Enfermería Economía Biología Ingeniería Odontología Humanidades Bioquímica etc etc etc etc
  65. 65. SCOPUS Ésta es la cobertura por área geográfica comparada con la Web of Science. Vemos como para todas las zonas tiene más revistas EUROPA NORTEAMÉRICA RESTO DEL MUNDO
  66. 66. Scopus: Interfaz
  67. 67. Scopus: Interfaz El interfaz de consulta de Scopus es muy similar al de la Web of Science. Aunque incluye campos de consulta diferentes los campos son esenciales algunos como ‘Autores’ y “Article, Title, Abstract, Kewords’ son equivalente a la búsqueda de autores y temas.
  68. 68. Scopus: Caso práctico CASO PRÁCTICO 1. Buscando las citas a un trabajo científico Un investigador llega a la biblioteca y nos solicita el número de citas recibidas por este trabajo Human adult stem cells derived from adipose tissue protect against expe rimental colitis and sepsis Gonzalez-Rey, E.; Anderson, P.; Gonzalez, M. A.; et al. GUT Vol: 58 Nº: 7 PP: 929-939 Debemos por tanto hacer una búsqueda por el campo ‘Title’ en la Web of Science
  69. 69. Scopus: Caso práctico CASO PRÁCTICO 2. Buscando las citas a un trabajo científico 1. Nos situamos en la pestaña Document Search 2. Introducimos el título del trabajo 3. Seleccionamos el campo ‘Article,… 4. Pulsamos Search
  70. 70. Scopus: Caso práctico CASO PRÁCTICO 2. Buscando las citas a un trabajo científico Si pinchamos podríamos ver la cita completa NÚMERO DE CITAS RECIBIDAS POR EL ARTÍCUO
  71. 71. Scopus: Caso práctico CASO PRÁCTICO 2 Buscando la producción científica de un investigador en la Web of Science El profesor Evaristo Jiménez Contreras quiere que le busquemos su producción científica (quiere saber el número de artículo en la base de datos) y quiere conocer el número de citas de cada artículo Para buscar por autor en Scopus existe la misma problemática que con el nombre de los autores a la de la Web of Science. En este caso nuestro hombre firma como: Jiménez-Contreras E
  72. 72. Scopus: Caso práctico CASO PRÁCTICO 2 Buscando la producción científica de un investigador en la Web of Science Introducimos el nombre del investigador Seleccionamos el campo Authors
  73. 73. Scopus: Caso práctico CASO PRÁCTICO 2 Buscando la producción científica de un investigador en la Web of Science Con la opción de View Citation Overview rápidamente obtenemos un informe La base de datos nos devuelve los documentos
  74. 74. Scopus: Caso práctico CASO PRÁCTICO 2 Buscando la producción científica de un investigador en la Web of Science Resultados del información de citación del profesor Jiménez Contreras.
  75. 75. SCOPUS. Author evaluator
  76. 76. SCOPUS. Author evaluator
  77. 77. Google Scholar Subproducto de Google nacido en 2004 especializado en buscar e identificar material bibliográfico publicado de carácter científico y académico ¿Qué podemos encontrar en Google Scholar? 1) Referencias bibliográficas con resúmenes 2) Textos completos en formato PDF o HTML 3) Citas a los trabajos científicos
  78. 78. ¿Qué tipologías documentales cubre? Cubre ● Artículos de revistas científicas y libros ● Comunicaciones y ponencias a congresos ● Informes científico-técnicos ● Tesis, tesinas o memorias de grado ● Trabajos depositados en repositorios ● Páginas web personales o institucionales ● Cualquier publicación con resumen No cubre ● Reseñas de libros y editoriales ● Libros de texto y monografías ● Periódicos y revistas comerciales
  79. 79. Diapositiva 78 em2 emilio delgado; 22/08/2008
  80. 80. ¿Cuáles son sus fuentes de información? ● Webs académicas, universidades y centros de I+D: > harvard.edu 2.240.000 ; ugr.es: 17.400 docs ● Repositorios institucionales o temáticos: > arxiv.org: 352000 ; ssrn.com: 247.000 ● Editoriales comerciales: > Elsevier - sciencedirect.com: 7.200.000 ● Bibliotecas > dialnet.unirioja.es: 2.190.000 ● Servicios de distribución o almacenaje > Ingenta - ingentaconnect.com: 640.000 ● Bases de datos bibliográficas: > Pubmed: nlm.nih.gov: 6.050.000
  81. 81. Cómo se ordenan los resultados Cómo se ordenan los resultados? • El número de citas es fundamental para determinar la posición de un documento en los resultados • EL título o el resumen del documento contiene las palabras por las que el usuario esta buscando • Agrupación de versiones permite recopilar todas las citas, lo cual puede mejorar la posición
  82. 82. Fortalezas y debilidades (I) Fortalezas ● Localiza toda la literatura especialmente la no anglosajona que es la peor controlada por los sistemas de información ● Especialmente útil en disciplinas que no emplean preferentemente las revistas como medio de comunicación: Humanidades, Ciencias Sociales, Ingenierías… ● Encuentra CITAS a libros y a trabajos publicados en revistas secundarias no incorporadas a la llamada “corriente principal de la ciencia”
  83. 83. Fortalezas y debilidades (II) Debilidades ● No existe control de calidad de las fuentes procesadas. Errores en el procesamiento de la información: errores tipográficos, algoritmos automáticos, errores en la referencias ● Falta de transparencia en el contenido de la base de datos. Google no nos informa exactamente de las fuentes que indexa ● Muy costosa la recuperación y el tratamiento de los resultados de las búsquedas. Hay que dedicar mucho tiempo a la depuración de resultados
  84. 84. Cómo puedo conseguir que GS indexe mis trabajos Si quiero que mi producción aparezca entre los resultados de Google Scholar y podamos utilizarlos para el perfil hay cuatro métodos: 1. Subir los trabajos a un repositorio 2. Subirlos a la web de la universidad 3. Indicar en el perfil de G. Scholar nuestra web 4. Escribir a Google indicando web
  85. 85. Grupo EC3 EC3metrics 4. LOS PRODUCTOS DOCUMENTALES QUE OFRECEN INDICIOS DE CALIDAD
  86. 86. Grupo EC3 EC3metrics Productos de evaluación de revistas
  87. 87. El ‘Journal Citation Reports’ Descripción básica El ‘Journal Citation Reports’ es un producto creado por el Institute for Scientific Information. Actualmente está gestionado por la empresa Thomson Reuters. Abarca una cobertura internacional, tiene registradas revistas científicas de todo el mundo, la mayoría anglosajonas. Actualmente podemos encontrar unas12.000 revistas científicas, distribuidas en dos ediciones diferentes: Ciencias (SCI) y Ciencias Sociales (SSCI) y éstas se distribuyen en 220 categorías científicas diferentes
  88. 88. El ‘Journal Citation Reports’ Para acceder tenemos que ir a Additional Resources 1
  89. 89. El ‘Journal Citation Reports’ En la versión web solo encontramos impactos desde el año 1997 hasta el año 2011 que es el último evaluado. Si queremos impactos a anteriores a 1997 tenemos que consultar las antiguas ediciones impresas del JCR
  90. 90. El ‘Journal Citation Reports’ Los indicadores que podemos encontrar Aunque en el Journal Citation Reports podemos encontrar muchos indicadores de citación para las revistas científicas como por ejemplo: - La vida media de las revistas Eigen Score Cited Half Life Otros… A nosotros desde el punto de vista de la evaluación de las carreras científicas lo que nos solicitan las agencias es el Impact Factor
  91. 91. El ‘Journal Citation Reports’ Ejemplo de cálculo del Impact Factor para el año 2011. Se trata de una simple división Citas recibidas en 2011 por los artículos publicados en 2010 y 2009 Citas recibidas por los artículos publicados en 2010 = 297 Citas recibidas por los artículos publicados en 2009 = 493 Total Citas = 793 Número de artículos publicados en 2010 y 2009 Número de artículos publicados en 2010 = 178 Número de artículos publicados en 2009 = 203 Total Artículos = 381 IMPACT FACTOR = Citas (793) / Artículos (381) = 2.081
  92. 92. El ‘Journal Citation Reports’ Ejemplo del Ranking 1 3 Posición revista Consulta Categoría 2 Nos devuelve este ranking de revistas ordenadas por Impact Factor
  93. 93. El ‘Journal Citation Reports’ Ejemplo de búsqueda revista 1. Seleccionar edición y opción ‘Search for a especific journal’ 2. Seleccionar opción de búsqueda 3. Resultados. Pinchar y accederemos al informe de la revista 1 2 3
  94. 94. El ‘Journal Citation Reports’ Dentro de la ficha seleccionar Journal Ranking y obtendremos todos los datos que nos piden las agencias
  95. 95. Essential Science Indicators Para acceder tenemos que ir a Additional Resources 1
  96. 96. Essential Science Indicators ESI ofrece un archivo rodante de diez años, actualizado cada dos meses, que permite a los usuarios buscar en 22 campos específicos de investigación: Clasificaciones de científicos Clasificaciones de trabajos Clasificaciones institucionales de laboratorios de investigación universitarios, privados y gubernamentales Clasificaciones nacionales
  97. 97. Essential Science Indicators • Indicadores a nivel macro de producción y citación • Nos proporciona un marco comparativo; podemos confrontar los registros de un investigador o institución con áreas / países, etc • Podemos también obtener información sobre los papers más citados o sobre los científicos con mayor impacto
  98. 98. Essential Science Indicators
  99. 99. Essential Science Indicators BASELINES INTERPRETACIÓN: Un artículo publicado en 2003 en una revista de Computer Science debe obtener al menos 12 citas para situarse entre el 10% más citado de su disciplina y año
  100. 100. El ‘Scimago Journal Rank’ ● El SCImago Journal & Country Rank es un producto desarrollado por el grupo SCImago que tiene en cuenta las publicaciones científicas listadas en la base de datos SCOPUS desde 1996 ● En lo que a revistas se refiere, se establece una clasificación de acuerdo a uno o varios parámetros: área de conocimiento, categoría (dependiente directamente del área elegida), y país
  101. 101. El ‘Scimago Journal Rank’ Acceso al producto, gratis desde su web http://www.scimagojr.com/journalrank.php
  102. 102. El ‘Scimago Journal Rank’ ● Aunque ofrecen varios indicadores nos interesa sobre todo el SJR que es su propuesta frente al Impact Factor de Thomson Reuters ● Como vemos, también nos ofrece directamente el dato sobre el cuartil en que se posiciona cada revista
  103. 103. El ‘Scimago Journal Rank’ Ejemplo del Ranking. Opciones de consulta. Claramente vemos como se puede hacer rankings por Área y Tema que son los que nos interesan en términos de evaluación
  104. 104. El ‘Scimago Journal Rank’ Ejemplo del Ranking. Resultado de la consulta anterior ordenada según el ‘SJR’
  105. 105. El ‘Scimago Journal Rank’ Sobre el indicador SJR ● Trata de medir el prestigio científico y visibilidad de las revistas científicas. SCImago lo ha desarrollado tomando como base el algoritmo ideado por Google para ordenar sus resultados de búsqueda (más conocido como Google PageRank). ● SJR: expresa el número de enlaces que una revista recibe a través de la citación ponderada de sus documentos en relación con el número de documentos publicados en el año por cada publicación. La ponderación de las citas se hace en función de las que recibe la publicación citante.
  106. 106. El ‘Scimago Journal Rank’ Ejemplo Práctico Un profesor ha publicado el siguiente artículo y necesita conocer su SJR (Scimago Journal Rank) R. Alcalá, Y. Nojima, F. Herrera, H. Ishibuchi. Multiobjective Genetic Fuzzy Rule Selection of Single Granularity-Based Fuzzy Classification Rules and its Interaction with the Lateral Tuning of Membership Functions. Foundations and Trends in Machine Learning 15:12 (2011) 2303-2318. Vemos como el artículo está publicado en Foundations and Trends in Machine Learning en el año 2011
  107. 107. El ‘Scimago Journal Rank’ Ejemplo Práctico 1. Nos vamos a la página de SJR y seleccionamos ‘Journal Search’ 2. Introducimos título y seleccionamos ‘Search’ 1 2
  108. 108. El ‘Scimago Journal Rank’ Ejemplo Práctico 3. Obtenemos resultado y pinchamos 4. A continuación pinchamos en una de las disciplinas donde se encuentra la revista 3 4
  109. 109. El ‘Scimago Journal Rank’ Ejemplo Práctico 5. podemos ver como la revista ocupa la posición número 3 en Artificial Intelligence con un SJR de 5,601 y está situada en el primer cuartil 5
  110. 110. Google Scholar Metrics Producto de Google que proporciona el índice h de las revistas científicas Nacido en 2012, elabora además rankings de revistas científicas: por idioma (las 100 primeras) por disciplina (sólo para las revistas en inglés, en este caso muestra las 20 primeras)
  111. 111. Publicaciones Top en Inglés en GSM
  112. 112. Indicadores en GSM Ofrece el índice h de las revistas científicas, tomando en cuenta los trabajos publicados en los últimos 5 años (en la actualidad periodo 2007-2011), de ahí que Google lo denomine h5 Además ofrece otro indicador, que es la mediana de las citas recibidas por los trabajos que cuentan para el índice h. Este indicador sirve para “desempatar” a las revistas con mismo índice h El indicador elegido por Google es muy dependiente del tamaño de las revistas, por ello, las que publican mayor número de artículos tienen más posibilidades de ocupar lugares altos que las revistas con menor número de trabajos
  113. 113. Qué revistas indiza GSM DEBEN CUMPLIR 2 REQUISITOS 1. Que hayan publicado al menos 100 trabajos en los 5 años de análisis (se descartan así muchas revistas de pequeño tamaño, en general de los campos de Humanidades y Sociales 2. Que hayan recibido al menos una cita en el periodo de análisis (es decir, su índice h debe ser al menos de 1)
  114. 114. Ventajas de GSM frente a WoS y Scopus •Indiza más revistas •Indiza más tipos documentales •Indiza revistas de un mayor número de países e idiomas •Proporciona indicadores más elevados que 40.000 WOS y Scopus •Su cobertura crece más rápidamente 19.708 •Es gratuito y de libre acceso 10.617
  115. 115. Desventajas •No hay apenas normalización por lo que se detectan errores en la asignación de citas •No se pueden acceder más que al ranking de las 20 revistas top en inglés por disciplinas •El indicador elegido, el índice h es un El indicador discutido •Falta de transparencia acerca de las fechas de actualización del producto •Posibilidad de manipular los datos con poco esfuerzo
  116. 116. Latindex - Latindex es producto de la cooperación de una red de instituciones que funcionan de manera coordinada para reunir y diseminar información bibliográfica sobre las publicaciones científicas seriadas producidas latinoamerica. Es útil en las áreas de Ciencias Sociales y Humanidades. - Desde el punto de vista de la evaluación nos interesa porque tienen un subproducto llamado Catálogo Latindex. Es un subconjunto de las revistas incluidas en el Directorio. Forman parte del Catálogo solamente aquellas revistas que cumplen con un umbral de características editoriales establecidas por el Sistema mediante la aplicación de criterios de calidad editorial.
  117. 117. Latindex EL CATÁLOGO LATINDEX Las revistas se evalúan según el cumplimento de 33 (36 en revistas electrónicas) características que se agrupan en los siguientes grupos: 1)Características Básicas 2)Características de Presentación de las Revistas 3) Características de Gestión y Política Editorial 4) Características del contenido Para ingresar al Catálogo la revista debe cumplir las ocho características obligatorias y al menos 17 de las restantes características, para un mínimo de 25 cumplidas. Si una publicación incumple algunas de las características básicas no ingresa al Catálogo, aún cuando la suma total de criterios cumplidos rebase los 25
  118. 118. Latindex Búsqueda Hay que seleccionar el catálogo para identificar aquellas revistas que nos interesan desde el punto de vista de la evaluación Cobertura por disciplinas
  119. 119. Latindex Cuando buscamos una revistas nos indica cuantos criterios cumple y el detalle de cuales son
  120. 120. ERIH: European Index for the… ERIH - ‘European Reference Index for the Humanities’ es una clasificación de revistas a nivel europeo desarrollada por la European Science Foundation - Detecta mediante una consulta a paneles de expertos las mejores revistas, intentando superar el sesgo anglosajón de otros productos - Está orientada a las Humanidades y clasifica las revistas científicas en tres grupos diferentes - Ha logrado clasificar un total de 5610 revista diferentes
  121. 121. ERIH: European Index for the… Grupos - Este es un indicio que se puede aportar en las diferentes agencias de evaluación. Los grupos en los que clasifica ERIH las revistas científicas son los siguientes: - NACIONAL (NAT): Son publicaciones europeas con reconocimiento en una determinada zona, especialmente lingüística - INTERNACIONAL (INT): revistas europeas y no europeas con reconocimiento y visibilidad entre la comunidad científica. Tiene dos subclasificaciones: - INT1: con reconocimiento mundial - INT2: concentrado en zona europea
  122. 122. ERIH: European Index for the… WEB: https://www2.esf.org/asp/ERIH/Foreword/index.asp El interfaz de búsqueda es bastante simple así como los resultados que nos devuelve
  123. 123. ULRICHS Global Serials Directory Ulrichsweb es una fuente de información detallada, y fácil de usar, sobre más de 300.000 publicaciones periódicas (también denominadas publicaciones en serie) de todo tipo: publicaciones académicas y de investigación, revistas electrónicas, títulos revisados por pares, revistas de gran popularidad, periódicos, boletines informativos, etc. A nivel de evaluación nos interesa sobre todo ya que nos ofrece las bases de datos donde puede estar indexada la revista científica donde ha aparecido publicada la aportación. Por tanto podemos ver si una revista está o no está en una determinada base de datos. Se puede acceder a través de la biblioteca
  124. 124. ULRICHS Global Serials Directory Menú de búsqueda. texto libre Resultado
  125. 125. ULRICHS Global Serials Directory Una vez dentro de la ficha debemos seleccionar la sección Abstracting & Indexing. Allí encontremos las bases de datos. Este dato o indicio será útil especialmente en las áreas de ciencias sociales y humanidades
  126. 126. La Familia INREC* ÍNDICES DE IMPACTO DE REVISTAS ESPAÑOLAS EN CIENCIAS SOCIALES, JURÍDICAS Y HUMANAS
  127. 127. La Familia INREC* Índices de impacto de revistas españolas elaborados por el grupo de investigación EC3 desde el año 2003 Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas Empleados en los procesos de promoción profesional en la universidad española Cubren la laguna de la evaluación de la ciencia en los ámbitos poco o al cubiertos por los índices internacionales http://ec3.ugr.es/in-recs/ http://ec3.ugr.es/in-recj/ http://ec3.ugr.es/in-rech/
  128. 128. Clasificación CIRC CIRC toma las diferentes plataformas de evaluación de revistas para crear una única clasificación de revistas en cuatro grupos: A, B, C y D Los principios de CIRC, en qué se basa para su construcción -Respeto de los criterios de evaluación de agencias -Qué se puedan obtener indicadores bibliométricos -Qué sea consensuado la comunidad científica bibliométrica -Qué siga un modelo similar a los JCR
  129. 129. Clasificación CIRC: GRUPOS A C Integrado por las revistas científicas de mayor nivel. Pertenecerían al mismo las revistas internacionales de mayor prestigio que han superado procesos de evaluación muy exigentes para el ingreso en diferentes bases de datos. Se incluirían en este grupo las revistas científicas españolas de segundo orden que, o bien son poco citadas, o bien no cumplen con los estándares de publicación científica. También se incluyen las revistas internacionales de menor relevancia. Revistas científicas españolas de calidad pero que no alcanzan un alto nivel de internacionalización aunque son revistas que reciben cierto grado de citación y que respetan los estándares. Asimismo forman parte revistas científicas internacionales con un menor grado de prestigio Este último grupo estaría conformado por todas aquellas publicaciones no incluidas en ninguna de las categorías anteriores y, por tanto, con un dudoso status científico. B D
  130. 130. Clasificación CIRC: GRUPOS A -SCI, SSCI O A&HCI según los master list de 2010 -Listas ERIH con un calificación de A C - 2ºC, 3ºC, 4ºC (2004-2008) del INRECS O INRECJ - DICE sin evaluación con expertos - Catálogo Latindex - 1ºC (2004-2008) del INRECS O INRECJ - DICE con Peer Review e incluidas en Latindex -Scopus en Social y Humanities - ERIH como B y C Cualquier revista que no forma parte de todos los productos anteriores Revistas no científicas?? B D
  131. 131. DICE Producto auspiciado por ANECA y elaborado por grupo EPUC del CSIC Mide la difusión y calidad editorial de revistas españolas de Ciencias Sociales, Humanas y Jurídicas
  132. 132. RESH Producto elaborado por grupo EPUC del CSIC y EC3 de la Universidad de Granada Similar a DICE, además proporciona números de criterios de calidad según Aneca y Cneai cumplidos por las revistas, ranking según opinión de expertos e impacto acumulado 2005-2009 (tomado de INREC*)
  133. 133. Grupo EC3 EC3metrics Productos de evaluación de libros
  134. 134. Iniciativas en la evaluación de libros y editoriales 1. Están apareciendo los primeros rankings de editoriales basados en encuestas a miembros de la comunidad científica 2. Los índices de citas cada vez tiene mejor cobertura de los libros y su impacto, nos permitirán análisis de citas globales
  135. 135. Iniciativas en la evaluación de libros y editoriales Elaborado por el GRUPO EPUC de Elea Giménez Toledo Encuesta 11.647 a científicos (Tasa respuesta 26%) Indicador de Calidad de Editoriales según los Expertos (ICEE)
  136. 136. Scholarly Publishers Indicators (SPI) ● Es una ranking de editoriales construido a partir de la opinión de más de 3000 investigadores españoles ● Por tanto se evalúa la calidad de las editoriales según Prestigio de las editoriales según expertos españoles ● Solo se presenta para los ámbitos de Ciencias Sociales y Humanidades ● Se presenta a nivel general un ranking de editoriales españolas (201 editoriales) y otro internacional (208 editoriales)
  137. 137. Scholarly Publishers Indicators (SPI) El top de las editoriales españolas según SPI ● La posición que ocupa la editorial se podría aportar como indicio de calidad de la editorial en las diferentes agencias de evaluación.
  138. 138. Scholarly Publishers Indicators (SPI) Bellas Artes Antropología Arqueología y Prehistoria Documentación Comunicación Economía Educación Estudios árabes y hebraicos Derecho Filosofía Geografía Historia Lingüística, Literatura … Ciencias Políticas Psicología Sociología ● Además de los ranking generales contamos con rankings específicos por disciplinas científicas ● En total se han analizado 16 disciplinas científicas diferentes
  139. 139. Book Citation Index (BKCI) • Índice de citas de Web of Science enfocado a libros y capítulos • Indización selectiva. Se aspira a seleccionar los libros de las editoriales más relevantes del mundo • Producto actualmente en desarrollo y expansión • De momento más errores y limitaciones que aciertos
  140. 140. Distribución por áreas de libros y sus citas Libros indexados en el BKCI y las citas que han recibido
  141. 141. Idiomas Oh! 96%
  142. 142. Principales editoriales del BKCI Ranking de editoriales del BKCI en Ciencias Sociales y Humanas según el número de libros publicados
  143. 143. Limitaciones actuales del BKCI • Orientación total anglosajona (lengua y editoriales) • Gran concentración editorial • Ausencia de editores reputados • Tan solo 18 editoriales construyen la base • Poca presencia de editoriales universitarias • Problemas agravados en Sociales & Humanidades • Inclusión de revistas (Annual Reviews) como libros
  144. 144. Dicho todo esto… si fuera editor haría todo lo posible por estar en el BKCI si fuera autor me gustaría publicar en editoriales indexadas en el BKCI si fuera una agencia empezaría a tener en cuenta el indicio de calidad BKCI
  145. 145. Grupo EC3 EC3metrics ¡MUCHAS GRACIAS! Calidad de la Investigación y métodos de medición en el actual contexto nacional e internacional ÁLVARO CABEZAS CLAVIJO alvaro@ec3metrics.com

×