Tendencias en la evaluación de publicaciones académicas Isidro F. Aguillo Laboratorio de Cibermetría CINDOC-CSIC

Agenda Aspectos básicos de bibliometría y cienciometría El papel de las bases de datos de citas: Web of Knowledge Impacto en la evaluación de revistas, investigadores e instituciones Errores de interpretación y malas prácticas El problema de las ciencias sociales, humanidades (y tecnologías) Publicación electrónica y Web Recomendaciones para editores www.webometrics.info

Aspectos básicos de bibliometría y cienciometría

El papel de las bases de datos de citas: Web of Knowledge

Impacto en la evaluación de revistas, investigadores e instituciones

Errores de interpretación y malas prácticas

El problema de las ciencias sociales, humanidades (y tecnologías)

Publicación electrónica y Web

Recomendaciones para editores

Situación actual Los profesores universitarios y los investigadores españoles están sujetos a evaluación de su actividad científica La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas Los indicadores más importantes deberían obtenerse del análisis de citas Existe un “monopolio” respecto de la(s) base(s) de datos fuente para el análisis Web of Knowledge (Thomson Scientific) www.webometrics.info

Los profesores universitarios y los investigadores españoles están sujetos a evaluación de su actividad científica

La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas

Los indicadores más importantes deberían obtenerse del análisis de citas

Existe un “monopolio” respecto de la(s) base(s) de datos fuente para el análisis

Web of Knowledge (Thomson Scientific)

Licencia nacional del WoK FECYT contrata la licencia para todas las universidades y centros de investigación y universaliza su uso Se generaliza la consulta del WoK y la utilización de sus datos Factor de impacto de revistas Publicaciones por autor (grupo o institución) Número de citas recibidas Índice h Los propios interesados obtienen sus datos personales sin conocimiento de las limitaciones y sesgos de dicha base de datos www.webometrics.info

FECYT contrata la licencia para todas las universidades y centros de investigación y universaliza su uso

Se generaliza la consulta del WoK y la utilización de sus datos

Factor de impacto de revistas

Publicaciones por autor (grupo o institución)

Número de citas recibidas

Índice h

Los propios interesados obtienen sus datos personales sin conocimiento de las limitaciones y sesgos de dicha base de datos

www.webometrics.info

Problemática del WoK Cobertura sesgada Sesgo original Revistas fuente (citantes) en el núcleo Sesgo geográfico Países desarrollados Sesgo idiomático Inglés Sesgo temático Biomedicina Artículos de revisión Incremento secular Más revistas, más artículos (más citas) Fuerte impacto al añadir revistas locales www.webometrics.info

Cobertura sesgada

Sesgo original

Revistas fuente (citantes) en el núcleo

Sesgo geográfico

Países desarrollados

Sesgo idiomático

Inglés

Sesgo temático

Biomedicina

Artículos de revisión

Incremento secular

Más revistas, más artículos (más citas)

Fuerte impacto al añadir revistas locales

Cobertura del WoK www.webometrics.info WoK No-WoK Fuente (citante) Citado 75% 25% WoK No-WoK Datos ISI (Moed, 2005)

Publica o perece Incremento número de publicaciones Aumento del número de autores Publicaciones “salami” Estudios a corto plazo vs largo plazo Revisiones vs investigación original Migración hacia “ revistas internacionales ” Revistas de circulación restringida Revistas de temática local Abandono de otros formatos Libros (humanidades) Actas de congresos (ojo con Scopus !, ciencias de la computación) Informes (tecnologías) Publicaciones electrónicas (??) www.webometrics.info

Incremento número de publicaciones

Aumento del número de autores

Publicaciones “salami”

Estudios a corto plazo vs largo plazo

Revisiones vs investigación original

Migración hacia “ revistas internacionales ”

Revistas de circulación restringida

Revistas de temática local

Abandono de otros formatos

Libros (humanidades)

Actas de congresos (ojo con Scopus !, ciencias de la computación)

Informes (tecnologías)

Publicaciones electrónicas (??)

Evolución de la productividad www.webometrics.info Autores/artículo (+52%) Autores/autores únicos (+29%) Artículos/autores únicos (-15%) Datos ISI (Moed, 2005)

Problemática con el análisis Producción científica Autoría/afiliación no normalizada Infravaloración por fallos de identificación Autoría fraccionada El impacto y la medida de la coautoría Análisis de citas Auto-citas Personales (auto-bombo) Grupo (colegas, discípulos) Continuidad Factor de impacto esperado vs FI real Número de citas reales recibidas, no FI de la revista Limitaciones del índice h Válido para carreras dilatadas, sesgos disciplinares www.webometrics.info

Producción científica

Autoría/afiliación no normalizada

Infravaloración por fallos de identificación

Autoría fraccionada

El impacto y la medida de la coautoría

Análisis de citas

Auto-citas

Personales (auto-bombo)

Grupo (colegas, discípulos)

Continuidad

Factor de impacto esperado vs FI real

Número de citas reales recibidas, no FI de la revista

Limitaciones del índice h

Válido para carreras dilatadas, sesgos disciplinares

www.webometrics.info

Algunas consecuencias Ciencia en español En detrimento de la docencia Destrucción de los canales de comunicación en español Preferencia por colaboración con EUA/UE frente a Iberoamérica Actividad en ciencias sociales y humanidades Infravaloración de la producción Indicadores no disponibles o poco viables Dificultad para realizar análisis de citas Problemas para realizar comparaciones bibliométricas con otras disciplinas o combinar datos Rechazo o incomprensión de científicos sociales y humanistas hacia la evaluación www.webometrics.info

Ciencia en español

En detrimento de la docencia

Destrucción de los canales de comunicación en español

Preferencia por colaboración con EUA/UE frente a Iberoamérica

Actividad en ciencias sociales y humanidades

Infravaloración de la producción

Indicadores no disponibles o poco viables

Dificultad para realizar análisis de citas

Problemas para realizar comparaciones bibliométricas con otras disciplinas o combinar datos

Rechazo o incomprensión de científicos sociales y humanistas hacia la evaluación

Algunas soluciones Evaluación cuantitativa con revistas no-fuente Citas a revistas (y otros objetos) no incluidos en WoK In-Recs (CC. Sociales) ec3.ugr.es/in-recs/ Medicina ec3.ugr.es/medicina/ IME (Medicina) ime.uv.es/imecitas/impacto_ime.asp Evaluación mixta (formal, cualitativa, cuantitativa) Criterios Latindex www.latindex.unam.mx RESH (CC. Sociales y Humanas) resh.cindoc.csic.es DICE ( idem Difusión) dice.cindoc.csic.es Otras fuentes de datos Scopus Google Scholar www.webometrics.info

Evaluación cuantitativa con revistas no-fuente

Citas a revistas (y otros objetos) no incluidos en WoK

In-Recs (CC. Sociales) ec3.ugr.es/in-recs/

Medicina ec3.ugr.es/medicina/

IME (Medicina) ime.uv.es/imecitas/impacto_ime.asp

Evaluación mixta (formal, cualitativa, cuantitativa)

Criterios Latindex www.latindex.unam.mx

RESH (CC. Sociales y Humanas) resh.cindoc.csic.es

DICE ( idem Difusión) dice.cindoc.csic.es

Otras fuentes de datos

Scopus

Google Scholar

www.webometrics.info Libros Informes Capítulos Libros Actas Congresos Artículos revistas WoK

www.webometrics.info

www.webometrics.info

www.webometrics.info www.library.uu.nl/geosource/jeroen/scopuspresentatie20060418.ppt

Reto digital www.webometrics.info Web Pública Web Privada Bases de datos Repositorios Revistas electrónicas Web Visible Internet Invisible

www.webometrics.info

Google Scholar (I) www.webometrics.info Objetos en dominios universitarios (enero 2007)

Google Scholar (II) www.webometrics.info Objetos en dominios universitarios (julio 2006)

Ficheros ricos www.webometrics.info Dominios universitarios (Julio 2006)

Repositorios www.webometrics.info eprints.rclis.org roar.eprints.org

Combinando www.webometrics.info

La nueva edición Electrónica, por supuesto Acceso abierto , la ventaja de la visibilidad Multiformato Multilingüe ( inglés Y otros) Posicionada (en motores de búsqueda) e indizada (en bases de datos: web invisible) Hipertextual desde repositorios, depósito único (o no?) Arquitectura web y Usabilidad Estándares (metadatos y otros) Navegabilidad, incluyendo identificación (electrónica y física), mención de responsabilidad, tipo de licencia (copyright) Persistencia Sindicación RSS, Blogs, Wikis Estadísticas www.webometrics.info

Electrónica, por supuesto

Acceso abierto , la ventaja de la visibilidad

Multiformato

Multilingüe ( inglés Y otros)

Posicionada (en motores de búsqueda)

e indizada (en bases de datos: web invisible)

Hipertextual

desde repositorios, depósito único (o no?)

Arquitectura web y Usabilidad

Estándares (metadatos y otros)

Navegabilidad, incluyendo identificación (electrónica y física), mención de responsabilidad, tipo de licencia (copyright)

Persistencia

Sindicación RSS, Blogs, Wikis

Estadísticas

¿Y las monografías? Versión en papel Serializar Preferiblemente multidisciplinares ISSN además de ISBN Tratamiento de revista Criterios Latindex !!! Versión electrónica Dominios propios Contenidos, no solo texto completo Metadatos, interoperabilidad Interactividad: Foros, opiniones, sugerencias Estadísticas de uso www.webometrics.info

Versión en papel

Serializar

Preferiblemente multidisciplinares

ISSN además de ISBN

Tratamiento de revista

Criterios Latindex !!!

Versión electrónica

Dominios propios

Contenidos, no solo texto completo

Metadatos, interoperabilidad

Interactividad: Foros, opiniones, sugerencias

Estadísticas de uso

www.webometrics.info

¿Por qué? La evaluación necesita fuentes (bbdds) Cobertura amplia (exhaustividad) Criterios de selección (inclusión) rigurosos (calidad= peer review) Acceso universal (fácil, asequible) Las fuentes (bibliográficas) deben admitir medidas Análisis (control) documental Las estadísticas deben generar indicadores Parámetros significativos, con un objetivo Masa crítica Los indicadores deben ser comparables Asimilación a indicadores bibliométricos de artículos www.webometrics.info

La evaluación necesita fuentes (bbdds)

Cobertura amplia (exhaustividad)

Criterios de selección (inclusión) rigurosos (calidad= peer review)

Acceso universal (fácil, asequible)

Las fuentes (bibliográficas) deben admitir medidas

Análisis (control) documental

Las estadísticas deben generar indicadores

Parámetros significativos, con un objetivo

Masa crítica

Los indicadores deben ser comparables

Asimilación a indicadores bibliométricos de artículos

Pero … Las fuentes son escasas Con un diseño “inadecuado” Con una cobertura limitada Costosas de mantener De difícil (o caro) acceso Los indicadores de visibilidad miden solo presencia En múltiples bases de datos con coberturas temática, geográfica o idiomática y criterios de selección no comparables Los indicadores de uso basados en circulación son inaccesibles o poco fiables Distribución (Amazon Rank) Bibliotecas Un índice de citas podría ser inviable www.webometrics.info

Las fuentes son escasas

Con un diseño “inadecuado”

Con una cobertura limitada

Costosas de mantener

De difícil (o caro) acceso

Los indicadores de visibilidad miden solo presencia

En múltiples bases de datos con coberturas temática, geográfica o idiomática y criterios de selección no comparables

Los indicadores de uso basados en circulación son inaccesibles o poco fiables

Distribución (Amazon Rank)

Bibliotecas

Un índice de citas podría ser inviable

www.webometrics.info

… edición electrónica Ventajas Distribución mundial Google Books, Amazon Search Inside Seguimiento detallado Visitas, volcados Interacción con los lectores Costes (!?) Inconvenientes Inversión tecnológica Competencia en mercado global Financiación de los modelos Open Access Control de la auto-publicación www.webometrics.info

Ventajas

Distribución mundial

Google Books, Amazon Search Inside

Seguimiento detallado

Visitas, volcados

Interacción con los lectores

Costes (!?)

Inconvenientes

Inversión tecnológica

Competencia en mercado global

Financiación de los modelos Open Access

Control de la auto-publicación

www.webometrics.info

www.webometrics.info

www.webometrics.info

Conclusiones/Recomendaciones La evaluación de la actividad científica no solo se reforzará sino que guiará la publicación académica Ciencias Sociales y Humanidades se evaluarán con los mismos (o similares) criterios que las CC. Puras Las monografías deben incorporarse al proceso o serán ignoradas La serialización y la edición electrónica pueden ser claves para que sean tenidas en cuenta Las monografías deben incorporarse a las fuentes utilizadas para el análisis cuantitativo o crear su proprio sistema Los rankings son una opción www.webometrics.info

La evaluación de la actividad científica no solo se reforzará sino que guiará la publicación académica

Ciencias Sociales y Humanidades se evaluarán con los mismos (o similares) criterios que las CC. Puras

Las monografías deben incorporarse al proceso o serán ignoradas

La serialización y la edición electrónica pueden ser claves para que sean tenidas en cuenta

Las monografías deben incorporarse a las fuentes utilizadas para el análisis cuantitativo o crear su proprio sistema

Los rankings son una opción

www.webometrics.info

¡Gracias! ¿Preguntas? www.webometrics.info Isidro F. Aguillo [email_address]