Aguillo Evaluacion Publicaciones Palma

1,607 views

Published on

Presentación sobre tendencias de la evaluación de las publicaciones universitarias expuesta en la reunión 2007 de UNE, Asociación de Editoriales Universitarias Españolas, en Palma de Mallorca, por Isidro Aguillo

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,607
On SlideShare
0
From Embeds
0
Number of Embeds
119
Actions
Shares
0
Downloads
10
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Aguillo Evaluacion Publicaciones Palma

  1. 1. Tendencias en la evaluación de publicaciones académicas Isidro F. Aguillo Laboratorio de Cibermetría CINDOC-CSIC
  2. 2. Agenda <ul><li>Aspectos básicos de bibliometría y cienciometría </li></ul><ul><ul><li>El papel de las bases de datos de citas: Web of Knowledge </li></ul></ul><ul><li>Impacto en la evaluación de revistas, investigadores e instituciones </li></ul><ul><ul><li>Errores de interpretación y malas prácticas </li></ul></ul><ul><li>El problema de las ciencias sociales, humanidades (y tecnologías) </li></ul><ul><li>Publicación electrónica y Web </li></ul><ul><li>Recomendaciones para editores </li></ul>www.webometrics.info
  3. 3. Situación actual <ul><li>Los profesores universitarios y los investigadores españoles están sujetos a evaluación de su actividad científica </li></ul><ul><li>La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas </li></ul><ul><ul><li>Los indicadores más importantes deberían obtenerse del análisis de citas </li></ul></ul><ul><li>Existe un “monopolio” respecto de la(s) base(s) de datos fuente para el análisis </li></ul><ul><ul><li>Web of Knowledge (Thomson Scientific) </li></ul></ul>www.webometrics.info
  4. 4. Licencia nacional del WoK <ul><li>FECYT contrata la licencia para todas las universidades y centros de investigación y universaliza su uso </li></ul><ul><li>Se generaliza la consulta del WoK y la utilización de sus datos </li></ul><ul><ul><li>Factor de impacto de revistas </li></ul></ul><ul><ul><li>Publicaciones por autor (grupo o institución) </li></ul></ul><ul><ul><li>Número de citas recibidas </li></ul></ul><ul><ul><li>Índice h </li></ul></ul><ul><li>Los propios interesados obtienen sus datos personales sin conocimiento de las limitaciones y sesgos de dicha base de datos </li></ul>www.webometrics.info
  5. 5. www.webometrics.info
  6. 6. Problemática del WoK <ul><li>Cobertura sesgada </li></ul><ul><ul><li>Sesgo original </li></ul></ul><ul><ul><ul><li>Revistas fuente (citantes) en el núcleo </li></ul></ul></ul><ul><ul><li>Sesgo geográfico </li></ul></ul><ul><ul><ul><li>Países desarrollados </li></ul></ul></ul><ul><ul><li>Sesgo idiomático </li></ul></ul><ul><ul><ul><li>Inglés </li></ul></ul></ul><ul><ul><li>Sesgo temático </li></ul></ul><ul><ul><ul><li>Biomedicina </li></ul></ul></ul><ul><ul><ul><li>Artículos de revisión </li></ul></ul></ul><ul><li>Incremento secular </li></ul><ul><ul><li>Más revistas, más artículos (más citas) </li></ul></ul><ul><ul><li>Fuerte impacto al añadir revistas locales </li></ul></ul>www.webometrics.info
  7. 7. Cobertura del WoK www.webometrics.info WoK No-WoK Fuente (citante) Citado 75% 25% WoK No-WoK Datos ISI (Moed, 2005)
  8. 8. Publica o perece <ul><li>Incremento número de publicaciones </li></ul><ul><ul><li>Aumento del número de autores </li></ul></ul><ul><ul><li>Publicaciones “salami” </li></ul></ul><ul><ul><li>Estudios a corto plazo vs largo plazo </li></ul></ul><ul><ul><li>Revisiones vs investigación original </li></ul></ul><ul><li>Migración hacia “ revistas internacionales ” </li></ul><ul><ul><li>Revistas de circulación restringida </li></ul></ul><ul><ul><li>Revistas de temática local </li></ul></ul><ul><li>Abandono de otros formatos </li></ul><ul><ul><li>Libros (humanidades) </li></ul></ul><ul><ul><li>Actas de congresos (ojo con Scopus !, ciencias de la computación) </li></ul></ul><ul><ul><li>Informes (tecnologías) </li></ul></ul><ul><ul><li>Publicaciones electrónicas (??) </li></ul></ul>www.webometrics.info
  9. 9. Evolución de la productividad www.webometrics.info Autores/artículo (+52%) Autores/autores únicos (+29%) Artículos/autores únicos (-15%) Datos ISI (Moed, 2005)
  10. 10. Problemática con el análisis <ul><li>Producción científica </li></ul><ul><ul><li>Autoría/afiliación no normalizada </li></ul></ul><ul><ul><ul><li>Infravaloración por fallos de identificación </li></ul></ul></ul><ul><ul><li>Autoría fraccionada </li></ul></ul><ul><ul><ul><li>El impacto y la medida de la coautoría </li></ul></ul></ul><ul><li>Análisis de citas </li></ul><ul><ul><li>Auto-citas </li></ul></ul><ul><ul><ul><li>Personales (auto-bombo) </li></ul></ul></ul><ul><ul><ul><li>Grupo (colegas, discípulos) </li></ul></ul></ul><ul><ul><ul><li>Continuidad </li></ul></ul></ul><ul><ul><li>Factor de impacto esperado vs FI real </li></ul></ul><ul><ul><ul><li>Número de citas reales recibidas, no FI de la revista </li></ul></ul></ul><ul><ul><li>Limitaciones del índice h </li></ul></ul><ul><ul><ul><li>Válido para carreras dilatadas, sesgos disciplinares </li></ul></ul></ul>www.webometrics.info
  11. 11. www.webometrics.info
  12. 12. Algunas consecuencias <ul><li>Ciencia en español </li></ul><ul><ul><li>En detrimento de la docencia </li></ul></ul><ul><ul><li>Destrucción de los canales de comunicación en español </li></ul></ul><ul><ul><li>Preferencia por colaboración con EUA/UE frente a Iberoamérica </li></ul></ul><ul><li>Actividad en ciencias sociales y humanidades </li></ul><ul><ul><li>Infravaloración de la producción </li></ul></ul><ul><ul><li>Indicadores no disponibles o poco viables </li></ul></ul><ul><ul><ul><li>Dificultad para realizar análisis de citas </li></ul></ul></ul><ul><ul><li>Problemas para realizar comparaciones bibliométricas con otras disciplinas o combinar datos </li></ul></ul><ul><ul><li>Rechazo o incomprensión de científicos sociales y humanistas hacia la evaluación </li></ul></ul>www.webometrics.info
  13. 13. Algunas soluciones <ul><li>Evaluación cuantitativa con revistas no-fuente </li></ul><ul><ul><li>Citas a revistas (y otros objetos) no incluidos en WoK </li></ul></ul><ul><ul><li>In-Recs (CC. Sociales) ec3.ugr.es/in-recs/ </li></ul></ul><ul><ul><li>Medicina ec3.ugr.es/medicina/ </li></ul></ul><ul><ul><li>IME (Medicina) ime.uv.es/imecitas/impacto_ime.asp </li></ul></ul><ul><li>Evaluación mixta (formal, cualitativa, cuantitativa) </li></ul><ul><ul><li>Criterios Latindex www.latindex.unam.mx </li></ul></ul><ul><ul><li>RESH (CC. Sociales y Humanas) resh.cindoc.csic.es </li></ul></ul><ul><ul><li>DICE ( idem Difusión) dice.cindoc.csic.es </li></ul></ul><ul><li>Otras fuentes de datos </li></ul><ul><ul><li>Scopus </li></ul></ul><ul><ul><li>Google Scholar </li></ul></ul>www.webometrics.info
  14. 14. www.webometrics.info Libros Informes Capítulos Libros Actas Congresos Artículos revistas WoK
  15. 15. www.webometrics.info
  16. 16. www.webometrics.info
  17. 17. www.webometrics.info www.library.uu.nl/geosource/jeroen/scopuspresentatie20060418.ppt
  18. 18. Reto digital www.webometrics.info Web Pública Web Privada Bases de datos Repositorios Revistas electrónicas Web Visible Internet Invisible
  19. 19. www.webometrics.info
  20. 20. Google Scholar (I) www.webometrics.info Objetos en dominios universitarios (enero 2007)
  21. 21. Google Scholar (II) www.webometrics.info Objetos en dominios universitarios (julio 2006)
  22. 22. Ficheros ricos www.webometrics.info Dominios universitarios (Julio 2006)
  23. 23. Repositorios www.webometrics.info eprints.rclis.org roar.eprints.org
  24. 24. Combinando www.webometrics.info
  25. 25. La nueva edición <ul><li>Electrónica, por supuesto </li></ul><ul><ul><li>Acceso abierto , la ventaja de la visibilidad </li></ul></ul><ul><ul><li>Multiformato </li></ul></ul><ul><ul><li>Multilingüe ( inglés Y otros) </li></ul></ul><ul><ul><li>Posicionada (en motores de búsqueda) </li></ul></ul><ul><ul><ul><li>e indizada (en bases de datos: web invisible) </li></ul></ul></ul><ul><ul><li>Hipertextual </li></ul></ul><ul><ul><ul><li>desde repositorios, depósito único (o no?) </li></ul></ul></ul><ul><ul><li>Arquitectura web y Usabilidad </li></ul></ul><ul><ul><ul><li>Estándares (metadatos y otros) </li></ul></ul></ul><ul><ul><ul><li>Navegabilidad, incluyendo identificación (electrónica y física), mención de responsabilidad, tipo de licencia (copyright) </li></ul></ul></ul><ul><ul><ul><li>Persistencia </li></ul></ul></ul><ul><ul><ul><li>Sindicación RSS, Blogs, Wikis </li></ul></ul></ul><ul><ul><ul><li>Estadísticas </li></ul></ul></ul>www.webometrics.info
  26. 26. ¿Y las monografías? <ul><li>Versión en papel </li></ul><ul><ul><li>Serializar </li></ul></ul><ul><ul><ul><li>Preferiblemente multidisciplinares </li></ul></ul></ul><ul><ul><ul><li>ISSN además de ISBN </li></ul></ul></ul><ul><ul><li>Tratamiento de revista </li></ul></ul><ul><ul><ul><li>Criterios Latindex !!! </li></ul></ul></ul><ul><li>Versión electrónica </li></ul><ul><ul><li>Dominios propios </li></ul></ul><ul><ul><li>Contenidos, no solo texto completo </li></ul></ul><ul><ul><li>Metadatos, interoperabilidad </li></ul></ul><ul><ul><li>Interactividad: Foros, opiniones, sugerencias </li></ul></ul><ul><ul><li>Estadísticas de uso </li></ul></ul>www.webometrics.info
  27. 27. www.webometrics.info
  28. 28. ¿Por qué? <ul><li>La evaluación necesita fuentes (bbdds) </li></ul><ul><ul><li>Cobertura amplia (exhaustividad) </li></ul></ul><ul><ul><ul><li>Criterios de selección (inclusión) rigurosos (calidad= peer review) </li></ul></ul></ul><ul><ul><li>Acceso universal (fácil, asequible) </li></ul></ul><ul><li>Las fuentes (bibliográficas) deben admitir medidas </li></ul><ul><ul><li>Análisis (control) documental </li></ul></ul><ul><li>Las estadísticas deben generar indicadores </li></ul><ul><ul><li>Parámetros significativos, con un objetivo </li></ul></ul><ul><ul><li>Masa crítica </li></ul></ul><ul><li>Los indicadores deben ser comparables </li></ul><ul><ul><li>Asimilación a indicadores bibliométricos de artículos </li></ul></ul>www.webometrics.info
  29. 29. Pero … <ul><li>Las fuentes son escasas </li></ul><ul><ul><li>Con un diseño “inadecuado” </li></ul></ul><ul><ul><li>Con una cobertura limitada </li></ul></ul><ul><ul><li>Costosas de mantener </li></ul></ul><ul><ul><li>De difícil (o caro) acceso </li></ul></ul><ul><li>Los indicadores de visibilidad miden solo presencia </li></ul><ul><ul><li>En múltiples bases de datos con coberturas temática, geográfica o idiomática y criterios de selección no comparables </li></ul></ul><ul><li>Los indicadores de uso basados en circulación son inaccesibles o poco fiables </li></ul><ul><ul><li>Distribución (Amazon Rank) </li></ul></ul><ul><ul><li>Bibliotecas </li></ul></ul><ul><li>Un índice de citas podría ser inviable </li></ul>www.webometrics.info
  30. 30. www.webometrics.info
  31. 31. … edición electrónica <ul><li>Ventajas </li></ul><ul><ul><li>Distribución mundial </li></ul></ul><ul><ul><ul><li>Google Books, Amazon Search Inside </li></ul></ul></ul><ul><ul><li>Seguimiento detallado </li></ul></ul><ul><ul><ul><li>Visitas, volcados </li></ul></ul></ul><ul><ul><li>Interacción con los lectores </li></ul></ul><ul><ul><li>Costes (!?) </li></ul></ul><ul><li>Inconvenientes </li></ul><ul><ul><li>Inversión tecnológica </li></ul></ul><ul><ul><li>Competencia en mercado global </li></ul></ul><ul><ul><li>Financiación de los modelos Open Access </li></ul></ul><ul><ul><li>Control de la auto-publicación </li></ul></ul>www.webometrics.info
  32. 32. www.webometrics.info
  33. 33. www.webometrics.info
  34. 34. www.webometrics.info
  35. 35. Conclusiones/Recomendaciones <ul><li>La evaluación de la actividad científica no solo se reforzará sino que guiará la publicación académica </li></ul><ul><li>Ciencias Sociales y Humanidades se evaluarán con los mismos (o similares) criterios que las CC. Puras </li></ul><ul><li>Las monografías deben incorporarse al proceso o serán ignoradas </li></ul><ul><li>La serialización y la edición electrónica pueden ser claves para que sean tenidas en cuenta </li></ul><ul><li>Las monografías deben incorporarse a las fuentes utilizadas para el análisis cuantitativo o crear su proprio sistema </li></ul><ul><ul><li>Los rankings son una opción </li></ul></ul>www.webometrics.info
  36. 36. www.webometrics.info
  37. 37. ¡Gracias! ¿Preguntas? www.webometrics.info Isidro F. Aguillo [email_address]

×