Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Nuevas métricas y modelos para evaluar las publicaciones científicas

24 views

Published on

Se presentan las limitaciones del análisis de citas para evaluar las publicaciones en ciencias humanas y sociales. Se definen las altmétricas como unas métricas que permiten analizar la presencia de las publicaciones científicas en las redes sociales y académicas y que pueden ser un buen complemento a las citas. Se describen las fuentes así como los principales indicadores utilizados por las altmétricas, así como las principales aplicaciones en el ámbito de las revistas científicas y en bases de datos académicas. Finalmente se realiza una valoración global de los puntos fuertes y débiles de las altmétricas así como del interés que tienen para los nuevos modelos de evaluación de publicaciones científicas que se están configurando.

Published in: Education
  • Be the first to comment

  • Be the first to like this

Nuevas métricas y modelos para evaluar las publicaciones científicas

  1. 1. El futuro de las revistas de patrimonio cultural (IPHA, Sevilla, 11/12/2018) Nuevas métricas y modelos para evaluar las publicaciones científicas Ernest Abadal Facultat de Biblioteconomia i Documentació Universitat de Barcelona abadal@ub.edu
  2. 2. Sumario 2 1. Introducción 2. Modelo tradicional 3. Nuevas métricas 4. Nuevos modelos 5. Conclusiones
  3. 3. 1 Introducción  Las preguntas clásicas •¿En qué podemos basarnos para evaluar la calidad de una publicación científica? •¿Cómo se puede medir la influencia que tiene una publicación científica?  Los usos •Evaluación de proyectos •Acreditación de profesorado …/… 3
  4. 4. 2 Modelo tradicional  Base para la evaluación de la publicación: las citas (impacto)  Creado por E. Garfield 4
  5. 5. 2.1 Principales indicadores  Índice de impacto •Se aplica a las revistas •Uso extendido y gran influencia  Índice h •Se aplica a los autores •Se puede aplicar también a las revistas 5
  6. 6. 2.2 Valoración  A favor: •Fácil de calcular •Dato cuantitativo •Objetividad  Críticas: •El índice de impacto de la revista se asigna a todos los artículos (aunque no todos se citan). •Las revistas anglosajonas están mejor representadas en las bases de datos. •Cada disciplina tiene sus hábitos de publicación (artículos o libros) y de citación 6
  7. 7. 3 Nuevas métricas  Lecturas (usos) •¿Cuántas veces me han leído?  Presencia en redes sociales •¿Cuántas veces me han compartido?  Altmétricas, inicios en 2010. “Altmetrics is the creation and study of new metrics based on the Social Web for analyzing, and informing scholarship”. (altmetrics.org)  Miden la visibilidad en las redes sociales. 7
  8. 8. 3.1 Indicadores  Número de redifusiones (retuits, etc.)  Número de comentarios en blogs  Menciones (likes), etc.  Referencias en wikipedia  Dónde •Redes sociales (Twitter, Facebook, etc.) •Redes académicas (RG, Mendeley, etc.) •Blogs •Wikipedia 8
  9. 9. 3.2 Ejemplos de aplicación  Revistas: •PLOS, Nature, etc.  Portales de revistas •MDPI, etc.  Bases de datos • Scopus  Repositorios 9
  10. 10. Revista PLoS (Article Level Metrics) 10
  11. 11. Revista PLoS (Article Level Metrics) (ii) 11
  12. 12. Mismo documento en Scopus (PlumX Metrics) 12
  13. 13. Mismo documento en Scopus (ii) 13
  14. 14. 3.3 Valoración (a favor)  Centradas en el artículo (y no en la revista)  Amplitud •Miden la incidencia más allá de los círculos académicos.  Diversidad •Se pueden aplicar a todo tipo de documento.  Inmediatez •No hay que esperar el valor anual del FI o SJR.  Gran interés para autores y editores. 14
  15. 15. 3.3 Valoración (en contra)  Normalización •Dificultades para homogeneizar la recogida de datos.  Volatilidad •Los indicadores deben recogerse de manera muy rápida porque pueden desaparecer.  Posibilidad de falsificación (gaming) •Existencia de bots, etc.  Difíciles de comparar entre sí. •¿Qué es mejor un retweet o un "me gusta"? 15
  16. 16. 3.4 ¿Son alternativas?  Article-metrics •Centran su foco en el artículo (y no en la revista).  Complementarias •Miden elementos que no son las citas 16
  17. 17. 4 Nuevos modelos de evaluación  Contexto (frame): la ciencia abierta •Cambio de paradigma •Ciencia “con y para” la sociedad •“Open science refers to a new approach to the scientific process based on cooperative work and new ways of disseminating knowledge, improving accessibility to and re-usability of research outputs by using digital technologies and new collaborative tools.” (Comisión Europea, 2018) 17
  18. 18. Representaciones Masuzzo, Maertens (2017) Rand Europe 2017 18
  19. 19. Elementos de la ciencia abierta  Publicaciones en acceso abierto  Datos abiertos  Ciencia ciudadana  Infraestructuras  …/…  Nuevos incentivos / recompensas •Cambio de modelo en el sistema de evaluación  Objetivos: transparencia, reproducibilidad, reusabilidad, 19
  20. 20. 4.2 Manifiestos y declaraciones  San Francisco Declaration on Research Assessment (2012)  Leiden Manifesto (2015)  The metric tide (2015)  Next-generation metrics (2017)  Peticiones para modificar los criterios para la evaluación de la investigación y de las publicaciones. 20
  21. 21. DORA (Declaration on Research Assessment) 21  Evaluar a nivel de artículo. •No usar el factor de impacto de las revistas.  Utilizar amplio conjunto de indicadores  .../...
  22. 22. The Leiden Manifesto  Batería de indicadores mejor que un único indicador.  Combinar indicadores cuantitativos con cualitativos.  La evaluación y los indicadores tienen efectos sistémicos en la ciencia.  .../... 22
  23. 23. Next generation metrics  Usar indicadores a nivel de articulo y no de revista.  Considerar las altmétricas.  .../... 23
  24. 24. 4.3 Valoración  Crítica al monopolio del factor de impacto para evaluar las publicaciones.  Propuestas: •Valorar a nivel de artículo. •Incorporar puntos de vista cualitativos. •Ampliar el espectro de medidas (usos, redes sociales, etc.). Actuar con cautela hasta asegurar la fiabilidad. 24
  25. 25. 5 Conclusiones  Nuevas métricas •Medir los usos (lecturas y descargas) y la visibilidad en redes sociales (no sólo las citas) •Dudas sobre la fiabilidad  Nuevos modelos de evaluación •Ciencia abierta, el nuevo contexto (necesidad de reformar el sistema de incentivos) •Utilizar métricas diversas •Centrarse en el artículo Apuesta a medio plazo para cambiar un sistema de evaluación basado en el uso exclusivo de la cita. 25
  26. 26. 6 Bibliografía  BORREGO, Ángel (2014). “Altmétricas para la evaluación de la investigación y el análisis de necesidades de información”. El profesional de la información, julio-agosto, v. 23, n. 4, p. 352-357. http://dx.doi.org/10.3145/epi.2014.jul.02  COMISIÓN EUROPEA (2017). Next-generation metrics: Responsible metrics and evaluation for open science. Report of the European Commission Expert Group on Altmetrics. ( https://ec.europa.eu/research/openscience/pdf/report.pdf)  Delgado López-Cózar, E. (2017). “Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro. En: Revistas científicas: situación actual y retos de futuro. Barcelona: Ediciosn Universitat de Barcelona, p. 73-103. (http://eprints.rclis.org/32132/)  MELERO, R. (2015). “Altmetrics: a complement to conventional metrics”. Biochemia Medica, vol. 25, no.2, pp. 152-160. doi: 10.11613/BM.2015.016 26
  27. 27. 6 Bibliografía (ii)  ORDUÑA-MALEA, Enrique; MARTÍN-MARTÍN, Alberto; DELGADO- LÓPEZ-CÓZAR, Emilio (2016). “The next bibliometrics: ALMetrics (Author Level Metrics) and the multiple faces of author impact”. El profesional de la información, vol. 25, nº 3, pp. 485-496. (http://dx.doi.org/10.3145/epi.2016.may.18)  PRIEM, J. et al (2010). Altmetrics: a manifesto (v.1.0), 26 October 2010. http://altmetrics.org/manifesto  TORRES-SALINAS, Daniel; CABEZAS-CLAVIJO, Álvaro (2013). “Altmetrics: no todo lo que se puede contar, cuenta”. Anuario ThinkEPI, vol. 7, pp. 114-117.  WILSDON, J., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. doi: 10.13140/RG.2.1.4929.1363 27
  28. 28. 28 Muchas gracias

×