Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

¿Son las métricas actuales útiles para la Ciencia?

No hay razón para poner calificativos a la ciencia, excelente, de calidad, fiable, abierta. hacer ciencia es seguir el método científico (por definición) y con ello todo lo demás debe venir de forma natural. No obstante seguir el método científico conlleva desafíos significativos a nivel práctico. En esta charla doy una visión de cómo las métricas actuales de las carreras científicas no son de ayuda.

  • Be the first to comment

  • Be the first to like this

¿Son las métricas actuales útiles para la Ciencia?

  1. 1. Encuentro de Cientific@s del CSIC 2018 ¿Son las métricas actuales útiles para la Ciencia? Lourdes Verdes-Montenegro, Astrofísica Investigadora Científica Instituto de Astrofísica de Andalucía
  2. 2. Indicadores de rendimiento 2 “los diferentes pesos se corresponden con la voluntad del CSIC de reforzar su efecto transformador y de impacto en la sociedad" I1: No. Artículos Q1 I2: No. Artículos resto I3: No. Libros, etc I4: No. Tesis leídas I5: No. Tecnologías protegidas I6: No. Empresas/spin-off creadas I7: Importe contratos de investigación firmados I8: Retorno de tecnologías licenciadas
  3. 3. 3 3 versiones: > 4000 visionados • Distinguimos: ciencia excelente, ciencia de calidad, ciencia fiable, abierta, etc • Ciencia = Método científico = Reproducible = Abierta • Aceleración de la transferencia a la sociedad Ciencia con mayúscula y sin adjetivos
  4. 4. • “Publish or perish” Logan Wilson, "The Academic Man: A Study in the Sociology of a Profession", published in 1942 • Abierto = ventaja a competidores • “Science works through micro improvements and multiple errors and failures until something finally Works. […] We’ve become paralyzed with the notion that showing incremental improvements and corrections hurts, rather than helps, our personal careers and science” Who Killed the PrePrint, and Could It Make a Return? Jason Hoyt and Peter Binfield, Scientific American, 2013 • Falta de preparación, recursos, herramientas para reproducibilidad 4 Métricas actuales = “Open”/
  5. 5. • “Economics is about understanding how human beings behave when one or more resources are scarce” Blog M Nielsen 2008, “The economics of scientific collaboration” • Afecta negativamente a la Ciencia: • Científicos: presionados para conseguir fondos • Evaluación: falta de fondos para conseguir expertos el tiempo necesario • Consejos para conseguir un grant: “el título cuenta 50%”, “circular propuestas entre colegas no especialistas” • En otras palabras: los evaluadores no tienen tiempo para leer las solicitudes en detalle / los evaluadores no son expertos • Países con más recursos económicos marcan “tendencias” de investigación (Alperin 2013, 2014) 5 ¿Economía y Ciencia? I7: Importe contratos de investigación firmados
  6. 6. 6 “Prostitución” académica • “Research reverts to a kind of 'academic prostitution', in which work is done to please editors and referees rather than to further knowledge.” • “Science is being killed by numerical ranking,[...] Ranking systems lures scientists into pursuing high rankings first and good science second” Nature 465, 870 (2010) • Elección de temas de investigación + poblados: +citas Cuando no coincide lo que beneficia al científico y a la Ciencia Actitud • Citas coercitivas (Wilhite & Fong, Science 335, 542, 2012) • Sesgo a no publicar resultados “negativos” • Menor trasparencia de las publicaciones de retractación Sistema Editorial I1: No. Artículos Q1, I2: No. Artículos resto, I3: No. Libros, etc, I4: No. Tesis leídas, I5: No. Tecnologías protegidas, I6: No. Empresas/spin-off creadas
  7. 7. • Nature questionnaire on reproducibility (2016): “70% of researchers can’ reproduce another’s experiment, > 50% their own ones” • Citas: • Pendiente en el aumento de citas correlacionado con reputación (Petersen et al PNAS 43, 111, 2014) • No hay correlación entre reviews y citas (Casati et al 2009) • Representan menos del 1% del impacto de un artículo (R. Cave 2012) • Sistema de arbitraje actual no sostenible. Flujo de información académica desborda el sistema (J. Priem, 2013. Nature, 495, 437) 7 Bibliometría Citation counts Citation counts PaperRank PaperRank
  8. 8. 8 Incompletitud El índice h sigue aumentando con la edad … sin publicar Desde hace 300 años publicamos en el mismo formato (relatos, PDF) • “ The academic paper is now obsolescent […] as the fundamental sharable description of a piece of research. In the future we will be sharing some other form of scholarly artefact, digital and designed for reuse, [...] I shall refer to them as Research Objects, because they capture research “ (De Roure 2009, Dir. Oxford’s e-Research Centre) • Los ROs se desarrollaron primero para preservación de workflows en el proyecto EU Wf4ever (IAA-CSIC coordinó el WP Astronomía) • En la publicación PDF se pierde >= 40% del conocimiento S. Bechhofer 2011, ROs: Towards Exchange and Reuse of Digital Knowledge
  9. 9. 9 ¿Alternativas? Marzo 2017 not just citation of articles, various forms of social media shares, web-downloads, any other measure of the Q and impact of research outcomes” Thematic Reports: Types, use in the context of Open Science, Incentives and Rewards, Strategies, Experiences and Models, Final Report - Altmetrics and Rewards 2018 • DORA, Metric Tide, Leiden Manifesto, etc • NSF revisa en 2014 evaluación de CVs: “Publications” à“Products” (no sólo papers: datos, software, patentes, etc -- citables y accesibles). • Altmetrics: primero bottom-up, ahora EC: • Publicar en tiempo real (PUSH, F1000), tratándolo como software.
  10. 10. 10 Conclusiones Apoyo a una comunidad científica multidisciplinar para acceder, compartir y reusar los datos, métodos, experimentos: Para seguir el Método Científico, potenciando el intercambio de conocimiento i-LINK CSIC “Within a culture that pressures scientists to produce rather than discover, the outcome is a biased and impoverished science in which most published results are either unconfirmed genuine discoveries or unchallenged fallacies. This observation implies no moral judgement of scientists, who are as much victims of this system as they are perpetrators” Chambers et al 2014, AIMS Neuroscience 1,4, 2014 “Instead of playing the game it is time to change the rules”
  11. 11. 11
  12. 12. DORA (2012) • Instituciones • Sea explícito sobre los criterios utilizados para realizar decisiones de contratación, permanencia y promoción, destacando, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un trabajo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado. • Con el fin de evaluar la investigación, considere el valor y el impacto de todos resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y prácticas científicas 12
  13. 13. DORA • Investigadores: • -Cuando participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realice evaluaciones basadas en el contenido científico en lugar de en métricas de publicación. • -Cuando sea apropiado, cite literatura primaria en que las observaciones son referidas primero, en lugar de revisiones para dar crédito donde debe darse. • -Utilice una gama de métricas e indicadores basadas en declaraciones personales y de apoyo, como evidencia del impacto de artículos individuales publicados y otros resultados de investigación. • -Impugne las prácticas de evaluación que dependen indebidamente del factor de impacto y promueva y enseñe prácticas que se centren en el valor y la influencia de los resultados de investigación específicos. 13

×