Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los resultados de la investigación: cambiando los incentivos (Simposio Enero 2010)

  • 610 views
Uploaded on

Presentación realizada en el contexto del simposio sobre cómo medir resultados de la investigación.

Presentación realizada en el contexto del simposio sobre cómo medir resultados de la investigación.

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
610
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
16
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • Cualquier definición que se utilice, incluye como objetivo principal del la ciencia, el generar conocimiento La palabra ciencia se utilizó para traducir EPISTEMONIKOS en la ética de Aristóteles La palabra u Επιστημη
  • Los incentivos son
  • 1. La importancia de evaluar los méritos de un artículo individual 2. Falencias de un sistema basado en citaciones 3. Diferencia entre citación e impacto 4. Por qué medir el impacto es insuficiente (y eventualmente perjudicial) 5. Posibles soluciones
  • Primero que nada: - Existe un gran problema. Evidente. Pero que a pesar de su tamaño, a veces pasa desapercibido. Gran parte de lo que se discutirá de aquí en adelante, en especial las soluciones, requiere temer muy presente este aspecto. Como dicen los anglosajones, “there’s an elephant in the room”…y partiré hablando de él.
  • Oliver Lowry
  • Un artículo muy relevante
  • Si pretendemos que la citación refleje como un artículo genera nuevo conocimiento, lo mínimo que podemos pedir es que la cita sea correcta.
  • The belief system studied is that a protein, β amyloid, known for its role in injuring brain in Alzheimer’s disease, is also produced by and injures skeletal muscle fibres in the muscle disease sporadic inclusion body myositis. This belief system was chosen for analysis because of its importance to the care of patients with inclusion body myositis, as this view seems to be accepted by many as likely or established fact (at least 200 different journal articles have stated such), with β amyloid production often reported to be a central element in the pathogenesis of the disease (see web extra note 1), and directs research and treatment trials in the specialty. The approach taken here was simply to collect all statements in the medical literature on this belief system and to study the pattern of citation among them—that is, how each statement is supported by reference to other papers.
  • … y todos sabemos lo que resulta de las relaciones endogámicas. … algo absolutamente alejado del objetivo inicial.
  • Y todos se estarán preguntando que papel juega Thomson Reuter, la empresa que produce el factor de impacto.
  • Cualquier sistema basado en citaciones
  • Una pequeña introducción a otras formas de medir impacto.
  • … cómo ya mencioné anteriormente…existe una iniciativa, que ha producido un gran entusiasmo,  PLoS
  • A pesar que el ethos de la ciencia se basa fuertemente en colaborar y compartir…
  • A pesar que el ethos de la ciencia se basa fuertemente en colaborar y compartir…
  • Cualquier sistema basado en citaciones
  • Si pudiera deshacerme del factor de impacto mañana, lo haría. Lo odio. No lo inventé ni lo solicité. Distorsiona totalmente la toma de decisiones y es una muy, pero muy mala influencia en la ciencia. El incentivo para mi es cortar completamente la investigación proveniente de la parte del mundo que tiene los mayores problemas de salud…las citaciones crean una cultura racista en la toma de decisiones editoriales de las revistas, y encarna un sistema que es solo acerca de nosotros (el mundo desarrollado)

Transcript

  • 1. Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los resultados de la investigación: cambiando los incentivos
      • Gabriel Rada Unidad de Medicina Basada en Evidencia (UMBE), PROSABE
  • 2. INTRODUCCIÓN
    • ¿Cuál es el objetivo de la
    • investigación?
      • Generar conocimiento
        • ΕΠΙΣΤΗΜΟΝΙΚΟΣ 
        • cientia --> Conocimiento
    • En el caso de la investigación
    • biomédica.
        • Beneficiar a las personas (individual o colectivo)
  • 3. Dos conceptos fundamentales
    • What you measure is what you get
      • WYMIWYG
    • El ser humano se mueve fundamentalmente por incentivos
      • Principales incentivos: Recompensa (económica, moral, reconocimiento) y castigo.
    • Hummel, J., & Huitt, W. (1994, February). What you measure is what you get. GaASCD Newsletter: The Reporter, 10-11. Retrieved [date], from http://www.edpsycinteractive.org/papers/wymiwyg.html
  • 4.
    • Incentivos bien intencionados, bajo determinadas
    • condiciones pueden llevar a consecuencias no deseadas
    • Steven Levitt and Stephen J. Dubner (2005). Freakonomics: A Rogue Economist Explores the Hidden Side of Everything. William Morrow/HarperCollins
    • http://freakonomics.blogs.nytimes.com/
    Algunos incentivos pueden ser muy exitosos, aunque no queramos aceptarlo Incentivo 1 (moral): Bienestar del paciente Incentivo 2 (económico): Bienestar del médico
  • 5. Ruta de navegación
    • La importancia de evaluar los méritos de un artículo individual
    • Falencias de un sistema basado en citaciones
    • Diferencia entre citación e impacto
    • Por qué medir el impacto es insuficiente (y eventualmente perjudicial)
    • Posibles soluciones
  • 6. ¿Qué factor de impacto tiene la revista en que publicaste?
    • …” a problem about equal to having an elephant in the living room. It's so big you just can't ignore it.“ The New York Times on June 20, 1959
    • Lo que muchas instituciones hacen:
      • Medir el valor de un artículo de investigación en base al Factor de impacto de la revista…
      • Es decir…todos los artículos tienen el mismo impacto, sólo por el hecho de ser publicados en esa revista.
  • 7. Lowry vs. Rada
    • Rada G. ACP Journal Club. Immediate and delayed acupuncture reduced frequency and pain intensity of primary migraine or tension-type headaches. Ann Intern Med. 2009 Jan 20;150(2):JC1-14.
    • Annals of Internal Medicine tuvo el 2008 un factor de impacto de 17,5
    • Citaciones = 0
    • Lowry, O. H. , Rosebrough, N. J., Farr, A. L., and Randall, R. J. Protein Measurement with the Folin Phenol Reagent ( (1951) J. Biol. Chem.193, 265–275)
    • (describe un método simple y sensible de medir la cantidad de proteína en una solución.
    • Journal of Biological Chemistry tiene factor de impacto 5,85 .
    • Citaciones = 275.669
  • 8.
    • ¿Qué tan bueno es un artículo?
    • Sólo basado en un elemento de muchos que pueden ser importantes
    • ¿Qué tan bueno es un académico?
    • Selección sólo por ranking de su universidad (ARWU)
    • El resto del curriculum no importa
    • Algunas soluciones apuntan al impacto de un autor
    • No capturan el valor de cada artículo
    Miguel de Cervantes y Saavedra
  • 9. ¿Qué factor de impacto tiene la revista en que publicaste?
    • …” a problem about equal to having an elephant in the living room. It's so big you just can't ignore it.“ The New York Times on June 20, 1959
    • El supuesto detrás de esto:
      • Las revistas con alto impacto publican lo más relevante (y no publican nada irrelevante)
      • Un artículo de mala calidad no sería publicado en una revista de alto impacto
    • Explicación práctica:
      • Conocer el impacto de un artículo específico toma tiempo (IF=3 años)
      • Otras medidas basadas en citación toman menos tiempo que IF, pero no lo suficiente.
      • No existe una medida alternativa de amplio uso
  • 10. Article-level metrics
    • Iniciativa PLoS:
    •  Iniciativa para medir, difundir y utilizar las citaciones (entre otras cosas) de cada artículo por separado.
  • 11. ¿citaciones = impacto?
    • Si un artículo recibe muchas citaciones
    • … y las citaciones son hechas por las personas más idóneas (científicos familiarizados con el tema)
    • ergo… su aporte al conocimiento es proporcional.
  • 12. Limitaciones prácticas de las citaciones
    • Tiempo
    • El autor que cita
    • La empresa que lleva la cuenta
  • 13. Tiempo
  • 14. El gran problema…los autores
      • Tema poco estudiado ( todo se basa en esto)
      • Los estudios, consistentemente muestran:
        • Errores en la forma de citar
        • Aseveraciones que no reflejan lo que dice la cita (25%)
        • No se cita el artículo original, sino una revisión (se pierde el sentido)
    • de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886.
    • Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4.
    • Todd P A, Yeo D C J, Li D, Ladle R J, 2007, "Citing practices in ecology: can we trust our own words?" Oikos 116 1599 – 1601
  • 15.  
  • 16. ¿Cómo se construye el conocimiento? Afirmación: Beta amiloide se encuentra presente en las fibras musculares en la miositis por cuerpos de inclusión Greengberg SA. How citation distortions create unfounded authority: analysis of a citation network. BMJ 2009;339:b2680
  • 17. El que esté libre de pecado, que arroje la primera piedra
    • En algunos casos, los investigadores:
    • Eligen cita que refuerza su hipótesis
    • Si no existe, la inventan
    • No hacen un gran esfuerzo por seleccionar la mejor cita
  • 18.
      • ¿Cuánto reflexionará/buscará el autor para elegir cada cita?
        • Citas más recientes
        • Citas más accesibles
          • Open access
          • Bibliotecas
          • Índices (por ej. MEDLINE)
          • Idioma
        • Citas más “glamorosas”
          • Revistas de alto impacto
          • Idioma
    • de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886.
    • Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4.
    • Todd P A, Yeo D C J, Li D, Ladle R J, 2007, "Citing practices in ecology: can we trust our own words?" Oikos 116 1599 – 1601
  • 19. Los riesgos de la endogamia
      • Algunos autores caen conciente o inconcientemente en:
        • Autocitación (“citas incestuosas”)
        • Endogamia
        • ¿Mafias curriculares, parásitos científicos?
    • de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886.
    • Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4.
    • Todd P A, Yeo D C J, Li D, Ladle R J, 2007, "Citing practices in ecology: can we trust our own words?" Oikos 116 1599 – 1601
  • 20. … y por si esto fuera poco ¿Inocente o culpable?
  • 21.
    • No transparente
    • (denominador)  Artículo citables
    • ¿Cuáles son?
    • ¿Quién decide?
    • Solo cuentan los artículos indexados en su base de datos.
  • 22. … en un mundo ideal
    • Citaciones
      • Existe una métrica del artículo individual
      • Autores publican rápidamente nueva investigación
      • Autores citan los artículos que más aportan al conocimiento.
      • El proceso de conteo de referencias se hace de manera transparente
  • 23. Citaciones no es = a Impacto
    • Sólo habla de impacto en investigadores (probablemente en el mismo campo)
    • No habla del impacto en:
      • La comunidad médica no investigadora
      • Los que toman decisiones de política de salud
      • Los pacientes
      • El público general
      • Otros
  • 24. Impactos e impactos (investigadores) Impacto absolutamente negativo Establece verdad irrefutable (y beneficia a población) Hipótesis completamente errada Refuta hallazgos de otros estudios Refuerza hipótesis de otros estudios Genera conocimiento cierto en su área Genera conocimiento cierto, extrapolable a otras áreas
  • 25. Impacto en investigadores = ¿aporte al conocimiento?
    • El control intensivo de la glicemia disminuye la mortalidad en UCI
      • van den Berghe et al. Intensive insulin therapy in the critically ill patients. N Engl J Med. 2001 Nov 8;345(19):1359-67
    • En realidad no parece haber un beneficio tan claro…y aumentan las hipoglicemias.
      • Wiener et al. Benefits and Risks of Tight Glucose Control in Critically Ill Adults: A Meta-analysis. JAMA. 2008;300(8):933-944.
    • No sólo no disminuye, sino que aumenta la mortalidad.
      • NICE-SUGAR Study Investigators. Intensive versus conventional glucose control in critically ill patients. N Engl J Med. 2009 Mar 26;360(13):1283-97.
  • 26. Otras formas de medir impacto
    • Comunidad académica/investigadora
  • 27. Otras formas de medir impacto
    • Comunidad científica/Médica, no sólo investigadora
  • 28. Otras formas de medir impacto
  • 29. Rating y comentarios
  • 30. El gran problema: Los incentivos Iniciativa avanza mucho más lento de los esperado ¿Qué gana un investigador con contribuir, comentar, etc?
  • 31.  
  • 32. Citaciones: Más allá de la revista
  • 33. Web 2.0: Aprovechando lo existente
    • Concepto para definir la Web basada en comunidades de usuarios
    • Usuario agrega y modifica contenidos
  • 34. ¿Cuáles son las posibilidades?
    • Redes sociales
      • Facebook:
      • se ha convertido en la más importante
  • 35. Marcadores sociales (social bookmarking)
      • Sitios que permiten seleccionar información relevante y compartirla con otros usuarios.
      • Control editorial democrático, según graduación de los usuarios, número de veces en que alguien lo sugiere, etc
      • CiteUlike
      • Connotea
  • 36. citeulike
  • 37. Connotea
  • 38. CITEULIKE
    • Todavía en etapa preliminar
    • Permite compartir papers de interés
  • 39. El gran problema: Los incentivos Iniciativa avanza mucho más lento de los esperado ¿Qué gana un investigador con contribuir, comentar, etc?
  • 40. Stack overflow: Acumulando Karma
    • Corto vs largo
  • 41. Impacto vs Calidad No aporta (retrocede) Aporta claramente Hipótesis completamente errada Refuta hallazgos de otros estudios Refuerza hipótesis de otros estudios Genera conocimiento cierto en su área Genera conocimiento cierto, extrapolable a otras áreas
  • 42. 2 tipos de error
    • Error por azar
    • Error sistemático  sesgo
  • 43. Definición de sesgo
    • Sesgo: Cualquier tendencia en la recolección, análisis, interpretación, publicación o revisión de los datos…
    • … que puede llevar a conclusiones que son sistemáticamente diferentes de la verdad.
  • 44. ¿Es aceptable el error?
    • El error por azar se puede minimizar
      • Recursos ++++
    • El sesgo se puede minimizar (e incluso eliminar)
      • Recursos +
  • 45. Cambiando los incentivos
    • Evaluación de impacto en forma amplia (no sólo citaciones)
    • Sistemas basados en citaciones transparentes y confiables.
    • Evaluar calidad
    • Evaluar impacto (positivo) a largo plazo
  • 46. Desafíos
    • Primero: Medir todo lo medible
    • Usar los resultados de esa medición de acuerdo al objetivo final
    • Citaciones: Fomentar la probidad y profesionalismo (es demasiado importante)
    • Estimular la participación en definir el impacto y calidad.
  • 47. ¿Quién podrá ayudarnos?
    • El sistema es:
      • Complejo
      • Injusto
      • Discriminatorio
      • Poco transparente
      • Difícil de cambiar
  • 48. Sir John Sulston
    • “ (Journal metrics) are the disease of our times"
    • Director del Institute for Science, Ethics and Innovation de la Universidad de Manchester, y ganador del premio Nobel, 2002.
  • 49. Richard Horton
    • "If I could get rid of the impact factor tomorrow, I would. I hate it. I didn't invent it and I did not ask for it. It totally distorts decision-making and it is a very, very bad influence on science“
    • "The incentive for me is to cut off completely parts of the world that have the biggest health challenges ... citations create a racist culture in journals' decision-making and embody a system that is only about us (in the developed world)."
    • Editor en jefe del Lancet
  • 50.  
  • 51. ¿Cómo combatir este circulo vicioso? Muchas gracias… y se abre la discusión.