Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los resultados de la investigació...
INTRODUCCIÓN <ul><li>¿Cuál es el objetivo de la </li></ul><ul><li>investigación? </li></ul><ul><ul><li>Generar conocimient...
Dos conceptos fundamentales <ul><li>What you measure is what you get </li></ul><ul><ul><li>WYMIWYG </li></ul></ul><ul><li>...
<ul><li>Incentivos bien intencionados, bajo determinadas </li></ul><ul><li>condiciones pueden llevar a consecuencias no de...
Ruta de navegación <ul><li>La importancia de evaluar los méritos de un artículo individual </li></ul><ul><li>Falencias de ...
¿Qué factor de impacto tiene la revista en que publicaste? <ul><li>…” a problem about equal to having an elephant in the l...
Lowry vs. Rada <ul><li>Rada G.  ACP Journal Club. Immediate and delayed acupuncture reduced frequency and pain intensity o...
<ul><li>¿Qué tan bueno es un artículo? </li></ul><ul><li>Sólo basado en un elemento de muchos que pueden ser importantes <...
¿Qué factor de impacto tiene la revista en que publicaste? <ul><li>…” a problem about equal to having an elephant in the l...
Article-level metrics <ul><li>Iniciativa PLoS: </li></ul><ul><li>   Iniciativa para medir, difundir y utilizar las citaci...
¿citaciones = impacto? <ul><li>Si un artículo recibe muchas citaciones </li></ul><ul><li>… y las citaciones son hechas por...
Limitaciones prácticas de las citaciones <ul><li>Tiempo </li></ul><ul><li>El autor que cita </li></ul><ul><li>La  empresa ...
Tiempo
El gran problema…los autores <ul><ul><li>Tema poco estudiado ( todo  se basa en esto) </li></ul></ul><ul><ul><li>Los estud...
 
¿Cómo se construye el conocimiento? Afirmación:  Beta amiloide se encuentra presente en las fibras musculares en la miosit...
El que esté libre de pecado, que arroje la primera piedra <ul><li>En algunos casos, los investigadores: </li></ul><ul><li>...
<ul><ul><li>¿Cuánto reflexionará/buscará el autor para elegir cada cita? </li></ul></ul><ul><ul><ul><li>Citas más reciente...
Los riesgos de la endogamia <ul><ul><li>Algunos autores caen conciente o inconcientemente en: </li></ul></ul><ul><ul><ul><...
… y por si esto fuera poco ¿Inocente o culpable?
<ul><li>No transparente </li></ul><ul><li>(denominador)  Artículo citables </li></ul><ul><li>¿Cuáles son? </li></ul><ul><...
… en un mundo ideal <ul><li>Citaciones </li></ul><ul><ul><li>Existe una métrica del artículo individual </li></ul></ul><ul...
Citaciones no es = a Impacto <ul><li>Sólo habla de impacto en investigadores (probablemente en el mismo campo) </li></ul><...
Impactos e impactos (investigadores) Impacto absolutamente negativo Establece verdad irrefutable (y beneficia a población)...
Impacto en investigadores  =  ¿aporte al conocimiento? <ul><li>El control intensivo de la glicemia disminuye la mortalidad...
Otras formas de medir impacto <ul><li>Comunidad académica/investigadora </li></ul>
Otras formas de medir impacto <ul><li>Comunidad científica/Médica, no sólo investigadora </li></ul>
Otras formas de medir impacto
Rating y comentarios
El gran problema: Los incentivos Iniciativa avanza mucho más lento de los esperado ¿Qué gana un investigador con contribui...
 
Citaciones: Más allá de la revista
Web 2.0: Aprovechando lo existente <ul><li>Concepto para definir la Web basada en comunidades de usuarios </li></ul><ul><l...
¿Cuáles son las posibilidades? <ul><li>Redes sociales </li></ul><ul><ul><li>Facebook: </li></ul></ul><ul><ul><li>se ha con...
Marcadores sociales (social bookmarking) <ul><ul><li>Sitios que permiten seleccionar información relevante y compartirla c...
citeulike
Connotea
CITEULIKE <ul><li>Todavía en etapa preliminar </li></ul><ul><li>Permite compartir papers de interés </li></ul>
El gran problema: Los incentivos Iniciativa avanza mucho más lento de los esperado ¿Qué gana un investigador con contribui...
Stack overflow: Acumulando Karma <ul><li>Corto vs largo </li></ul>
Impacto vs Calidad No aporta (retrocede) Aporta claramente Hipótesis completamente errada Refuta hallazgos de otros estudi...
2 tipos de error <ul><li>Error por azar </li></ul><ul><li>Error sistemático  sesgo </li></ul>
Definición de sesgo <ul><li>Sesgo: Cualquier tendencia en la recolección, análisis, interpretación, publicación o revisión...
¿Es aceptable el error? <ul><li>El error por azar se puede minimizar </li></ul><ul><ul><li>Recursos  ++++ </li></ul></ul><...
Cambiando los incentivos <ul><li>Evaluación de impacto en forma amplia (no sólo citaciones) </li></ul><ul><li>Sistemas bas...
Desafíos <ul><li>Primero: Medir todo lo medible </li></ul><ul><li>Usar los resultados de esa medición de acuerdo al objeti...
¿Quién podrá ayudarnos? <ul><li>El sistema es: </li></ul><ul><ul><li>Complejo </li></ul></ul><ul><ul><li>Injusto </li></ul...
Sir John Sulston <ul><li>“ (Journal metrics) are the disease of our times&quot;  </li></ul><ul><li>Director del Institute ...
Richard Horton <ul><li>&quot;If I could get rid of the impact factor tomorrow, I would. I hate it. I didn't invent it and ...
 
¿Cómo combatir este circulo vicioso? Muchas gracias… y se abre la discusión.
Upcoming SlideShare
Loading in …5
×

Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los resultados de la investigación: cambiando los incentivos (Simposio Enero 2010)

973 views

Published on

Presentación realizada en el contexto del simposio sobre cómo medir resultados de la investigación.

Published in: Health & Medicine, Business
  • Be the first to comment

Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los resultados de la investigación: cambiando los incentivos (Simposio Enero 2010)

  1. 1. Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los resultados de la investigación: cambiando los incentivos <ul><ul><li>Gabriel Rada Unidad de Medicina Basada en Evidencia (UMBE), PROSABE </li></ul></ul>
  2. 2. INTRODUCCIÓN <ul><li>¿Cuál es el objetivo de la </li></ul><ul><li>investigación? </li></ul><ul><ul><li>Generar conocimiento </li></ul></ul><ul><ul><ul><li>ΕΠΙΣΤΗΜΟΝΙΚΟΣ  </li></ul></ul></ul><ul><ul><ul><li>cientia --> Conocimiento </li></ul></ul></ul><ul><li>En el caso de la investigación </li></ul><ul><li>biomédica. </li></ul><ul><ul><ul><li>Beneficiar a las personas (individual o colectivo) </li></ul></ul></ul>
  3. 3. Dos conceptos fundamentales <ul><li>What you measure is what you get </li></ul><ul><ul><li>WYMIWYG </li></ul></ul><ul><li>El ser humano se mueve fundamentalmente por incentivos </li></ul><ul><ul><li>Principales incentivos: Recompensa (económica, moral, reconocimiento) y castigo. </li></ul></ul><ul><li>Hummel, J., & Huitt, W. (1994, February). What you measure is what you get. GaASCD Newsletter: The Reporter, 10-11. Retrieved [date], from http://www.edpsycinteractive.org/papers/wymiwyg.html </li></ul>
  4. 4. <ul><li>Incentivos bien intencionados, bajo determinadas </li></ul><ul><li>condiciones pueden llevar a consecuencias no deseadas </li></ul><ul><li>Steven Levitt and Stephen J. Dubner (2005). Freakonomics: A Rogue Economist Explores the Hidden Side of Everything. William Morrow/HarperCollins </li></ul><ul><li>http://freakonomics.blogs.nytimes.com/ </li></ul>Algunos incentivos pueden ser muy exitosos, aunque no queramos aceptarlo Incentivo 1 (moral): Bienestar del paciente Incentivo 2 (económico): Bienestar del médico
  5. 5. Ruta de navegación <ul><li>La importancia de evaluar los méritos de un artículo individual </li></ul><ul><li>Falencias de un sistema basado en citaciones </li></ul><ul><li>Diferencia entre citación e impacto </li></ul><ul><li>Por qué medir el impacto es insuficiente (y eventualmente perjudicial) </li></ul><ul><li>Posibles soluciones </li></ul>
  6. 6. ¿Qué factor de impacto tiene la revista en que publicaste? <ul><li>…” a problem about equal to having an elephant in the living room. It's so big you just can't ignore it.“ The New York Times on June 20, 1959 </li></ul><ul><li>Lo que muchas instituciones hacen: </li></ul><ul><ul><li>Medir el valor de un artículo de investigación en base al Factor de impacto de la revista… </li></ul></ul><ul><ul><li>Es decir…todos los artículos tienen el mismo impacto, sólo por el hecho de ser publicados en esa revista. </li></ul></ul>
  7. 7. Lowry vs. Rada <ul><li>Rada G. ACP Journal Club. Immediate and delayed acupuncture reduced frequency and pain intensity of primary migraine or tension-type headaches. Ann Intern Med. 2009 Jan 20;150(2):JC1-14. </li></ul><ul><li>Annals of Internal Medicine tuvo el 2008 un factor de impacto de 17,5 </li></ul><ul><li>Citaciones = 0 </li></ul><ul><li>Lowry, O. H. , Rosebrough, N. J., Farr, A. L., and Randall, R. J. Protein Measurement with the Folin Phenol Reagent ( (1951) J. Biol. Chem.193, 265–275) </li></ul><ul><li>(describe un método simple y sensible de medir la cantidad de proteína en una solución. </li></ul><ul><li>Journal of Biological Chemistry tiene factor de impacto 5,85 . </li></ul><ul><li>Citaciones = 275.669 </li></ul>
  8. 8. <ul><li>¿Qué tan bueno es un artículo? </li></ul><ul><li>Sólo basado en un elemento de muchos que pueden ser importantes </li></ul><ul><li>¿Qué tan bueno es un académico? </li></ul><ul><li>Selección sólo por ranking de su universidad (ARWU) </li></ul><ul><li>El resto del curriculum no importa </li></ul><ul><li>Algunas soluciones apuntan al impacto de un autor </li></ul><ul><li>No capturan el valor de cada artículo </li></ul>Miguel de Cervantes y Saavedra
  9. 9. ¿Qué factor de impacto tiene la revista en que publicaste? <ul><li>…” a problem about equal to having an elephant in the living room. It's so big you just can't ignore it.“ The New York Times on June 20, 1959 </li></ul><ul><li>El supuesto detrás de esto: </li></ul><ul><ul><li>Las revistas con alto impacto publican lo más relevante (y no publican nada irrelevante) </li></ul></ul><ul><ul><li>Un artículo de mala calidad no sería publicado en una revista de alto impacto </li></ul></ul><ul><li>Explicación práctica: </li></ul><ul><ul><li>Conocer el impacto de un artículo específico toma tiempo (IF=3 años) </li></ul></ul><ul><ul><li>Otras medidas basadas en citación toman menos tiempo que IF, pero no lo suficiente. </li></ul></ul><ul><ul><li>No existe una medida alternativa de amplio uso </li></ul></ul>
  10. 10. Article-level metrics <ul><li>Iniciativa PLoS: </li></ul><ul><li> Iniciativa para medir, difundir y utilizar las citaciones (entre otras cosas) de cada artículo por separado. </li></ul>
  11. 11. ¿citaciones = impacto? <ul><li>Si un artículo recibe muchas citaciones </li></ul><ul><li>… y las citaciones son hechas por las personas más idóneas (científicos familiarizados con el tema) </li></ul><ul><li>ergo… su aporte al conocimiento es proporcional. </li></ul>
  12. 12. Limitaciones prácticas de las citaciones <ul><li>Tiempo </li></ul><ul><li>El autor que cita </li></ul><ul><li>La empresa que lleva la cuenta </li></ul>
  13. 13. Tiempo
  14. 14. El gran problema…los autores <ul><ul><li>Tema poco estudiado ( todo se basa en esto) </li></ul></ul><ul><ul><li>Los estudios, consistentemente muestran: </li></ul></ul><ul><ul><ul><li>Errores en la forma de citar </li></ul></ul></ul><ul><ul><ul><li>Aseveraciones que no reflejan lo que dice la cita (25%) </li></ul></ul></ul><ul><ul><ul><li>No se cita el artículo original, sino una revisión (se pierde el sentido) </li></ul></ul></ul><ul><li>de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886. </li></ul><ul><li>Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4. </li></ul><ul><li>Todd P A, Yeo D C J, Li D, Ladle R J, 2007, &quot;Citing practices in ecology: can we trust our own words?&quot; Oikos 116 1599 – 1601 </li></ul>
  15. 16. ¿Cómo se construye el conocimiento? Afirmación: Beta amiloide se encuentra presente en las fibras musculares en la miositis por cuerpos de inclusión Greengberg SA. How citation distortions create unfounded authority: analysis of a citation network. BMJ 2009;339:b2680
  16. 17. El que esté libre de pecado, que arroje la primera piedra <ul><li>En algunos casos, los investigadores: </li></ul><ul><li>Eligen cita que refuerza su hipótesis </li></ul><ul><li>Si no existe, la inventan </li></ul><ul><li>No hacen un gran esfuerzo por seleccionar la mejor cita </li></ul>
  17. 18. <ul><ul><li>¿Cuánto reflexionará/buscará el autor para elegir cada cita? </li></ul></ul><ul><ul><ul><li>Citas más recientes </li></ul></ul></ul><ul><ul><ul><li>Citas más accesibles </li></ul></ul></ul><ul><ul><ul><ul><li>Open access </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Bibliotecas </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Índices (por ej. MEDLINE) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Idioma </li></ul></ul></ul></ul><ul><ul><ul><li>Citas más “glamorosas” </li></ul></ul></ul><ul><ul><ul><ul><li>Revistas de alto impacto </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Idioma </li></ul></ul></ul></ul><ul><li>de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886. </li></ul><ul><li>Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4. </li></ul><ul><li>Todd P A, Yeo D C J, Li D, Ladle R J, 2007, &quot;Citing practices in ecology: can we trust our own words?&quot; Oikos 116 1599 – 1601 </li></ul>
  18. 19. Los riesgos de la endogamia <ul><ul><li>Algunos autores caen conciente o inconcientemente en: </li></ul></ul><ul><ul><ul><li>Autocitación (“citas incestuosas”) </li></ul></ul></ul><ul><ul><ul><li>Endogamia </li></ul></ul></ul><ul><ul><ul><li>¿Mafias curriculares, parásitos científicos? </li></ul></ul></ul><ul><li>de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886. </li></ul><ul><li>Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4. </li></ul><ul><li>Todd P A, Yeo D C J, Li D, Ladle R J, 2007, &quot;Citing practices in ecology: can we trust our own words?&quot; Oikos 116 1599 – 1601 </li></ul>
  19. 20. … y por si esto fuera poco ¿Inocente o culpable?
  20. 21. <ul><li>No transparente </li></ul><ul><li>(denominador)  Artículo citables </li></ul><ul><li>¿Cuáles son? </li></ul><ul><li>¿Quién decide? </li></ul><ul><li>Solo cuentan los artículos indexados en su base de datos. </li></ul>
  21. 22. … en un mundo ideal <ul><li>Citaciones </li></ul><ul><ul><li>Existe una métrica del artículo individual </li></ul></ul><ul><ul><li>Autores publican rápidamente nueva investigación </li></ul></ul><ul><ul><li>Autores citan los artículos que más aportan al conocimiento. </li></ul></ul><ul><ul><li>El proceso de conteo de referencias se hace de manera transparente </li></ul></ul>
  22. 23. Citaciones no es = a Impacto <ul><li>Sólo habla de impacto en investigadores (probablemente en el mismo campo) </li></ul><ul><li>No habla del impacto en: </li></ul><ul><ul><li>La comunidad médica no investigadora </li></ul></ul><ul><ul><li>Los que toman decisiones de política de salud </li></ul></ul><ul><ul><li>Los pacientes </li></ul></ul><ul><ul><li>El público general </li></ul></ul><ul><ul><li>Otros </li></ul></ul>
  23. 24. Impactos e impactos (investigadores) Impacto absolutamente negativo Establece verdad irrefutable (y beneficia a población) Hipótesis completamente errada Refuta hallazgos de otros estudios Refuerza hipótesis de otros estudios Genera conocimiento cierto en su área Genera conocimiento cierto, extrapolable a otras áreas
  24. 25. Impacto en investigadores = ¿aporte al conocimiento? <ul><li>El control intensivo de la glicemia disminuye la mortalidad en UCI </li></ul><ul><ul><li>van den Berghe et al. Intensive insulin therapy in the critically ill patients. N Engl J Med. 2001 Nov 8;345(19):1359-67 </li></ul></ul><ul><li>En realidad no parece haber un beneficio tan claro…y aumentan las hipoglicemias. </li></ul><ul><ul><li>Wiener et al. Benefits and Risks of Tight Glucose Control in Critically Ill Adults: A Meta-analysis. JAMA. 2008;300(8):933-944. </li></ul></ul><ul><li>No sólo no disminuye, sino que aumenta la mortalidad. </li></ul><ul><ul><li>NICE-SUGAR Study Investigators. Intensive versus conventional glucose control in critically ill patients. N Engl J Med. 2009 Mar 26;360(13):1283-97. </li></ul></ul>
  25. 26. Otras formas de medir impacto <ul><li>Comunidad académica/investigadora </li></ul>
  26. 27. Otras formas de medir impacto <ul><li>Comunidad científica/Médica, no sólo investigadora </li></ul>
  27. 28. Otras formas de medir impacto
  28. 29. Rating y comentarios
  29. 30. El gran problema: Los incentivos Iniciativa avanza mucho más lento de los esperado ¿Qué gana un investigador con contribuir, comentar, etc?
  30. 32. Citaciones: Más allá de la revista
  31. 33. Web 2.0: Aprovechando lo existente <ul><li>Concepto para definir la Web basada en comunidades de usuarios </li></ul><ul><li>Usuario agrega y modifica contenidos </li></ul>
  32. 34. ¿Cuáles son las posibilidades? <ul><li>Redes sociales </li></ul><ul><ul><li>Facebook: </li></ul></ul><ul><ul><li>se ha convertido en la más importante </li></ul></ul>
  33. 35. Marcadores sociales (social bookmarking) <ul><ul><li>Sitios que permiten seleccionar información relevante y compartirla con otros usuarios. </li></ul></ul><ul><ul><li>Control editorial democrático, según graduación de los usuarios, número de veces en que alguien lo sugiere, etc </li></ul></ul><ul><ul><li>CiteUlike </li></ul></ul><ul><ul><li>Connotea </li></ul></ul>
  34. 36. citeulike
  35. 37. Connotea
  36. 38. CITEULIKE <ul><li>Todavía en etapa preliminar </li></ul><ul><li>Permite compartir papers de interés </li></ul>
  37. 39. El gran problema: Los incentivos Iniciativa avanza mucho más lento de los esperado ¿Qué gana un investigador con contribuir, comentar, etc?
  38. 40. Stack overflow: Acumulando Karma <ul><li>Corto vs largo </li></ul>
  39. 41. Impacto vs Calidad No aporta (retrocede) Aporta claramente Hipótesis completamente errada Refuta hallazgos de otros estudios Refuerza hipótesis de otros estudios Genera conocimiento cierto en su área Genera conocimiento cierto, extrapolable a otras áreas
  40. 42. 2 tipos de error <ul><li>Error por azar </li></ul><ul><li>Error sistemático  sesgo </li></ul>
  41. 43. Definición de sesgo <ul><li>Sesgo: Cualquier tendencia en la recolección, análisis, interpretación, publicación o revisión de los datos… </li></ul><ul><li>… que puede llevar a conclusiones que son sistemáticamente diferentes de la verdad. </li></ul>
  42. 44. ¿Es aceptable el error? <ul><li>El error por azar se puede minimizar </li></ul><ul><ul><li>Recursos ++++ </li></ul></ul><ul><li>El sesgo se puede minimizar (e incluso eliminar) </li></ul><ul><ul><li>Recursos + </li></ul></ul>
  43. 45. Cambiando los incentivos <ul><li>Evaluación de impacto en forma amplia (no sólo citaciones) </li></ul><ul><li>Sistemas basados en citaciones transparentes y confiables. </li></ul><ul><li>Evaluar calidad </li></ul><ul><li>Evaluar impacto (positivo) a largo plazo </li></ul>
  44. 46. Desafíos <ul><li>Primero: Medir todo lo medible </li></ul><ul><li>Usar los resultados de esa medición de acuerdo al objetivo final </li></ul><ul><li>Citaciones: Fomentar la probidad y profesionalismo (es demasiado importante) </li></ul><ul><li>Estimular la participación en definir el impacto y calidad. </li></ul>
  45. 47. ¿Quién podrá ayudarnos? <ul><li>El sistema es: </li></ul><ul><ul><li>Complejo </li></ul></ul><ul><ul><li>Injusto </li></ul></ul><ul><ul><li>Discriminatorio </li></ul></ul><ul><ul><li>Poco transparente </li></ul></ul><ul><ul><li>Difícil de cambiar </li></ul></ul>
  46. 48. Sir John Sulston <ul><li>“ (Journal metrics) are the disease of our times&quot; </li></ul><ul><li>Director del Institute for Science, Ethics and Innovation de la Universidad de Manchester, y ganador del premio Nobel, 2002. </li></ul>
  47. 49. Richard Horton <ul><li>&quot;If I could get rid of the impact factor tomorrow, I would. I hate it. I didn't invent it and I did not ask for it. It totally distorts decision-making and it is a very, very bad influence on science“ </li></ul><ul><li>&quot;The incentive for me is to cut off completely parts of the world that have the biggest health challenges ... citations create a racist culture in journals' decision-making and embody a system that is only about us (in the developed world).&quot; </li></ul><ul><li>Editor en jefe del Lancet </li></ul>
  48. 51. ¿Cómo combatir este circulo vicioso? Muchas gracias… y se abre la discusión.

×