Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)

421 views

Published on

Evaluación de la investigación. Escuela Nacional de Sanidad. Marzo 2014.

Published in: Healthcare
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
421
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
2
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Marzo '14: Evaluación de la Investigación. Master en Gestión de I+D (Escuela Nacional de Sanidad)

  1. 1. Evaluación de la investigación Dr. Antonio García Romero IE University Master Internuversitario en Dirección y Gestión de la I+D+i en Ciencias de la Salud Escuela Nacional de Sanidad Universidad de Alcalá de Henares UNED Madrid, 28 de marzo de 2014
  2. 2. Estructura de la presentación 1.  ¿Por qué es necesario evaluar la I+D? 2.  Algunos retos de las políticas de investigación e implicaciones sobre su evaluación 3.  ¿Qué es la evaluación de la I+D? 4.  Métodos y herramientas para evaluar la I+D 5.  Epílogo
  3. 3. ¿Por qué es necesario evaluar la I+D?
  4. 4. Asia’s Ascent — Global Trends in Biomedical R&D Expenditures Justin Chakma, Gordon H. Sun, Jeffrey D. Steinberg, Stephen M. Sammut, and Reshma Jagsi. N Engl J Med 370;1 January 2, 2014
  5. 5. 354.626 M€ 488.781 M$
  6. 6. Número de publicaciones en todas las áreas y tasa de variación Total mundial
  7. 7. 73/hora Número de publicaciones en Ciencias de la Salud y tasa de variación Total mundial
  8. 8. Algunos retos de las políticas de investigación e implicaciones sobre su evaluación
  9. 9. Una reciente serie de artículos en la revista The Lancet señaló que, en 2010, alrededor de 200.000 mill. $ (un sorprendente 85% del gasto mundial en investigación médica) se desperdiciaron en estudios que tuvieron fallos en su diseño, fueron redundantes, nunca fueron publicados o se publicaron con errores. “Why most published research findings are false”
  10. 10. Mayor competencia por los (escasos) recursos The Scientist © “Este es el mejor modo que conozco para decidir quien consigue la plaza de investigador”
  11. 11. Gallup, ORI 2008 Mala conducta científica D. Parkins Nature ©
  12. 12. Mala conducta científica (cont.) Déjà Vu: a Database of Highly Similar Citations Errami & Garner, Nature (2008)
  13. 13. Mayor grado de especialización © The Economist 2010 Grupos más grandes, multidisciplinares y complejos Dificultad para evaluarlos mediante peer review
  14. 14. Richard Smith Editorial de BMJ (2001):323-528 Creciente interés en conocer los retornos socioeconómicos de la investigación biomédica
  15. 15. Creciente interés por conocer los retornos socioeconómicos de la investigación biomédica
  16. 16. Qué es la evaluación de la investigación (Incluye una muy breve historia)
  17. 17. •  “La investigación es una actividad incierta dado que sobre un espectro de posibles resultados se desconoce, a priori, la probabilidad que se tiene de alcanzar cualquiera de ellos” (Nelson, 1959) •  El carácter incierto e impredecible de la investigación la convierte en una actividad difícil de gestionar. En particular, es necesario disponer de la mayor información posible para tomar decisiones. •  Se puede definir la evaluación de la investigación como el conjunto de procedimientos que permiten obtener información útil para la toma de decisiones en Política de Investigación. (García-Romero, 2003) •  La evaluación no es lo mismo que la monitorización. No basta con describir lo que ha pasado sino responder cuestiones como por qué ha pasado? o ¿qué hubiera ocurrido si las condiciones hubieran sido otras? Analogía con otras decisiones públicas o privadas
  18. 18. La evaluación de la investigación es crucial para asignar los recursos (escasos) de modo eficiente
  19. 19. 1665: 1-2 Se establece el Peer Review para poder publicar en Philosophical Transactions Se generan incentivos a publicar al atribuir la propiedad de los descubrimientos Mejora sensiblemente la calidad de los avances científicos Sir Isaac Newton
  20. 20. 1958 Bibliometría, ISI (SCI, SSCI, A&HCI) Factor de Impacto Eugene Garfield El Efecto Mateo en la Ciencia “Porque a quien tiene se le dará y le sobrará; pero a quien no tiene, aún lo que tiene se le quitará” (Mateo 13:12) Robert K. Merton 1968 Vannevar Bush 1945 Proyecto Manhattan National Science Foundation Años 70 en adelante: tres hechos importantes 32ª Conferencia de la OPEC. 1973. Viena. Derek de Solla Price. Ley de crecimiento exponencial de la Ciencia. Coste de los equipos para investigación se dispara
  21. 21. Hoy … >1.750 … 10-15 …. 40%... 80% Derek de Solla Price 9.740 revistas 1.593.000 artículos 23.406 artículos 1.350 $ / artículo 30 M$
  22. 22. Las políticas de I+D y evaluación deben evolucionar para adaptarse a los cambios experimentados en la Ciencia
  23. 23. Métodos y herramientas para evaluar la Investigación
  24. 24. ¿Cómo NO debemos evaluar? Paradoja de Procrusto
  25. 25. ¿Cómo? © The Scientist
  26. 26. INPUTS Stock conocimiento Recursos humanos Recursos materiales e infraestructuras Recursos financieros Graduados “Problemas” Naturaleza PROCESO Trabajo investigadores (organización) Difusión investigación Apoyo técnico Apoyo administrativo y gestión Formación nuevos investigadores Interacción con la tarea asistencial y docente OUPUTS Publicaciones Patentes Investigadores formados IMPACTOS Científico (FI, citas) Económico (empleo, innovación, LYL) Social (calidad de vida, calidad asistencial) Político (toma de decisiones) Marco conceptual para la evaluación de la I+D
  27. 27. Indicadores y Métricas •  Inputs: Recursos materiales, humanos, financieros (Manual de Frascati, Snowball metrics) •  Proceso: sistemas de información, encuestas, indicadores sobre la organización, interacciones, difusión de conocimiento. •  Output: Publicaciones científicas, patentes. •  Impacto: Resultados en Salud, ahorro de costes, mejora de la eficiencia, calidad. •  Altmetrics
  28. 28. Herramientas •  Indicadores bibliométricos: Los más extendidos son número de artículos, número de citas, factor de impacto, citas/documento e índice h. Fuentes: Web of Knowledge / Thomson Reuters Scopus / Elsevier, Google Scholar Citatios / Google (usando por ejemplo Publish or Perish) •  Recomendaciones: Usar indicadores apropiados para cada ítem: Por ejemplo, el FI es un indicador para revistas. No puede usarse para un hospital. Usar indicadores validados por especialistas (Scientometrics, ENID, Snowball metrics). Los indicadores de output tienen muchos sesgos y deben usarse teniendo en cuenta todas sus limitaciones.
  29. 29. Herramientas •  Indicadores bibliométricos: Sistemas de información de valor añadido SciVal (Scopus) o Incites (Web of Science) Scimago country, journal and instituton rankings.
  30. 30. Herramientas •  Indicadores de input: Sistemas de información científica (comerciales) ICONO (Fecyt) datos agregados PAID: Acceso a través de Fecyt a datos desagregados
  31. 31. Altmetrics: •  Nueva corriente en materia de indicadores de I+D Considera el impacto en un sentido amplio incluyendo referencias en redes sociales tanto científicas (Mendeley o Zotero) como generalistas (Twitter, Facebook, enlaces blog, etc.). También incluye indicadores de uso como descargas y de usuario (opiniones). •  Tienen la ventaja de la inmediatez respecto de otros indicadores como las citas. •  Article level metrics de PLOS One.
  32. 32. Métricas para cada artículo Uso del artículo Vistas HTML Descargas PDF Descargas XML Citas recibidas PubMed Crossref Scopus Otros indicadores de impacto Valoración de lectores Rankings Comentarios recibidos Cobertura en blogs
  33. 33. Muchas gracias por su atención agr22@faculty.ie.edu @Agarciarome lnkd.in/SgKSD3 upib.blogspot.com

×