Your SlideShare is downloading. ×
Presentación de artículos sobre errores  estadísticos frecuentes en publicaciones biomédicas
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Presentación de artículos sobre errores estadísticos frecuentes en publicaciones biomédicas

8,817
views

Published on

Presentación de artículos sobre errores estadísticos frecuentes en publicaciones biomédicas …

Presentación de artículos sobre errores estadísticos frecuentes en publicaciones biomédicas

Published in: Health & Medicine

0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
8,817
On Slideshare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
92
Comments
0
Likes
4
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Presentación de artículos sobre errores estadísticos frecuentes en publicaciones biomédicas Diana Paola Cuesta Castro MD, MSc, candidata PhD Epidemiología Grupo de estudio en Epidemiología Escuela de Ciencias de la Salud- Universidad Pontificia Bolivariana Medellín, ColombiaDisponible en “Temas de Epidemiología Clínica” http://dianacuesta.wordpress.com
  • 2. La MBE y las guías para publicar los diferentes tipos deestudios han contribuido a evidenciar los erroresestadísticos.
  • 3. Error 1. Informar mediciones con unaprecisión innecesaria.• Mayor comprensión si se usan dos dígitos.• Algunas mediciones no necesitan tanta precisión en su reporte:• Ejemplos: No. de mujeres: 29 942 hasta 94 347• 29 900 hasta 94 300 30 000 hasta 94 000 Promedio de edad 60.18 kg vs 60 kg.
  • 4. Error en Modo correcto de presentación presentarlo p < 0,000000001 p < 0,001 p= ,000 p < 0,001 p= ,0000 p < 0,0001 p= 0,0109567 p=0,011 ó p=0,01 n.s (o peor: p=n.s) p=0,13 (por ejemplo) p > 0,05 p=0,39 (por ejemplo) p < 0,05 p=0,03Martínez M, et al. Bioestadística Amigable. 2 ed. Diaz de Santos. 2006
  • 5. Error 2. Transformar datos continuos a categóricos sin explicar por qué o cómo.• Explicar el criterio para establecer puntos de corte en la transformación de variables cuantitativas a categóricas• Reducir el nivel de medición, reduce la variabilidad y precisión de las mediciones
  • 6. Error 3. Falta información del cambio promedioindividual en las comparaciones pareadas
  • 7. Error 4. Uso incorrecto de la estadística descriptiva• Promedio y desviación estándar son las medidas más usadas para datos continuos.• Se usan si la variable distribuye normal, de lo contrario se debe utilizar la mediana y el rango o el 68% rango intercuartílico. 95% 99%
  • 8. • Solo medidas de tendencia central sin medidas de dispersión CMJ. 2004;45(4):361-370
  • 9. Error 5. Uso del error estándar de la mediacomo una medida de estadística descriptiva. Error estándar de la media Población - Es menor que la desviación estándar por lo que se reporta para aparentar mas precisión Media ±1 EEM es IC68% - Preferible utilizar IC95% Muestra Desviación estándar de la media Uso como medida de dispersión de los datos de la muestra
  • 10. Inferencia estadística• En una muestra de 100 hombres, el promedio del peso es 72kg D.E 8. Estimación• Si el peso distribuye normal, 68% del peso puntual de los hombres está entre 64-80 kg y 95% entre 56-88 kg.EE: DS/√n EE:8/ √100 EE:0.8 Estimación• Si se tomaran repetidas muestras aleatorias por intervalos de la misma población de hombres, 68% de esas muestras se espera que tengan valores entre 71.2 – 72.8 kg (Media ±1 EE).• Preferible IC95% Media ±2 EEM Peso promedio 72 kg IC95% 70.4-73.6 Prueba de hipótesis
  • 11. Error 6. Informar sólo el “valor p” para los resultados.• Cuando en los resultados solo se informa que hubo significancia estadística (“El efecto del medicamento fue estadísticamente significativo”) o el valor p<0.05 ▫ Cuál es el valor p? 0.049 – 0.001 ▫ Cuál es el tamaño del efecto? ▫ Es importante clínicamente? ▫ Uso arbitrario del punto de corte 0.05• Informar el valor p sin el intervalo de confianza no permite conocer la precisión de la estimación (“el promedio de la presión arterial sistólica en el grupo de tratamiento disminuyó de 110 a 92 mmHg, p=0.02)
  • 12. • Los valores del IC no siempre son clínicamente importantes (“El medicamento redujo la presión arterial diastólica en promedio 18 mmHg, de 110 a 92 mmHg, IC95% 2 a 34 mmHg, p=0.02”) Valores del IC Probabilidad de que la clínicamente intervención sea importantes clínicamente efectiva Si Si No No Algunos Muestra insuficiente para valorar el efecto
  • 13. Reflexiones sobre las pruebas de hipótesis (PH) • Están desarrolladas para el caso de que los datos procedan de una muestra seleccionada aleatoriamente. • Se basan en una suposición que raras veces se cumple en la práctica: la hipótesis nula es cierta • Ignoran el tamaño o magnitud del efecto y se centra en una decisión dicotómica a favor o en contra de una hipótesis. • Confusión de significancia clínica con estadística: Un valor p no refleja en absoluto la magnitud de la diferencia que se observa, sino la probabilidad de haber observado esa diferencia si en realidad no hay ninguna.Silva-Ayçaguer LC. Cultura estadística e investigación científica en el campo de la salud. Diaz deSantos1997Clark ML. Los valores P y los intervalos de confianza. Rev Panam Salud Publica.2004;15(5):293-6
  • 14. Reflexiones sobre las pruebas de hipótesis • Creencia de que un valor p mayor que α confirma que la hipótesis nula es correcta, o que representa la probabilidad de que lo sea. • El no poder rechazar la hipótesis nula no equivale a poder confirmarla. • Dependen de un factor ajeno al problema de estudio: el tamaño de la muestra. • La elección de trabajar con una o dos colas depende de la visión subjetiva del investigador.Silva-Ayçaguer LC. Cultura estadística e investigación científica en el campo de la salud. Diaz deSantos1997Clark ML. Los valores P y los intervalos de confianza. Rev Panam Salud Publica.2004;15(5):293-6
  • 15. Error 7. No confirmar el cumplimiento de los supuestos de las pruebas estadísticas utilizadas.• La aplicación de pruebas de hipótesis sin la verificación de supuestos puede dar resultados no precisos.• Se debe incluir la información sobre la manera en que se verificaron los supuestos de las pruebas utilizadas.• Errores: ▫ Usar pruebas paramétricas cuando los datos no distribuyen normal. ▫ Usar pruebas para análisis de grupos independientes cuando realmente son grupos relacionados
  • 16. Error 8. Utilizar un análisis de regresión lineal sin haber demostrado que la relación es, de hecho, lineal.• Sin verificar los supuestos los resultados pueden estar incorrectos.• Supuesto de linealidad: gráficamente se verifica contrastando los residuales de los datos con la línea de regresión.
  • 17. Error 9. Reporte de “missing data”.• Considerar los siguientes aspectos cuando hayan resultados faltantes: 1. Naturaleza del missing data: outliers no incluidos en el análisis? pérdida accidental de los datos? Fueron excluidos algunos datos por no respaldar la hipótesis? 2. Generalización de los resultados: es el rango de valores real? Fue tan bajo los drop outs? 3. La calidad del estudio. Si no coinciden los totales, cuan cuidadoso fue el autor?• Para evaluar los missing data revise el flujograma de los pacientes que participaron en el estudio
  • 18. Error 9. Reporte de “missing data”.http://www.consort-statement.org/
  • 19. Error 10. No informar si se hicieron o cómo sehicieron los ajustes para las pruebas dehipótesis múltiples.• Múltiples pruebas de hipótesis en un conjunto de datos incrementan el riesgo de encontrar diferencias solo por azar. No. de Ho 1 2 3 4 5 6 7 8 9 10 20 50independientesP de que uno o más valor 5% 10% 14% 19% 23% 26% 30% 34% 37% 40% 64% 92%p<0.05 solo por azarAjuste del valor 0.0253 0.0170 0.0127 0.0102 0.0085 0.0073 0.0064 0.0057 0.0051 0.0026 0.0010 0.05 crítico de rechazo Motulsky H. Intuitive Biostatistics. New York, Oxford University Press. 1995
  • 20. • Ocurre cuando: 1. Se establece si los grupos de comparación tienen características basales similares (se espera que no hayan).Predictors of 30-Day Mortality andHospital Costs in Patients WithVentilator-Associated PneumoniaAttributed to Potentially Antibiotic-Resistant Gram-Negative Bacteria CHEST 2008; 134:281–287
  • 21. • Ocurre cuando:2. Realización de múltiples comparaciones por pares: cuando en tres o más grupos de datos se realizan comparaciones de dos en dos por separado.3. Evaluar múltiples endpoints que están influenciados por el mismo conjunto de variables explicativas4. La realización de análisis secundarios de las relaciones observadas durante el estudio, pero no identificadas en el diseño original.
  • 22. • Ocurre cuando:6. La realización de análisis de subgrupos no planeados en el estudio original.7. Se hace múltiples análisis interinos con datos acumulados (medición del efecto en diferentes momentos).8. Se comparan grupos de individuos en diferentes momentos del tiempo.
  • 23. Error 11. Presentación innecesaria de lacomparación estadística de las característicasbaslaes en el ensayo clínico aleatorio.• Cualquier diferencia de las características basales entre los grupos de un ensayo con asignación aleatoria se debe al azar y no indica al presencia de sesgo como si ocurre en otros tipos de estudio.• Las diferencias observadas solo indican que deben ser ajustadas en el análisis estadístico de los resultados pero el valor p no debe ser reportado.
  • 24. Declaración de Consort
  • 25. Error 12. No se define “normal” o “anormal”al informar resultados de pruebas diagnósticas.Qué es normal en Medicina? Sin relación clínicaDiagnóstico Tratamiento Riesgo Estadística Percentiles Social
  • 26. Error 13. No se explica cómo fueron manejadoslos resultados inciertos cuando se calculó lasensibilidad y especificidad de una prueba• No todas las pruebas diagnósticas proporcionan resultados claramente positivos o negativos.• Se deben reportar el número de pacientes con resultados intermedios, indeterminado o ininterpretables e informar como se manejaron en el análisis
  • 27. Error 14. Uso de tablas y figuras sólo para“almacenar” los datos, en lugar de ayudar a loslectores. • Las tablas y figuras comunican información. • Las tablas comunican mejor datos numéricos precisos. • Los gráficos de puntos comunican patrones generales de comparación • Mapas comunican mejor las relaciones espaciales
  • 28. Error 15. Uso de un diagrama o gráfico en elque el mensaje visual no es compatible con elmensaje de los datos del texto. • Se recuerda mejor el mensaje de una imagen que el de los datos en que se basa. Debe existir entre ellos concordancia de la información . • Atentos con los valores de inicio de los ejes porque se distorsiona la información.
  • 29. INCORRECTO
  • 30. INCORRECTO
  • 31. Journal of Clinical Epidemiology. 2010;63:1045-1047 Escala Aritmética: incorrecta Escala Logarítmica: correcta
  • 32. Error 16. Confundir las “unidades deobservación” al informar e interpretar losresultados.• La unidad de observación es la unidad de estudio.• Diferenciar la unidad de estudio de los pacientes estudiados, a veces coinciden.• La unidad de observación la define el objetivo del estudio.
  • 33. Error 17. Interpretación de estudios conresultados no significativos y de bajo poderestadístico como “negativo”, cuando lo son, dehecho, no concluyentes. • Confusión de términos “negativo” y “no conluyente” como si fueran similares. • En estudios con bajo poder los resultados observados no son negativos sino no concluyentes porque el estudio es incapaz de detectar diferencias cuando realmente existen. • Sucede lo mismo con las pruebas de hipótesis en la comparaciones basales de los grupos porque tiene bajo poder.
  • 34. Error 18. No distinguir entre estudios“pragmáticos”(efectividad) y “explicativos”(eficacia) en el diseño e interpretación deinvestigación biomédica.Característica Explicativos PragmáticosObjetivo Comprender la enfermedad o Guiar la decisión clínica procesos terapéuticosCondiciones del Ideales o condiciones de Práctica clínicaestudio laboratorioHallazgos Conocimiento biológico no Afectados por factores no generalizable a la práctica controlados clínica
  • 35. Comparación entre los tipos de ensayos clínicos Explicativos o Pragmáticos o Aspecto Eficacia Efectividad Pregunta Respuesta en Respuesta en circunstancias circunstancias ideales reales Criterios de Estrictos. Limitados a Todos los pacientes elegibilidad alto riesgo y alta adherencia Pacientes excluidos Excluidos del análisis Incluidos en el análisis durante el estudio Tratamiento Estricta vigilancia de la De rutina administración Intensidad del Alto número de visitas De rutina seguimientoHaynes B, Sackett D, Guyatt G, Tugwell P. Clinical Epidemiology: How to Do Clinical PracticeResearch. 3 edition
  • 36. Comparación entre los tipos de ensayos clínicos Pragmáticos o Aspecto Explicativos o Eficacia Efectividad Compliance o Monitoreo estricto, estrategias Poco o ningún monitoreo adherencia para mejorar adherencia Desenlaces Efectos adversos atribuidos al Todos los efectos negativos tratamiento aun cuando no estén relacionados Seguimiento Hasta que desarrolla el evento Hasta la muerte o finalización del seguimiento, lo que ocurra primero Eventos Solo los que ocurren durante el Cualquiera que ocurra luego analizados tiempo en que el paciente recibe de la asignación aleatoria la terapiaHaynes B, Sackett D, Guyatt G, Tugwell P. Clinical Epidemiology: How to Do Clinical PracticeResearch. 3 edition
  • 37. Error 19. No informar de los resultados enunidades de utilidad clínica.• Existen diversas maneras de presentar los resultados y cada una cierta información sobre la efectividad clínica. Medidas Relativas Medidas Absolutas Reducción o Incremento Riesgo Relativo del Riesgo Absoluto Reducción o Incremento NNT o NNH del Riesgo Relativo
  • 38. Error 20. Confundir la significación estadística yla importancia clínica. • Pequeñas diferencias entre grupos con muestras grandes pueden ser estadísticamente significativas pero no clínicamente importantes. • Grandes diferencias en grupos con muestras pequeñas pero no significativas pueden ser clínicamente importantes. www.dentalhypotheses.com
  • 39. Evaluación de la importancia de los resultadosclínicos: importancia clínica frente significaciónestadística • Las pruebas de significación estadística no informa de la importancia de los resultados, tan sólo de la probabilidad de que dichos resultados sean atribuibles al azar (p < 0,05). • Los intervalos de confianza ofrecen información sobre la importancia y precisión de los resultados. • Cualquier diferencia en el tamaño del efecto, por pequeña que sea, puede alcanzar significación estadística si la n es grande.Ochoa C. Evaluación de la importancia de los resultados clínicos: importancia clínica frentesignificación estadística. Evid Pediatr. 2010;6:40
  • 40. • Perspectivas de la valoración de la importancia clínica de los resultados: Paciente Clínico InvestigadorIndustria farmacéutica Agencias reguladoras Instituciones Autoridades de de salud salud pública Evid Pediatr. 2010;6:40
  • 41. No hay consenso sobre la definición de un resultadoclínicamente importante, podría ser: o Variable de resultado válida y con sentido clínico. o Valorado al menos por alguna de las partes implicadas en el proceso asistencial. o Que justifique una modificación en el manejo del paciente. o Que suponga un beneficio para el paciente. o Desenlace duradero, fácil de medir, aceptable (por los pacientes) y coste-efectiva. Evid Pediatr. 2010;6:40
  • 42. No hay consenso sobre la definición de un resultadoclínicamente importante, podría ser:(CONT) o Que haya alcanzado significación estadística en un estudio válido (ausencia de sesgos). o Definido por consenso de expertos. o Adaptado a las circunstancias (diferente según la situación). o Que dependa de la perspectiva desde la que se juzgue: clínicos, investigadores, pacientes, industria farmacéutica o agencias financiadoras. Evid Pediatr. 2010;6:40
  • 43. • La valoración de la importancia clínica pueden ser tomada de los criterios de causalidad. o Temporalidad o Plausibilidad biológica o Fuerza de asociación o Consistencia o Coherencia o Gradiente biológico Evid Pediatr. 2010;6:40
  • 44. Proceso de valoración de la importancia clínica de los resultados de un estudio Tamaño del efecto RepercusiónMedidas de frecuencia Cuantitativa Cualitativa sobre la toma Medidas de impacto de decisionesOtros estudios con las Beneficio mismas o distintas Comparativa medidas de efecto Riesgo/costes Evid Pediatr. 2010;6:40
  • 45. Evid Pediatr. 2010;6:40
  • 46. Ochoa C. Evaluación de la importancia de los resultados clínicos:importancia clínica frente significación estadística. Evid Pediatr.
  • 47. Tipos de error Fuentes de error• Sesgo • Muestreo• Imprecisión • Mediciones • Estimación • Pruebas de hipótesis • Reporte
  • 48. Categoría I. Sampling Bias• La participación voluntaria de los sujetos de un estudio invariablemente contiene un sesgo de selección porque nunca existe una verdadera selección aleatoria.• La inclusión de muestras de diferentes poblaciones requiere de un muestreo estratificado.• La selección de controles en estudios de intervención puede inducir un sesgo de muestreo: inadecuada asignación aleatoria, implementación no concurrente de las intervenciones en estudio.• Se afectan las medidas de tendencia central y de dispersión de los resultados
  • 49. Cómo se minimiza el sesgo de selección?• Definición específica de la población de interés: criterios de elegibilidad explícitos.• Ajustes de la asignación aleatoria: o Fija: simple, bloques, estratificada. o Dinámica o Adaptativa• Ajustar los resultados del estudio en caso de imbalance de las características basales de los grupos.
  • 50. Categoría II. Sampling Imprecision• El uso de muestras pequeñas aumenta la imprecisión, entonces por qué se usan?• El error estándar depende inversamente del tamaño de la muestra pero no se relaciona linealmente.• Ignorar la estructura de la población en el muestreo aumenta la imprecisión de los resultados
  • 51. Categoría III. Measurement Bias• Informar detalladamente los métodos de recolección de la información para brindar reproducibilidad.• Los cambios en algunos procesos durante la ejecución del estudio puede ser una fuente de sesgo y hay que identificarlos.Categoría IV. Measurement Imprecision• Medir el coeficiente de variación como medida de imprecisión (CV=DE/media) cuando se hacen mediciones repetidas de un mismo espécimen en un mismo tiempo (error técnico).
  • 52. Categoría V. Estimation Bias• Error cuando se estima el parámetro con la información disponible, sigue una tendencia consistente.• No esta relacionado con prejuicios derivados de la recogida de datos per se.• Missing data: hubo?, informativos y no informativos• En ensayos clínicos que comparan grupos de tto y uno de ellos es coadyuvante, no se puede estimar el efecto aislado del coadyuvante porque su efecto ocurre en presencia del tto estándar: ▫ Sin tratamiento ▫ Tto estándar ▫ Tto estándar + coadyuvante
  • 53. Categoría VI. Estimation Imprecision • Error en la estimación del parámetro, sigue una tendencia en cualquier sentido, es llamado “ruido”. • No confundir imprecisión adquirida por el proceso de muestreo con la imprecisión adquirida por la obtención de la estimación. • Muestras pequeñas son mas imprecisas. • La estructura de los datos afecta la precisión de los métodos utilizados en el análisis: cuando hay mediciones repetidas en un sujeto y se toma el valor como un promedio de ellas se aumenta la variabilidad
  • 54. Categoría VII. Bias in hypothesis testing Considerar los tipos de errores en la estimación por pruebas de hipótesis, principalmente el error tipo I
  • 55. Prueba de hipótesis de una cola• Ofrece mayor potencia estadística que la de dos colas. Zona de• Usa mitad de la muestra que la de No rechazo dos colas.• Uso en: o Es imposible que se de una diferencia de promedio en una dirección o Bajo ninguna circunstancia es de interés Zona de una diferencia en una dirección. No rechazo• Debe justificarse su elección en la prueba http://www.unc.edu/courses/2003fall/biol/145/001/docs/lectures/Sep29
  • 56. • Las múltiple pruebas de hipótesis incrementa el error tipo I.• Ajustar el nivel de significación cuando se realizan pruebas múltiples.• Verificar supuestos de las pruebas que se aplican.• Idealmente ≥30 sujetos para verificar supuestos.Categoría VIII. Imprecision in hypothesis testing• Se mide con el error tipo II.• El error tipo II se incrementa en las muestras pequeñas, errores técnicos grandes y estimaciones imprecisas.• Ocurre cuando se comparan grupos de diferentes tamaños
  • 57. Categoría IX. Reporting Bias • Contribución al sesgo de publicación. • Diferenciar las diferencias estadísticamente significativas de las diferencias biológicas importantes. • Diferenciar estudios con resultados negativos de los estudios con resultados no concluyentesCategoría X. Reporting Imprecision • El uso de ± para indicar variación debe informarse si es la desviación estándar o el error estándar • Informar parcialmente el valor p y la manera en qué se obtuvo.