Les problématiques liées à la multiplicité des résultats<br />Michel Cucherat<br />TrialResults-center.org<br />
Multiplicité des résultats<br />En général plusieurs essais ont été réalisés pour répondre à une même question thérapeutiq...
Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sé...
Exemple<br />
Résultats concluants - non concluants <br />Essais concluants<br />différence significative<br />en faveur de l'effet du t...
Au total ?<br />Résultats apparemment discordants<br />1 résultats significatifs<br />5 résultats non significatifs<br />I...
Conclusion en faveur de l'efficacité<br />S'appuie sur les résultats significatifs<br />un seul, mais essai parmi les deux...
Conclusion en défaveur de l'efficacité<br />La majorité des essais sont non significatifs<br />Un seul essai est significa...
Les résultats apparemment discordants sont de règle <br />Quelle est la probabilité d'obtenir un second essai significatif...
Réplication d’un essai<br />H1<br />H0<br />Effet<br />Limite de rejet de H0<br />
conclusion<br />On ne peut pas interpréter globalement un ensemble de p-value<br />En raison des risques statistiques alph...
Solution ...<br />La taille de l'effet est plus informatif que la conclusion binaire significatif / non significatif<br />
Solution - 1<br />Existence de risques d'erreur statistiques alpha et beta  au niveau des résultats des essais<br />Calcul...
Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sé...
Synthèse de résultats d'essais thérapeutiques<br />Revue de la littérature<br />pas de méthode, subjectif<br />correspond ...
Fréquence de citation en fonction des résultats<br />Hypocholestérolémiants, Ravnskov, BMJ 1992<br />Nombre de citations p...
Fréquence de citation en fonction des résultats (2)<br />2 essais publié dans le JAMA<br />Fréquence de citation dans les ...
Solution - 2<br />Sélection arbitraire des essais en fonction de leurs résultats<br />Prise en compte de tous les essais q...
Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sé...
MA = GIGO<br />méta-analyse biaisée<br />essais biaisés<br />
GIGO conséquence 1<br />La méta-analyse n'est pas une méthode magique<br />elle n'améliore pas la qualité des études qu'el...
Exemple : bêta-carotène et mortalité cardiovasculaire<br />
GIGO - conséquence 2<br />Une ou des études biaisées biaisent le résultat de la méta-analyse<br />Effet tampon de la MA: r...
Solution - 3<br />La prise en compte d'essais biaisés qui faussent le résultat de la synthèse <br />Sélection des essais d...
Critère méthodologique de sélection des essais non biaisés<br />
Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sé...
Biais de publication<br />Les essais positifs sont plus facilement publiés que les négatifs<br />Différence significative<...
Biais de publication<br />Un essai peut être positif à tort (risque alpha)<br />Exemple d'un traitement sans efficacité<br...
Biais de publication (2)<br />Influence de la significativité des résultats sur la publication<br />Easterbrook et al., La...
Biais de publicationévaluation<br />Évaluation de l'influence de la signification des résultats sur l'acceptation d'un man...
Solution - 4<br />Biais de publication lié à la non publication des résultats négatifs <br />Recherche exhaustive des essa...
Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sé...
Difficultés<br />Danger = regrouper des informations différentes<br />patients différents<br />traitements différents<br /...
Opposition  pragmatique - explicatif<br />Pragmatique<br />Explicatif<br />Critères larges<br />Critères précis<br />Effet...
Solution - 5<br />Sens d'un résultat global <br />Formulation précise d'une question cliniquement pertinente<br />
Solutions apportées par la MA<br />Synthèse<br />répondant à une question précise<br />Exhaustive<br />arguments en faveur...
Upcoming SlideShare
Loading in...5
×

Les problématiques liées à la multiplicité des résultats

555

Published on

Justification des principes de base de la méta-analyse

Published in: Health & Medicine
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
555
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Les problématiques liées à la multiplicité des résultats

  1. 1. Les problématiques liées à la multiplicité des résultats<br />Michel Cucherat<br />TrialResults-center.org<br />
  2. 2. Multiplicité des résultats<br />En général plusieurs essais ont été réalisés pour répondre à une même question thérapeutique<br />Résultats variables voir contradictoires<br />Nécessité d’une interprétation globale<br />Pour éviter une sélection des arguments<br />La réalisation d’une synthèse optimale pose un certain nombre de problèmes<br />La méta-analyse a été développée pour apporter une réponse satisfaisante à chacune de ces difficultés<br />
  3. 3. Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sélection des essais<br />Pollution par les études biaisées<br />Conséquence de la non publication de certains travaux<br />Sens d'un résultat global, agrégatif<br />
  4. 4. Exemple<br />
  5. 5. Résultats concluants - non concluants <br />Essais concluants<br />différence significative<br />en faveur de l'effet du traitement<br />mais risque alpha (conclure à tort à l’efficacité)<br />Essais non concluants<br />différence non significative<br />ne donnent pas d'argument en faveur de l'effet du traitement<br />deux origines<br />Réelle absence d’effet du traitement<br />manque de puissance (risque beta)<br />
  6. 6. Au total ?<br />Résultats apparemment discordants<br />1 résultats significatifs<br />5 résultats non significatifs<br />Il est possible de faire deux conclusions opposées<br />au total, ces résultats sont en faveur de l'efficacité du traitement<br />au total, ces résultats ne sont pas en faveur de l'efficacité du traitement<br />
  7. 7. Conclusion en faveur de l'efficacité<br />S'appuie sur les résultats significatifs<br />un seul, mais essai parmi les deux plus grands<br />Les résultats non significatifs<br />sont expliqués par un manque de puissance car ce sont des essais plus petits<br />(mais essai n°3, le plus grand non significatif )<br />
  8. 8. Conclusion en défaveur de l'efficacité<br />La majorité des essais sont non significatifs<br />Un seul essai est significatif<br />rejeté en argumentant le risque alpha<br />Et en plus inflation du risque alpha (6 test au total)<br />Non prise en compte du manque de puissance des essais non significatifs<br />
  9. 9. Les résultats apparemment discordants sont de règle <br />Quelle est la probabilité d'obtenir un second essai significatif <br />après un premier essai <br />ayant obtenu p=0.049 <br />et ayant estimé parfaitement le vrai effet du traitement<br />50%<br />
  10. 10. Réplication d’un essai<br />H1<br />H0<br />Effet<br />Limite de rejet de H0<br />
  11. 11. conclusion<br />On ne peut pas interpréter globalement un ensemble de p-value<br />En raison des risques statistiques alpha et beta<br />Et de la puissance variable des essais<br />Il faut trouver autre chose<br />La taille d’effet (risque relatif pe) est à l’abris des risques statistiques<br />
  12. 12. Solution ...<br />La taille de l'effet est plus informatif que la conclusion binaire significatif / non significatif<br />
  13. 13. Solution - 1<br />Existence de risques d'erreur statistiques alpha et beta au niveau des résultats des essais<br />Calcul d'un effet traitement commun à partir des données de chaque essai<br />
  14. 14. Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sélection des essais<br />Pollution par les études biaisées<br />Conséquence de la non publication de certains travaux<br />Sens d'un résultat global, agrégatif<br />
  15. 15. Synthèse de résultats d'essais thérapeutiques<br />Revue de la littérature<br />pas de méthode, subjectif<br />correspond parfois à une simple opinion argumentée<br />discursif<br />
  16. 16. Fréquence de citation en fonction des résultats<br />Hypocholestérolémiants, Ravnskov, BMJ 1992<br />Nombre de citations par an<br />résultats favorable (n=14) 40<br />résultats non favorables (n=10) 7.4<br />résultats favorable dans une grande revue (n=8) 61<br />
  17. 17. Fréquence de citation en fonction des résultats (2)<br />2 essais publié dans le JAMA<br />Fréquence de citation dans les années suivant la publication<br /> 1er 2ème 3éme 4éme<br />LRC, favorable 109 121 202 180<br />Miettinen, non favorable 6 5 3<br />
  18. 18. Solution - 2<br />Sélection arbitraire des essais en fonction de leurs résultats<br />Prise en compte de tous les essais quelle que soit la nature de leur résultat<br />
  19. 19. Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sélection des essais<br />Pollution par les études biaisées<br />Conséquence de la non publication de certains travaux<br />Sens d'un résultat global, agrégatif<br />
  20. 20. MA = GIGO<br />méta-analyse biaisée<br />essais biaisés<br />
  21. 21. GIGO conséquence 1<br />La méta-analyse n'est pas une méthode magique<br />elle n'améliore pas la qualité des études qu'elle regroupe<br />p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation <br />
  22. 22. Exemple : bêta-carotène et mortalité cardiovasculaire<br />
  23. 23. GIGO - conséquence 2<br />Une ou des études biaisées biaisent le résultat de la méta-analyse<br />Effet tampon de la MA: résultat de la MA moins biaisé que celui des essais biaisés<br />détection par les outils de recherche de l'hétérogénéité<br />Décision prise en fonction de la MA est moins erronée que celle prise uniquement en fonction de/des essais biaisés <br />
  24. 24. Solution - 3<br />La prise en compte d'essais biaisés qui faussent le résultat de la synthèse <br />Sélection des essais dont la qualité méthodologique garantit suffisamment l'absence de biais<br />
  25. 25. Critère méthodologique de sélection des essais non biaisés<br />
  26. 26. Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sélection des essais<br />Pollution par les études biaisées<br />Conséquence de la non publication de certains travaux<br />Sens d'un résultat global, agrégatif<br />
  27. 27. Biais de publication<br />Les essais positifs sont plus facilement publiés que les négatifs<br />Différence significative<br />Différencenon-significative<br />Publication<br />
  28. 28. Biais de publication<br />Un essai peut être positif à tort (risque alpha)<br />Exemple d'un traitement sans efficacité<br />Risque alpha = 5%<br /> Essais réalisés Essais publiés<br />E. positifs 5 5<br />E. négatifs 95 0<br />Méta-analyse<br />positive<br />Méta-analyse<br />négative<br />!<br />
  29. 29. Biais de publication (2)<br />Influence de la significativité des résultats sur la publication<br />Easterbrook et al., Lancet 1991<br />285 études soumises au comité d'éthique d'Oxford<br />
  30. 30. Biais de publicationévaluation<br />Évaluation de l'influence de la signification des résultats sur l'acceptation d'un manuscrit <br />
  31. 31. Solution - 4<br />Biais de publication lié à la non publication des résultats négatifs <br />Recherche exhaustive des essais publiées et non publiés<br />
  32. 32. Problèmes liés à la synthèse de l'information<br />Existence d'un risque d'erreur statistique au niveau des essais<br />Sélection des essais<br />Pollution par les études biaisées<br />Conséquence de la non publication de certains travaux<br />Sens d'un résultat global, agrégatif<br />
  33. 33. Difficultés<br />Danger = regrouper des informations différentes<br />patients différents<br />traitements différents<br />des critères différents<br />des essais de qualité différente<br />mélanger des pommes et des oranges<br />La synthèse de l’information a-t-elle un sens ?<br />Solution :<br />question précise<br />
  34. 34. Opposition pragmatique - explicatif<br />Pragmatique<br />Explicatif<br />Critères larges<br />Critères précis<br />Effet de la baisse ducholestérol<br />Effet des statines<br />
  35. 35. Solution - 5<br />Sens d'un résultat global <br />Formulation précise d'une question cliniquement pertinente<br />
  36. 36. Solutions apportées par la MA<br />Synthèse<br />répondant à une question précise<br />Exhaustive<br />arguments en faveur et en défaveur de l'hypothèse<br />Quantifiée<br />prise en compte des problèmes statistiques<br />meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible<br />Basée sur des résultats non biaisés <br />Reproductible : méthodologie<br />
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×