Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Évaluer nos dispositifs et nos interventions : par où commencer ?

60 views

Published on

Présentation de Thomas Saïas, Ph. D., Chercheur, CRISE, Professeur, UQAM réalisée le 28 mai 2018 dans le cadre de l'institut d'été du CRISE. Cette présentation discute des enjeux reliés à la modélisation d'un programme à évaluer ainsi que ceux qui émanent de l'évaluation de type "implantation" et des "des effets".

Published in: Healthcare
  • Be the first to comment

  • Be the first to like this

Évaluer nos dispositifs et nos interventions : par où commencer ?

  1. 1. Évaluer nos dispositifs et nos interventions : par où commencer ? Thomas Saïas Professeur, UQAM Membre du CRISE
  2. 2. Évaluer oui, mais bien, svp • Nurse-Family Partnership • Effets • Implantation • Réplication  Mise en évidence de « l’effet Thomas »
  3. 3. L’évaluation d’interventions • Tout un programme • « Est-ce que ça marche ? » • « Que faudrait-il faire pour que ça fonctionne ? » • « Comment atteindre nos objectifs ? » • « Pourquoi ne parvenons-nous pas à avoir des effets alors que d’autres en ont eu ? »
  4. 4. Différentes conception de l’évaluation Intervention Effets
  5. 5. Différentes conception de l’évaluation Intervention Effets Processus
  6. 6. Différentes conception de l’évaluation Théorie de l’intervention Effets Processus Intervention
  7. 7. Différentes conception de l’évaluation Théorie de l’intervention Processus Intervention Implantation Effets
  8. 8. Différentes conception de l’évaluation Théorie de l’intervention Effets positifs Processus Intervention Effets à long terme + ou - Effets négatifs Implantation
  9. 9. Différentes conception de l’évaluation Théorie de l’intervention Effets positifs (chez qui ?) Processus Intervention Effets à long terme + ou - Effets négatifs (chez qui ?) Implantation
  10. 10. Différentes conception de l’évaluation Théorie de l’intervention Effets positifs (chez qui ?) Processus Intervention Effets à long terme + ou - Effets négatifs (chez qui ?) Contextes Implantation Contextes Contextes Contextes Contextes Contextes Contextes
  11. 11. Différentes conception de l’évaluation Théorie de l’intervention Effets positifs Processus Intervention Effets à long terme + ou - Effets négatifs Contextes Implantation Contextes Contextes Contextes Contextes Contextes Contextes Qui pense ? Qui implante ? Qui évalue ? Qui paie ? Qui promeut ? Qui utilise ?
  12. 12. L’évaluation : multidimensionnelle • Produire de l’information scientifique (cognitif) • Porter des jugements (normatif) • Améliorer une situation (instrumental) • Provoquer des débats (démocratique) • «L’utilité sociale d’une évaluation dépend des conditions d’appropriation des conclusions par les acteurs sociaux auxquels elle est destinée» (Monnier 1992).
  13. 13. Ce que l’on vise 1. Savoir pour élaborer une intervention (but stratégique) 2. Savoir pour décider si on continue, si on arrête, si on change (but sommatif) 3. Savoir pour modifier (but formatif) 4. Savoir pour… savoir (but fondamental) 5. Savoir pour avoir de l’influence sur les décisions politiques (but tactique & politique)
  14. 14. Interventions diverses, évaluations diverses • LA classique : • Objectif unique • Indicateurs objectivables (psychométrie) • Sujets identifiables • Processus cadrés = Recherche « expérimentale »
  15. 15. • Dans la réalité
  16. 16. « L’évaluation » 1. N’existe pas 2. Si on vous dit le contraire (et on vous le dira), on vous ment 3. Une multiplicité de stratégies permettent d’évaluer ce que vous avez à évaluer 4. Le choix de la stratégie dépend de votre théorie d’intervention et de vos questions évaluatives Commençons par là : arrêter de faire, puis réfléchir
  17. 17. Révéler la logique des interventions
  18. 18. L'intervention et ses composantes • « Une intervention peut se concevoir comme un système organisé d'action visant, dans un environnement donné, à un moment donné, et durant une période donnée à modifier le cours prévisible d'un phénomène pour corriger une situation problématique » (Contandriopoulos, 2007)
  19. 19. L'intervention et ses composantes • Cinq composantes: 1. Une structure 2. Des acteurs et leurs pratiques 3. Des processus d'action 4. Une ou des finalités 5. Un environnement • Une intervention peut être: • Une technique • Un traitement • Une pratique • Un programme • Une politique
  20. 20. Vos exemples 1. Structure 2. Acteurs et leurs pratiques 3. Processus d'action 4. Finalités 5. Environnement
  21. 21. L’intervention (Brousselle et al.)
  22. 22. L’intervention (Brousselle et al.)
  23. 23. Modéliser les interventions • S’éloigner du modèle de la boîte noire = • Bien connaître l’intervention • Essentiel pour identifier les relations de cause à effet • Permet de s’assurer du lien entre les résultats et le programme • Étape pour comprendre pourquoi certains programmes fonctionnent ou ne fonctionnent pas • Utile pour décider quelle évaluation effectuer
  24. 24. Approches et questions d’évaluation
  25. 25. Questions et approches pour l’évaluation d’une intervention
  26. 26. Modéliser des interventions : la première de toutes les tâches
  27. 27. L’objectif de la modélisation • Mieux saisir la logique sous-jacente de l’intervention (Chen, Cato et Rainford, 1998 cité par Renger et Titcomb, 2002) • Modéliser revient à représenter les composantes de l’intervention et leurs liens (Frechtling 2007) • La modélisation présente les quoi, les comment et les pourquoi de l’intervention (Weiss 2000). • Trois modèles: • Le modèle causal • Le modèle logique théorique (change model: comment nous pensons que le changement va s’opérer) • Le modèle logique opérationnel (program model: opérationnalisation du programme)
  28. 28. De la logique à la modélisation On veut régler un problème En agissant sur une ou plusieurs causes et en en ignorant d’autres En agissant sur les déterminants des causes Et leurs déterminants En produisant des services En faisant des activités En utilisant des ressources Objectif ultime Objectif d’intervention Objectifs de production (proximaux, intermédiaires) Processus Structure
  29. 29. On veut régler un problème En agissant sur une ou plusieurs causes et en en ignorant d’autres En agissant sur les déterminants des causes Et leurs déterminants En produisant des services En faisant des activités En utilisant des ressources Objectif ultime Objectif d’intervention Objectifs de production (proximaux, intermédiaires) Processus Structure Modèle causal Modèle logique théorique Modèle logique opérationnel
  30. 30. Exemple d’influence théorique • Prévention du suicide des aînés • Version santé publique (Saïas et coll., 2014) • Quel modèles causal & théorique • Liens avec dépression • Isolement • Facteurs de risque : TS parmi tous • Quelles conséquences pour le modèle opérationnel • Version psychologie communautaire critique • Alternatives aux modèles causal & théorique • Conséquences pour le modèle opérationnel • Le théorique n’est pas très loin du politique
  31. 31. Évaluer la logique de nos interventions : trois modèles
  32. 32.  problèmes Problème ciblé Objectifs d’intervention: FDR et population Objectif Ultime Autres FDR Structure (moyens ressources) Processus Objectif de production Analyse stratégique Analyse logique
  33. 33.  problèmes Problème ciblé Objectifs d’intervention: FDR et population Objectif Ultime Autres FDR Structure (moyens ressources) Processus Objectif de production Modèle CAUSAL
  34. 34.  problèmes Problème ciblé Objectifs d’intervention: FDR et population Objectif Ultime Autres FDR Structure (moyens ressources) Processus Objectif de production Modèle LOGIQUE THEORIQUE
  35. 35.  problèmes Problème ciblé Objectifs d’intervention: FDR et population Objectif Ultime Autres FDR Structure (moyens ressources) Processus Objectif de production Modèle LOGIQUE OPERATIONNEL
  36. 36. Ensuite • On peut maintenant se demander « ce qui fonctionne » Mais… • Comment : pour pouvoir le faire, l’adapter et le refaire • Quoi : les effets, positifs ET négatifs • Pour qui : pour éviter « l’effet Matthieu » • Sous quelles conditions : pour éviter « l’effet Thomas »
  37. 37. La suite • Relève davantage du technique • Sera bonne si la logique est bonne • Doit être fait éthiquement • En vous appuyant sur votre expérience • En réfutant le scientisme et le totalitarisme de l’evidence-based • En amenant néanmoins des arguments pour les décideurs
  38. 38. Bon courage ! On est là pour vous aider ! Equipe de recherche Epione : santé publique, santé communautaire laboepione.ca thomas.saias@uqam.ca

×