Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
L’approche qualitative à la
rescousse en évaluation de
programme
Luc Dargis, M. Sc., Documentaliste, CRISE
Plan de la présentation.
Luc Dargis, M. Sc., Documentaliste, CRISE
• Définition des concepts pertinents à l’évaluation de ...
Objectifs d’apprentissage.
Luc Dargis, M. Sc., Documentaliste, CRISE
• Familiarisation avec des concepts importants en éva...
Quelques définitions.
Luc Dargis, M. Sc., Documentaliste, CRISE
a. Qu’est-ce qu’un programme?
i. Définition heuristique : ...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
a. Qu’est-ce qu’une intervention?
i. Définition de...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
a. Qu’est-ce qu’une intervention?
i. Interventions...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce que l’évaluation de programme?
i. L’é...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. L’évaluation est l’appréciation systématique de...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. L’évaluation est l’appréciation systématique de...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. L’évaluation est l’appréciation systématique de...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Bref, l’évaluation de programme, c’est quoi?
i....
Planification et choix de la
méthode
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Perspective épistémologique réaliste de ...
Planification et choix de la
méthode
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Perspective épistémologique réaliste de ...
Planification et choix de la
méthode
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Perspective épistémologique réaliste de ...
Planification et choix de la
méthode
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Positionnement dans le cadre de cette pr...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. La nature de la question d’évaluation : qu’est-...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation des besoins ?
i. Re...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation des besoins ?
i. Ca...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation des besoins ?
i. Vi...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation d’implantation et/o...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation d’implantation et/o...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation des effets?
i. Vise...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’est-ce qu’une évaluation des effets?
i. Peut...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’entend-on par contexte d’évaluation?
i. Peut...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’entend-on par contexte d’évaluation?
i. Conc...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’entend-on par contexte d’évaluation?
i. Élém...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’entend-on par contexte d’évaluation?
i. Les ...
Quelques définitions (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Qu’entend-on par contexte d’évaluation?
i. La p...
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Question d’évaluation
i. On peut situer les questions d’évaluation sur un con...
Luc Dargis, M. Sc., Documentaliste, CRISE
Approche qualitative
Caractériser les usagers potentiels d’un
programme;
Explore...
Approche quantitative, approche qualitative, quelques comparaisons (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
Cont...
Approche quantitative, approche qualitative, quelques comparaisons (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
Appr...
Pause
Luc Dargis, M. Sc., Documentaliste, CRISE
Critères de scientificité
Luc Dargis, M. Sc., Documentaliste, CRISE
• Indépendance de la démarcheObjectivité
• Capacité d’...
Critères de scientificité (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Adaptation de l’outil d’évaluation de la q...
Critères de scientificité (suite).
Luc Dargis, M. Sc., Documentaliste, CRISE
Choix du devis
Rationnel
expliquant le
choix ...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Présentation de l’étude: Chung-Do et al., 201...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Présentation de l’étude: Chung-Do et al., 201...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Présentation de l’étude: Chung-Do et al., 201...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
• Aucune ...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
• Le cont...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
•Aucune i...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
•Aucune i...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
Contexte de
découverte
Contexte de
preuve
i. Pré...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Appréciation de la rigueur: Chung-Do et al., ...
Exemple d’évaluation de besoins
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Appréciation de la rigueur: Chung-Do et al., ...
Évaluation de programme :
L’exemple du programme manifestation de l’auto-
stigmatisation des aîné(e)s qui présentent des p...
Auto-stigmatisation chez les aîné(e)s
• Objectifs
• Caractérisation des effets et des manifestations de l’auto-stigmatisat...
Auto-stigmatisation chez les aîné(e)s
• Trois phénomènes principaux à l’étude
• La surdité (S)
• La stigmatisation-auto-st...
Phase 1: Étude de cas unique
• Classification des données
• Élaboration des thèmes
Phase 2: Analyse de cas multiples
• Dét...
Conclusions de la recherche qualitative
 Le parcours des aîné(e)s malentendants s’avère multidirectionnel
 Des processus...
Conclusions de la recherche qualitative
 La flexibilité des caractéristiques de l’identité sociale semble
constituer un f...
Programme
rester à l’écoute
Activités et devis de recherche
Modèle théorique
• Programme par agent multiplicateur
• Modèle éducationnel
• Un organisme identifie des formateurs potent...
Modèle théorique (suite.)
• Avantages agents multiplicateurs
• Favorise la crédibilité des informations transmises
• Facil...
Programme par agents
multiplicateurs
• Illustration programme par agents multiplicateurs
Organisme central
diffuseur
d’inf...
Devis de recherche
Formation
des proches
Session 1
Psychoed
Session 2
Pratique
Pré-test
Temps 0
1 sem
avant
Post-test
Temp...
Activités du programme d’intervention MFA
Formation des proches
1
•Psychoéducation
•Exploration
adhérence aux
stéréotypes
...
Première séance avec l’aîné(e): activité I
Démence et sénilité
La démence est inévitable en vieillissant.
• EN ACCORD
• EN DÉSACCORD
Démence et sénilité
• Distincte du vieillissement normal, la démence est une maladie qui
cause une dégradation de la mémoi...
Activité II
Mon quotidien
Avant...
Maintenant...
Nommez au moins une activité
sociale que vous pratiquez
régulièrement et qui est
impo...
Activité III
Qu’est-ce qui te chicotte
Je porte une prothèse à la
main droite. Quand je
rencontre une nouvelle
personne, ça crée un
mal...
Qu’est-ce qui te chicotte
Voici une situation où le vieillissement
me chicotte
Activité IV
Disposition au changement
À quel point cette perte est
importante pour toi
À quel point pensez-vous être
capable de remédi...
Disposition au changement
Quel est l’avantage de ne pas
remédier à cette limite
Quel est l’inconvénient de ne
pas remédier...
Identités multiples
Activité
sociale passée
Activité sociale
actuelle
Fréquence
(mensuelle,
hebdomadaire,
quotidienne)
Jus...
Activité VI
Disponibilité des ressources
• Objectifs:
• Augmenter le sentiment d’efficacité personnelle
• Informer l’aîné(e) à propos ...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Présentation de l’étude: Gagné et al., 20...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
• Éch...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
• Pré...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
•À dé...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Le contexte d’évaluation du projet:
•Expe...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Appréciation de la rigueur: Gagné et al.,...
Exemple d’évaluation d’implantation
Luc Dargis, M. Sc., Documentaliste, CRISE
i. Appréciation de la rigueur: Gagné et al.,...
Conclusion
Luc Dargis, M. Sc., Documentaliste, CRISE
i. La prise en compte du contexte permet de situer l’évaluation dans ...
Un grand merci!
Questions?
Luc Dargis, M. Sc., Documentaliste, CRISE
Références
• Ainsworth, M. D. S., & Bell, S. M. (1970). Attachment, exploration, and separation: Illustrated by the behavi...
Upcoming SlideShare
Loading in …5
×

Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme

41 views

Published on

-Définition des concepts pertinents à l’évaluation de programme avec une approche qualitative;
-Planification d’une évaluation de programme: choix de la méthodologie;
-Approche quantitative, approche qualitative quelques comparaisons;
-Critères de scientificité généraux;
-Cadre conceptuel et outils pour critiquer une évaluation de programme avec méthodologie qualitative;
-Présentation d'exemples d'évaluation de programme;
-Synthèse et conclusion.

Published in: Science
  • Be the first to comment

  • Be the first to like this

Phénomène nouveau? Population difficile d’atteinte? Contexte étranger? Différences culturelles? L’approche qualitative à la rescousse en évaluation de programme

  1. 1. L’approche qualitative à la rescousse en évaluation de programme Luc Dargis, M. Sc., Documentaliste, CRISE
  2. 2. Plan de la présentation. Luc Dargis, M. Sc., Documentaliste, CRISE • Définition des concepts pertinents à l’évaluation de programme avec une approche qualitative; • Planification d’une évaluation de programme: choix de la méthode; • Approche quantitative, approche qualitative: quelques comparaisons; • Pause; • Critères généraux de scientificité; • Cadre conceptuel et outils pour critiquer une évaluation de programme avec méthode qualitative; • L’exemple d’une évaluation de besoin: Chung-Do et coll., 2016 • L’exemple du projet rester à l’écoute Gagné et coll. 2015; • Conclusion.
  3. 3. Objectifs d’apprentissage. Luc Dargis, M. Sc., Documentaliste, CRISE • Familiarisation avec des concepts importants en évaluation de programme; • Familiarisation avec l’approche qualitative; • Développement des capacités à critiquer une évaluation de programme impliquant une approche qualitative; • Augmentation du sentiment d’efficacité personnelle à contribuer et à planifier une évaluation de programme en considérant la nature de la question d’évaluation et le contexte d’évaluation.
  4. 4. Quelques définitions. Luc Dargis, M. Sc., Documentaliste, CRISE a. Qu’est-ce qu’un programme? i. Définition heuristique : activités planifiées, organisées et mises en œuvre afin d’améliorer les conditions sociales (Rossi, Freeman, & Lipsey, 1999). Ce faisant, un programme social vise à répondre à un problème ou un besoin social (Rossi et al., 1999). ii. Définition opérationnelle : un programme est un ensemble cohérent, organisé et structuré d’objectifs, de moyens et de personnes qui l’animent. Il se justifie sur la base de besoins définis comme une carence ou un manque qui affecte des individus, une collectivité ou une société. Il est sous le contrôle d’une ou plusieurs personnes responsables de la qualité de sa formulation et de son fonctionnement. Il est mis en place pour transformer une chose ou l’état d’une chose (Plante, (1994) tel que cité par Ridde et Dagenais (2013)).
  5. 5. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE a. Qu’est-ce qu’une intervention? i. Définition de l’Ordre des psychologues du Québec : La psychothérapie est un traitement psychologique pour un trouble mental, pour des perturbations comportementales ou pour tout autre problème entraînant une souffrance ou une détresse psychologique qui a pour but de favoriser chez le client des changements significatifs dans son fonctionnement cognitif, émotionnel ou comportemental, dans son système interpersonnel, dans sa personnalité ou dans son état de santé. Ce traitement va au-delà d’une aide visant à faire face aux difficultés courantes ou d’un rapport de conseils ou de soutien (Ordre des psychologues du Québec, 2017);
  6. 6. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE a. Qu’est-ce qu’une intervention? i. Interventions communautaires ou sociales: Rappaport (1977) avance qu’elles consistent en la prise en compte des valeurs et des objectifs des « intervenants » et autres parties prenantes afin de mettre en œuvre des stratégies et/ou des tactiques à un niveau d’analyse donné (individuel, groupal, organisationnel, institutionnel ou communautaire) visant un changement social.
  7. 7. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce que l’évaluation de programme? i. L’évaluation est un acte permettant de porter une appréciation selon une démarche critique fondée sur une collecte systématique de données à propos de multiples objets dans le but de prendre des décisions (Ridde & Dagenais, 2013);
  8. 8. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. L’évaluation est l’appréciation systématique de la conception, de la mise en œuvre ou des résultats d’une initiative pour des fins d’apprentissage ou de prise de décision (Société canadienne d'évaluation, 2014; Société québécoise d'évaluation de programme, 2018). i. « Appréciation. L’appréciation évaluative tient compte de la valeur, du mérite, de la portée, de l’importance ou de la qualité (Scriven, 1991). Elle peut viser à identifier ce qui fonctionne, pour qui, de quelles façons, dans quelle mesure, dans quelles circonstances et comment (Pawson et Tilley, 2004). Elle peut examiner les résultats attendus et obtenus, la chaîne des résultats, les processus, les facteurs contextuels et la causalité, afin d’apprécier les réalisations ou leur absence (UNEG, 2005). L’évaluation peut se concentrer sur un large éventail de sujets, y compris la pertinence, l’accessibilité, l’intégralité, l’intégration, la réalisation des objectifs, l’efficacité, l’impact, le coût, l’efficience et la durabilité (Patton, 1997; OCDE, 2010). Le processus d’évaluation implique normalement une identification de normes pertinentes, une analyse du rendement au regard de ces normes et une intégration ou une synthèse des résultats pour produire une appréciation globale » (Scriven, 1991; OCDE, 2010).
  9. 9. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. L’évaluation est l’appréciation systématique de la conception, de la mise en œuvre ou des résultats d’une initiative pour des fins d’apprentissage ou de prise de décision (Société canadienne d'évaluation, 2014; Société québécoise d'évaluation de programme, 2018). i. « Systématique. Une évaluation devrait être aussi systématique et impartiale que possible (UNEG, 2005). Une évaluation est méthodique et fournit des informations crédibles, fiables et utiles permettant de réintégrer les leçons apprises dans le processus de prise de décision des utilisateurs et des bailleurs de fonds (OCDE, 2010). L’évaluation est basée sur des données empiriques et généralement sur les méthodes caractéristiques de la recherche sociale, donc sur le processus de collecte et de synthèse des données probantes (Rossi Lipsey et Freeman, 2004). Les conclusions formulées dans les évaluations englobent à la fois un aspect empirique et un aspect normatif (Fournier, 2005). C’est cet aspect normatif – le fait de valoriser les résultats – qui distingue l’évaluation des autres types d’études comme la recherche scientifique fondamentale, l’épidémiologie clinique, le journalisme d’investigation ou les sondages auprès du public. »
  10. 10. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. L’évaluation est l’appréciation systématique de la conception, de la mise en œuvre ou des résultats d’une initiative pour des fins d’apprentissage ou de prise de décision (Société canadienne d'évaluation, 2014; Société québécoise d'évaluation de programme, 2018). i. « Initiatives. L’évaluation peut se concentrer sur des initiatives comme des programmes, des projets, des sous- programmes, des sous-projets ou leurs composants ou éléments (Yarbrough et al, 2011; Scriven, 2003). » ii. « Fins. L’évaluation peut être effectuée pour prendre des décisions, pour former des jugements, pour tirer des conclusions, pour connaître les résultats, pour développer de nouvelles connaissances, pour appuyer le développement organisationnel ou pour renforcer les capacités en réponse aux besoins des parties prenantes. Tout ceci peut conduire à des améliorations, à des décisions concernant la programmation future ou à la responsabilisation, informant au bout du compte l’action sociale, s’attaquant aux problèmes sociaux et contribuant à la vie organisationnelle ou sociale (Yarbrough et al, 2011; Patton, 1997). »
  11. 11. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Bref, l’évaluation de programme, c’est quoi? i. Porter un jugement sur un ensemble organisé animé par des parties prenantes responsables de ressources, d’intrants, d’activités, d’extrants produisant des impacts à court, moyen et long termes avec les mêmes critères, en proposant un rationnel pour ceux-ci en vue de permettre à une ou des parties prenantes de prendre une décision; ii. Un programme peut comporter diverses interventions en son sein mais ne se limite pas à celles-ci; iii.De façon générale, un programme consiste en une organisation plus complexe qu’une intervention en raison de la diversité des éléments le constituant; iv.Une intervention n’est pas nécessairement systématique tandis qu’un programme revêt une certaine systématisation de son déploiement; i. Systématique ne veut pas obligatoirement dire rigide;
  12. 12. Planification et choix de la méthode Luc Dargis, M. Sc., Documentaliste, CRISE i. Perspective épistémologique réaliste de l’évaluation de programme: i. Il existe une « réalité » de laquelle il est possible d’apprendre des choses (Jolly, 2014; Wong, Westhorp, Pawson, & Greenhalgh, 2013) ; i. Que ce soit par simple convenance ou stricte pragmatisme, il s’avère difficile de présumer que le monde se refait à chaque seconde et que le passé n’influence pas l’avenir; i. Ex.: pendant longtemps, il a été présumé qu’il n’y avait que trois types d’attachement : sécuritaire, évitant et ambivalent-résistant (Ainsworth & Bell, 1970). Dans les années 90, un 4e style a été découvert (Main & Solomon, 1990). Cela ne signifie pas que l’attachement n’était pas un bon concept représentant une « réalité » importante pour le développement des enfants, cela signifie que notre connaissance du monde évolue, se raffine, mais que l’essentiel demeure.
  13. 13. Planification et choix de la méthode Luc Dargis, M. Sc., Documentaliste, CRISE i. Perspective épistémologique réaliste de l’évaluation de programme: i. Des « mécanismes » souvent inobservables engendrent des « impacts » observables (Lacouture, Breton, Guichard, & Ridde, 2015; Wong et al., 2013); i. Ici, un classique en suicidologie serait le concept de « psychache » qui représente la douleur perçue comme insoutenable et sans issue motivant une personnes qui en souffre à se tuer (Shneidman, 1993).
  14. 14. Planification et choix de la méthode Luc Dargis, M. Sc., Documentaliste, CRISE i. Perspective épistémologique réaliste de l’évaluation de programme; i. Les mécanismes sont influencés par les contextes dans lesquels ils se déploient, ce qui influence alors leurs impacts (Jolly, 2014; Wong et al., 2013). i. En reprenant l’exemple du mécanisme de « psychache » de Shneidman (1993), si celui-ci explique la motivation d’une personne à mourir, les circonstances dans lesquelles une personne évolue moduleront l’influence du « psychache »; i. Une personne peut souffrir énormément, toutefois, si elle n’a aucun accès à des moyens pour se tuer, il y a de hautes probabilités qu’elle ne meure pas; ii. Les pires circonstances peuvent contribuer au suicide; iii.Les meilleures circonstances peuvent prévenir des suicides;
  15. 15. Planification et choix de la méthode Luc Dargis, M. Sc., Documentaliste, CRISE i. Positionnement dans le cadre de cette présentation i. Adoption d’une position épistémologique réaliste; ii. Un cadre conceptuel se fondant sur la notion de contexte et sur la nature de la question d’évaluation est proposé afin de guider le choix, la mise en œuvre et la critique d’une méthode qualitative; i. « C'est le problème qui doit être résolu, et le contexte de l'étude qui devrait dicter les méthodes que les chercheurs utilisent ... "» (Van Der Maren, 2006).
  16. 16. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. La nature de la question d’évaluation : qu’est-ce qu’on veut savoir, ce qu’on veut documenter, ce qu’on veut comprendre à propos d’un programme; i. Un programme peut se situer à différentes phases de son développement et les besoins d’évaluation émaner de toutes ses constituantes ou de certaines seulement; ii. De façon générale, on dénombre quatre grands types d’évaluation: i. des besoins ou de pertinence; ii. de processus ou d’implantation; iii.des effets; iv.d’efficience; iii.Dans cette présentation, seuls les trois premiers types d’évaluation seront abordés.
  17. 17. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation des besoins ? i. Renvoie à la pertinence du problème auquel se destine un programme (Posavac & Carey, 1997; Rossi et al., 1999); ii. Identifier qui doit bénéficier ou devenir partie prenante du programme (Quinn Patton, 2002; Rossi et al., 1999); i. Dénombrer au sein de la population les personnes qui présentent telles ou telles caractéristiques ou qui vivent un problème; i. Qui se suicide le plus au Québec? i. Les hommes de 45 à 65 ans (Thibodeau & Perron, 2017); ii. Qui fait le plus de tentatives de suicide au Québec? i. Les femmes (Camirand, Traoré, Baulne, & Courtemanche, 2016); iii. Quel territoire comporte les plus au taux de suicide? i. Abitibi-Témiscamingue, Chaudière-Appalaches, Capitale-Nationale et Mauricie – Centre-du-Québec (Thibodeau & Perron, 2017);
  18. 18. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation des besoins ? i. Caractériser les usagers potentiels d’un programme : i. Sachant qu’il s’agit des hommes qui meurent le plus par suicide, quelles sont les caractéristiques de ceux qui se suicident? Y a-t-il des attitudes, des valeurs, des habitudes, des comportements ou des circonstances propres aux hommes qui décèdent par suicide? ii. Au CRISE, une équipe de vaillants et vaillantes chercheurs et chercheuses ont récemment entrepris un projet d’exploration et de description des raisons de mourir évoquées par des utilisateurs du Darknet sur un forum internet;
  19. 19. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation des besoins ? i. Vise à qualifier les besoins d’une population cible (Posavac & Carey, 1997; Quinn Patton, 2002; Ridde & Dagenais, 2013; Rossi et al., 1999); i. Mesurer l’écart entre la situation actuelle et celle désirée; i. Découvrir les besoins d’usagers potentiels; ii. Identifier les éléments qui empêchent les usagers potentiels de combler leur besoins; i. Mesurer l’importance relative de ces entraves au sein de la population des usagers;
  20. 20. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation d’implantation et/ou de processus? i. Vise à estimer à quel point les activités menées sur le terrain correspondent à celles prévues par les concepteurs du programme (Rossi et al., 1999); ii. Permet à une organisation de rendre compte de ses réalisations à ses commettants (Dargis, 2011); iii. Permet d’identifier les éléments facilitant ou entravant la mise en œuvre des activités d’un programme et de discerner l’influence du contexte de celle de ses activités. i. Documenter précisément les activités liées au programme permet d’en comprendre les impacts;
  21. 21. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation d’implantation et/ou de processus? i. L’évaluation des processus correspond à une approche d’évaluation compréhensive (Posavac & Carey, 1997). i. Consiste à explorer, expliquer et comprendre comment les activités du programme influencent les impacts observés de celui-ci selon son contexte propre (Dargis, 2011). i. Produit des connaissances qui précisent les relations qui existent entre le contexte, les activités du programme et ses résultats; ii. Vise à susciter des ajustements au programme.
  22. 22. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation des effets? i. Vise à déterminer si un programme livre les résultats attendus (Ridde & Dagenais, 2013); ii. S’inscrit souvent dans une démarche de reddition de comptes (Quinn Patton, 2002; Rappaport, 1977);
  23. 23. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’est-ce qu’une évaluation des effets? i. Peut permettre de mesurer l’ampleur des bénéfices ou des effets indésirables produits par un programme (Quinn Patton, 2002; Ridde & Dagenais, 2013); ii. Peut permettre de découvrir et nommer les effets désirables et indésirables d’un programme; iii. Offre l’opportunité aux bénéficiaires et aux parties prenantes de décrire leur expérience de façon sommative envers le programme.
  24. 24. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’entend-on par contexte d’évaluation? i. Peut faire référence à de grandes caractéristiques sociales ou géographiques (par exemple le pays dans lequel une intervention opère et ses cultures) ; ii. Caractéristiques affectant la mise en œuvre des programmes (par exemple si le programme se déroule dans une prison, un hôpital ou un service de santé, s'il existe un financement adéquat, les qualifications du personnel) (Wong et al., 2013; Pinnock et al., 2017);
  25. 25. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’entend-on par contexte d’évaluation? i. Concerne la composition des participants à un programme ou les différents profils de population des localités recevant une intervention (Wong et al., 2013; Pinnock et al., 2017); ii. Concerne les conditions dans lesquelles les participants cherchent à faire leur choix (les diplômés d'un programme de formation professionnelle trouveront plus facilement du travail dans un contexte de fort emploi, les bénéficiaires d'une subvention au logement auront plus de difficultés à utiliser cette subvention) (Wong et al., 2013; Pinnock et al., 2017).;
  26. 26. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’entend-on par contexte d’évaluation? i. Éléments à considérer pour décrire le contexte de déploiement d’un programme (liste non exhaustive) i. Complexité: reflétée par la durée des activités ou interventions, la portée (individuelle, sociale, institutionnelle etc.), l’écart entre la situation antérieure à l’implantation du programme et sa mise en œuvre, le nombre d'étapes nécessaires à la mise en œuvre (CFIR Research Team Center for Clinical Management Research, 2014); ii. Les coûts associés au programmes y compris les coûts d'investissement, d'approvisionnement et d'opportunité (CFIR Research Team Center for Clinical Management Research, 2014);
  27. 27. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’entend-on par contexte d’évaluation? i. Les contingences de renforcement et les politiques: politiques et règlements (gouvernement ou autre entité centrale), les mandats externes, les recommandations et les lignes directrices, la rémunération au rendement, les obligations de reddition de compte; ii. La structure des organisations: l’organigramme, l'âge (de l’organisation et des acteurs) et la taille d'une organisation; iii. L’ouverture au changement: la disponibilité des membre d’une organisation à engager des ressources pour mettre en œuvre un changement, la réceptivité partagée des individus impliqués dans une intervention, et la mesure dans laquelle l'utilisation de cette intervention sera récompensée, soutenue et attendue au sein de l’organisation.
  28. 28. Quelques définitions (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Qu’entend-on par contexte d’évaluation? i. La priorisation du programme: qui juge le programme important au sein de l’organisation (CFIR Research Team Center for Clinical Management Research, 2014)? ii. Le sentiment d’efficacité personnelle: le degré auquel ou les éléments qui facilitent ou entravent la perception des parties prenantes à mettre en œuvre un programme (CFIR Research Team Center for Clinical Management Research, 2014); iii. Les ressources disponibles: ressources consacrées à la mise en œuvre et aux opérations en cours, y compris l'argent, la formation, l'éducation, l'espace physique et le temps (CFIR Research Team Center for Clinical Management Research, 2014); . i. Toutes les ressources ne sont pas tangibles: expertise, expériences, leadership, capital de sympathie, quid pro quo, etc.
  29. 29. Luc Dargis, M. Sc., Documentaliste, CRISE i. Question d’évaluation i. On peut situer les questions d’évaluation sur un continuum d’un contexte de découverte et de preuve (Lessard- Hébert, Boutin, & Goyette, 1997) Contexte de découverte Contexte de preuve Approche quantitative, approche qualitative, quelques comparaisons.
  30. 30. Luc Dargis, M. Sc., Documentaliste, CRISE Approche qualitative Caractériser les usagers potentiels d’un programme; Explorer, expliquer et comprendre comment les activités du programme en influencent les impacts observés et selon son contexte propre Découvrir et nommer les effets désirables et indésirables d’un programme Type d’évaluation Des besoins D’implantation Des effets Approche quantitative Dénombrer au sein de la population les personnes qui présentent telle ou telle caractéristique Grands échantillons non nécessaires Mesurer l’ampleur des bénéfices ou des effets indésirables produits par un programme Contexte de découverte Contexte de preuve Approche quantitative, approche qualitative, quelques comparaisons (suite).
  31. 31. Approche quantitative, approche qualitative, quelques comparaisons (suite). Luc Dargis, M. Sc., Documentaliste, CRISE Contexte de découverte Contexte de preuve Documentation du contexte • Ai-je de l’information sur le contexte d’implantation? • Ai-je de l’information pertinente au type d’évaluation que je veux faire? Contrôle sur le contexte • Est-ce que les activités , les ressources, les parties prenantes changent régulièrement?
  32. 32. Approche quantitative, approche qualitative, quelques comparaisons (suite). Luc Dargis, M. Sc., Documentaliste, CRISE Approche quantitative Résultats générabilisables Peut être à faibles coûts Collecte de données rigide Nécessite de grands échantillons Bonne réputation dans le monde académique Approche qualitative Produit des connaissances contextuelles Permet de petits échantillons Flexibilité dans la collecte de données Facilite la découverte d’aspects inconnus mais importants Réputation à établir dans le monde académique
  33. 33. Pause Luc Dargis, M. Sc., Documentaliste, CRISE
  34. 34. Critères de scientificité Luc Dargis, M. Sc., Documentaliste, CRISE • Indépendance de la démarcheObjectivité • Capacité d’une mesure à produire des résultats justes et cohérentsFidélité • Capacité à mesurer ce qu’on veut mesurerValidité
  35. 35. Critères de scientificité (suite). Luc Dargis, M. Sc., Documentaliste, CRISE i. Adaptation de l’outil d’évaluation de la qualité méthodologique pour les recherches employant des méthodes mixtes de Eckhardt et DeVon (2017). i. Permet d’apprécier les recherches qui emploient simultanément des approches qualitatives ou quantitatives; ii. Utilisation relativement intuitive; iii. N’est pas encore validée scientifiquement; iv. Permet néanmoins de porter un jugement sur des aspects importants d’une recherche en vue d’évaluer sa rigueur.
  36. 36. Critères de scientificité (suite). Luc Dargis, M. Sc., Documentaliste, CRISE Choix du devis Rationnel expliquant le choix d’une approche qualitative Explicitation claire des objectifs et du type d’évaluation /2 /2 /2 /2 Méthodologie Rationnel des choix méthodologiques Description suffisante de l’échantillon et justification du mode d’échantillonnage Inférences Présentation des données en lien avec la question d’évaluation Est-ce que les conclusions de l’étude sont convainquantes? Évaluation Utilisation de dispositifs méthodologiques pour assurer la rigueur de l’évaluation Explicitation des limites de l’évaluation
  37. 37. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Présentation de l’étude: Chung-Do et al., 2016. i. Évaluation de besoin adoptant une approche qualitative; ii. Vise à identifier et découvrir les éléments d’un programme de prévention du suicide « Connect Suicide Prevention Program (NAMI-NH) » à adapter afin de répondre aux contexte culturel des communautés hawaïennes des USA iii. Quatre thèmes ont été identifiés et articulés afin d’adapter le programme
  38. 38. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Présentation de l’étude: Chung-Do et al., 2016. i. Les objectifs et les activités du programme: i. Mobiliser les communautés à risque, qui mettait l'accent sur la promotion du leadership des jeunes en matière de prévention du suicide; ii. Amélioration du « Statewide Trauma Network », axé sur le partenariat et la formation des centres de traumatologie et des services d'urgence à travers l‘état d'Hawaï.
  39. 39. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Présentation de l’étude: Chung-Do et al., 2016. i. Des professionnels de la santé, les membres de la communauté et les jeunes de tout l'État d'Hawaï ont été formés et certifiés en tant que formateurs communautaires en utilisant le programme Connect ii. Les formateurs communautaires sont ensuite responsables de mener le programme de prévention du suicide Connect dans leurs communautés respectives. i. Un organisme forme des formateurs qui, à leur tour, forment des membres de leur communauté.
  40. 40. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: • Aucune information fournie Caractéristiques affectant la mise en œuvre des programmes • Les Hawaïens autochtones et les autres insulaires du Pacifique sont parmi les plus à risques de comportements suicidaires parmi les principaux groupes ethniques; • L’initiative « The Hawai‘i’s Caring Communities Initiative (HCCI)” sur la prévention du suicide chez les jeunes a été mise en œuvre par le département de psychiatrie de l'Université d'Hawaï, avec pour mission de prévenir le suicide chez les jeunes et d'accroître l'intervention précoce dans les communautés rurales. Hawaïens et insulaires du Pacifique. Complexité • Aucune information fournie Composition des participants à un programme
  41. 41. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: • Le contexte culturel varié d'Hawaï comprend une grande population d‘Autochtones hawaïens et une forte représentation de plusieurs autres groupes ethniques distincts, les deux tiers des résidents s'identifiant comme étant des Asiatiques et / ou des Insulaires du Pacifique. • Les îles sont désignées par le gouvernement fédéral comme étant des zones de pénurie de professionnels de la santé Grandes caractéristiques sociales ou géographiques • Membres du personnel universitaire HCCI étaient au courant des préoccupations préexistantes des membres de la communauté que les programmes antérieurs de formation en prévention du suicide mis en œuvre dans l'État d'Hawaï n'ont pas complètement répondu aux besoins culturels d'Hawaï . Communautés. L’ouverture au changement • En reconnaissant ces inquiétudes, l'Initiative de prévention du suicide chez les jeunes a été mise en œuvre par le département de psychiatrie de l'Université d'Hawaï, avec pour mission de prévenir le suicide chez les jeunes et d'accroître l'intervention précoce dans les communautés rurales. Hawaïens et insulaires du Pacifique. La priorisation du programme
  42. 42. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: •Aucune information fournie Le sentiment d’efficacité personnelle •Aucune information fournie Les contingences de renforcement et les politiques •Aucune information fournieLes coûts
  43. 43. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: •Aucune information fournieLes ressources disponibles •Aucune information fournieOrganigramme
  44. 44. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE Contexte de découverte Contexte de preuve i. Présentation de l’étude: Chung-Do et al., 2016.
  45. 45. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Appréciation de la rigueur: Chung-Do et al., 2016 •Le but de cette étude qualitative était double: identifier les besoins culturels des communautés rurales d'Hawaï liées aux programmes de prévention du suicide et évaluer le programme Connect en termes de sensibilité culturelle •(1 point, choix de la méthode)Choix du devis •Focus group avec des leaders en prévention du suicide •Ce groupe comprend des individus, des organisations et des membres de la communauté travaillant dans le domaine de la prévention du suicide et des interventions qui jouent un rôle consultatif auprès du Département de la Santé de l'État d'Hawaï. •Identification des leader en fonction de leur implication et de leurs compétences (N=7) •Recrutement de formateurs par les leaders en fonction de leur compétence et focus group pour recueillir leur point de vue sur la sensibilité culturelle de Connect (N=26) •1 point Méthodologie
  46. 46. Exemple d’évaluation de besoins Luc Dargis, M. Sc., Documentaliste, CRISE i. Appréciation de la rigueur: Chung-Do et al., 2016 • Les inférences découlent directement des données présentées; • Les inférences sont contextualisées et relient les découvertes de l’étude au contexte de son évaluation; • Inférences paraissent exhaustives en prévention du suicide; • 2 points Inférences • Présentation en détail des dispositifs de collecte de données (grille de question, durée et description de l’interviewer) • Description en détail des stratégies d’analyse de données et ses jalons; • Explicitation des limites de l’étude (ex: désirabilité sociale); • 2 points Évaluation
  47. 47. Évaluation de programme : L’exemple du programme manifestation de l’auto- stigmatisation des aîné(e)s qui présentent des pertes auditives Gagné et coll., 2015
  48. 48. Auto-stigmatisation chez les aîné(e)s • Objectifs • Caractérisation des effets et des manifestations de l’auto-stigmatisation associée à la déficience auditive et au vieillissement.
  49. 49. Auto-stigmatisation chez les aîné(e)s • Trois phénomènes principaux à l’étude • La surdité (S) • La stigmatisation-auto-stigmatisation (STIG) • Le vieillissement (V) S STIG V C’est la convergence de ces trois phénomènes qui nous intéresse
  50. 50. Phase 1: Étude de cas unique • Classification des données • Élaboration des thèmes Phase 2: Analyse de cas multiples • Déterminer ce qui est partagé par tous les cas • Déterminer les éléments propres à un ou deux cas mais néanmoins pertinents à l’objet de recherche Étude de cas multiple ©DargisDamphousse,2010
  51. 51. Conclusions de la recherche qualitative  Le parcours des aîné(e)s malentendants s’avère multidirectionnel  Des processus de normalisation peuvent contribuer à réduire la stigmatisation  La trajectoire du vieillissement imbriquée dans l’identité sociale semble caractériser les liens entre le vieillissement, la surdité et l’auto-stigmatisation
  52. 52. Conclusions de la recherche qualitative  La flexibilité des caractéristiques de l’identité sociale semble constituer un facteur de protection contre l’auto-stigmatisation  Une trajectoire de vieillissement positive s’avère un facteur de protection contre l’auto-stigmatisation  Le sentiment d’efficacité personnelle peut contribuer à réduire l’auto- stigmatisation  L’entretien d’une estime de soi élevée peut pallier les menaces identitaires liées à l’auto-stigmatisation
  53. 53. Programme rester à l’écoute Activités et devis de recherche
  54. 54. Modèle théorique • Programme par agent multiplicateur • Modèle éducationnel • Un organisme identifie des formateurs potentiels • Les formateurs ont un lien avec les participant(e)s visé(e)s • Les formateurs transmettent une innovation ou prodiguent une intervention aux participant(e)s visé(e)s
  55. 55. Modèle théorique (suite.) • Avantages agents multiplicateurs • Favorise la crédibilité des informations transmises • Facilite l’identification de participant(e)s difficiles à recruter • Permet de cibler potentiellement plus d’individus
  56. 56. Programme par agents multiplicateurs • Illustration programme par agents multiplicateurs Organisme central diffuseur d’information et d’intervention Agents multiplicateurs Cibles IRD Proches (ami(e)s, conjoint(e)s, enfants) Aîné(e)s malentendant(e)
  57. 57. Devis de recherche Formation des proches Session 1 Psychoed Session 2 Pratique Pré-test Temps 0 1 sem avant Post-test Temps 1 1 sem après Visite 1 Session 3 Psychoed Visite 2 Session 5 Identités multiples Formation des proches Session 4 Retour sur intervention 1 •Recrut. août •pré-test sept. Sep Oct Oct Nov **action grâce 27Nov Nov 10 décDéc
  58. 58. Activités du programme d’intervention MFA Formation des proches 1 •Psychoéducation •Exploration adhérence aux stéréotypes Formation proches 2 •Introduction aux activités d’intervention •Pratique d’intervention Visite auprès des PA 1 •Transfert d’information •Prise de conscience d’handicap Formation des proches 3 •Retour sur première session d’intervention •Préparation pour la suite Visite auprès des PA 2 •Exploration identités multiples •Retour sur perception du handicap et stade de changement 1 2 3 4 5
  59. 59. Première séance avec l’aîné(e): activité I
  60. 60. Démence et sénilité La démence est inévitable en vieillissant. • EN ACCORD • EN DÉSACCORD
  61. 61. Démence et sénilité • Distincte du vieillissement normal, la démence est une maladie qui cause une dégradation de la mémoire, du raisonnement, du comportement et de l’aptitude à accomplir les activités quotidiennes. • Cette maladie touche principalement mais pas exclusivement les personnes âgées. • C’est une minorité des aîné(e)s qui développeront une démence.
  62. 62. Activité II
  63. 63. Mon quotidien Avant... Maintenant... Nommez au moins une activité sociale que vous pratiquez régulièrement et qui est importante pour vous. Nommez au moins une activité sociale importante pour vous que vous avez déjà pratiquée et que vous ne pratiquez plus maintenant.
  64. 64. Activité III
  65. 65. Qu’est-ce qui te chicotte Je porte une prothèse à la main droite. Quand je rencontre une nouvelle personne, ça crée un malaise au moment où on se serre la main. Quoi C’est gênant pour moi, pour la nouvelle personne, mais aussi pour les gens autour. Qui J’évite parfois de rencontrer du nouveau monde. Conséquence Exemple de Madame X
  66. 66. Qu’est-ce qui te chicotte Voici une situation où le vieillissement me chicotte
  67. 67. Activité IV
  68. 68. Disposition au changement À quel point cette perte est importante pour toi À quel point pensez-vous être capable de remédier à cette perte 1 (pas du tout importante) 10 (très importante) 1 (pas du tout) 10 (tout à fait)
  69. 69. Disposition au changement Quel est l’avantage de ne pas remédier à cette limite Quel est l’inconvénient de ne pas remédier à cette limite Quel est l’avantage à remédier à cette limite Quel est l’inconvénient à remédier à cette limite
  70. 70. Identités multiples Activité sociale passée Activité sociale actuelle Fréquence (mensuelle, hebdomadaire, quotidienne) Justification de l’importance de l’activité en regard des caractéristiques identitaires
  71. 71. Activité VI
  72. 72. Disponibilité des ressources • Objectifs: • Augmenter le sentiment d’efficacité personnelle • Informer l’aîné(e) à propos des ressources disponibles • Activités: • Transfert d’information sur les ressources en réadaptation auditive • Transfert d’information sur les démarches et organismes susceptibles d’offrir des services aux aîné(e)s • Résultats: • Acquisition de connaissances sur les ressources • Augmenter la perception de maîtrise envers la limite identifiée
  73. 73. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Présentation de l’étude: Gagné et al., 2015. i. Les objectifs et les activités du programme i. Évaluation d’implantation ii. Programme par agents multiplicateurs en vue de réduire l’auto-stigmatisation chez les personnes âgées de 65 ans et plus et de favoriser la prise en charge de leur santé auditive
  74. 74. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: • Échéanciers courts Caractéristiques affectant la mise en œuvre des programmes • Plusieurs cibles d’évaluation • Étape multiple d’implantation Complexité • Cibles principales: personnes auto-stigmatisées • Stade de précontemplation/contemplation de changement Composition des participants à un programme
  75. 75. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: • Présence d’âgisme au Québec Grandes caractéristiques sociales ou géographiques • Rôle inusité des camarades envers les proches L’ouverture au changement • De façon générale, la santé auditive n’est pas priorisée La priorisation du programme
  76. 76. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: •À déterminer Le sentiment d’efficacité personnelle •Aucun enjeu Les contingences de renforcement et les politiques •À déterminerLes coûts
  77. 77. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Le contexte d’évaluation du projet: •Expertise de l’IRD •Appui évaluateur de programme Les ressources disponibles •Non pertinent (projet pilote)Organigramme
  78. 78. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Appréciation de la rigueur: Gagné et al., 2015 • Quelle est la conformité des informations transmises par les animatrices aux proches ? • Quelle est la conformité de l’exécution des activités réalisées par les proches auprès des camarades ? • Explorer l’atteinte des objectifs de chaque activité du programme par les dyades proche-camarade • Contexte de découverte et besoin de décrire en profondeur les processus sous-jacents au programme et de quantifier sa conformité: approche mixte (qualitative/quantitative) Choix du devis • Échantillonnage boule de neige et par annonce dans des milieux intéressés par la santé auditive (école d’audiologie) • L’âge moyen chez les proches est de 57 ans, bien que trois d’entre eux soient âgés de plus de 60 ans ; ils disposent d’un haut niveau d’éducation (tous ont un diplôme universitaire ou en voie de l’obtenir), possèdent de l’expérience professionnelle en santé auditive et à l’exception d’un, tous se disent en bonne santé physique • La méthodologie mixte permet la triangulation des données et d’apprécier la fidélité de la démarche Méthodologie
  79. 79. Exemple d’évaluation d’implantation Luc Dargis, M. Sc., Documentaliste, CRISE i. Appréciation de la rigueur: Gagné et al., 2015 • Les difficultés de recrutement ont empêché la composition d’un groupe « contrôle ». Par ailleurs, la petite taille de l’échantillon a engendré des aménagements dans le devis d’évaluation du projet • Au moins un camarade du groupe audition présentait de l’auto-stigmatisation. Cela signifie que malgré la petite taille de l’échantillon, il a été possible de rejoindre, pour au moins une dyade, la population cible • Les résultats du volet 3 indiquent que dans sa forme actuelle, le programme s’avère faisable et sa mise en œuvre essentiellement conforme à ce qui est prévu. Inférences • Triangulation des données • Contre-codification • Analyse indépendante des données qualitatives pour déterminer la présence ou l’absence d’auto- stigmatisation • Focus group pour valider la pertinence des inférences Évaluation
  80. 80. Conclusion Luc Dargis, M. Sc., Documentaliste, CRISE i. La prise en compte du contexte permet de situer l’évaluation dans une perspective de découverte ou de preuve ii. L’élaboration de la question d’évaluation s’avère l’une des étapes les plus importantes lors de la planification et de l’exécution d’une évaluation de programme iii. Le choix du devis, la méthodologie, les inférences et l’évaluation correspondent aux éléments permettant de porter un jugement sur la rigueur d’une approche qualitative iv. La flexibilité des approches qualitatives permet souvent d’éviter certains écueils (petit échantillon, population difficile à rejoindre, instruments non validés)
  81. 81. Un grand merci! Questions? Luc Dargis, M. Sc., Documentaliste, CRISE
  82. 82. Références • Ainsworth, M. D. S., & Bell, S. M. (1970). Attachment, exploration, and separation: Illustrated by the behavior of one-year-olds in a strange situation. Child development, 49-67. • Bond, M. A., Serrano-García, I. E., Keys, C. B., & Shinn, M. E. (2017). APA handbook of community psychology: Theoretical foundations, core concepts, and emerging challenges, Vol. 1: Washington, DC, US: American Psychological Association. • Camirand, H., Traoré, I., Baulne, J., & Courtemanche, R. (2016). L'enquête québécoise sur la santé de la population 2014-2015: pour en savoir plus sur la santé des Québécois: résultats de la deuxième édition: Institut de la statistique du Québec. • CFIR Research Team Center for Clinical Management Research. (2014). Consolidated Framework for Implementation Research. Retrieved from http://www.cfirguide.org/constructs.html • Chung-Do, J. J., Bifulco, K., Antonio, M., Tydingco, T., Helm, S., & Goebert, D. A. (2016). A cultural analysis of the NAMI-NH Connect Suicide Prevention Program by rural community leaders in Hawai‘i. Journal of Rural Mental Health, 40(2), 87-102. doi:10.1037/rmh0000044 • Dargis, L. (2011). Recherche qualitative examinant les liens entre un programme de bourses, le parcours scolaire des bénéficiaires et leur contexte familial au Bénin. • Eckhardt, A. L., & DeVon, H. A. (2017). The MIXED framework: A novel approach to evaluating mixed‐methods rigor. Nursing Inquiry, 24(4), 1-13. doi:10.1111/nin.12189 • Jolly, H. (2014). telling context from Mechanism in Realist evaluation: the role for theory. International Journal of Learning in Social Contexts, 14. • Lessard-Hébert, M., Boutin, G., & Goyette, G. (1997). La recherche qualitative: fondements et pratiques: De Boeck Supérieur. • Main, M., & Solomon, J. (1990). Procedures for identifying infants as disorganized/disoriented during the Ainsworth Strange Situation. Attachment in the preschool years: Theory, research, and intervention, 1, 121-160. • Ordre des psychologues du Québec. (2017). L’encadrement de la psychothérapie: un défi de la loi 21. Retrieved from https://www.ordrepsy.qc.ca/web/ordre-des-psychologues-du-quebec/-/l-encadrement-de-la-psychotherapie-un-defi-de-la-loi-21 • Pinnock, H., Barwick, M., Carpenter, C. R., Eldridge, S., Grandes, G., Griffiths, C. J., . . . Patel, A. (2017). Standards for Reporting Implementation Studies (StaRI): explanation and elaboration document. BMJ open, 7(4), e013318. • Posavac, E. J., & Carey, R. G. (1997). Program evaluation: Methods and case studies. • Quinn Patton, M. (2002). Qualitative research and evaluation methods: Sage. • Rappaport, J. (1977). Community psychology: Values, research, and action: Harcourt School. • Ridde, V., & Dagenais, C. (2013). Approches et pratiques en évaluation de programmes: Les Presses de l'Université de Montréal. • Rossi, P. H., Freeman, H. E., & Lipsey, M. W. (1999). Evaluation: A Systematic Approach. • Shneidman, E. S. (1993). Suicide as psychache: A clinical approach to self-destructive behavior: Jason Aronson. • Société canadienne d'évalution. (2014). Qu'est-ce que l'évaluation? Retrieved from https://evaluationcanada.ca/fr/quest-ce-que-levaluation • Société québécoise d'évaluation de programme. (2018). Qu’est-ce que l’évaluation ? Retrieved from https://www.sqep.ca/evaluation-programme/evaluation/ • Thibodeau, L., & Perron, P.-A. (2017). La mortalité par suicide au Québec : 1981 à 2014 – Mise à jour 2017. Retrieved from Québec, Canada: https://www.inspq.qc.ca/publications/2216 • Van Der Maren, J.-M. (2006). Chapitre 3. Les recherches qualitatives: des critères variés de qualité en fonction des types de recherche L'analyse qualitative en éducation (pp. 65-80): De Boeck Supérieur. • Wong, G., Westhorp, G., Pawson, R., & Greenhalgh, T. (2013). Realist synthesis: RAMESES training materials. London: University of London.

×