Annual Results and Impact Evaluation Workshop for RBF - Day Eight - Évaluation d'impact et HRITF - Les étapes clés, les outils et ce qui est requis

  • 59 views
Uploaded on

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

More in: Healthcare
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
59
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
2
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. H E A LTH RESU LTS IN NOVATION TRUS T FU N D Évalua&on  d'impact                                   et  HRITF   Atelier  FBR,  1er  avril  2014   Les étapes clés, les outils et ce qui est requis
  • 2. Table  des  ma&ères   •  Etapes  clés   –  Portefeuille  d'évalua&on  du  HRITF   –  Etapes  clés,  financement  et  résultats  aGendus   •  Ou&ls  et  sou&en   –  Guide  pra&que  pour  l'évalua&on  d'impact   –  Atelier  annuel  consacré  à  l’évalua&on  d’impact   •  Ce  qui  est  requis   –  Approba&on  par  la  Banque  mondiale  des  publica&ons   et  ar&cles   –  Disponibilité  des  données   –  Poli&que  de  reproduc&on  
  • 3. Portefeuille  d'évalua&on  du  HRITF   Type  d’évalua-on                                                     et  montant    maximal   Nombre   d'évalua-ons   CPG   Nombre   d'évalua-ons   séparées   Nombre  total   d'évalua-ons   Évalua&ons  de  l'impact     (maximum  USD  1,5  millions)   26   6   32   Évalua&ons  du  processus     (maximum  USD    400  000)   3   -­‐   3   Évalua&ons  de  programme   améliorées  (maximum  USD   400  000)   -­‐   1   1   Évalua&ons  qualita&ves     (maximum  USD  250  000)   4   -­‐   4   Évalua&ons  de  programme     (maximum  USD  75  000)   -­‐   5   5   Total   34   12   45   La  somme  de  51  millions  de  dollars,  soit  environ  10  %  du  financement  HRITF,  est  engagée   pour  45  évalua&ons,  soit  32  évalua&ons  d'impact  et  13  études  plus  pe&tes.    
  • 4. Etapes  clés,  financement  et  résultats  aGendus   • 5  %  soit  75  000   dollars  pour   élaborer  la  note   conceptuelle   Approba&on  de  la   note  conceptuelle   • 40  %  soit  600  000   dollars    pour   collecter  les   données  de   référence   Collecte  et   téléchargement   des  données  de   référence     • 5  %  soit  75  000   dollars    pour   élaborer  le   rapport  de   référence   Présenta&on   du  rapport  de   référence   • 45  %  soit  675  000   dollars  pour  la  collecte   de  données  de  fin   d'enquête  et  le   rapport   Collecte  et   téléchargement   des  données  de   fin  d'enquête   •   5  %  soit  75  000   dollars  à  &tre  de   paiement  final   après  la   présenta&on  du   rapport  final   Présenta&on  du   rapport  final   Calendrier  de  l'évalua-on  d'impact   Total  du  financement:  1,5  million  de  dollars  du  début  à  la  fin     Période  d'exécu&on  du  projet   Les  données  de   l’enquête  de  base   sont  collectées   avant  le  début  du   projet   Les  données  de   l’enquête  finale  sont   collectées  après   l'achèvement  du  projet   Concep&on   du  projet  
  • 5. Guide  pra&que  d’Evalua&on  d’Impact   sur  Internet  (Impact  Evalua&on  Toolkit)  
  • 6. Sources  d'aide  sur  l'évalua&on  d'impact    Manuel  :  pourquoi,   quoi  et  comment  ?   Guide  pra&que  
  • 7. Guide  pra&que  (Toolkit)   • Élaboré  dans  le  cadre  du  Fonds  fiduciaire   pour  l'innova&on  en  ma&ère  de  résultats   dans  la  santé  (HRITF)   – Appuie  les  approches  de  financement  basé  sur   les  résultats     – Donne  la  priorité  aux  OMD  de  santé  (1c,  4  et  5)   – Renforce  les  connaissances  sur  le  financement   basé  sur  les  résultats   – -­‐>  dans  le  cadre  de  l'évalua&on  de  l'impact   – -­‐>  dans  le  cadre  d'autres  types  d'évalua&ons    
  • 8. Évalua&on  de  l'impact  dans  le  HRITF   •  Prospec&ve  :  évalua&on  intégrée  dans  la  concep&on   du  programme   •  Solide  :  groupe  de  traitement  et  groupe  témoin   •  Appar&ent  aux  équipes-­‐pays   •  Mis  à  l'échelle  :  36  évalua&ons  d'impact  à  différents   stades   –  2  évalua&ons  d’impact  achevées     –  17  en  cours     –  17  au  stade  de  la  concep&on  (6  à  un  stade  avancé  et  11  à  un   stade  ini&al)   •  Guide  pra&que  conçu  pour  soutenir  les  équipes   –  Mais  peut  être  u&le  à  quiconque  s'intéresse  à  l'évalua&on   d'impact   8  
  • 9. Propre  au   FBR   25  %   Générique   75  %   Teneur  du  guide  pra-que  
  • 10. www.worldbank.org/health/ impactevalua&ontoolkit  
  • 11. Module  2:  Cons&tuer  l'équipe   d'évalua&on  d'impact   •  «  Le  responsable  de  l'évalua&on  a  décidé  que  les   enquêtes  ne  produisaient  pas  de  résultats   crédibles  ».   •  «  Nous  avons  engagé  sur  place  des  consultants   (recommandés  par  des  collègues)  qui  n'étaient   pas  à  la  hauteur  de  la  tâche  ».     •  «  Mon  assistant  de  recherche  a  pris  des   raccourcis  excessifs  ».  
  • 12. Module  3  :  Concep&on                                                           de  l'évalua&on  de  l'impact   •  «  L'interven&on  a  été  affectée  au  niveau  du   groupe,  mais  les  données  ont  été  collectées  au   niveau  individuel.  Dans  nos  calculs,  nous   avons  omis  de  prendre  en  compte  ce   regroupement  d’individus  dans  le  groupe  de   traitement  –  nous  avons  fini  par  u&liser  trop   peu  d’individus».  
  • 13. Module  6/7  :  Données  –  stockage,   accès  et  analyse   •  Que  se  passe  t-­‐il  si  votre  ordinateur  cesse  de   fonc&onner  ?  Toutes  les  données  sont-­‐elles   perdues  ?   •  Que  se  passe  t-­‐il  si  votre  assistant(e)  de   recherche  part  ?  Toute  la  documenta&on  est-­‐ elle  sur  son  Macbook?  Quelqu'un  sera  t-­‐il  en   mesure  de  reproduire  son  analyse  ?  
  • 14. Module  8:  Suivi  et  documenta&on                               des  programmes  du  FBR   •  «  Nous  avons  une  assigna&on  aléatoire,  mais   nous  ne  sommes  pas  restés  en  communica&on   suffisamment  étroite  avec  le  gouvernement.   L'interven&on  a  été  répar&e  de  manière  non   aléatoire  à  notre  insu.»   •  «  Nous  avions  une  concep&on  parfaitement   solide  (et  aléatoire  !)  des  incita&ons.  Et  puis,   notre  partenaire  d'exécu&on  a  commencé  à   proposer  de  l'argent  aux  par&cipants  pour  qu'ils   acceptent  le  traitement  !  »  
  • 15. Ce  guide  pra-que  s'adresse  à  vous...   Chercheurs   Cabinets   d’étude   Homologues   gouvernementaux  et   équipe   d'évalua&on   d’impact   locale   Responsables  de  projets  
  • 16. Un  ou-l  évolu-f   Publica&on  du   guide  pra&que   U&lisa&on  des   direc&ves  et   ou&ls   Commentaires     des  u&lisateurs   Mises  à  jour   des  direc&ves   et/ou  ou&ls  
  • 17. Contactez-­‐nous  
  • 18. Ce qui est requis : Approbation par la Banque mondiale des publications et articles •  Les  publica&ons  (textes  des&nés  aux  journaux   spécialisés  et  documents  de  travail)  doivent  être   soumises  à  l'approba&on  de  la  Banque  mondiale.   •  Approba&on  du  directeur  des  opéra&ons  de  la   Banque  mondiale  si  le  document  est  propre  à  un   pays  ou  au  HNP  s'il  est  de  portée  générale   •  S'applique  à  toutes  les  ac&vités  du  personnel  ou   des  consultants  de  la  Banque  +  tout  document   des  membres  de  l'équipe  d’évalua&on  d’impact   se  rapportant  à  l'évalua&on  d'impact  financée  par   le  HRITF  
  • 19. Publica&ons   •  La  Banque  mondiale  a  une  poli&que  de  libre   accès  aux  données  encourageant  le  libre  accès   aux  publica&ons  des  équipes  liées  à  la  Banque   mondiale   •  Cela  permet  une  large  diffusion  des  résultats.   •  Les  publica&ons  de  la  Banque  mondiale,   comme  les  documents  de  travail,  sont  aussi   consultées  et  diffusées  à  grande  échelle  
  • 20. Ce  qui  est  requis  :  Disponibilité  des   données   •  Toutes  les  données  de  l'évalua&on  de  l'impact   devront  être  téléchargées  (cadre  du  processus)   •  À  terme,  les  données  devront  être  mises  à  la   disposi&on  de  l'ensemble  de  la  communauté  de   recherche.   •  Les  données  sont  disponibles  2  ans  après  leur   collecte  ou  6  mois  après  la  publica&on  du   document  de  travail   •  On  encourage  à  publier  ou  transmeGre  les   données  plus  tôt  encore  aux  fins  d'une  analyse   compara&ve  entre  pays.  
  • 21. Ce  qui  est  requis  :  Poli&que  de   reproduc&on   •  Avec  leurs  données,  les  équipes  d’évalua&on   d’impact  devraient  fournir  des  fichiers-­‐do   complets  et  bien  documentés  permeGant  la   reproduc&on  de  leurs  résultats.   •  Ces  fichiers  devraient  permeGre  de  passer  des   données  brutes  aux  résultats  dans  le  rapport.   •  En  principe,  les  résultats  devraient  être   régulièrement  reproduits,  par  l'équipe  du   HRITF  par  exemple.  
  • 22. Des  ques&ons  ?   Des  commentaires  ?   Merci  !