Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Theory of Change

4,195 views

Published on

La presentazione di Christian Elevati durante il webinar "Theory of Change; misurare l'impatto della cooperazione"

Published in: Education
  • Be the first to comment

  • Be the first to like this

Theory of Change

  1. 1. Theory of Change: come valutare l’impatto della cooperazione? A cura di Christian Elevati christian.elevati@gmail.com Linkedin: it.linkedin.com/in/christianelevati www.ong2zero.org
  2. 2. Di che cosa parleremo e come • Toccheremo gli aspetti principali della Theory of Change (ToC), partendo dalle ragioni che hanno favorito la sua diffusione • Esploreremo più nel dettaglio la sua applicazione in ambito di progettazione e valutazione dell’impatto • Faremo il punto sulla ToC in ambito di Cooperazione Italiana • Condivideremo i risultati di un’inchiesta sull’utilizzo e la percezione della ToC in Italia • Faremo insieme delle riflessioni conclusive • Spazio per domande e 3 sondaggi A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  3. 3. Seneca - “Lettere a Lucilio”, lettera 71 “Nessun vento è favorevole per chi non sa
 a quale porto vuole approdare. Ignoranti quem portum petat 
 nullus suus ventus est” A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  4. 4. Che cos’è la
 “Theory of change”? “Un processo rigoroso e partecipativo nel quale differenti gruppi e stakeholders nel corso di una pianificazione articolano i loro obiettivi di lungo termine [impact] e identificano le condizioni che essi reputano debbano dispiegarsi affinché tali obbiettivi siano raggiunti. Tali condizioni sono schematizzate negli outcomes che si vogliono ottenere e sono organizzate graficamente in una struttura causale”. Dana H. Taplin, Heléne Clark , “Theory of Change basics”, ActKnowledge, New York 2013. Pag.4. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  5. 5. Valorizzare il reale impatto sociale generato • Il termine valutazione deriva dall’antico valuto, risalente al latino valitus (validus): essere forte, sano robusto. Valitus è il participio passato di Valeo, valére: essere forte, stare bene, avere valore, avere prezzo. • Nel suo significato etimologico dunque il termine valutazione rinvia all’idea di attribuire un valore, di dare un peso, stimare, avere in considerazione. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  6. 6. Oscar Wilde, Lady Windermere's Fan “What is a cynic? A man who knows the price of everything and the value of nothing”. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  7. 7. C’era davvero bisogno della ToC? • Stiamo attraversando un crisi strutturale in un contesto di risorse scarse (ACCOUNTABILITY) • I mutamenti dei contesti in cui ci muoviamo sono estremamente rapidi e la complessità grande (LEARNING ORGANIZATION) • È cresciuta l’enfasi sul ruolo degli attori locali (OWNERSHIP) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  8. 8. C’era davvero bisogno della ToC? • Livello insufficiente di definizione degli obiettivi e di valutazione del loro raggiungimento (VISION e PROFESSIONALITÀ VS “ruota del criceto” Progetto-Bando/MISURABILITÀ) • Il Logical Framework (full application EuropeAid) si è ridotto a strumento amministrativo (CONFUSIONE MEZZO-FINE/RIGIDITÀ) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  9. 9. L’urgenza e l’essenziale A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  10. 10. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  11. 11. C’era davvero bisogno della ToC? • Ce lo chiedono sempre più spesso i finanziatori pubblici, i donors privati, la società civile e i cittadini (OPPORTUNITÀ/NECESSITÀ) • Mancano regole e indicatori chiari, rigorosi e condivisi (EVIDENCE/COMPARABILITÀ/TRASPARENZA) • Si continua a coinvolgere troppo poco gli stakeholders nei processi (PARTECIPAZIONE/DEMOCRAZIA/ RIGORE VS AUTOREFERENZIALITÀ) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  12. 12. Cenni storici: dove tutto è cominciato • La ToC muove suoi primi passi negli Stati Uniti negli anni ’90 nell’ambito della valutazione di programmi in contesti sociali complessi • In particolare nei lavori di ricerca teorica e applicata di Huey Chen, Peter Rossi, Michael Quinn Patton, and Carol Weiss • Fra i primi l’Aspen Institute e il gruppo di lavoro della “Roundtable on Community Change”, che portò nel 1995 alla pubblicazione New Approaches to Evaluating Comprehensive Community Initiatives A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  13. 13. Alla base della Theory of Change • Ogni programma o progetto di sviluppo è “basato su teorie esplicite o implicite riguardo a come e perché tali programmi hanno successo” [C.H. Weiss]. • In itinere ed ex post, ma prima ancora in fase di ideazione A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  14. 14. Quante Theories of Change? • Solitamente vi è una compresenza di differenti ToC sia fra partner e stakeholders sia fra membri della stessa organizzazione. • Per converso, non ha alcun senso imporre unilateralmente la stessa ToC a tutti. • Non è sempre possibile giungere a una ToC condivisa. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  15. 15. Una ToC include sempre… • una chiara esplicitazione delle ragioni (evidence) alla base di cambiamenti reali e duraturi in una specifica area tematica e delle relative preconditions (fattori al di fuori del controllo del management che possono influenzare il legame causale della ToC) • l’articolazione di un percorso che porta a tali cambiamenti attraverso lo sviluppo di strutture e di competenze organizzative specifici e di programmi/progetti; • un sistema di impact management & evaluation in grado sia di implementare quel percorso sia di testare i presupposti, le risorse e gli strumenti messi in campo. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  16. 16. L’esplicitazione delle assumptions è cruciale • Per assumptions qui si intendono quelle affermazioni prese per vere, senza che vi sia riferimento a fatti accertati • lavorano solitamente in modo inconsapevole • Dipendono da: ideologie, valori, preconcetti, stereotipi, visioni del mondo, norme sociali, credenze religiose, tradizioni culturali, abitudini, nuclei di potere consolidati… • L’obiettivo del processo (necessariamente partecipativo) sviluppato dalla ToC è farle emergere, discuterle, testarle e generarne di nuove, maggiormente evidence- based e condivise A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  17. 17. Ex ante: migliorare/esplicitare l’evidence della relazione causale fra outcomes e impatto Importante triangolare dati (quantitativi e qualitativi) provenienti da letteratura, analisi di contesto, studi di pre-fattibilità, l’esperienza maturata (propria e degli stakeholders) e progetti pilota. • Fase 1: individuare le possibili “evidenze” a disposizione provenienti da fonti differenti e inserirle in una mappa che ne mostri le interrelazioni. • Fase 2: ordinare per rilevanza le fonti. • Fase 3: potenziare tutte le fonti che si trovano ai livelli più bassi della scala. Fonte: Bernadette Wright & Steven E. Wallis, ”How Good Is Your Evidence?”, Stanford Social Innovation Review A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  18. 18. affermazione attribuita a Bernardo di Chartres “noi siamo come nani sulle spalle di giganti, così che possiamo vedere più cose di loro e più lontane, non certo per l'acume della vista o l'altezza del nostro corpo, ma perché siamo sollevati e portati in alto 
 dalla statura dei giganti” A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  19. 19. Ex post: la ToC deve aiutare a rispondere ad alcune domande fondamentali (da IFAD- metodo PIALA) • che cosa è cambiato (o no) a livello di outcome per chi e perché? • quanto questi outcome sono sostenibili nel tempo? • qual è l’impact che questi outcome hanno generato e che cosa l’ha causato? • qual è stato il contributo del programma/intervento/progetto a questi outcome rispetto ad altre cause o influenze? • quali sono le implicazioni per le politiche e per le strategie (locali, nazionali, internazionali)? A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  20. 20. Elementi che qualificano il raggiungimento dei risultati • Deadweight: cosa sarebbe avvenuto allo stesso campione di popolazione senza il nostro intervento? • Attribution: quanta parte del risultato raggiunto (outcome) è attribuibile esclusivamente al nostro intervento? • Displacement: vi sono stati effetti negativi su altre organizzazioni o in altri territori/comunità collegati al nostro intervento? • Drop-off: come cambia l’outcome generato nel corso del tempo? A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  21. 21. I metodi di indagine controfattuale • Si basano sull’osservazione di un “gruppo di controllo” (idealmente, identici in tutto al target group eccetto per la partecipazione all’intervento). • Criticità: questioni etiche e informazioni riguardanti i “non trattati” sono più difficili da reperire, soprattutto a posteriori. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  22. 22. Principali approcci metodologici per la valutazione d’impatto controfattuale SPERIMENTALE: • Studio randomizzato controllato (Randomized Controlled Trial - RCT) QUASI-SPERIMENTALI (fra i più diffusi): • Abbinamento statistico, Punto di discontinuità, Differenza nelle differenze A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  23. 23. La motivazione alla base di una ToC può essere esogena e/o endogena • Le richieste specifiche di un bando/finanziatore • L’attivazione di una pianificazione strategica in un momento di riorganizzazione (e la relativa decisione sull’allocazione delle risorse) • La necessità di comunicare meglio i propri risultati agli stakeholders • La volontà di potenziare gli strumenti a disposizione del management • Il desiderio di costruire/rafforzare partnership territoriali/di comunità A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  24. 24. Una tipica obiezione “penso che le ONG inglesi e americane non perdano occasione per metterci dentro un po’ d’inglese. Comunque ho 40 anni di esperienza e mi pare che il divario tra teoria e pratica si stia allargando in modo drammatico. 
 Tutti vogliono scrivere milioni di pagine sullo sviluppo, e nessuno vuole fare più niente…” A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  25. 25. Kurt Lewin “There is nothing as practical as good theory”. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  26. 26. L’esempio dell’IFAD: Participatory Impact Assessment & Learning Approach (PIALA) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  27. 27. I 3 vertici del triangolo PIALA • Rigour in this framework refers to the quality of thought put into the methodological design and conduct of the evaluation, in order to ensure consistency and responsiveness (Rogers, 2009; Stern et al, 2012). • Inclusiveness involves meaningful engagement of stakeholders with diverse perspectives, which has an intrinsic empowering value while also enhancing credibility of the evaluation through triangulation and cross-validation of evidence (Chambers, 2015; Pawson, 2013). • Feasibility concerns the budget and capacity needed to meet the expectations of rigour and inclusiveness and enhance learning. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  28. 28. Ciclicità della ToC “Una revisione periodica permette all'organizzazione di rendersi conto di quanto sia stato conseguito, arrivare a comprendere il perché di certi risultati, e apportare modifiche nei presupposti operativi, nella struttura, nel sistema e nelle procedure interne, nel personale, nell'utilizzo delle risorse e così via, e dunque di migliorare la capacità di ottenere gli obiettivi che l'organizzazione stessa si è data. Revisione e correzione rappresentano il cuore del performance management [tattico e strategico]”. David E. K. Hunter, Working Hard & Working Well, Edizione italiana a cura di Simone Castello, pubblicata in Italia in collaborazione con Fondazione Lang A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  29. 29. Modello? Approccio? Strumento? Metodologia? dynamic & adaptive learning framework A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  30. 30. Ambiti in cui la ToC ha valorizzato importanti processi A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  31. 31. Un esempio di ToC per uso interno
 (da Nesta) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  32. 32. Una versione più appealing (da Children’s Ground) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  33. 33. E una più per il pubblico/stakeholders (da Idex) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  34. 34. Infine, una con le fonti di finanziamento
 (da WCCSC) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  35. 35. Siamo soliti ragionare per progetti … un progetto è
 un insieme definito di azioni
 che intendono
 raggiungere obiettivi prefissati, 
 con risorse limitate
 (budget, staff, tempo) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  36. 36. I NOSTRI obiettivi e i LORO obiettivi A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  37. 37. La ToC richiede un’inversione di prospettiva rispetto ad approccio tradizionale • Invece di chiederci: quali azioni dobbiamo mettere in campo per raggiungere i nostri obiettivi? • dovremmo chiederci: quale cambiamento di medio- lungo periodo vogliamo raggiungere a vantaggio dei principali destinatari dei nostri sforzi e quali sono le pre-condizioni migliori per ottenerlo? A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  38. 38. A. Einstein “Non si può risolvere un problema 
 con la stessa mentalità 
 che l'ha generato” A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  39. 39. L’origine principale del nostro lavoro di programmazione e progettazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SupportingeffectiveimplementationofECExternalAssistance A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  40. 40. Fasi e documenti chiave del PCM A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  41. 41. Già il PCM cercava di risolvere (inizi anni ’90)
 una serie di criticità FIGURA 5 La Logica della GCP Passate esperienze negative: " Quadro strategico confuso. " Scarsa analisi del contesto. " Programmazione orientata verso le attività. " Risultati non verificabili. " Pressioni di spesa. " Visione a breve termine.. " Documenti di progetto incoerenti. " Mancanza di visione comune degli attori partecipanti. Soluzioni della GCP: # Un approccio definito in maniera chiara. # Approfondita analisi del contesto. # Programmazione e realizzazione orientate al raggiungimento degli obiettivi. # Risultati verificabili. # Enfasi sulla qualità. # Privilegiare la sostenibilità. # Formati standardizzati. # Conoscenza condivisa degli obiettivi del processo per raggiungerli. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  42. 42. Quale rapporto fra Theory of Change e Logical Framework? A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  43. 43. Il nuovo Quadro Logico EuropeAid
 (luglio 2015) • Tentativo affrettato di integrare il tradizionale strumento del Quadro Logico con la Theory of Change (USAID, DFID) • Numerose incoerenze • Assenza di consultazione A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  44. 44. Il “missing middle”
 (da DFID) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  45. 45. Evoluzione del LF dal 2014 a oggi A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  46. 46. La Results chain A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale Results chain Overall objective: Impact The broader, long-term change which will stem from the project and a number of interventions by other partners. Specific objective(s): Outcome(s) The direct effects of the project which will be obtained at medium term and which tend to focus on the changes in behaviour resulting from project Outcome = Oc (possibly) intermediary Outcome = iOc Outputs The direct/tangible outputs (infrastructure, goods and services) delivered by the project. Output = Op Op 1.1. (related to Oc 1) Op 1.2. (related to Oc 1) (…) Op 2.1. (related to Oc 2) (…) Activities What are the key activities to be carried out, to produce the outputs? (Group the activities by result and number them as follows: A 1.1.1. – "Title of activity " A 1.1.2. – Title of activity " (related to Op 1.1.) A 1.2.1. – "Title of activity " (…) (related to Op 1.2.) A 2.1.2. – Title of activity " (…) (related to Op 2.1.) (…)
  47. 47. Un esempio di Results chain • Il progetto impegna le sue risorse umane e finanziarie (inputs/risorse) • a svolgere corsi di formazione e campagne di sensibilizzazione in materia di salute riproduttiva sessuale (activities) • che aumenteranno il numero di individui con una maggiore conoscenza in questo ambito (output); • questo si tradurrà in un cambiamento di comportamento nelle persone, in quanto praticheranno sesso in modo più sicuro, a beneficio della propria salute e di quella degli altri (outcome), • risultato che porterà a una popolazione più sana, con tassi ridotti di HIV/ AIDS e delle Malattie Sessualmente Trasmissibili, così come a una riduzione dei costi in sanità sostenuti dallo Stato e dai cittadini (impact). A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  48. 48. Che cosa intendiamo oggi per “risultati” A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  49. 49. Output o outcome? A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  50. 50. Realtà A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  51. 51. Gli indicatori e le modalità di verifica dei risultati Indicators Measure the long-term change to which the project contributes. To be presented disaggregated by sex. Measure the change in factors determining the outcome(s). To be presented disaggregated by sex Measure the degree of delivery of the outputs. To be presented disaggregated by sex. Sources and means of verification To be drawn from the partner's strategy. Sources of information and methods used to collect and report (including who and when/how frequently). Idem as above for the corresponding indicator. “Indicator” is the quantitative and/or qualitative factor or variable that provides a simple and reliable means to measure the achievement of the Results A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  52. 52. Strumenti per misurare differenti indicatori A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  53. 53. Baseline, Current value, Targets Baseline (incl. reference year) Current value Reference date Targets (incl. reference year) Ideally, to be drawn from the partner's strategy Ideally, to be drawn from the partner's strategy The starting point or current value of the indicators. The value of the indicator at the indicated date The intended value of the indicators. Idem as above for the corresponding indicators. Idem as above for the corresponding indicators. The logframe matrix should evolve during the project lifetime: new lines can be added for listing new activities as well as new columns for intermediary targets (milestones) when it is relevant and values will be regularly updated in the column foreseen for reporting purpose (see “current value”). A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  54. 54. L’ossessione della misurazione! A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  55. 55. Misurare ciò che conta • Misurabilità significa esprimere l’indicatore di outcome in termini misurabili, NON trovare un indicatore che sia facile da misurare. • Evitate la trappola di utilizzare degli indicatori inadeguati solo perché sono facilmente reperibili. • Se un outcome è importante, avrete bisogno di trovare un modo per misurarlo. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  56. 56. Stiamo misurando davvero ciò che conta? • Spesso si raccolgono tonnellate di dati, inutilmente; • Il processo che porta a definire la ToC serve anche a individuare quegli indicatori – e solo quelli – che per rilevanza e sostenibilità serviranno effettivamente all’organizzazione e, non da ultimo, ai beneficiari! • Questo processo ha una forte valenza partecipativa e di motivazione per tutta la dirigenza, lo staff e gli stakeholders A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  57. 57. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  58. 58. Stiamo usando le informazioni raccolte efficacemente? A questo punto risulta più facile: • Fare in modo che i dati raccolti informino le decisioni costantemente, incrementando la qualità dell’azione • Sviluppare valutazioni “sommative” periodiche che possano correggere e migliorare le scelte strategiche, gli obiettivi generali dell’organizzazione (impact) e anche quelli dello staff • Fornire materiale di qualità, coinvolgente e aggiornato per le attività di Comunicazione e Fundraising • Formulare progettazioni per partecipare a nuovi bandi A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  59. 59. Stiamo apprendendo dai fallimenti? Cogliendo delle opportunità inattese? • Fare i conti con onestà e coraggio ANCHE con tutto ciò che non ha funzionato [ruolo dei finanziatori?] • La consapevolezza delle ragioni alla base dei fallimenti rappresenta il driver più forte per spingere a un cambio di direzione, a una revisione della ToC, della cultura e delle condizioni di lavoro nell’organizzazione • ES. (PIALA): la ToC “… looks at intended and unintended, positive and negative effects of a programme in relation to other influences that directly or indirectly affected impact… ”. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  60. 60. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  61. 61. Chi ha paura della ToC e della valutazione d’impatto? (1) Chi pensa che sia una spesa inutile o non prioritaria piuttosto che un investimento. • Fare una seria, profonda, sostenibile ed efficace ToC, soprattutto nella fase iniziale, costa in termini di: • decisioni anche difficili che l’organizzazione dovrà prendere, a partire dal Board; • investimento economico, di tempo, di risorse. • Ma i ritorni a più livelli sono sempre ripagati abbondantemente A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  62. 62. Chi ha paura della ToC e della valutazione d’impatto? (2) Chi pensa che farà emergere i fallimenti e i limiti del proprio lavoro e della propria organizzazione, a discapito della reputazione personale e istituzionale. • Vogliamo continuare a ripetere gli stessi errori, senza mai imparare da essi? Vogliamo pagarne e farne pagare per sempre il costo? • Inoltre: la valutazione si fa principalmente per “dare valore” A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  63. 63. Chi ha paura della ToC e della valutazione d’impatto? (3) Chi dice: “abbiamo già i nostri strumenti di monitoraggio e valutazione, perché cambiarli?” • Chi risponde così, ha le sue ragioni • le attività tradizionali di monitoraggio e valutazione sono spesso inadeguate a valutare outcome e impact A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  64. 64. La ToC nel prossimo bando AICS 2017 La valutazione della Concept note si baserà, fra le altre cose, su: • dimostrazione di avere una conoscenza profonda del contesto specifico di intervento, fornendo baseline, indicatori di partenza e target e individuando puntualmente i beneficiari; • capacità di fornire una visione del cambiamento che si vuole produrre. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  65. 65. La ToC nel prossimo bando AICS 2017 La valutazione della Proposta completa andrà a premiare le proposte che contengano, sin dalla progettazione: • elementi indispensabili per i successivi monitoraggio e valutazione; • dati precisi (ad es. su output e beneficiari) e di informazioni realistiche e puntuali, ottenute da fonti di verifica solide, attendibili e non autoreferenziali; • la dimostrazione che il proponente possiede procedure interne che lo rendono accountable e capace di prevedere e affrontare rischi e imprevisti. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  66. 66. La valutazione d’impatto nel penultimo
 Documento di programmazione triennale (2015 – 2017) Ripartire dalla valutazione dell’impatto di sviluppo • Fondamentale sarà, come previsto dalla legge, il sistema di indicatori di impatto sociale e di sviluppo necessari per il monitoraggio delle politiche pubbliche con impatto sui paesi partner. • Uno sforzo coerente con il dibattito internazionale sui target e goals della nuova Agenda post-2015 e in cui la ricerca e l’esperienza sul campo dovranno assicurare innovazione e maggiore attenzione alle dimensioni non economiche dello sviluppo umano. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  67. 67. La valutazione d’impatto nel penultimo
 Documento di programmazione triennale (2015 – 2017) • Si metteranno in atto sistemi di valutazione dell’impatto traendo spunto dalle migliori pratiche degli altri sistemi europei (in particolare il cosiddetto “results based approach”) e fruendo di soggetti valutatori esterni alla pubblica amministrazione. • l’Italia inoltre continuerà a ispirare la propria azione ai principi di efficacia dell’aiuto, così come discussi nel ciclo di fora sull’ “aid and development effectiveness” (Roma 2003, Parigi 2005, Accra 2008, Busan 2011, Nairobi 2016) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  68. 68. … e nell’ultimo
 Documento di programmazione triennale (2016 – 2018) L’Efficacia della Cooperazione allo Sviluppo: • creare anche le condizioni finanziarie affinché la valutazione possa rientrare a pieno titolo nelle attività gestionali delle iniziative di cooperazione ed essere quindi applicabile a tutti i programmi. • necessario mettere l’accento sulla necessità di formalizzare un sistema di “management response” alle valutazioni, affinché le loro risultanze influiscano sulle decisioni strategiche e sulla gestione, in particolare attraverso un’efficace disseminazione dei risultati delle valutazioni, sia presso gli attori del “Sistema Italia” di cooperazione, sia nei Paesi partner. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  69. 69. Documento di programmazione triennale (2016 – 2018) • per tenere in considerazione alcune delle osservazioni emerse nel corso dell’ultima “Peer Review” OCSE-DAC, la DGCS si è dotata di un Comitato Consultivo per la Valutazione, composto anche di personalità indipendenti, in rappresentanza del mondo universitario (CRUI), dei raggruppamenti delle Organizzazioni della Società Civile partecipanti al “Gruppo Efficacia” e dell’Associazione Italiana di Valutazione • Con il sostegno di tale Comitato, cui è stata associata l’AICS, si sta inoltre procedendo a un aggiornamento delle Linee Guida sulla Valutazione A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  70. 70. La ToC e le organizzazione di cooperazione internazionale in Italia (1) • La maggior parte delle conoscenze sulla ToC sembra provenire dall’autoformazione, tramite articoli on line (43%), testi (30%), manuali e guide, ma non mancano offerte formative che trattano l’argomento (17,4%). A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  71. 71. La ToC e le organizzazione di cooperazione internazionale in Italia (2) • La totalità delle persone che ha partecipato al questionario ritiene che la ToC sia un tema da approfondire o addirittura assolutamente indispensabile. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  72. 72. La ToC e le organizzazione di cooperazione internazionale in Italia (3) • la metà dei partecipanti al questionario ha già applicato la ToC all’interno della propria organizzazione, sfatando almeno in parte il mito che si tratti di un approccio culturalmente poco “italiano”. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  73. 73. La ToC e le organizzazione di cooperazione internazionale in Italia (4) • La maggior parte delle organizzazioni dice di impiegare la ToC quale strumento per potenziare la propria progettazione (55,8%) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  74. 74. La ToC e le organizzazione di cooperazione internazionale in Italia (5) • la ToC, quando applicata, ha mostrato complessivamente risultati eccellenti, moderatamente soddisfacenti o una necessità di approfondimento per trarre conclusioni. Solo il 3,9% ha giudicato i risultati insoddisfacenti A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  75. 75. La ToC e le organizzazione di cooperazione internazionale in Italia (6) • Sembrerebbe anche che le organizzazioni valutino la ToC come un investimento necessario alla propria crescita, tanto che impiegano fondi propri per svilupparla, senza attendere il bando o il finanziatore esterno A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  76. 76. La ToC e le organizzazione di cooperazione internazionale in Italia (7) • Molto interessante anche la posizione di chi la ToC non l’ha mai sviluppata nella propria organizzazione: nel 61% dei casi dichiara di avere intenzione di farlo in futuro o comunque non esclude di farlo (35,4%). A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  77. 77. Per concludere, in sintesi (il mio personale modello di lavoro) A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  78. 78. Un’ultima riflessione • Quale Change? • Se lavoriamo in ambito sociale, se vogliamo generare "impatto sociale" non possiamo fare a meno di fare i conti con i rapporti di potere alla base della povertà, dell'ingiustizia e delle disuguaglianze. • La Teoria del Cambiamento in ultima istanza ha – o dovrebbe avere – nel suo cuore la volontà di creare le condizioni per una trasformazione costruttiva di tali rapporti di potere. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  79. 79. Partendo da noi stessi È impossibile che la nostra organizzazione generi cambiamenti reali e duraturi (impatto) se non siamo disposti PRIMA a cambiare - in alcuni casi profondamente - approccio culturale, struttura e processi all'interno 
 della nostra stessa organizzazione A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
  80. 80. Sitografia essenziale • http://www.theoryofchange.org/what-is-theory-of-change/ • www.theoryofchange.org/pdf/DFID_ToC_Review_VogelV7.pdf • https://www.ifad.org/topic/overview/tags/piala • http://www.tools4dev.org/resources/theory-of-change-vs- logical-framework-whats-the-difference-in-practice/ • http://www.info-cooperazione.it/2016/07/una-guida- collaborativa-per-comprendere-il-nuovo-quadro-logico-di- europeaid/ A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale

×