Presentazioni Efficaci e lezioni di Educazione Civica
Theory of Change
1. Theory of Change: come
valutare l’impatto della
cooperazione?
A cura di
Christian Elevati
christian.elevati@gmail.com
Linkedin: it.linkedin.com/in/christianelevati
www.ong2zero.org
2. Di che cosa parleremo e come
• Toccheremo gli aspetti principali della Theory of Change (ToC),
partendo dalle ragioni che hanno favorito la sua diffusione
• Esploreremo più nel dettaglio la sua applicazione in ambito di
progettazione e valutazione dell’impatto
• Faremo il punto sulla ToC in ambito di Cooperazione Italiana
• Condivideremo i risultati di un’inchiesta sull’utilizzo e la percezione
della ToC in Italia
• Faremo insieme delle riflessioni conclusive
• Spazio per domande e 3 sondaggi
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
3. Seneca - “Lettere a Lucilio”, lettera 71
“Nessun vento è favorevole per chi non sa
a quale porto vuole approdare.
Ignoranti quem portum petat
nullus suus ventus est”
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
4. Che cos’è la
“Theory of change”?
“Un processo rigoroso e partecipativo nel quale
differenti gruppi e stakeholders nel corso di una
pianificazione articolano i loro obiettivi di lungo
termine [impact] e identificano le condizioni che
essi reputano debbano dispiegarsi affinché tali
obbiettivi siano raggiunti. Tali condizioni sono
schematizzate negli outcomes che si vogliono
ottenere e sono organizzate graficamente in una
struttura causale”.
Dana H. Taplin, Heléne Clark , “Theory of Change
basics”, ActKnowledge, New York 2013. Pag.4.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
5. Valorizzare il reale impatto sociale generato
• Il termine valutazione deriva dall’antico valuto, risalente al
latino valitus (validus): essere forte, sano robusto.
Valitus è il participio passato di Valeo, valére: essere forte,
stare bene, avere valore, avere prezzo.
• Nel suo significato etimologico dunque il termine
valutazione rinvia all’idea di attribuire un valore, di dare
un peso, stimare, avere in considerazione.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
6. Oscar Wilde, Lady Windermere's Fan
“What is a cynic? A man who knows the price
of everything and the value of nothing”.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
7. C’era davvero bisogno della ToC?
• Stiamo attraversando un crisi strutturale in un
contesto di risorse scarse (ACCOUNTABILITY)
• I mutamenti dei contesti in cui ci muoviamo sono
estremamente rapidi e la complessità grande
(LEARNING ORGANIZATION)
• È cresciuta l’enfasi sul ruolo degli attori locali
(OWNERSHIP)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
8. C’era davvero bisogno della ToC?
• Livello insufficiente di definizione degli obiettivi e di
valutazione del loro raggiungimento (VISION e
PROFESSIONALITÀ VS “ruota del criceto”
Progetto-Bando/MISURABILITÀ)
• Il Logical Framework (full application EuropeAid) si è
ridotto a strumento amministrativo (CONFUSIONE
MEZZO-FINE/RIGIDITÀ)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
9. L’urgenza e l’essenziale
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
10. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
11. C’era davvero bisogno della ToC?
• Ce lo chiedono sempre più spesso i finanziatori pubblici, i
donors privati, la società civile e i cittadini
(OPPORTUNITÀ/NECESSITÀ)
• Mancano regole e indicatori chiari, rigorosi e condivisi
(EVIDENCE/COMPARABILITÀ/TRASPARENZA)
• Si continua a coinvolgere troppo poco gli stakeholders
nei processi (PARTECIPAZIONE/DEMOCRAZIA/
RIGORE VS AUTOREFERENZIALITÀ)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
12. Cenni storici: dove tutto è cominciato
• La ToC muove suoi primi passi negli Stati Uniti negli
anni ’90 nell’ambito della valutazione di programmi in
contesti sociali complessi
• In particolare nei lavori di ricerca teorica e applicata di
Huey Chen, Peter Rossi, Michael Quinn Patton, and Carol
Weiss
• Fra i primi l’Aspen Institute e il gruppo di lavoro della
“Roundtable on Community Change”, che portò nel
1995 alla pubblicazione New Approaches to Evaluating
Comprehensive Community Initiatives
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
13. Alla base della Theory of Change
• Ogni programma o progetto di sviluppo è “basato
su teorie esplicite o implicite riguardo a come e
perché tali programmi hanno successo” [C.H.
Weiss].
• In itinere ed ex post, ma prima ancora in fase di
ideazione
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
14. Quante Theories of Change?
• Solitamente vi è una compresenza di differenti ToC sia
fra partner e stakeholders sia fra membri della stessa
organizzazione.
• Per converso, non ha alcun senso imporre
unilateralmente la stessa ToC a tutti.
• Non è sempre possibile giungere a una ToC
condivisa.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
15. Una ToC include sempre…
• una chiara esplicitazione delle ragioni (evidence) alla base
di cambiamenti reali e duraturi in una specifica area
tematica e delle relative preconditions (fattori al di fuori del
controllo del management che possono influenzare il legame
causale della ToC)
• l’articolazione di un percorso che porta a tali cambiamenti
attraverso lo sviluppo di strutture e di competenze
organizzative specifici e di programmi/progetti;
• un sistema di impact management & evaluation in grado
sia di implementare quel percorso sia di testare i
presupposti, le risorse e gli strumenti messi in campo.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
16. L’esplicitazione delle assumptions è
cruciale
• Per assumptions qui si intendono quelle affermazioni prese
per vere, senza che vi sia riferimento a fatti accertati
• lavorano solitamente in modo inconsapevole
• Dipendono da: ideologie, valori, preconcetti, stereotipi, visioni
del mondo, norme sociali, credenze religiose, tradizioni
culturali, abitudini, nuclei di potere consolidati…
• L’obiettivo del processo (necessariamente partecipativo)
sviluppato dalla ToC è farle emergere, discuterle,
testarle e generarne di nuove, maggiormente evidence-
based e condivise
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
17. Ex ante: migliorare/esplicitare l’evidence della
relazione causale fra outcomes e impatto
Importante triangolare dati (quantitativi e qualitativi) provenienti da
letteratura, analisi di contesto, studi di pre-fattibilità, l’esperienza
maturata (propria e degli stakeholders) e progetti pilota.
• Fase 1: individuare le possibili “evidenze” a disposizione provenienti
da fonti differenti e inserirle in una mappa che ne mostri le
interrelazioni.
• Fase 2: ordinare per rilevanza le fonti.
• Fase 3: potenziare tutte le fonti che si trovano ai livelli più bassi della
scala.
Fonte: Bernadette Wright & Steven E. Wallis, ”How Good Is Your Evidence?”, Stanford Social Innovation
Review
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
18. affermazione attribuita a Bernardo di Chartres
“noi siamo come nani sulle spalle di giganti,
così che possiamo vedere più cose di loro e
più lontane, non certo per l'acume della vista o
l'altezza del nostro corpo, ma perché siamo
sollevati e portati in alto
dalla statura dei giganti”
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
19. Ex post: la ToC deve aiutare a rispondere ad
alcune domande fondamentali (da IFAD- metodo PIALA)
• che cosa è cambiato (o no) a livello di outcome per chi e
perché?
• quanto questi outcome sono sostenibili nel tempo?
• qual è l’impact che questi outcome hanno generato e che
cosa l’ha causato?
• qual è stato il contributo del programma/intervento/progetto a
questi outcome rispetto ad altre cause o influenze?
• quali sono le implicazioni per le politiche e per le strategie
(locali, nazionali, internazionali)?
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
20. Elementi che qualificano il raggiungimento
dei risultati
• Deadweight: cosa sarebbe avvenuto allo stesso
campione di popolazione senza il nostro intervento?
• Attribution: quanta parte del risultato raggiunto (outcome)
è attribuibile esclusivamente al nostro intervento?
• Displacement: vi sono stati effetti negativi su altre
organizzazioni o in altri territori/comunità collegati al nostro
intervento?
• Drop-off: come cambia l’outcome generato nel corso del
tempo?
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
21. I metodi di indagine controfattuale
• Si basano sull’osservazione di un “gruppo di
controllo” (idealmente, identici in tutto al target group
eccetto per la partecipazione all’intervento).
• Criticità: questioni etiche e informazioni riguardanti i
“non trattati” sono più difficili da reperire, soprattutto a
posteriori.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
22. Principali approcci metodologici per la
valutazione d’impatto controfattuale
SPERIMENTALE:
• Studio randomizzato controllato (Randomized
Controlled Trial - RCT)
QUASI-SPERIMENTALI (fra i più diffusi):
• Abbinamento statistico, Punto di discontinuità,
Differenza nelle differenze
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
23. La motivazione alla base di una ToC può
essere esogena e/o endogena
• Le richieste specifiche di un bando/finanziatore
• L’attivazione di una pianificazione strategica in un momento di
riorganizzazione (e la relativa decisione sull’allocazione delle
risorse)
• La necessità di comunicare meglio i propri risultati agli
stakeholders
• La volontà di potenziare gli strumenti a disposizione del
management
• Il desiderio di costruire/rafforzare partnership territoriali/di
comunità
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
24. Una tipica obiezione
“penso che le ONG inglesi e americane non perdano
occasione per metterci dentro un po’ d’inglese. Comunque
ho 40 anni di esperienza e mi pare che il divario tra teoria e
pratica si stia allargando in modo drammatico.
Tutti vogliono scrivere milioni di pagine sullo sviluppo, e
nessuno vuole fare più niente…”
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
25. Kurt Lewin
“There is nothing as practical as good theory”.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
26. L’esempio dell’IFAD: Participatory Impact
Assessment & Learning Approach (PIALA)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
27. I 3 vertici del triangolo PIALA
• Rigour in this framework refers to the quality of thought put
into the methodological design and conduct of the evaluation,
in order to ensure consistency and responsiveness (Rogers, 2009;
Stern et al, 2012).
• Inclusiveness involves meaningful engagement of
stakeholders with diverse perspectives, which has an intrinsic
empowering value while also enhancing credibility of the
evaluation through triangulation and cross-validation of
evidence (Chambers, 2015; Pawson, 2013).
• Feasibility concerns the budget and capacity needed to meet
the expectations of rigour and inclusiveness and enhance learning.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
28. Ciclicità della ToC
“Una revisione periodica permette all'organizzazione di
rendersi conto di quanto sia stato conseguito, arrivare a
comprendere il perché di certi risultati, e apportare
modifiche nei presupposti operativi, nella struttura, nel
sistema e nelle procedure interne, nel personale, nell'utilizzo
delle risorse e così via, e dunque di migliorare la capacità di
ottenere gli obiettivi che l'organizzazione stessa si è data.
Revisione e correzione rappresentano il cuore del
performance management [tattico e strategico]”.
David E. K. Hunter, Working Hard & Working Well, Edizione italiana a cura di Simone
Castello, pubblicata in Italia in collaborazione con Fondazione Lang
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
30. Ambiti in cui la ToC ha valorizzato
importanti processi
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
31. Un esempio di ToC per uso interno
(da Nesta)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
32. Una versione più appealing
(da Children’s Ground)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
33. E una più per il pubblico/stakeholders
(da Idex)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
34. Infine, una con le fonti di finanziamento
(da WCCSC)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
35. Siamo soliti ragionare per progetti
… un progetto è
un insieme definito di azioni
che intendono
raggiungere obiettivi prefissati,
con risorse limitate
(budget, staff, tempo)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
36. I NOSTRI obiettivi e i LORO obiettivi
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
37. La ToC richiede un’inversione di prospettiva
rispetto ad approccio tradizionale
• Invece di chiederci: quali azioni dobbiamo mettere in
campo per raggiungere i nostri obiettivi?
• dovremmo chiederci: quale cambiamento di medio-
lungo periodo vogliamo raggiungere a vantaggio dei
principali destinatari dei nostri sforzi e quali sono le
pre-condizioni migliori per ottenerlo?
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
38. A. Einstein
“Non si può risolvere un problema
con la stessa mentalità
che l'ha generato”
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
40. Fasi e documenti chiave del PCM
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
41. Già il PCM cercava di risolvere (inizi anni ’90)
una serie di criticità
FIGURA 5
La Logica della GCP
Passate esperienze negative:
" Quadro strategico confuso.
" Scarsa analisi del contesto.
" Programmazione orientata verso
le attività.
" Risultati non verificabili.
" Pressioni di spesa.
" Visione a breve termine..
" Documenti di progetto incoerenti.
" Mancanza di visione comune degli
attori partecipanti.
Soluzioni della GCP:
# Un approccio definito in maniera
chiara.
# Approfondita analisi del contesto.
# Programmazione e realizzazione
orientate al raggiungimento degli
obiettivi.
# Risultati verificabili.
# Enfasi sulla qualità.
# Privilegiare la sostenibilità.
# Formati standardizzati.
# Conoscenza condivisa degli
obiettivi del processo per
raggiungerli.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
42. Quale rapporto fra Theory of Change e
Logical Framework?
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
43. Il nuovo Quadro Logico EuropeAid
(luglio 2015)
• Tentativo affrettato di integrare il tradizionale strumento
del Quadro Logico con la Theory of Change (USAID,
DFID)
• Numerose incoerenze
• Assenza di consultazione
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
44. Il “missing middle”
(da DFID)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
45. Evoluzione del LF dal 2014 a oggi
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
46. La Results chain
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
Results chain
Overall objective:
Impact
The broader, long-term change which will stem from the project and a number of
interventions by other partners.
Specific
objective(s):
Outcome(s)
The direct effects of the project which will be obtained at medium term and which tend
to focus on the changes in behaviour resulting from project
Outcome = Oc
(possibly) intermediary Outcome = iOc
Outputs The direct/tangible outputs (infrastructure, goods and services) delivered by the
project.
Output = Op Op 1.1. (related to Oc 1)
Op 1.2. (related to Oc 1) (…)
Op 2.1. (related to Oc 2) (…)
Activities What are the key activities to be carried out, to produce the outputs? (Group the
activities by result and number them as follows: A 1.1.1. – "Title of activity "
A 1.1.2. – Title of activity "
(related to Op 1.1.)
A 1.2.1. – "Title of activity "
(…)
(related to Op 1.2.)
A 2.1.2. – Title of activity "
(…)
(related to Op 2.1.)
(…)
47. Un esempio di Results chain
• Il progetto impegna le sue risorse umane e finanziarie (inputs/risorse)
• a svolgere corsi di formazione e campagne di sensibilizzazione in materia
di salute riproduttiva sessuale (activities)
• che aumenteranno il numero di individui con una maggiore conoscenza in
questo ambito (output);
• questo si tradurrà in un cambiamento di comportamento nelle persone, in
quanto praticheranno sesso in modo più sicuro, a beneficio della propria
salute e di quella degli altri (outcome),
• risultato che porterà a una popolazione più sana, con tassi ridotti di HIV/
AIDS e delle Malattie Sessualmente Trasmissibili, così come a una
riduzione dei costi in sanità sostenuti dallo Stato e dai cittadini (impact).
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
48. Che cosa intendiamo oggi per “risultati”
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
49. Output o outcome?
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
50. Realtà
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
51. Gli indicatori e le modalità di verifica dei
risultati
Indicators
Measure the long-term change to which the
project contributes.
To be presented disaggregated by sex.
Measure the change in factors determining
the outcome(s).
To be presented disaggregated by sex
Measure the degree of delivery of the
outputs.
To be presented disaggregated by sex.
Sources and means of
verification
To be drawn from the
partner's strategy.
Sources of information
and methods used to
collect and report
(including who and
when/how frequently).
Idem as above for the
corresponding indicator.
“Indicator” is the
quantitative and/or
qualitative factor or
variable that provides a
simple and reliable
means to measure the
achievement of the
Results
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
52. Strumenti per misurare differenti indicatori
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
53. Baseline, Current value, Targets
Baseline
(incl. reference year)
Current value
Reference date
Targets
(incl. reference year)
Ideally, to be drawn from the
partner's strategy
Ideally, to be drawn
from the partner's
strategy
The starting point or current
value of the indicators.
The value of the
indicator at the
indicated date
The intended value of
the indicators.
Idem as above for the
corresponding indicators.
Idem as above for the
corresponding
indicators.
The logframe matrix
should evolve during
the project lifetime:
new lines can be added
for listing new activities
as well as new columns
for intermediary targets
(milestones) when it is
relevant and values will
be regularly updated in
the column foreseen for
reporting purpose (see
“current value”).
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
54. L’ossessione della misurazione!
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
55. Misurare ciò che conta
• Misurabilità significa esprimere l’indicatore di
outcome in termini misurabili, NON trovare un
indicatore che sia facile da misurare.
• Evitate la trappola di utilizzare degli indicatori
inadeguati solo perché sono facilmente reperibili.
• Se un outcome è importante, avrete bisogno di
trovare un modo per misurarlo.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
56. Stiamo misurando davvero ciò che conta?
• Spesso si raccolgono tonnellate di dati, inutilmente;
• Il processo che porta a definire la ToC serve anche a
individuare quegli indicatori – e solo quelli – che per
rilevanza e sostenibilità serviranno effettivamente
all’organizzazione e, non da ultimo, ai beneficiari!
• Questo processo ha una forte valenza partecipativa e
di motivazione per tutta la dirigenza, lo staff e gli
stakeholders
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
57. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
58. Stiamo usando le informazioni raccolte
efficacemente?
A questo punto risulta più facile:
• Fare in modo che i dati raccolti informino le decisioni
costantemente, incrementando la qualità dell’azione
• Sviluppare valutazioni “sommative” periodiche che possano
correggere e migliorare le scelte strategiche, gli obiettivi generali
dell’organizzazione (impact) e anche quelli dello staff
• Fornire materiale di qualità, coinvolgente e aggiornato per le
attività di Comunicazione e Fundraising
• Formulare progettazioni per partecipare a nuovi bandi
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
59. Stiamo apprendendo dai fallimenti?
Cogliendo delle opportunità inattese?
• Fare i conti con onestà e coraggio ANCHE con tutto
ciò che non ha funzionato [ruolo dei finanziatori?]
• La consapevolezza delle ragioni alla base dei
fallimenti rappresenta il driver più forte per spingere a
un cambio di direzione, a una revisione della ToC, della
cultura e delle condizioni di lavoro nell’organizzazione
• ES. (PIALA): la ToC “… looks at intended and unintended,
positive and negative effects of a programme in relation to
other influences that directly or indirectly affected impact… ”.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
60. A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
61. Chi ha paura della ToC e della valutazione
d’impatto? (1)
Chi pensa che sia una spesa inutile o non prioritaria
piuttosto che un investimento.
• Fare una seria, profonda, sostenibile ed efficace ToC,
soprattutto nella fase iniziale, costa in termini di:
• decisioni anche difficili che l’organizzazione dovrà
prendere, a partire dal Board;
• investimento economico, di tempo, di risorse.
• Ma i ritorni a più livelli sono sempre ripagati
abbondantemente
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
62. Chi ha paura della ToC e della valutazione
d’impatto? (2)
Chi pensa che farà emergere i fallimenti e i limiti del
proprio lavoro e della propria organizzazione, a
discapito della reputazione personale e istituzionale.
• Vogliamo continuare a ripetere gli stessi errori,
senza mai imparare da essi? Vogliamo pagarne e farne
pagare per sempre il costo?
• Inoltre: la valutazione si fa principalmente per “dare
valore”
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
63. Chi ha paura della ToC e della valutazione
d’impatto? (3)
Chi dice: “abbiamo già i nostri strumenti di
monitoraggio e valutazione, perché cambiarli?”
• Chi risponde così, ha le sue ragioni
• le attività tradizionali di monitoraggio e valutazione
sono spesso inadeguate a valutare outcome e impact
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
64. La ToC nel prossimo bando AICS 2017
La valutazione della Concept note si baserà, fra le altre
cose, su:
• dimostrazione di avere una conoscenza profonda del
contesto specifico di intervento, fornendo baseline,
indicatori di partenza e target e individuando
puntualmente i beneficiari;
• capacità di fornire una visione del cambiamento che si
vuole produrre.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
65. La ToC nel prossimo bando AICS 2017
La valutazione della Proposta completa andrà a premiare le
proposte che contengano, sin dalla progettazione:
• elementi indispensabili per i successivi monitoraggio e
valutazione;
• dati precisi (ad es. su output e beneficiari) e di informazioni
realistiche e puntuali, ottenute da fonti di verifica solide,
attendibili e non autoreferenziali;
• la dimostrazione che il proponente possiede procedure
interne che lo rendono accountable e capace di
prevedere e affrontare rischi e imprevisti.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
66. La valutazione d’impatto nel penultimo
Documento di programmazione triennale (2015 – 2017)
Ripartire dalla valutazione dell’impatto di sviluppo
• Fondamentale sarà, come previsto dalla legge, il sistema
di indicatori di impatto sociale e di sviluppo necessari
per il monitoraggio delle politiche pubbliche con impatto
sui paesi partner.
• Uno sforzo coerente con il dibattito internazionale sui
target e goals della nuova Agenda post-2015 e in cui la
ricerca e l’esperienza sul campo dovranno assicurare
innovazione e maggiore attenzione alle dimensioni
non economiche dello sviluppo umano.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
67. La valutazione d’impatto nel penultimo
Documento di programmazione triennale (2015 – 2017)
• Si metteranno in atto sistemi di valutazione
dell’impatto traendo spunto dalle migliori pratiche degli
altri sistemi europei (in particolare il cosiddetto
“results based approach”) e fruendo di soggetti
valutatori esterni alla pubblica amministrazione.
• l’Italia inoltre continuerà a ispirare la propria azione ai
principi di efficacia dell’aiuto, così come discussi nel
ciclo di fora sull’ “aid and development
effectiveness” (Roma 2003, Parigi 2005, Accra 2008,
Busan 2011, Nairobi 2016)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
68. … e nell’ultimo
Documento di programmazione triennale (2016 – 2018)
L’Efficacia della Cooperazione allo Sviluppo:
• creare anche le condizioni finanziarie affinché la
valutazione possa rientrare a pieno titolo nelle attività
gestionali delle iniziative di cooperazione ed essere quindi
applicabile a tutti i programmi.
• necessario mettere l’accento sulla necessità di
formalizzare un sistema di “management response” alle
valutazioni, affinché le loro risultanze influiscano sulle decisioni
strategiche e sulla gestione, in particolare attraverso un’efficace
disseminazione dei risultati delle valutazioni, sia presso gli attori
del “Sistema Italia” di cooperazione, sia nei Paesi partner.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
69. Documento di programmazione triennale
(2016 – 2018)
• per tenere in considerazione alcune delle osservazioni
emerse nel corso dell’ultima “Peer Review” OCSE-DAC, la
DGCS si è dotata di un Comitato Consultivo per la
Valutazione, composto anche di personalità indipendenti,
in rappresentanza del mondo universitario (CRUI), dei
raggruppamenti delle Organizzazioni della Società Civile
partecipanti al “Gruppo Efficacia” e dell’Associazione
Italiana di Valutazione
• Con il sostegno di tale Comitato, cui è stata associata
l’AICS, si sta inoltre procedendo a un aggiornamento
delle Linee Guida sulla Valutazione
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
70. La ToC e le organizzazione di
cooperazione internazionale in Italia (1)
• La maggior parte delle conoscenze sulla ToC sembra
provenire dall’autoformazione, tramite articoli on line (43%),
testi (30%), manuali e guide, ma non mancano offerte
formative che trattano l’argomento (17,4%).
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
71. La ToC e le organizzazione di
cooperazione internazionale in Italia (2)
• La totalità delle persone che ha partecipato al questionario
ritiene che la ToC sia un tema da approfondire o
addirittura assolutamente indispensabile.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
72. La ToC e le organizzazione di
cooperazione internazionale in Italia (3)
• la metà dei partecipanti al questionario ha già applicato la ToC
all’interno della propria organizzazione, sfatando almeno in parte
il mito che si tratti di un approccio culturalmente poco “italiano”.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
73. La ToC e le organizzazione di
cooperazione internazionale in Italia (4)
• La maggior parte delle organizzazioni dice di impiegare la
ToC quale strumento per potenziare la propria
progettazione (55,8%)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
74. La ToC e le organizzazione di
cooperazione internazionale in Italia (5)
• la ToC, quando applicata, ha mostrato complessivamente
risultati eccellenti, moderatamente soddisfacenti o una
necessità di approfondimento per trarre conclusioni. Solo
il 3,9% ha giudicato i risultati insoddisfacenti
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
75. La ToC e le organizzazione di
cooperazione internazionale in Italia (6)
• Sembrerebbe anche che le organizzazioni valutino la ToC
come un investimento necessario alla propria
crescita, tanto che impiegano fondi propri per svilupparla,
senza attendere il bando o il finanziatore esterno
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
76. La ToC e le organizzazione di
cooperazione internazionale in Italia (7)
• Molto interessante anche la posizione di chi la ToC non l’ha
mai sviluppata nella propria organizzazione: nel 61% dei casi
dichiara di avere intenzione di farlo in futuro o comunque
non esclude di farlo (35,4%).
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
77. Per concludere, in sintesi
(il mio personale modello di lavoro)
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
78. Un’ultima riflessione
• Quale Change?
• Se lavoriamo in ambito sociale, se vogliamo generare
"impatto sociale" non possiamo fare a meno di fare i
conti con i rapporti di potere alla base della
povertà, dell'ingiustizia e delle disuguaglianze.
• La Teoria del Cambiamento in ultima istanza ha – o
dovrebbe avere – nel suo cuore la volontà di creare le
condizioni per una trasformazione costruttiva di tali
rapporti di potere.
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
79. Partendo da noi stessi
È impossibile che la nostra organizzazione generi
cambiamenti reali e duraturi (impatto) se non siamo
disposti PRIMA a cambiare - in alcuni casi
profondamente - approccio culturale, struttura e
processi all'interno
della nostra stessa organizzazione
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale
80. Sitografia essenziale
• http://www.theoryofchange.org/what-is-theory-of-change/
• www.theoryofchange.org/pdf/DFID_ToC_Review_VogelV7.pdf
• https://www.ifad.org/topic/overview/tags/piala
• http://www.tools4dev.org/resources/theory-of-change-vs-
logical-framework-whats-the-difference-in-practice/
• http://www.info-cooperazione.it/2016/07/una-guida-
collaborativa-per-comprendere-il-nuovo-quadro-logico-di-
europeaid/
A cura di Christian Elevati - Esperto in programmazione e valutazione di interventi a impatto sociale