1
La valutazione dell’outcome
• Il punto di partenza: la misurazione dell’outcome nelle città metropolitane
• Perché è impor...
Il punto di partenza:
La misurazione dell’outcome nelle città metropolitane
Nella prima fase del progetto di valutazione d...
Perché è importante valutare gli outcome?
●

Esigenza di controllo (outcome delle politiche possono essere prevedibili e s...
Che cosa è una politica pubblica?
Logica ex ante

Problema da risolvere

Logica ex post

Impatto atteso

Impatti ed

Obiet...
Outcome: definizione
Ci si riferisce alle conseguenze dell’azione della Pubblica Amministrazione
(ossia all’ outcome/esito...
Le principali domande relative alla
valutazione ex ante degli outcome (1)

Problema da risolvere

RILEVANZA
Impatto atteso...
Le principali domande relative alla
valutazione ex ante degli outcome (2)
Impatto atteso

COERENZA
COERENZA

Obiettivi gen...
Le principali domande relative alla
valutazione ex ante degli outcome (3)
Outcome atteso

Qual è il miglior progetto da re...
Strumenti: l’analisi costi benefici
Origine

Utilizzata per valutare i progetti di gestione delle risorse idrografiche neg...
Le principali domande relative alla
valutazione ex post degli outcome
Problema da risolvere

L’intervento è stato efficace...
Strumenti: la logica sperimentale
Origine:

Anni ’70 in US: il Congresso obbliga il Governo federale a testare le innovazi...
L’analisi controfattuale

●

Perché è importante l’analisi controfattuale
●

●

●

Processi spontanei: Durante l’applicazi...
Ricostruire il controfattuale:
«distorsione da selezione»
Nelle politiche pubbliche non obbligatorie la «distorsione da se...
Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (1/5)
●

Intervento complesso:
●

Misure...
Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (2/5)
Per un disoccupato i che riceve l’...
Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (3/5)
●

●

Non possiamo misurare l’effe...
Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (4/5)

Non possiamo dire nulla sui
“pegg...
Un esempio: i servizi di orientamento al lavoro ai
disoccupati in cerca di lavoro (5/5)
●

●

●

Se la politica è “raziona...
La valutazione dell’impatto
delle politiche pubbliche all’estero
●

USA: lunga tradizione di valutazione delle politiche (...
La valutazione dell’outcome delle politiche
alimentari della città di New York
Le politiche alimentari della città di New ...
Analisi degli outcome delle diverse azioni
relative al programma Healthy Food Access

22
Risultati

23
24
25
Quale lezione?
●

All’estero è prassi comune aggiungere nelle leggi istitutive di
politiche pubbliche “clausole valutative...
Cosa ci manca?
●

●

●

●

●

Cultura della “misurazione” e del “dato”:
Misurare non è una minaccia per il policy-maker ma...
Grazie per l’attenzione.
Alex Turrini
Giovanni Valotti

28
Upcoming SlideShare
Loading in...5
×

Webinar Grandi Città: Valutazione degli outcome

115
-1

Published on

Negli ultimi anni l’evoluzione dei modelli di valutazione della performance ha portato le Amministrazioni locali a focalizzarsi con sempre maggiore attenzione sulla programmazione degli obiettivi, sulla gestione dei processi e sulla valutazione dei risultati. Il Dipartimento della funzione pubblica ha realizzato in proposito il seminario on line “La valutazione dell’outcome dei Comuni”. Per rivedere il webinar accedi alla pagina webinar http://goo.gl/wTFhyS

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
115
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Webinar Grandi Città: Valutazione degli outcome

  1. 1. 1
  2. 2. La valutazione dell’outcome • Il punto di partenza: la misurazione dell’outcome nelle città metropolitane • Perché è importante valutare l’outcome? • Che cosa è una politica pubblica? • Outcome: definizione • Le principali domande relative alla valutazione ex ante degli outcome • L’analisi costi-benefici (cenni) • Le principali domande relative alla valutazione ex post degli outcome • La logica sperimentale • L’analisi controfattuale • Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro • La valutazione dell’impatto delle politiche pubbliche all’estero • Un esempio: il programma Healthy Food Access della Città di New York • Quale lezione dall’estero? Cosa ci manca? 2
  3. 3. Il punto di partenza: La misurazione dell’outcome nelle città metropolitane Nella prima fase del progetto di valutazione della performance nelle città metropolitane il tema della misurazione dell’impatto rappresenta un ambito di sviluppo non ancora totalmente esplorato dagli Enti italiani. In buona parte delle Amministrazioni prese in esame: - non sono stati rilevati strumenti specifici e formalizzati per la misurazione degli outcome - Esistono iniziative di misurazione indiretta (proxy) degli impatti (ad es. indagini di customer satisfaction). 3
  4. 4. Perché è importante valutare gli outcome? ● Esigenza di controllo (outcome delle politiche possono essere prevedibili e stimabili a priori) ● Richiesta di verifica e rassicurazione da parte della società civile sugli effetti delle politiche ● ● Accanto alle politiche macroeconomiche, negli ultimi decenni hanno assunto un'importanza crescente politiche mirate a gruppi variamente ristretti di soggetti − individui, famiglie, imprese – per cui gli outcome sono più facilmente identificabili Crescente complessità ed eterogeneità dell’intervento pubblico determinata da: ● Continuo passaggio dalla “certezza del diritto” all’”incertezza ambientale” ● Interdipendenza delle politiche pubbliche e dei relativi outcome ● ● Molte questioni economiche e sociali dipendono dall’effetto causale delle politiche pubbliche (es. politica industriale, fiscale) Contrazione delle risorse (scegliere politiche con pay-off migliori)
  5. 5. Che cosa è una politica pubblica? Logica ex ante Problema da risolvere Logica ex post Impatto atteso Impatti ed Obiettivi generali esiti Outcome atteso Outcomes realizzati Obiettivi specifici 1. Cos’è una politica pubblica? intervento mirato a una popolazione determinata con l’intento di indurre un cambiamento in una condizione e/o in un comportamento Risultati ottenuti Output atteso Prestazioni rese Attività previste Attività realizzate Costi previsti Input, costi, risorse 2. Qual è l’obiettivo della politica pubblica? modificare in un senso desiderato la condizione e/o il comportamento dei destinatari mediante l’offerta di un servizio, l’erogazione di un incentivo, l’imposizione di un obbligo, una combinazione degli interventi precedent 3. Chi sono gli stakeholders? Utenti, ma anche policy-maker
  6. 6. Outcome: definizione Ci si riferisce alle conseguenze dell’azione della Pubblica Amministrazione (ossia all’ outcome/esito/impatto) e non a ciò che la Pubblica Amministrazione ha fatto (ossia all’output/servizio/prestazione ) «Il numero di disoccupati che partecipano ad un corso di formazione professionale» Output «% di partecipanti che riescono a trovare lavoro alla fine del corso» Outcome «% di riduzione del tasso di disoccupazione» Impatto Outcome/Impatto : una (ma anche più di una) caratteristica osservabile e misurabile delle unità della popolazione-obiettivo. La variazione di questa caratteristica in presenza del trattamento, rispetto al caso di assenza di trattamento, è il risultato (impatto) delle politiche pubbliche 6
  7. 7. Le principali domande relative alla valutazione ex ante degli outcome (1) Problema da risolvere RILEVANZA Impatto atteso Outcome atteso Quali sono le caratteristiche, i bisogni, le priorità della comunità di riferimento? In che misura la politica è appropriata? In che misura gli obiettivi generali dell’iniziativa sono coerenti con quelli di altre iniziative? Rilevanza: verifica del grado in cui un’iniziativa tiene conto del contesto e dei problemi che intende risolvere. E’ l’intensità di relazione tra gli obiettivi generali dell’iniziativa e i bisogni della collettività di riferimento Disegno di valutazione: Analisi dei bisogni (need assessment) Tecniche e metodi utilizzati: Indagini ed altri metodi di ricerca sociale
  8. 8. Le principali domande relative alla valutazione ex ante degli outcome (2) Impatto atteso COERENZA COERENZA Obiettivi generali Outcome atteso Obiettivi specifici Output atteso Risultati attesi Qual è la logica dell’iniziativa? Quali sono gli obiettivi specifici e le attività che permettono di ottenere un alto impatto? Coerenza: rispetto dei nessi di causa effetto fra gli elementi dell’iniziativa Tecniche: Logical framework approach, albero causeeffetti, albero degli obiettivi) (considerato come un’ euristica ‘aid to thinking’), Attività previste
  9. 9. Le principali domande relative alla valutazione ex ante degli outcome (3) Outcome atteso Qual è il miglior progetto da realizzare? EFFICIENZA EX ANTE Obiettivi specifici Efficienza ex ante: modalità in cui le risorse verranno utilizzate per ottenere ilrisultato desiderato Output atteso Risultati attesi Domande: Disegno di valutazione: Analisi costi benefici, analisi costi efficacia, analisi finanziaria Attività previste Tecniche e metodi utilizzati: calcolo benefici in forma monetaria, calcolo TIR e VAN Costi previsti
  10. 10. Strumenti: l’analisi costi benefici Origine Utilizzata per valutare i progetti di gestione delle risorse idrografiche negli anni Trenta negli Stati Uniti. Il suo impiego si è diffuso dopo la seconda guerra mondiale. E’ la tecnica di valutazione ex ante più diffusa Caratteristiche tecniche Usata soprattutto prospetticamente. In quest’ultimo caso permette la scelta fra diverse alternative dei programmi. Si tratta di identificare e riunire l’insieme di vantaggi (outcome) e degli inconvenienti di ciascuna delle alternative e assegnare un valore su una scala comune quasi sempre monetaria. Si sceglie l’alternativa che presenta il rapporto costi-benefici (outcome) più elevato. Fasi: 1)Identificare tutte le alternative possibili 2)Identificare tutti i gruppi interessati all’intervento 3)Identificare tutti gli effetti per ciascun gruppo 4)Assegnare un valore a ciascun effetto per ciascun gruppo 5)Riassumere l’insieme dei costi e dei benefici di ciascuna alternativa e calcolarne il rapporto
  11. 11. Le principali domande relative alla valutazione ex post degli outcome Problema da risolvere L’intervento è stato efficace? Ha inciso positivamente sul problema che l’ha generato? Impatti ed esiti Utilità o efficacia esterna: capacità del progetto di soddisfare i bisogni dei destinatari. Relazione tra l’insieme degli effetti ottenuti a fronte dei bisogni. Essendo effettuata ex post si basa su ciò che è realmente successo (Punto di vista degli utenti) Disegno di valutazione: Logica sperimentale Outcomes realizzati Risultati ottenuti Prestazioni rese
  12. 12. Strumenti: la logica sperimentale Origine: Anni ’70 in US: il Congresso obbliga il Governo federale a testare le innovazioni che voleva introdurre sotto forma di grandi sperimentazioni sociali Caratteristiche tecniche Sperimentare significa confrontare lo stato attuale della popolazione obiettivo in seguito all’attuazione di un programma con quello che sarebbe lo stato della popolazione obiettivo in assenza del trattamento e valutare. Analizzando la differenza si valuta l’impatto del programma Gruppo Speriment. Gruppo di controllo Misura preliminare Applicazione trattamento Misura finale E(0) X E(n) E’ (0) --- E’(n) Variazione Y= E(0)-E(n) Y= E’(0)-E’(n) Analisi controfattuale L’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento (osservabile) e quanto si sarebbe osservato in sua assenza (non osservabile):
  13. 13. L’analisi controfattuale ● Perché è importante l’analisi controfattuale ● ● ● Processi spontanei: Durante l’applicazione della politica i processi di cambiamento – compresi quelli che la politica vuole modificare continuano a fluire: e possono fluire in maniera diversa per partecipanti e non partecipanti Effetti mediati: i comportamenti della popolazione cambiano in funzione dell’applicazione della politica, con possibili effetti mediati sull’outcome Effetti contestuali: a contesti diversi possono corrispondere esiti diversi 13
  14. 14. Ricostruire il controfattuale: «distorsione da selezione» Nelle politiche pubbliche non obbligatorie la «distorsione da selezione» si verifica perché : ● ● Non tutti gli ammissibili chiedono l’intervento (processo di auto-selezione) e chi chiede l’intervento non è uguale a chi non lo chiede (variabili sociodemografiche, motivazionali, culturali, ecc..) L’intervento viene dato solo ad alcuni tra gli ammissibili (criteri di assegnazione) Trattati e non-trattati devono essere resi equivalenti in tutti gli aspetti rilevanti 14
  15. 15. Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (1/5) ● Intervento complesso: ● Misure attive: – – Servizio intensivo di counselling – ● Colloquio iniziale di orientamento Servizio di supporto al matching con domande di lavoro Misure passive: – – ● ● Sostegno al reddito (limitato e decrescente nel tempo) Prescrizioni (es. obbligo per il disoccupato di accettare un’offerta di lavoro congrua) I partecipanti (disoccupati) concorrono in modo volontario (possibile selezione: i migliori richiedono i servizi) Gli operatori hanno proprie convinzioni su come operare (possibile selezione: gli operatori attribuiscono i servizi ai migliori per aumentare le probabilità di successo) 15
  16. 16. Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (2/5) Per un disoccupato i che riceve l’intervento, Y1,i è l’outcome realizzato (es. tempo di disoccupazione dopo l’intervento), o fattuale. Y0,i è il valore dell’outcome che si sarebbe ottenuto se l’individuo non avesse ricevuto l’intervento, quindi è il suo outcome potenziale (controfattuale). Outcome osservato Outcome controfattuale Partecipante (D = 1) Y1 Y0 Non partecipante (D = 0) Y0 Y1 16
  17. 17. Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (3/5) ● ● Non possiamo misurare l’effetto causale a livello individuale Dobbiamo rimediare all’assenza di dati sul controfattuale cercando di stimarlo: ● ● ● Il trattamento non deve essere diverso tra gli individui trattati Per poter avere un paragone, dobbiamo osservare sia individui partecipanti sia individui non partecipanti Partecipanti e non partecipanti devono essere comparabili tra loro ossia non devono differire nelle caratteristiche che determinano la (auto)allocazione nel braccio di trattamento 17
  18. 18. Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (4/5) Non possiamo dire nulla sui “peggiori” (quelli che hanno più bisogno dell’intervento!) Popolazione confrontabile Non possiamo dire nulla sui “migliori” Non abbiamo trattati Non abbiamo nontrattati Propensione ad accedere all’intervento Fonte: Trivellato, 2009 Assumiamo di conoscere tutte le variabili X che inducono alla distorsione da selezione
  19. 19. Un esempio: i servizi di orientamento al lavoro ai disoccupati in cerca di lavoro (5/5) ● ● ● Se la politica è “razionata” prevede cioè una soglia di ammissibilità si può procedere con il confronto intorno alla “soglia di discontinuità” Immaginiamo che il servizio di orientamento venga erogato solo a chi supera un test attitudinale con punteggio ≥ 56 Il valore 56 rappresenta la soglia di discontinuità: ● ● Gli individui subito sopra e subito sotto la soglia sono equivalenti rispetto alle variabili X (situazione simile alla randomizzazione) La differenza tra il valore medio dell’outcome degli individui subito sopra la soglia e il valore medio dell’outcome ottenuto dagli individui subito sotto la soglia rappresenta l’effetto della politica 19
  20. 20. La valutazione dell’impatto delle politiche pubbliche all’estero ● USA: lunga tradizione di valutazione delle politiche (metà degli anni ‘60): What Works Clearing House ● Germania: riforme “Harz” ● Francia: politiche di avviamento al lavoro ● UK: politiche di welfare 20
  21. 21. La valutazione dell’outcome delle politiche alimentari della città di New York Le politiche alimentari della città di New York si inseriscono in un più vasto piano strategico per la città di New York (www.planyc.gov) . Rispetto a tale ambito la legge 52 del 2011 ha definito 19 misure sulla base delle quali valutare gli esiti delle politiche alimentari Azioni: 1. 2. 3. 4. 5. 6. City Food Purchasing and Service Healthy Food Access Healthy Food Awareness and Promotion Food Security Food System Sustainability Economic Development 21
  22. 22. Analisi degli outcome delle diverse azioni relative al programma Healthy Food Access 22
  23. 23. Risultati 23
  24. 24. 24
  25. 25. 25
  26. 26. Quale lezione? ● All’estero è prassi comune aggiungere nelle leggi istitutive di politiche pubbliche “clausole valutative”: ● ● Indicazione sui metodi da utilizzare per misurare l’impatto ● ● Obiettivi su cui valutare l’impatto/efficacia delle politiche Stanziamento per lo svolgimento della valutazione Grande distanza con il nostro modello basato su: ● Controllo di conformità alla legge ● Bilancio di previsione e certificazione dei bilanci consuntivi 26
  27. 27. Cosa ci manca? ● ● ● ● ● Cultura della “misurazione” e del “dato”: Misurare non è una minaccia per il policy-maker ma strumento per rafforzare le sue posizioni Qualità, trasparenza e accessibilità dei dati Coordinamento e collaborazione con centri di ricerca e/o con chi detiene le conoscenze tecniche per condurre analisi di impatto a sostegno della (ri)formulazione delle politiche pubbliche (settore della sanità è a livelli più avanzati) Tempestività della valutazione (progetti pilota, social experiments) 27
  28. 28. Grazie per l’attenzione. Alex Turrini Giovanni Valotti 28
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×