Il documento discute l'importanza della valutazione delle politiche pubbliche in Italia, analizzando le sfide e le opportunità per migliorare l'efficacia degli interventi. Sottolinea l'utilizzo di metodi controfattuali, come gli esperimenti randomizzati, per garantire decisioni informate e un allocamento ottimale delle risorse. Inoltre, evidenzia la necessità di migliorare la raccolta e l'accesso ai dati per favorire una cultura della valutazione tra ricercatori e funzionari pubblici.

1. Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare l’Italia
Sono soldi ben spesi? Perché e come
valutare l’efficacia delle politiche
pubbliche
Aline Pennisi
Ministero dell’economia e delle finanze - RGS
14 giugno 2011

2. principali messaggi del libro bianco
• circoscrive il concetto di “valutazione” (termine generalmente utilizzato
per indicare attività molto diverse)
o valutare l’efficacia delle politiche intesa come capacità di produrre gli
effetti desiderati
• individuare i motivi del ritardo italiano nell’introdurre la valutazione
degli effetti come strumento di aiuto alle decisioni
• presentare a un pubblico non specialista alcuni dei metodi disponibili
per la valutazione degli effetti
• la valutazione contribuisce anche a migliorare la qualità e vivacità del
dibattito pubblico, con benefici in termini di:
o maggiore consenso per avviare cambiamenti nelle politiche esistenti
e superare lo status quo
o maggiore capacità di esplicitare i bisogni della società
l’approccio priviliegato è quello controfattuale e, in particolare,
dell’esperimento randomizzato (RCTs)
si focalizza l’attenzione su singoli interventi con popolazioni di beneficari omogenei e
trattamento tendenzialmente uniforme

3. buone motivazioni per valutare l’efficacia delle politiche
There is nothing a Government hates more than to be well-informed; for it makes
the process of arriving at decisions much more complicated and difficult.
-- John Maynard Keynes
• per i politici
o legittimazione e accountability nei confronti di cittadinanza / elettori
o maggiori capacità negoziali con parti che vestono interessi conflittuali
• per i policy-makers (disegnano la politica, scrivono le norme)
o migliore capacità di decidere come allocare le scarse risorse disponibili tra
diverse opzioni di intervento
o spinta a “sperimentare” / individuare meccanismi innovativi per rispondere ai
bisogni della società
o maggiore fiducia nell’amministrazione da parte dell’opinione pubblica
• ma anche per i practitioners e service providers (gli insegnanti, gli operatori
sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il
“trattamento”)
o hanno spesso domande “più semplici” e “ meno multi-dimensionali” a cui
rispondere (più adatte ai RCTs)
o le modalità effettive di attuazione di un intervento “nascondono” spesso
dettagli fondamentali (come mostra la letteratura dei RCTs, es. Banerjee /
Duflo, 2011)

4. la valutazione va disegnata assieme all’intervento
Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di
disegnare gli interventi, ma porta anche molti benefici in termini di:
• razionalizzazione del disegno dell’intervento
o esplicitando le varabili-risultato
o introducendo sin dall’inizio “varianti” del trattamento da testare
o rendendo più trasparenti i meccanismi di selezione dei beneficiari (la
stessa selezione casualmente…)
• riduzione dei costi della valutazione
o orientando i sistemi di gestione e monitoraggio dell’intervento in maniera
da fornire dati indispensabili per la valutazione
o RCTs possono fornire evidenze “forti” con campioni piccoli e (per gli effetti
di breve) in tempi relativamente rapidi
• confronto con “problemi” (imprevisti) in corso di attuazione
o per garantire la validità dell’esperimento diventa fondamentale porsi il
problema della non-contaminazione tra gruppo di trattamento e controllo
e delle cadute (attrition) nel gruppo di trattamento …. gettando luce su
dettagli dell’implementazione

5. anche con una valutazione controfattuale è a volte difficile fornire
risposte sul “che fare?”
• le evidenze possono essere ambigue o addirittura contraddittorie
o un caso classico della letteratura, Minneapolis Domestic Violence Experiment,
nel campo della giustizia criminale (Sherman and Berk, 1984), ma anche di molti
altri interventi (cfr. What Works Clearinghouse)
• se l’effetto è zero vuol dire davvero che l’intervento “non funziona”?
o il “dosaggio” potrebbe essere troppo basso, le variabili-risultato potrebbero
essere mal individuate (effetti attesi irrealistici e/o non condivisi dalla comunità
di practitioners)
o anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre
metodologie nell’intento di capire perché un effetto si produce o meno
• se l’effetto è positivo, lo stesso intervento funzionerà a regime e/o altrove?
o il problema più grosso dell’approccio controfattuale è la cd. “validità esterna” …
Miglioramento delle competenze degli studenti in matematica
WWC: 492 valutazioni relative a 32 interventi, di cui solo 29 sperimentali (RCT)
Evidenza Evidenza
Effetti quantificati Totale
"debole" "forte"
Nessun effetto intercettabile 13 3 16
Effetti misti 6 6
Effetti potenzialmente positivi 3 3
Effetti positivi 2 2 4
Totale 18 11 29
Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - più di
uno studio, più di una scuola e campione di almeno 350 studenti o 14 classi. (http://ies.ed.gov/ncee/wwc/)

6. valutazione degli effetti e riqualificazione della spesa
• Le sfide per la riqualificazione della spesa sono due:
o migliorare le prestazioni della pubblica amministrazione e il funzionamento
ordinario dei servizi
o sperimentare / riformare le politiche per rispondere a nuove crescenti
esigenze della società (competenze, immigrazione, invecchiamento,
innovazione tecnologica, ambiente, …)
• l’approccio del Libro bianco enfatizza il contributo della valutazione al
secondo aspetto, tuttavia può essere utile anche per il primo
o spingere alla misurazione della quantità e qualità dei servizi erogati (senza
la quale è difficile analizzare l’efficienza produttiva e organizzativa)
o individuare correttivi alle modalità operative esistenti (per es., capire come
migliorare il targeting dei beneficiari, come fornire incentivi agli operatori,
etc.) e riformare le politiche esistenti con pacchetti di interventi
dimostratisi empiricamente efficaci (per es., riforme Hartz in Germania)
E’ però importante non restringere il campo della valutazione agli interventi
sperimentali e “replicabili” (molte politiche hanno popolazioni di beneficiari
eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri
strumenti per fornire utili indicazioni …) 6

7. opportunità per la valutazione degli effetti
• E’ più semplice avviare grandi stagioni di valutazione in “good times” …
o maggiore disponibilità di risorse finanziare con cui sperimentare nuovi
interventi
o risorse finanziare e tempo da dedicare alla valutazione degli interventi
• … ma è tanto più necessario oggi per imparare come evitare i cd. “tagli
lineari” alla spesa
o esistono molti presupposti in tal senso a cui però non sono ancora
conseguiti risultati visibili:
- normativa sull’AIR/VIR
- “Relazione sullo stato della spesa” che ciascun Ministro invia al
Parlamento annualmente entro il 15 giugno (legge n. 244/2007)
- l’introduzione di un programma (prima straordinario e ora
permanente) di analisi e valutazione della spesa pubblica
affidato al Ministero dell’economia e delle finanze e la recente
istituzione di Nuclei di analisi e valutazione della spesa. Come
ambito di collaborazione tra ciascun amministrazione e il
MEF/RGS, con compiti di individuazione delle aree di
inefficienza della spesa e di inefficacia delle politiche
perseguite
7

8. ricercatori e funzionari pubblici
Potrebbero essere i protagonisti principali di un cambiamento verso una
maggiore pratica di valutazione delle politiche. Oltre a impegni dall’alto,
possono essere maggiormente mobilitati dal basso …
• ricercatori
o la comunità accademica è chiamata a contribuire … ma i ricercatori sono
guidati da ciò che è pubblicabile su riviste internazionali (interventi specifici
al contesto italiano e interventi che hanno effetto zero non sono
particolarmente allettanti, come non lo sono studi che replicano precedenti
valutazioni …)
• funzionari pubblici
o per essere utilizzata (e più facilmente accettata), la valutazione deve essere
fatta anche “dall’interno delle amministrazioni” (meglio competenze più
diffuse o luoghi deputati di eccellenza?)
o naturalmente serve anche acquisire strumenti pratici per affidare una
valutazione all’esterno (dall’elaborazione ed espressione di domande di
valutazione, alla selezione dei valutatori, alla gestione del processo, alla
diffusione dei risultati) … e per questo esistono spazi di formazione
(rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche introdurre
moduli ad hoc nelle scuole SSEF e SSPA)
8

9. offerta: migliorare qualità e accessibilità dei dati
• “open government data”
o superare le difficoltà di diffusione di microdati amministrativi e di
indagini
o favorire la creazione di dati longitudinali (nel rispetto della privacy)
indispensabili in molti campi come quello dell’istruzione e delle
politiche sociali per seguire nel tempo gli effetti
o rendere i dati accessibili a TUTTI, non solo ai “ricercatori
accreditati”
o curare la maggiore fruibilità via internet (cfr. il successo
dell’indagine OECD-PISA)
o ricordando che queste azioni portano benefici di per sé (prima
ancora dei risultati delle valutazioni):
- costringono gli annunci politici ad essere più fattuali
- incoraggiano la creazione di una domanda di valutazione
- favoriscono lo sviluppo di studi condotti in modo
spontaneo
9

10. domanda: adempimenti normativi e clausole valutative
• Regolamenti UE per la politica di coesione: occasioni per il 2014-2020
o Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le
politiche di coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo
parzialmente positivi in termini della diffusione di una pratica di valutazione e di
disponibilità di risorse per farla, anche perché:
- mentre la valutazione ex-ante e in itinere sono poste sotto la
responsabilità dei singoli Stati Membri, la valutazione ex-post (quindi
quella di impatto) rientra esclusivamente nella responsabilità della
Commissione Europea e non degli Stati Membri …
• Clausole valutative nelle norme che definiscono l’intervento
o l’inserimento di clausole valutative, soprattutto per interventi che hanno una
dichiarata natura sperimentale, favorisce l’introduzione del disegno della
valutazione sin dal disegno dell’intervento
o più che introdurre clausole “sunset”, occorre orientare le clausole valutative in
maniera da assicurare:
- la disponibilità dei dati necessari e la loro accessibilità a terzi
- un sistema di governance della valutazione per mettere assieme i
funzionari pubblici e i ricercatori
10

11. domanda: creare incentivi per l’utilizzo della valutazione
• la fissazione di tetti di spesa pluriennali per le amministrazioni e target
quantificati
o la stagione di evidence-based policy nel UK è stata accompagnata dagli accordi
di servizio pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da
periodici esercizi di revisioni della spesa (spending reviews) e tetti di spesa per i
budget dei Ministeri. Questo tipo di impianto favorisce:
- la definizione degli obiettivi misurabili associati ai principali
programmi di spesa, ossia un’esplicitazione degli effetti desiderati
- la responsabilizzazione dei dirigenti pubblici rispetto al
raggiungimento di risultati con un vincolo finanziario complessivo,
creando maggiore pressione per l’individuazione di interventi
efficaci
- la riforma delle legge di contabilità e finanza pubblica (n.
196/2009) contiene alcuni elementi da valorizzare in tal senso
(voto parlamentare a livello di programma di spesa, univoca
identificazione tra programma e CDR, indicatori da associare ai
programmi, programmazione pluriennale, delega all’art.40 con
“tetti di spesa”, …)
o il maggiore decentramento dei servizi e l’attuazione del federalismo fiscale
creano le condizioni per sperimentare un laboratorio di politiche diversificate e
per sviluppare un nuovo ruolo tra centro e periferia sul raggiungimento di
risultati a fronte di un vincolo rigido sulle risorse trasferite (LEP e obiettivi di
11
servizio)