La valutazione delle attività di innovazione - part.I
Upcoming SlideShare
Loading in...5
×
 

La valutazione delle attività di innovazione - part.I

on

  • 294 views

L’innovazione è un fenomeno multiforme. La varietà degli obiettivi e degli attori coinvolti nei processi attivati dalle politiche di innovazione, la natura intangibile dei principali esiti, ...

L’innovazione è un fenomeno multiforme. La varietà degli obiettivi e degli attori coinvolti nei processi attivati dalle politiche di innovazione, la natura intangibile dei principali esiti, l’orientamento emergente verso interventi di carattere sistemico ne rendono particolarmente complessa la valutazione. Nel rispetto di tale complessità, il workshop propone l’individuazione, nel confronto con gli orientamenti europei, di principi e pratiche utili a guidare la definizione e l’applicazione di metodi di analisi e di valutazione specifici per queste politiche.

Statistics

Views

Total Views
294
Views on SlideShare
294
Embed Views
0

Actions

Likes
0
Downloads
2
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    La valutazione delle attività di innovazione - part.I La valutazione delle attività di innovazione - part.I Presentation Transcript

    • Introduzione alla Valutazionedelle Politiche Pubbliche
    • Agenda - La Valutazione delle politiche Pubbliche: elementi di base - Metodi e Tecniche di Valutazione: criteri di scelta - La Valutazione e la Politica di Coesione - Le Istituzioni della ValutazioneMarco De Maggio, PhD – UVAL DPS
    • La Valutazione delle Politiche Pubbliche: elementi di baseMarco De Maggio, PhD – UVAL DPS
    • Cosa intendiamo per “valutazione delle politiche pubbliche”? Processo orientato a elaborare un giudizio  sugli effetti dell’intervento pubblico  basato sulla ricerca e sull’analisi  finalizzato alla decisione e all’azione programmatori partner partner destinatari cittadini e gestori istituzionali sociali diretti degli interventiMarco De Maggio, PhD – UVAL DPS
    • Cosa intendiamo per “valutazione delle politiche pubbliche”? Processo orientato a elaborare un giudizio  sugli effetti dell’intervento pubblico  basato sulla ricerca e sull’analisi  finalizzato alla decisione e all’azione rafforzare l’impegno migliorare e correggere aumentare la dell’azione pubblica nel gli strumenti di trasparenza delle raggiungere gli obiettivi intervento e le politiche, alimentando il prefissati, consentendo modalità attuative, dibattito pubblico e la di acquisire dati ed fornendo ai decisori discussione informazioni sugli effetti elementi necessari per partenariale. ed i risultati delle orientare le loro scelte politicheMarco De Maggio, PhD – UVAL DPS
    • Cosa intendiamo per “valutazione delle politiche pubbliche”? Pratica professionale negli anni ’40 -’50 nel Nord America 3 correnti - 3 scuole di metodo Innovazioni per l’istruzione studi quantitativi e 1 sperimentali con l’uso di Ex. nuovi curricula nelle scuole gruppi di controllo Efficiente allocazione delle risorse Ex. sistemi di pianificazione, valutazione economica, analisi 2 programmazione e allocazione in costi-benefici bilancio Programmi contro la povertà metodi partecipativi e 3 Ex. Esperimenti nella Grande qualitativi Società negli anni ’60Marco De Maggio, PhD – UVAL DPS
    • Cosa intendiamo per “valutazione delle politiche pubbliche”? Pratica professionale negli anni ’40 -’50 nel Nord America 3 correnti - 3 scuole di metodo Si diffonde in Europa negli anni ’70, a partire dai Paesi del Nord. Approcci diversi a seconda delle caratteristiche dei Governi e delle politiche Paesi Scandinavi: impegno verso governance democratica Francia: approccio strutturato a livello centrale, particolarmente dinamica dopo il 2000 UK: grande diffusione a partire dal 1997 Italia: come per gli altri paesi dell’Europa Meridionale, forte impulso, a partire dal 1988, come conseguenza dei requisiti dei Regolamenti dei Fondi Strutturali (Politica di Coesione)Marco De Maggio, PhD – UVAL DPS
    • In che modo si configura la valutazione in relazione al “ciclo di policy”?  Un sistema di valutazione efficace deve essere integrato nel ciclo delle politiche/programmi.  La valutazione svolge funzioni diverse nelle varie fasi del ciclo del programma : Valutazione Valutazione Valutazione Ex-Ante In itinere Ex-PostMarco De Maggio, PhD – UVAL DPS
    • In che modo si configura la valutazione in relazione al “ciclo di policy”? Policy Policy Review formulation Programme Programme conclusion design Ex post Ex ante evaluation evaluation In itinere evaluation Programme implementation PolicyMarco De Maggio, PhD – UVAL DPS delivery Fonte: www.evalsed.com
    • In che modo si configura la valutazione in relazione al “ciclo di policy”? Esigenza di sincronizzazione • Una valutazione ex ante intrapresa troppo tardi per la formulazione di un programma perde di utilità. • Se i risultati di una valutazione ex post giungono troppo tardi non hanno la possibilità di incidere sulla revisione dei programmi e delle politiche.Marco De Maggio, PhD – UVAL DPS
    • In che modo la valutazione contribuisce allo svolgimento del ciclo della policy? Migliorare la qualità dell’intervento pubblico assicurando la migliorando la identificando le “pertinenza” gestione e conseguenze l’attuazione dei non volute ed dei programmi programmi effetti perversi selezionando gli identificando le strumenti e gli realizzazioni, i interventi risultati e gli nell’ambito di un programma impattiMarco De Maggio, PhD – UVAL DPS
    • 1. assicurando la “pertinenza” dei programmi Valutazione ex ante del programma: valutare se un programma tiene conto dei fabbisogni di un territorio e se la sua strategia è adeguata per affrontarliMarco De Maggio, PhD – UVAL DPS
    • 2. selezionando gli strumenti e gli interventi nell’ambito di un programma. Valutazione ex ante a livello di progetto  Valutazione economica che stima i probabili costi degli interventi e benefici di un numero di strumenti alternativi .  Valutazione di ammissibilità di interventi specifici rispetto a criteri che assicurino la coerenza degli interventi all‘interno di un programma.  Valutazione sostenibilità di un interventoMarco De Maggio, PhD – UVAL DPS
    • 3. migliorando la gestione e l’attuazione dei programmi Attraverso l’analisi dei dati di monitoraggio e in generale dell’andamento di un programma la valutazione in itinere può suggerire modifiche del programma “a metà percorso”, utili per il raggiungimento degli obiettiviMarco De Maggio, PhD – UVAL DPS
    • 4. identificando le realizzazioni, i risultati e gli impatti Valutazione in itinere e ex post  Necessità di obiettivi chiari e misurabili e interventi coerenti con gli obiettivi fissati  Sistema di indicatori efficace  Indicatori che ben rispecchiano gli obiettivi prefissatiMarco De Maggio, PhD – UVAL DPS
    • 5. identificando conseguenze non volute ed effetti perversi Valutazione ex-post L’analisi delle realizzazioni e dei risultati può far emergere delle conseguenze, positive o negative, dell’intervento pubblico. In casi estremi gli esiti possono essere contrari a quelli sperati. Rilevante stimolo al processo di apprendimento.Marco De Maggio, PhD – UVAL DPS
    • Quali sono le principali tipologie di valutazione? Autovalutazione consiste in processi di osservazione e analisi degli andamenti di una politica o di programma, guidati e controllati internamente dai responsabili della formulazione e/o attuazione secondo definite metodologie e procedure. Valutazione Operativa Valutazione Strategica ha per oggetto la performance di uno guarda agli effetti che politiche e specifico programma in termini di programmi nel loro complesso e nella capacità di conseguimento della loro interazione e integrazione struttura di obiettivi (realizzazioni e reciproca hanno sul conseguimento di risultati) fissati ex-ante. Questo tipo di priorità definite strategiche a livello valutazione focalizza sui nessi causali comunitario, nazionale e/o regionale. che sottendono il meccanismo di funzionamento del programma (processi) e la generazione dei relativi effetti (prodotti).Marco De Maggio, PhD – UVAL DPS
    • Qual è la relazione tra monitoraggio e valutazione? Il monitoraggio consiste essenzialmente in una  raccolta di informazioni  qualitative e quantitative  a cadenze regolari. con l’obiettivo di favorire il controllo sui risultati ottenuti.Marco De Maggio, PhD – UVAL DPS
    • Qual è la relazione tra monitoraggio e valutazione? MONITORAGGIO VALUTAZIONE Informazione Giudizio È svolta da un valutatore È un’attività del management interno esterno/interno Riguarda alcuni aspetti dell’azione Riguarda tendenzialmente tutti gli (critici o esemplari), riferiti a aspetti dell’azione resi misurabili problemi o esiti Per alcuni casi significativi, o su un Per ogni progetto campione Viene fatto con rilevazioni regolari, Può essere fatta in diversi momenti, e come un flusso in un colpo solo Misura dei rapporti: efficacia, Misura il raggiungimento di un target efficienzaMarco De Maggio, PhD – UVAL DPS
    • Qual è la funzione degli indicatori nell’ambito della valutazione? IMPATTI (effetti a lungo termine) Obiettivi Globali RISULTATI Obiettivi (effetti diretti e Obiettivi Specifici del immediati) programma Realizzazioni (beni e servizi prodotti Obiettivi operativi dal programma) Operazioni RISORSE del programmaMarco De Maggio, PhD – UVAL DPS
    • Qual è la funzione degli indicatori nell’ambito della valutazione? In questo schema le risorse del programma sono legate alle sue realizzazioni, ai relativi risultati ed impatti: Riassumendo, quindi:  gli obiettivi operativi sono espressi in termini di realizzazioni (ad esempio listituzione di corsi di formazione per i disoccupati di lunga durata);  gli obiettivi specifici sono espressi in termini di risultati (ad esempio, il miglioramento, grazie alla formazione, delle possibilità occupazionali per i disoccupati di lunga durata);  gli obiettivi globali sono espressi in termini di impatti (ad esempio calo della disoccupazione fra i disoccupati di lunga durata).Marco De Maggio, PhD – UVAL DPS
    • Qual è la funzione degli indicatori nell’ambito della valutazione?  Indicatori finanziari si riferiscono alla dotazione finanziaria concessa a ciascun livello dellintervento. Sono utilizzati per monitorare i progressi fatti in termini di impegno (annuo) e di pagamento dei fondi disponibili per ciascuna operazione, o programma  Indicatori di realizzazione sono riferiti allattività. Sono misurati in unità fisiche (ad esempio, chilometri di strada costruiti, numero di imprese che hanno beneficiato di un sostegno finanziario, ecc.).  Indicatori di risultato si riferiscono alleffetto diretto ed immediato prodotto da un programma. Possono essere di natura fisica (riduzione dei tempi di percorrenza, numero di persone effettivamente formate, numero di incidenti stradali, ecc.) o finanziaria (effetto moltiplicatore sulle risorse del settore privato, riduzione dei costi di trasporto).  Indicatori di impatto si riferiscono alle conseguenze del programma al di là degli effetti immediati sui suoi beneficiari diretti. Si possono distinguere impatti specifici e globali.Marco De Maggio, PhD – UVAL DPS
    • Qual è la funzione degli indicatori nell’ambito della valutazione? Per ognuna delle tre fasi valutazione ex ante, valutazione in itinere e valutazione ex post, si debbono affrontare una serie di questioni specifiche relative alla "performance" di programmi o di soggetti trattati. Gli indicatori costituiscono una fondamentale fonte di informazione su cui deve basarsi la valutazione. Allo stesso tempo gli indicatori sono essi stessi soggetti a valutazioni specifiche nelle diverse fasi. La valutazione ex-ante dovrebbe contemplare i seguenti elementi:  nesso e coerenza tra obiettivi globali, obiettivi specifici e misure  esistenza e pertinenza degli indicatori di realizzazione, risultato e impatto a ciascun livello di intervento;  attendibilità del livello di quantificazione degli obiettivi. La valutazione intermedia deve esaminare il grado di efficacia raggiunto sulla base degli indicatori raccolti durante la sorveglianza. Essa servirà inoltre a valutare la qualità e la pertinenza degli indicatori. La valutazione ex post, attraverso i dati finali della sorveglianza, raffronterà gli obiettivi previsti con quelli effettivamente raggiunti (compresi gli impatti).Marco De Maggio, PhD – UVAL DPS
    • Metodi e Tecniche di Valutazione: criteri di sceltaMarco De Maggio, PhD – UVAL DPS
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? Il principio guida per orientare la scelta metodologica nell’intraprendere una valutazione è la definizione della finalità del giudizio. Ferma restando il più generale obiettivo di apprendimento, le principali finalità più frequentemente riconosciute della valutazione sono 6: 1. Pianificazione /Efficienza 2. Responsabilità/Efficacia 3. Attuazione 4. Produzione di conoscenza 5. Rafforzamento istituzionale Dalla definizione delle finalità discendono - la formulazione della domanda valutativa - la selezione del metodo.Marco De Maggio, PhD – UVAL DPS
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? Finalità Domande di valutazione Domande di valutazione di programmatori, attori politici e cittadini : Pianificazione 1 •Esistono usi alternativi delle risorse che porterebbero Efficienza maggiori benefici? •Esiste una corrispondenza tra i costi incorsi e i benefici conseguiti? Responsabilità Domande di valutazione di attori politici, dei finanziatori dei 2 Efficacia programmi. •Il programma ha raggiunto i propri obiettivi? •Quali sono stati gli impatti? Domande di valutazione dei programmatori •Le disposizioni di attuazione stanno funzionando in 3 Attuazione modo efficiente?Marco De Maggio, PhD – UVAL DPS stanno osservando le scadenze? •Si
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? Finalità Domande di valutazione Domande di valutazione di programmatori e attori politici Produzione •Quali sono stati i fattori di successo e gli ostacoli incontrati? 4 di •La logica del programma e le sue assunzioni devono essere conoscenza rimessi in discussione? Domande di valutazione degli attori coinvolti nel programma Rafforzamento 5 Istituzionale •I beneficiari (e anche le comunità locali) sono sufficientemente coinvolti nella strutturazione del programma? •I meccanismi del programma sostengono e sono aperti a giudizi dal basso?Marco De Maggio, PhD – UVAL DPS
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? 5 posizioni metodologiche Allocazione delle risorse: riguarda l’uso efficiente delle risorse, sia in 1 prospettiva futura, in termini di programmazione, sia retrospettivamente. Standard e obiettivi: riguarda il giudizio sul successo e sulla performance 2 attraverso l’applicazione di specifici criteri. Miglioramento/cambiamento: posizione costruttiva, fornisce un riscontro 3 positivo e articolato per sostenere l’auto-correzione del monitoraggio durante il ciclo di vita di un programma. Spiegazione: posizione esplicativa degli impatti e del successo di un 4 programma, produce delle proposizioni causali su ciò che funziona, quando e come. Sviluppo/partecipativa: si propone di promuovere reti, comunità e 5 territori attraverso metodi dal basso, partecipativi.Marco De Maggio, PhD – UVAL DPS
    • FINALITA’ Pianificazione Responsabilità Produzione di Rafforzamento Attuazione efficienza efficacia conoscenza istituzionale Allocazione Allocativa risorse economicaPOSIZIONI METODOLOGICHE Standard e Gestione obiettivi Esecuzione Miglioramento Formativa cambiamento Causale Spiegazione Sperimentale Sviluppo Partecipativa partecipativa
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? Altri criteri Forma dell’intervento  interventi tematici,  priorità di politiche/di settore,  sviluppo territoriale e locale Fase del ciclo  Formulazione (identificare bisogni e priorità)  Disegno (interventi e organizzazione)  Attuazione (feedback e risultati intermedi) Conclusioni/risultati (realizzazioni e impatti) Fase del processo di valutazione  Definire l’ambito e la struttura del lavoro  Ottenere e analizzare l’informazione  Costruire i giudizi valutativi  Comunicare i risultati della valutazioneMarco De Maggio, PhD – UVAL DPS
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? Altri criteri Metodi quantitativi vs qualitativi - una distinzione che crea ambiguità Metodi quantitativi Metodi qualitativi  Aggregare i giudizi  osservare processi fini  creare modelli esplicativi e  analizzare il contesto predittivi  raccogliere giudizi umani  fornire una visione di insieme  facilitare la comprensione dal che aggiorna l’analisi basso qualitativa  spiegare schemi causali  effettuare stime della misura e  misurare diversi impatti su della scala diversi gruppi  agevolare la comparazione tra  esplorare categorie innovative le situazioni  analizzare una tendenza nel tempoMarco De Maggio, PhD – UVAL DPS
    • Qual è il giusto punto di partenza per compiere una corretta scelta metodologica di valutazione? Altri criteri Metodi quantitativi vs qualitativi - una distinzione che crea ambiguità Metodi alternativi vs mix di metodi Ogni metodo presenta punti di forza e di debolezza E’ consigliabile disegnare valutazioni basate su mix di metodi (triangolazione) in relazione alla  ampiezza e complessità dell’oggetto della valutazione,  molteplicità delle prospettive di osservazione.Marco De Maggio, PhD – UVAL DPS
    • Alcuni approcci alla valutazione degli effetti delle politiche pubbliche Elementi di baseMarco De Maggio, PhD – UVAL DPS
    • Valutazione Analisi costi-benefici Ex-Ante Analisi costi-efficacia Quadro Logico (QL) Valutazione In itinere Approccio controfattuale Valutazione basata sulla teoria Valutazione Approccio realista Ex-Post Metodi partecipativiMarco De Maggio, PhD – UVAL DPS
    • Qual è l’obiettivo del valutatore? Effetti netti Nesso causale Isolare gli effetti netti di un singolo Identificare il “nesso causale” univoco intervento (la cui attuazione si può che dalla realizzazione di un intervento concettualmente ipotizzare determina effetti specifici e rilevabili omogenea)? su beneficiari identificabili. approccio “controfattuale” approccio “basato sulla teoria” approccio “realista” adatto a valutare interventi adatto a valutare situazioni semplici, con obiettivi chiari e complicate o complesse, diverse a linee guida per l’attuazione causa dei differenti contesti e molto precise meccanismi che vengono innescatiMarco De Maggio, PhD – UVAL DPS
    • Qual è l’obiettivo del valutatore? Effetti netti Nesso causale Isolare gli effetti netti di un singolo Identificare il “nesso causale” univoco intervento (la cui attuazione si può che dalla realizzazione di un intervento concettualmente ipotizzare determina effetti specifici e rilevabili omogenea)? su beneficiari identificabili. approccio “controfattuale” approccio “basato sulla teoria”, “realista” , “partecipativo” Ognuno di questi approcci utilizza uno o più metodi di raccolta e trattamento dei dati:  metodi quantitativi (e.g. sondaggi, disegni sperimentali, indicatori statistici)  metodi qualitativi (e.g. interviste, focus groups, studi di caso)  metodi specifici della valutazione (e.g. peer reviews, delphi)Marco De Maggio, PhD – UVAL DPS
    • L’approccio controfattuale • Si tratta di valutare per dati interventi, in dati luoghi, se la condizione dei soggetti beneficiari dell’intervento risulti modificata rispetto a quella di soggetti “simili e in simili circostanze” che non abbiano beneficiato dell’intervento. • Consiste nel misurare la differenza tra le due popolazioni (beneficiari e non-beneficiari) tenendo in considerazione le variabili osservabili a confronto. A. metodo sperimentale B. metodi non sperimentaliMarco De Maggio, PhD – UVAL DPS
    • L’approccio controfattuale Metodo sperimentale I membri del gruppo di controllo e i membri del gruppo sperimentale non possono essere identici Tuttavia la perfetta identità non è un requisito indispensabile: è sufficiente che i due gruppi siano statisticamente equivalenti, cioè abbiano la stessa distribuzione di tutte le caratteristiche (ad esempio, la stessa media, la stessa varianza, ecc), eccezion fatta per l’inevitabile errore campionario, che però tende ad essere “piccolo” quando il campione casuale utilizzato per generare i due gruppi è sufficientemente “grande”.Marco De Maggio, PhD – UVAL DPS
    • L’approccio controfattuale Metodo sperimentale La completa equivalenza pre-trattamento tra i due gruppi rende plausibile attribuire in senso causale al trattamento le differenze nella variabile-risultato che si osservano tra i due gruppi dopo il trattamento. Quindi le differenze post-trattamento nella variabile-risultato “rivelano” in modo credibile l’effetto che il trattamento ha avuto in media sui soggetti trattati. Limiti del metodo  Difficile realizzabilità tecnica  Applicabilità limitata per le politiche universali  Problema eticoMarco De Maggio, PhD – UVAL DPS
    • L’approccio controfattuale Metodi non sperimentali Quando il metodo sperimentale non è praticabile è possibile utilizzare uno dei metodi di valutazione definiti collettivamente come non-sperimentali. Anche in una situazione non-sperimentale, l’effetto di una politica è definito come differenza tra una situazione fattuale e una controfattuale. Ma ora la situazione controfattuale non è più approssimabile mediante un gruppo di controllo scelto con una procedura di randomizzazione. Il controfattuale andrà approssimato osservando cosa succede ad altri soggetti (per ipotesi simili) e/o agli stessi soggetti in altri periodi di tempo.  I confronti spazio-temporali con dati non sperimentali  La regressione e il matching statistico come strumenti per ridurre le differenze di partenza  I metodi – UVAL DPSMarco De Maggio, PhD basati sulla discontinuità di trattamento
    • L’approccio basato sulla teoria Basare la Valutazione sulla teoria significa analizzare il ragionamento logico che mette in relazione gli input con gli esiti desiderati, per vedere se vi sia una ragionevole probabilità che le finalità vengano raggiunte. La valutazione è un’attività scientifica e in quanto tale deve ispirarsi a delle teorie, che illustrano cosa succede in termini di azioni e interazioni tra gli attori coinvolti, studiando il comportamento degli individui che sono inseriti nelle politiche pubbliche.Marco De Maggio, PhD – UVAL DPS
    • L’approccio basato sulla teoria Vantaggi:  Può contribuire ad una pianificazione più saggia, prima che la valutazione venga intrapresa. Quando i valutatori sono impegnati nella fase della pianificazione, hanno l’opportunità di aiutare i programmatori a mettere in discussione le loro teorie sul funzionamento del programma quando queste appaiono opinabili e prive di fondamento.  Può aiutare a comprendere in che modo e perché un programma ha successo oppure no. Conoscere esclusivamente gli esiti non è sufficiente a fornire informazioni per il miglioramento del programma o la revisione della politica. La valutazione deve entrare nella scatola nera (evidenziando i meccanismi sottostanti di azione-interazione) e deve farlo in modo sistematico.  Fornisce le basi teoriche per valutare i probabili impatti dei programmi. Svantaggi:  Può facilmente diventare eccessivamente complessa se la scala delle attività è ampia.  I portatori di interessi potrebbero non essere d’accordo su quali fattori siano giudicati determinanti, e questo potrebbe provocare una grossa perdita di tempo nell’indirizzare il programma.Marco De Maggio, PhD – UVAL DPS
    • L’approccio realista I programmi funzionano oppure no, non solo in base alla logica che li sottende ma dipendono fortemente dal contesto sociale in cui sono inseriti. La relazione tra un meccanismo causale ed il suo effetto non è data ma, al contrario, contingente. Per contesto sociale non si intende semplicemente il luogo spaziale, geografico o istituzionale in cui un programma è inserito, ma il complesso di regole sociali, relazionali e culturali in grado di influenzare gli esiti del programma. Compito della valutazione è esaminare l’azione delle strutture sociali, relazionali e culturali preesistenti, verificando in che misura esse “agevolano” o viceversa “fanno da ostacolo” al meccanismo di cambiamento progettato.Marco De Maggio, PhD – UVAL DPS
    • L’approccio partecipativo L’approccio partecipativo implica il coinvolgimento attivo dei portatori d’interesse nelle diverse fasi di una valutazione fin dalla sua ideazione. Un’attività di valutazione orientata ad un sistema territoriale circoscritto non può prescindere, sia nella fase di analisi che in quella di valutazione vera e propria di un piano o programma, dalla raccolta e dal confronto di elementi conoscitivi detenuti esclusivamente dai diversi gruppi di attori locali che operano nell’ambito di quel sistema.Marco De Maggio, PhD – UVAL DPS
    • L’approccio partecipativo Vantaggi:  La valutazione persegue innanzitutto una finalità conoscitiva e si configura come un processo di apprendimento.  La negoziazione tra differenti bisogni, aspettative e punti di vista può contribuire a costruire fiducia e prospettive condivise di cambiamento. Svantaggi:  L’attore che definisce quali stakeholders debbano essere coinvolti nel processo di valutazione partecipata assume indirettamente il potere di definire l’oggetto da valutare, restringendo i punti di vista esprimibili a quelli selezionati e influenzando in tal modo, in maniera del tutto rilevante, la natura più o meno democratica del processo avviato.  Alcuni stakeholders potrebbero abusare dello strumento per promuovere i propri interessi.  I tempi della valutazione tendono ad allungarsi per l’elevato numero degli attori coinvolti.Marco De Maggio, PhD – UVAL DPS
    • La Valutazione e la Politica di CoesioneMarco De Maggio, PhD – UVAL DPS
    • L’esperienza della politica di coesione europea Obiettivo delle politiche di coesione: migliorare le prospettive sociali ed economiche , riducendo i divari strutturali tra territori I Fondi Strutturali Europei hanno rappresentato un importante stimolo a diffondere la pratica della valutazione in tutta l’UE. Ad ogni fase del ciclo della programmazione (ex ante, intermedia, ex post), corrisponde un tipo di valutazione con diverse finalità e responsabilità esplicitamente espresse. È ampiamente riconosciuto che l’introduzione della valutazione in molti paesi dell’Europa Meridionale sia avvenuta come conseguenza dei requisiti dei regolamenti dei Fondi Strutturali.Marco De Maggio, PhD – UVAL DPS
    • L’esperienza della politica di coesione europea  A partire dalla riforma dei FS del 1988 è stato elaborato un approccio alla valutazione per le politiche finanziate dai Fondi Strutturali. Tale approccio includeva: un obbligo a valutare per coloro che finanziano e gestiscono gli interventi; la responsabilità condivisa tra diversi livelli di governo del processo di valutazione complessivo; un processo di valutazione multi fase (ex ante, intermedio,ex post); il coinvolgimento di molti attori nei programmi e nella loro valutazione; legami ben definiti tra la valutazione, da un lato, e la programmazione e l’allocazione delle risorse, dall’altro. Tali cambiamenti sono stati accompagnati da trasferimenti di responsabilità tra i diversi attori al livello europeo, nazionale e regionale e da un crescente coinvolgimento del partenariato economico e sociale.Marco De Maggio, PhD – UVAL DPS
    • L’esperienza della politica di coesione europea  Nel 2000-2006, si valutavano solo i programmi dei Fondi Strutturali  Le decisioni chiave erano già prese e non erano richiesti piani di valutazione  I regolamenti prevedevano:  Rigida divisione dei ruoli (CE - valutazioni ex post, stato membro - valutazioni ex ante e intermedie)  Valutatori “indipendenti”  Scadenze prefissate  Unità di indagine = intero programma  Nella prassi della CE, domande di valutazione dalle linee guidaMarco De Maggio, PhD – UVAL DPS
    • L’esperienza della politica di coesione europea  Nella programmazione 2007 – 2013 si valuta l’intera politica regionale, finanziata  da tutte le risorse (nazionali e comunitarie)  anche a titolo di precedenti fasi di programmazione  I partner segnalano questioni rilevanti e controverse (ruolo del partenariato economico e sociale)  Bisogna scegliere cosa valutare: interventi, strumenti, effetti su gruppi, aree, problemi  Non sono predeterminatiMarco De Maggio, PhD – UVAL DPS
    • Le Istituzioni della ValutazioneMarco De Maggio, PhD – UVAL DPS
    • Le istituzioni della valutazioneIn Italia per la valutazione di Piani, Programmi e Progetti di sviluppo socio- economico sono previsti diversi Enti: Nucleo di valutazione e verifica degli investimenti pubblici previsto per ogni regione dalla legge 144/99. L’Unità di Valutazione degli investimenti pubblici (UVAL) con sede centrale a Roma con la funzione di supporto tecnico alle amministrazioni pubbliche per la valutazione di programmi e progetti. Il Sistema Nazionale di Valutazione con sede centrale a Roma con funzioni metodologiche finalizzate a migliorare e a valorizzare le attività di valutazione.Marco De Maggio, PhD – UVAL DPS
    • I NUCLEI di VALUTAZIONE e VERIFICA degli INVESTIMENTI PUBBLICI  I Nuclei di Valutazione e Verifica degli Investimenti Pubblici sono stati istituiti ai sensi della legge 144/99.  Tali Nuclei sono stati istituiti per garantire la qualità, lefficacia e la trasparenza degli investimenti pubblici e delle politiche di sviluppo regionali.  Compito di ogni Nucleo è quello di garantire, così come auspicato dallUnione Europea, un supporto tecnico nelle fasi di programmazione, valutazione, attuazione e verifica di piani, programmi e politiche di intervento promossi ed attuati dalla Regione.Marco De Maggio, PhD – UVAL DPS
    • L’Unità di Valutazione degli investimenti pubblici (UVAL) L’Unità di valutazione degli investimenti pubblici (UVAL) è stata ricostituita nel 1998, da allora l’Unità ha avuto un ruolo rilevante nell’avvio del processo di programmazione dei fondi comunitari Svolge attività di supporto tecnico alle amministrazioni pubbliche elaborando e diffondendo metodi per la valutazione dei progetti e dei programmi d’investimento pubblico ex ante, in itinere ed ex post, anche al fine di ottimizzare l’utilizzo dei fondi strutturali comunitari. L’Unità fornisce specifiche valutazioni sulla rispondenza di programmi e progetti di investimento agli indirizzi di politica economica, sulla fattibilità economico-finanziaria delle iniziative e sulla loro compatibilità e convenienza rispetto ad altre soluzioni, nonché sulla loro ricaduta economica e sociale nelle zone interessate. Le attività dell’Unità, nell’attuazione di un programma unitario, sono articolate, dal 2002, in quattro aree:  Metodi e studi per le politiche pubbliche  Modernizzazione e innovazione amministrativa  Valutazione di programmi  Valutazione di progettiMarco De Maggio, PhD – UVAL DPS
    • Il Sistema Nazionale di Valutazione Il Sistema Nazionale di Valutazione (SNV) è descritto dal QCS 2000-2006 Obiettivo 1 come un insieme di attività di promozione, sostegno e indirizzo metodologico finalizzate a migliorare e a valorizzare le attività di valutazione. Il QCS Obiettivo 1 e la delibera CIPE di attuazione affidano allUVAL il compito di attivare e coordinare queste attività da svolgersi in collaborazione con le strutture nazionali di riferimento per la valutazione degli interventi del Fondo Sociale Europeo (FSE) (ISFOL - Struttura nazionale di valutazione FSE), INEA, nonché con i Nuclei di Valutazione ex L. 144/1999. Il Quadro Strategico Nazionale 2007-2013 attribuisce al SNV l’obiettivo di:  migliorare e rilanciare le attività di valutazione  stimolare la qualità delle valutazioni  promuovere l’uso dei risultati delle valutazioni  Incrementare la capacità valutativa nelle Regioni e nelle Amministrazioni centrali: • aumentare la capacità delle Amministrazioni di richiedere ed utilizzare valutazioni • migliorare la capacità dei Nuclei di Valutazione di gestire e realizzare valutazioniMarco De Maggio, PhD – UVAL DPS
    • Marco De Maggio, PhD – UVAL DPS
    • Per saperne di più  Guida Evalsed: http://www.evalsed.info/index.aspx  BARCA F. , McCANN P., 2011, “Outcome Indicators and Targets-Towards a Performance Oriented EU Cohesion Policy”, High Level Group Reflecting on Future Cohesion Policy, February.  COMMISSIONE EUROPEA, 2011, Monitoring and Evaluation of European Cohesion Policy. Concepts and Recommendations, novembre.  LONNQVIST L., WRIGHT-REVOLLEDO K, 2007, Rethinking Monitoring and Evaluation, INTRAC (international NGO training and research centre).  MACKAY K., 1998, Public Sector Performance. The Critical Role of Evaluation, World Bank Operations Evaluation Department .  ROSSI P.H., FREEMAN H., LIPSEY M, 2007, “Costruire le valutazioni su misura”, in Classici della valutazione, a cura di Stame N., Franco Angeli, Milano.Marco De Maggio, PhD – UVAL DPS
    • Grazie dell’attenzione marco.demaggio@tesoro.itMarco De Maggio, PhD – UVAL DPS