• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
I passaggi della valutazione: finalità e scopo
 

I passaggi della valutazione: finalità e scopo

on

  • 533 views

 

Statistics

Views

Total Views
533
Views on SlideShare
463
Embed Views
70

Actions

Likes
0
Downloads
0
Comments
0

2 Embeds 70

http://www.viapadovami.it 56
http://viapadovami.it 14

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    I passaggi della valutazione: finalità e scopo I passaggi della valutazione: finalità e scopo Presentation Transcript

    • LA VALUTAZIONE DEL “PROGETTO VIA PADOVA” 10 maggio 20121 Ugo De Ambrogio (udeambrogio@irsonline.it) e Carla Dessi (cdessi@irsonline.it )
    • I PASSAGGI PRINCIPALI: IL DISEGNO DELLAVALUTAZIONE1. Individuazione della finalità della valutazione2. Identificazione dello scopo (la mission) dell’oggetto di valutazione3. Identificazione delle dimensioni di valutazione4. Identificazione dei criteri5. Identificazione degli indicatori6. Identificazione degli strumenti e delle fonti informative7. Rilevazione sul campo.8. Analisi dei dati e delle informazioni raccolte9. Valutazione vera e propria (espressione di un giudizio).10. Individuazione delle strategie di miglioramento 211. Restituzione dei risultati della valutazione agli stakeholder
    • 1. LA FINALITÀPer finalità della valutazione si intende labuona ragione/interesse che induce avalutare un determinato progetto/esperienza/politica. Se pare ovvio chequesta sia definita, tuttavia in moltecircostanze si riscontrano differenze traquanto dichiarato nel prodottoprogettuale e quanto effettivamente agito,e anche come non sempre trovicondivisione fra gli attori. 3
    • PERCHÉ VALUTARE IL “PROGETTO VIAPADOVA?o… per un miglioramento delle attività pubblicheo… per poter dimostrare che le risorse pubbliche utilizzate sonostate utilizzate beneo… per dimostrare che pubblico e privato possono essere nonantagonisti ma collaboratori su interessi comunio… per generare apprendimenti per il territorioo… per avere suggerimenti per continuare quanto iniziato dalTavolo (sostenibilità di quanto avviato dal progetto una voltaconclusi i finanziamenti)o… per capire noi attori del progetto come è effettivamenteandata (e portare a casa qualche gratificazione)o… per verificare se abbiamo valorizzato il capitale sociale delterritorio 4o… per poter fare un bilancio, sia in senso positivo cheguardando alle criticità affrontate
    • 2. LO SCOPO O LA MISSIONLo scopo precisa l’oggetto della valutazioneattraverso la declinazione dei problemi a cuisi propone di rispondere, i risultati attesi ele strategie messe in campo.“Nel caso di servizi e politiche si tratta della mission, ovvero diun paradigma di valore a carattere generale che oriental’attività e i comportamenti di una politica o servizio nel suocomplesso e di tutti i suoi attori” 5
    • LA MISSION DEL “PROGETTO VIA “PADOVA”oMiglioramento della capacità di gestione dei conflittioConoscenza del capitale sociale attraverso il quale svelare lepotenzialità e realizzare coesione sociale e cittadinanza attivaoGettare dei semi nei ragazzi della Zona 2 per offrire valoridiversi (da competizione a collaborazione, da delega acittadinanza attiva ecc.)oRigenerare un tessuto urbano riattivando nodi affettivioTutelare gli elementi deboli e fragili di singoli o gruppi,lavorare insieme come investimento efficaceoMobilitare, valorizzare, partecipazione, coesione sociale perl’integrazione delle culture, dei saperi, delle diversità – risorsedel territoriooConsolidamento delle relazioni di rete fra i partner del 6progetto
    • 3. Le dimensioniSi intendono gli elementi concettuali intorno aiquali focalizzare la ricerca valutativa,rappresentano gli aspetti essenziali su cui siintende esprimere un giudizio di valore… sono le scatole dentro cui guardare 7
    • LE DIMENSIONI DI ANALISI DEL “PROGETTOVIA “PADOVA”1. LA COESIONE NELLA GOVERNANCE DEL PROGETTO (dimensione interna, come sono andati i processi di rete fra i partner del progetto)2. LA COESIONE NEL QUARTIERE (i cambiamenti nelle relazioni sociali del territorio) 8
    • 4. I CRITERIDal greco kritērion: distinguere/giudicareSi intendono paradigmi di valore che orientano ivalutatori nel formulare il giudizio, rappresentano ciòche è rilevante per orientare l’espressione del giudizioe gli elementi che determinano il successo delprogettoRispondono alla domanda…“Il progetto avrà successo se…” 9
    • DIMENSIONE 1 – LA COESIONE NELLA GOVERNANCE DEL PROGETTOCriteri, ovvero il Elementi osservabili/ indicatori Fonti Strumentiprogetto può essere informativeconsiderato disuccesso se si rileva…CONDIVISIONE TRA I Formulazione condivisa di azioni future Operatori FEI Questionario conPARTNER (coordinatori + domande chiuse Scambio e circolarità delle informazioni operatori) e aperte Presenza di un confronto sulle dinamiche giovanili di zona Rispetto dei compiti e degli impegni reciproci Condivisione tra coordinatore e operatoreINTEGRAZIONE TRA I Superamento della Gruppo Focus groupPARTNER frammentazione/sovrapposizione degli eterogeneo interventi dei vari partner (Cabina di regia) Modalità di raccordo/collaborazione (sia sul piano dei singoli, co-progettazione, realizzazione,modalità più efficaci…) Creazione nuove modalità di raccordo/collaborazione 10 Prassi di lavoro “oliata” e condivisa Superamento della delega
    • DIMENSIONE 1 – LA COESIONE NELLA GOVERNANCE DEL PROGETTOCriteri, ovvero il progetto Elementi osservabili/ indicatori Fonti Strumentipuò essere considerato di informativesuccesso se si rileva…CONOSCENZA/ Capacità di lettura delle dinamiche in Partner, operatori QuestionarioAPPRENDIMENTI NEI atto nel territorio FEIPARTNER Riconoscimento delle risorse del territorio a cui attingere/contribuire Gli operatori riusciranno ad avere uno sguardo ampio su tutto quello che è stato attivato Possibilità di spendere gli apprendimenti anche in altri contestiINTEGRAZIONE CON LA Aumento livello di conoscenza tra Organizzazioni Check-listRETE organizzazioni e operatori (partner + entiESTERNA/RICADUTE esterne che hanno QuestionarioESTERNE Emersione soggetti pubblici con una incrociato il funzione di regia sul territorio progetto), Consiglio di zona, Chi altri all’interno del Comune di Operatori del Milano è al corrente del progetto? Quali Comune informazioni possiedono? 11SODDISFAZIONE NEI Operatori Operatori Interviste/PARTNER Fruitori Fruitori questionari Territorio Territorio
    • DIMENSIONE 2 – LA COESIONE NEL QUARTIERECriteri, ovvero il Elementi osservabili/ indicatori Fonti Strumentiprogetto può essere informativeconsiderato disuccesso se si rileva…CONOSCENZA I cittadini coinvolti hanno un grado maggiore di Utenza/ Rappresentazioni conoscenza di altri cittadini, quartiere, risorse associazioni? grafiche della rete costruita Trasferimento di competenze e sensibilità sui temi della cittadinanza QuestionariATTIVAZIONE Partecipazione ad attività/iniziative extra- Operatori Interviste progetto da parte delle associazioni del territorio Incremento dei contatti e presentazione di richieste specifiche (ad esempio spazio comune, CAG per ragazzi adolescenti con disabilità) I cittadini si mettono insieme superando la diversità di provenienza su interessi comuni nel territorio (problematiche/iniziative) Nascita associazioni da gruppi informali 12 Attivazione strumenti di ascolto permanenti dei Cabina di vari attori sociali (Istituzionalizzazione del regia/Consiglio Tavolo sulle dinamiche giovanili) di zona
    • DIMENSIONE 2 – LA COESIONE NEL QUARTIERECriteri, ovvero il progetto Elementi osservabili/ indicatori Fonti Strumentipuò essere considerato di informativesuccesso se si rileva …PARTECIPAZIONE Partecipazione/contributo/progettualità Operatori Interviste (agli condivisa con i giovani del territorio ad operatori, circa una formulazione condivisa dei loro 15/20) bisogni Ragazzi Utenti in Questionari (ai generale ragazzi)VISIBILITA’ Conoscenza del progetto da parte del Tutti i materiali Check-list territorio prodotti per la diffusione di informazioniQUALIFICAZIONE DEI I cittadini non si sentono soli ma in una Leva civica Focus groupLEGAMI SOCIALI trama di relazioni che li sostengono (e Gruppi informali che possono a loro volta far diventare Corsi di sostenitori) mediazione diffusi Sostanzialità (non strumentalità) delle relazioni di gruppo Condivisione su che cosa si intende bene 13 comune e come si può tutelare Corresponsabilità condivisa tra istituzioni e cittadinanza
    • 4. L’IDENTIFICAZIONE DEGLI INDICATORI Servono per misurare il grado di realizzazione dei criteri Consistono in elementi descrittivi della realtà la cui presenza o assenza oppure maggiore o minore rilevanza, sono in grado di evidenziare se, e in che misura, un criterio sia positivamente rappresentato. 14
    • 4. L’IDENTIFICAZIONE DEGLI INDICATORIUn indicatore può: essere rappresentato da un rapporto numerico o comunque da un valore numerico (quantitativo) esprimersi tramite domande sull’esistenza o meno di un requisito del percorso assistenziale o di una precisa pratica organizzativa o di una competenza relazionale (qualitativo) 15
    • 4. L’IDENTIFICAZIONE DEGLI INDICATORIPer ciascuno dei criteri individuati daldisegno di valutazione il compito piùimpegnativo è successivamente quello diindividuare uno/ più indicatori che megliosono in grado di renderli “intelligibili”Gli indicatori intervengono dunquenell’aiutare il/i valutatore/i a meglioapprofondire ed esplorare la conoscenza diciò che si intende analizzare 16
    • QUALCHE DEFINIZIONE“Un indicatore è qualcosa che dà informazioni suqualcos’altro” (A. Marradi, 1994) “Per indicatore si intende una misura sinteticaquantitativa, coincidente con una variabilecomposta da più variabili, in grado di fornire larappresentazione di un fenomeno o di riassumernel’andamento” (G. Vecchi, 2003) 17
    • RICORDANDO CHE …Nella scelta degli indicatori si tende acircoscrivere l’ambito della rilevazionea ciò che è misurabile (o enumerabile),con una spesso netta propensione perla dimensione quantitativa rispetto aquella qualitativa 18
    • ATTENZIONE ALLA COMPARABILITÀ L’indicatore è quell’aspetto del rigore metodologico della ricerca che permette la comparabilità e la replicaLivelli di comparazioni possibili Nel tempo Over-time Tra servizi/progetti Cross-section Con standard di riferimento 19
    • 6. L’identificazione degli strumenti e delle fonti informative DOVE rilevo l’informazione chiesta dall’indicatore? COME la rilevo?Anch’esso è un passaggio strettamente connessoalle- caratteristiche dell’oggetto di valutazione- caratteristiche del contesto valutativo (indicatori e criteri scelti, risorse disponibili, 20 competenza attori…)
    • DOVE• Chi è l’attore più vicino all’informazione richiesta? Chi la possiede?• Qual è l’attore a cui è possibile chiederlo? In termini di sostenibilità della valutazione stessa… 21
    • COMEL’approccio dei metodi misti:- Pluralità di fonti- Pluralità di tecniche di rilevazione “Nella letteratura anglosassone si fariferimento al mixed method come combinazionedi tecniche e parte di un disegno di ricerca voltoa produrre risultati più significativi (maggiorestensione e intensione dei risultati)” 22
    • 5. L’IDENTIFICAZIONE DEGLI STRUMENTI Gli strumenti che vengono principalmenteutilizzati nell’ambito della ricerca/valutazione e ai quali può essere utile fare riferimento nella valutazione di progetti, interventi e/o servizi: Check list Questionari Focus group Interviste 23
    • GLI STRUMENTI: “STRUTTURAZIONE” VS“PROFONDITÀ” _ + Questionario Check-list Profondità Profondità Strutturazione Intervista Focus group _ + 24
    • LA CHECK LIST/GRIGLIA DI OSSERVAZIONEA cosa serve Vantaggi SvantaggiOrdinare informazioni Strumento non intrusivo Poco flessibileper analisi secondarie didati già disponibili Bassi costi di rilevazione Dati ottenibili limitati(dati statistici, registri alle informazioni giàpresenze, verbali Consente una visione esistenti, spessoriunioni, diari attività) complessiva sull’output ricostruite ex post oppure del progetto/intervento già codificate secondoPer avere indicazioni criteri prestabilitigenerali, per lo più di Tiene la memoria storicatipo quantitativo, sugli di quanto realizzato Le informazioni possonooutput del non essere completeprogetto/intervento (cosaè stato fatto, chi ha Può essere difficileintercettato) reperire o accedere alla base datiAd esempio:n. incontri realizzatin. partecipanti a iniziativeAttività realizzate rispetto allepreviste
    • IL QUESTIONARIO - IN SINTESI -A cosa serve Vantaggi SvantaggiRaccogliere molte Discrezione e non Codifica dellainformazioni in tempi intrusività (anonimato) soggettivitàrelativamente brevi Estensività della Scarsa aperturaEffettuare analisi rilevazione all’inatteso/imprevistocomparative Costi abbastanza Scarso controllo sullaRaccogliere elementi di contenuti della adeguatezza dellasoggettività: rilevazione compilazioneimpressioni, opinioni egiudizi su questioni Semplificazione Costi elevati nel caso didefinite dell’analisi tecniche di campionamentoAd esempio:caratteristiche dei destinatari(genere, età, provenienza) % di caduta dellegiudizio sull’intervento fruito su restituzioniutilità/efficacia
    • L’INTERVISTAA cosa serve Vantaggi SvantaggiRilevare informazioni di Ricchezza e profondità Complessità delladettaglio delle informazioni comparazione (esigenzaApprofondire opinioni, di costruiregiudizi, comportamenti Elevata flessibilità e classificazioni)Verificare ipotesi adattabilità al contestovalutative Elevata soggettività e Apertura ad esiti non totaleAd esempio: inattesi generalizzabilità delle•verificare la conoscenza delprogetto nelle sue diverse informazioniarticolazioni•conoscere le motivazioni che Onerosità dellaspingono alla partecipazione ad rilevazione (costi einiziative e correlare lasoddisfazione riscontrata alle tempo)aspettative Complessità dell’analisi Competenze nella conduzione
    • IL FOCUS GROUPIl focus group consiste in una “tecnica dirilevazione basata sulla discussione tra unpiccolo gruppo di persone, alla presenza di uno o più moderatori, focalizzata su un argomento che si vuole indagare in profondità” 28
    • IL FOCUS GROUPA cosa serve Vantaggi SvantaggiAnalizzare in profondità L’interazione tra più Necessità di unalcune questioni soggetti è in grado di: moderatore con competenze per nellaVerificare ipotesi - produrre più conduzione (gestionevalutative informazioni di quelle delle dinamiche di ottenibili da singole gruppo)Mettere in luce intervistemotivazioni e cause - verificare il grado di Influenzamento tra i condivisione di opinioni partecipanti Produzione di qualche Diversità dei economia rispetto alle partecipanti (linguaggi, interviste singole culture di provenienza, connessione con l’oggetto di valutazione) Complessità dell’analisi
    • ESERCITAZIONE30
    • ESERCITAZIONE IN SOTTOGRUPPI (DIMENSIONE 1 + DIMENSIONE 2)o Per ciascuno dei criteri individuati completare con l’identificazione dei relativi elementi osservabili/ indicatorio Identificare quindi le fonti informative e ipotizzare quali possibili strumenti di rilevazione 31
    • ESERCITAZIONE IN SOTTOGRUPPICriterio Elementi osservabili/ indicatori Fonti informative Possibili strumenti 32