Formació d'avaluació de programes preventius.

1. L’AVALUACIÓ EN ELSL’AVALUACIÓ EN ELS
PROJECTES DE PREVENCIÓPROJECTES DE PREVENCIÓ
DEL CONSUM DE DROGUESDEL CONSUM DE DROGUES
L’APLICACIÓ ALS PROGRAMES DE MESURESL’APLICACIÓ ALS PROGRAMES DE MESURES
EDUCATIVESEDUCATIVES
Barcelona, 17 de Juny de 2010Barcelona, 17 de Juny de 2010

2. SESSIÓ DE TREBALL 17 DE JUNYSESSIÓ DE TREBALL 17 DE JUNY
10:0010:00 –– 11:00 Teoria i pràctica de l’avaluació11:00 Teoria i pràctica de l’avaluació
11:0011:00 –– 11:30 Descans11:30 Descans
11:3011:30 –– 12:30 Dinàmica 1:L’experiència d’avaluació de12:30 Dinàmica 1:L’experiència d’avaluació de11:3011:30 –– 12:30 Dinàmica 1:L’experiència d’avaluació de12:30 Dinàmica 1:L’experiència d’avaluació de
PMEPME
12: 3012: 30 –– 13:00 Qualitat del programes13:00 Qualitat del programes
13:0013:00 –– 14:00 Dinàmica 2: Com podem fer un sistema14:00 Dinàmica 2: Com podem fer un sistema
d’avaluació de qualitat?d’avaluació de qualitat?

3. HISTÒRIA DE L’AVALUACIÓHISTÒRIA DE L’AVALUACIÓ
Causes de les revoltes socials delCauses de les revoltes socials del s.XVIIs.XVII
Període entre guerres: Programes socialsPeríode entre guerres: Programes socialsPeríode entre guerres: Programes socialsPeríode entre guerres: Programes socials
Programes socials a gran escala: NovesProgrames socials a gran escala: Noves
metodologies (metodologies (AngueraAnguera,1990),1990)

4. L’AVALUACIÓ COM CONCEPTEL’AVALUACIÓ COM CONCEPTE
L’avaluació d’una intervenció, un projecteL’avaluació d’una intervenció, un projecte
o un programa suposa la recollida, anàlisi io un programa suposa la recollida, anàlisi i
interpretació sistemàtica de la informacióinterpretació sistemàtica de la informació
relativa al seu funcionament i els seusrelativa al seu funcionament i els seus
possibles efectes. Les dades recollides espossibles efectes. Les dades recollides es
solen utilitzar per a decidir com millorar lasolen utilitzar per a decidir com millorar la
intervenció i si s’ha d’ampliar o abandonarintervenció i si s’ha d’ampliar o abandonar
sese ((EMCDDAEMCDDA, 1998)., 1998).

5. L’AVALUACIÓ COM A FILOSOFIAL’AVALUACIÓ COM A FILOSOFIA
Aquell sistema de teories i valors queAquell sistema de teories i valors que
defineixen i guien l’estructura, ladefineixen i guien l’estructura, ladefineixen i guien l’estructura, ladefineixen i guien l’estructura, la
població, el procés i els resultats delpoblació, el procés i els resultats del
programa (Conrad i Miller,1987programa (Conrad i Miller,1987))

6. L’AVALUACIÓ COM A METODOLOGIAL’AVALUACIÓ COM A METODOLOGIA
Aquell conjunt de mètodes, tècniques,Aquell conjunt de mètodes, tècniques,
registres i processos implicats enregistres i processos implicats enregistres i processos implicats enregistres i processos implicats en
l’avaluació.l’avaluació.

7. AVALUAR PER A PRENDER DECISIONSAVALUAR PER A PRENDER DECISIONS
TècniquesTècniques
EstratègiquesEstratègiques
PolítiquesPolítiques
EconòmiquesEconòmiques

8. WholeyWholey (1987) problemes de l’avaluació(1987) problemes de l’avaluació
Falta de definició del problemaFalta de definició del problema
Falta d’una lògica clara de les assumpcionsFalta d’una lògica clara de les assumpcions
examinablesexaminables que uneixin els recursos aplicatsque uneixin els recursos aplicats
amb els efectes perseguitsamb els efectes perseguitsamb els efectes perseguitsamb els efectes perseguits
Falta d’acord en les prioritats de l’avaluacióFalta d’acord en les prioritats de l’avaluació
Falta de disposició per a actuar en base a laFalta de disposició per a actuar en base a la
informació de l'avaluacióinformació de l'avaluació

9. AVALUABILITAT DELS PROGRAMESAVALUABILITAT DELS PROGRAMES
AvaluablesAvaluables
Potencialment avaluablesPotencialment avaluables
No avaluablesNo avaluables

10. L’AUTOAVALUACIÓL’AUTOAVALUACIÓL’AUTOAVALUACIÓL’AUTOAVALUACIÓ

11. PARADIGMESPARADIGMES
Experimental:Experimental: dirigit a informar de si undirigit a informar de si un
programa aconseguia o no un impacteprograma aconseguia o no un impacte
estadísticament significatiu però incapaçestadísticament significatiu però incapaç
d’explicar el perquè?d’explicar el perquè?
Cap una avaluació més comprensiva delsCap una avaluació més comprensiva dels
programes socials.programes socials.

12. QUANTITATIU VERSUS QUALITATIUQUANTITATIU VERSUS QUALITATIU

13. TEORIATEORIA
Descriptiva o causalDescriptiva o causal relaciórelació empírica entre elempírica entre el
programa iprograma i elsels resultatsresultats
Avaluació de impacte, mecanismes i laAvaluació de impacte, mecanismes i la
generalitzaciógeneralització
Prescriptiva o normativaPrescriptiva o normativa el que s’hauria de ferel que s’hauria de fer
Avaluació de tractament, del context i delsAvaluació de tractament, del context i dels
resultatsresultats

14. ELS SISTEMES DE INDICADORSELS SISTEMES DE INDICADORS
demogràficsdemogràfics
del fenomendel fenomen
de necessitatde necessitat
d’activitatd’activitatd’activitatd’activitat
de procésde procés
de impactede impacte

15. FASES DE L’AVALUACIÓFASES DE L’AVALUACIÓ
Avaluació de necessitatsAvaluació de necessitats
Avaluació de procésAvaluació de procés
Avaluació d’activitatAvaluació d’activitat
Avaluació de impacteAvaluació de impacte

16. TIPUS D’AVALUACIÓTIPUS D’AVALUACIÓ
LinealLineal –– no linealno lineal
SumativesSumatives (resultats, impacte i(resultats, impacte i
eficiència)eficiència) –– formatives (lineal)formatives (lineal)

17. COHERÈNCIA AMB ELS OBJECTIUSCOHERÈNCIA AMB ELS OBJECTIUS
Els objectius guien el programa. ElsEls objectius guien el programa. Els
objectius guien l’avaluació.objectius guien l’avaluació.
No obstant no s’avaluen només elsNo obstant no s’avaluen només elsNo obstant no s’avaluen només elsNo obstant no s’avaluen només els
objectius. Per tant també s’ha d’avaluarobjectius. Per tant també s’ha d’avaluar
el disseny.el disseny.

18. AVALUACIÓ DE NECESSITATSAVALUACIÓ DE NECESSITATS
Documentació bibliogràficaDocumentació bibliogràfica
Anàlisi de la comunitatAnàlisi de la comunitatAnàlisi de la comunitatAnàlisi de la comunitat
Anàlisi dels recursos comunitarisAnàlisi dels recursos comunitaris

19. AVALUACIÓ DE PROCÉSAVALUACIÓ DE PROCÉS
Panell d’expertsPanell d’experts
Utilització del programa i registresUtilització del programa i registresUtilització del programa i registresUtilització del programa i registres

20. Millora dels registresMillora dels registres
Observacions sistemàtiques de les activitatsObservacions sistemàtiques de les activitats
Proves pilot dels materialsProves pilot dels materials
AtractiuAtractiu
ComprensióComprensióComprensióComprensió
AcceptabilitatAcceptabilitat
ImplicacióImplicació
PersuasióPersuasió
Construcció de qüestionarisConstrucció de qüestionaris

21. AVALUACIÓ D’ACTIVITATAVALUACIÓ D’ACTIVITAT
Panell d’expertsPanell d’experts
Satisfacció i opinió dels usuaris iSatisfacció i opinió dels usuaris i
persones implicadespersones implicades

22. AVALUACIÓ DE IMPACTEAVALUACIÓ DE IMPACTEAVALUACIÓ DE IMPACTEAVALUACIÓ DE IMPACTE

23. ANÀLISI DE DADESANÀLISI DE DADES
Bases de dades i anàlisi estadísticBases de dades i anàlisi estadístic
Transcripcions i anàlisi qualitatiuTranscripcions i anàlisi qualitatiuTranscripcions i anàlisi qualitatiuTranscripcions i anàlisi qualitatiu

24. INFORMES DE RESULTATSINFORMES DE RESULTATS
Informes periòdicsInformes periòdics
Informes anualsInformes anuals

25. MÈTODESMÈTODES
ExperimentalExperimental
EstadísticEstadístic
LingüísticLingüístic
ComprensiuComprensiu

26. TÈCNIQUESTÈCNIQUES
RegistresRegistres
QüestionarisQüestionaris
EntrevistesEntrevistes
Observació participantObservació participant

27. PRIMERA DINÀMICAPRIMERA DINÀMICA:L’EXPERIÈNCIA:L’EXPERIÈNCIA
D’AVALUACIÓ DE PMED’AVALUACIÓ DE PME
Com avaluem?Com avaluem?
Quins tècniques hem utilitzat?Quins tècniques hem utilitzat?
Quines fases hem avaluat?Quines fases hem avaluat?Quines fases hem avaluat?Quines fases hem avaluat?
On hem posat l’accent?On hem posat l’accent?
Limitacions i dificultatsLimitacions i dificultats

28. L’AVALUACIÓ EN EL CONSUM DE DROGUESL’AVALUACIÓ EN EL CONSUM DE DROGUES
MODEL EUAMODEL EUA
MODEL EUROPEUSMODEL EUROPEUS

29. Prevention and Evaluation Resources KitPrevention and Evaluation Resources Kit
(PERK)(PERK)
Unificació de criterisUnificació de criteris
GlossariGlossari
EIB (EIB (EvaluationEvaluation InstumentsInstuments Bank)Bank)
77 pasospasos
http://www.emcdda.europa.euhttp://www.emcdda.europa.eu

30. EDDRAEDDRA
GenerarGenerar evidènciaevidència dede l'eficàcial'eficàcia delsdels
projectesprojectes dede reduccióreducció dede lala demandademanda dede
droguesdrogues basatbasat enen l'autoavaluaciól'autoavaluació delsdels
projectesprojectes executatsexecutats enen elel campcampprojectesprojectes executatsexecutats enen elel campcamp
CompararComparar elsels resultatsresultats dede lesles
autoavaluacionsautoavaluacions ambamb lala millormillor evidènciaevidència
dede recercarecerca enen curscurs..

31. EDDRAEDDRA
Type of interventionType of intervention
PreventionPrevention
environmental strategyenvironmental strategy,,
universaluniversal,,
selectiveselective,,
indicatedindicated
TreatmentTreatment
drug free treatmentdrug free treatment,,
pharmacologically assisted treatmentpharmacologically assisted treatment,,pharmacologically assisted treatmentpharmacologically assisted treatment,,
withdrawal treatmentwithdrawal treatment
Social reintegrationSocial reintegration
educationeducation,,
employmentemployment,,
housinghousing
Harm reductionHarm reduction
reduction of overdosesreduction of overdoses,,
prevention of infectious diseasesprevention of infectious diseases,,
drug consumption roomsdrug consumption rooms
Interventions in the criminal justice systemInterventions in the criminal justice system
assistance to drug users in prisonassistance to drug users in prison,,
alternatives to prisonalternatives to prison

32. EDDRAEDDRA
Target group (universal)Target group (universal)
general populationgeneral population,,
children/young peoplechildren/young people,,
adultsadults,,
family/parentsfamily/parents
Type of approachesType of approaches
offendersoffenders,,
ethnicethnic,,ethnicethnic,,
family/first childhoodfamily/first childhood,,
gendergender,,
telephone helptelephone help--lineline,,
mass media campaignmass media campaign,,
peerpeer,,
community involvementcommunity involvement,,
training for professionalstraining for professionals,,
networkingnetworking,,
self helpself help
By type of evaluationBy type of evaluation
process evaluationprocess evaluation,,
outcome evaluationoutcome evaluation

33. LEVELS EDDRALEVELS EDDRA
Criteria for Level 1 projectsCriteria for Level 1 projects
All projects that meet the following entry criteria willAll projects that meet the following entry criteria will
be added to EDDRA:be added to EDDRA:
The project has been evaluatedThe project has been evaluated
It has a theory base/assumptions that are clearlyIt has a theory base/assumptions that are clearlyIt has a theory base/assumptions that are clearlyIt has a theory base/assumptions that are clearly
related to itsrelated to its objectivesobjectives
It has clear evaluation indicators in place that relate toIt has clear evaluation indicators in place that relate to
itsits objectives and initial situationobjectives and initial situation
It contains a clear description of the evaluation designIt contains a clear description of the evaluation design
The project must be at least one year oldThe project must be at least one year old

37. GUIA D’AVALUACIÓ DEL EMCDDAGUIA D’AVALUACIÓ DEL EMCDDA
En castellàEn castellà
Preguntes clares per fasesPreguntes clares per fases
ExercicisExercicis
www.www.emcddaemcdda.europa.eu/.../att_78087_ES.europa.eu/.../att_78087_ES
__EMCDDAEMCDDA--manuals1manuals1--es.pdfes.pdf

38. SEGONA DINÀMICASEGONA DINÀMICA:COM PODEM FER UN:COM PODEM FER UN
SISTEMA D’AVALUACIÓ DE QUALITAT?SISTEMA D’AVALUACIÓ DE QUALITAT?
Possibles millores de l’actual sistemaPossibles millores de l’actual sistema
d’avaluació ( quins aspectes caldriad’avaluació ( quins aspectes caldria
millorar).millorar).millorar).millorar).
Facilitadors d’un sistema de qualitat (quèFacilitadors d’un sistema de qualitat (què
ens ajudaria?).ens ajudaria?).