Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Participativní plánování, monitoring a evaluace

Participatory planning, monitoring and evaluation workshop for education, development and humanitarian Civil Society Organisations (CSOs) associated in FoRS

  • Login to see the comments

  • Be the first to like this

Participativní plánování, monitoring a evaluace

  1. 1. Participativní plánování, monitoring a evaluace projektů Workshop pro FoRS 27. – 28. 11.2014 Inka Píbilová / Daniel Svoboda
  2. 2. 2 Představení  Jméno, role, organizace  Jak mi tento workshop může pomoci v roce 2015? Příklad, kdy jsem se cítil/a být aktivní součástí velkého projektu, kampaně či akce:  Co jsem dělal/a? Jaká byla moje role?  Jak jsem se v této roli cítil/a?  Mám pocit, že jsem něco ovlivnil/a? 2
  3. 3. 3 Prostřednictvím participace se nemajetní lidé mohou zapojit do určování toho, jakým způsobem budou předávány informace, stanovovány cíle a priority, alokovány veřejné prostředky. (...) Znamená způsoby, kterými mohou iniciovat sociální změny a podílet se na přínosech plynoucích ze společnosti. Arnstein, 1969
  4. 4. 4 Participační žebřík 4 Participace = převedení moci na ty, kteří původně „nemuseli“ rozhodovat Deliberace = sdílení moci, ne přesun na určitou skupinu (včetně veřejnosti) © 2012 Oulu University of Applied Sciences
  5. 5. 5 http://heapro.oxfordjournals.org/content/24/suppl_1/i45/F2.large.jpg http://ec.europa.eu/europeaid/sites/devco/files/methodology-aid-delivery-methods-project-cycle-management-200403_en_2.pdf Další modely participace
  6. 6. 6 Metody a formy občanské participace (AGORA CE, upraveno) Tradiční Inovativní Emancipace Delegace rozhodování na organizace Spolupráce - společná tvorba plánu (zastupitelstvo, odborníci, veřejnost) Aktivní participace referendum Volby plánovací den / víkend (akční plánování) pracovní skupiny Interaktivní workshop občanská porota sousedské výbory Konzultace účast ve výborech a komisích názorové průzkumy konference stížnosti ankety, dotazníky, rozhovory on-line diskuse / fóra panel / kulatý stůl veřejné projednání (s programem) posezení u kávy petice, ombudsman Informování zákon 106/1999 Sb. úřední deska účast na jednání zastupitelstva veřejné slyšení nahlížení do zápisů občanské informační centrum tiskové konference letáky, brožury, zpravodaje výstavy a prezentace hromadná korespondence telefonní linka
  7. 7. 7 11 8 5 4 3 2 1 16 19 14 17 15 20 13 12 9 23 22 21 20 10 24 7 nízká Aktivita veřejné autority vysoká nízkáAktivitaobčanůvysoká 6 18 25 Vztah mezi aktivitou veřejné autority a občanů při užití různých metod (AGORA CE) 1- volby 2- referendum 3- výbory zastupitelstva a komise rady 4- osadní výbory 5- petice 6- stížnosti 7- účast na jednání zastupitelstva 8- úřední deska 9- tiskové konference 10- plakáty a letáky 11-zpravodaj města 12-informační centrum 13-výstavy a prezentace 14-brífink 15-dotazníkové šetření 16-rozhovory 17-veřejné slyšení 18-kulatý stůl 19-panelová diskuse 20-workshop 21-plánovací víkend 22-občanské pracovní skupiny 23- komunitní plánování 24- sousedské rady 25- e-mailové upozornění
  8. 8. Výstup na Kilimanjaro (5,895 m) do konce roku 2015 •8Zdroj: Suzanne Field
  9. 9. Výstup na Kilimanjaro (5,895 m) do konce roku 2015 •9 1. Proč chceme vystoupit na Kilimanjaro?  Jak víme, že to chce celá skupina? 2. Jak se připravíme?  Jak víme, co a jak připravit? 3. Jak poznáme, že jsme připraveni?  Co když vše neběží podle plánu, jak se rozhodneme? 4. Jakým rizikům budeme čelit v průběhu výstupu?  Jak jim můžeme předejít či jak je zmírnit? 5. Jak dáme dohromady rady pro další lezce?  Jak můžeme dále naložit s těmito zkušenostmi?
  10. 10. 10 Programování Identifikace Formulace Implementace a monitoring Evaluace Projektový cyklus EK http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 10
  11. 11. 11 Monitoring projektu Průběžné posuzování realizace projektu ve vztahu k plánovaným aktivitám a výstupům, kontrola harmonogramu, rozpočtu, dosažitelnosti cílů a záměru Cílem je efektivní řízení a případná modifikace projektu v závislosti na měnících se podmínkách a zkušenostech.  etapové monitorovací zprávy a zpráva závěrečná Evaluace projektu Periodické posuzování relevance, efektivnosti, efektivity, dopadů a udržitelnosti dopadů projektu ve vztahu k definovaným výsledkům / cílům Většinou externí hodnocení Cílem jsou nápravná opatření (průběžná evaluace), poučení, ovlivnění dalších rozvojových projektů a politik, skládání účtů (závěrečná evaluace)  hodnotící/evaluační zprávy Audit Ověřování, 1) do jaké míry byly projektové příjmy a výdaje v souladu se zákony, směrnicemi, smlouvami a pravidly poskytovatele, 2) zda-li byly využity hospodárně, 3) zda-li byly využity na stanovený účel projektu.  zpráva auditora •http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
  12. 12. 12 Identifikace projektu: zainteresovaných stran, analýza problémů, cílů a strategií •http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
  13. 13. Analýza zainteresovaných aktérů - matice http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 13
  14. 14. Power / Interest / Attitude Influence /Power KEEP SATISFIED INFLUENCE & ENGAGE KEEP INFORMEDMONITOR Interest Policy makers CSOs Fishing families Attitude Analýza zainteresovaných aktérů 14
  15. 15. Analýza zainteresovaných aktérů - Vennův diagram http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 15
  16. 16. 16 Analýza kapacit organizace http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
  17. 17. Analýza problémů - strom – příklad 1 1) brainstorming 2) klíčový problém 3) souvislosti 4) kompletní hierarchie http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 17
  18. 18. •18 Analýza problémů - strom – příklad 2 vysoká nemocnost nízká produktivita práce nízké příjmy vysoká dětská úmrtnost špatná kvalita vody nízká vydatnost vrtů neznalost hg. podmínekšpatná údržba a ochrana následky příčiny nedostatek pitné vody hlavní problém 18
  19. 19. Analýza problémů - SWOT http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 19
  20. 20. 20 Připravte analýzu problémů a aktérů vašeho projektu dle vybraného nástroje
  21. 21. Analýza cílů a strategií -> výběr strategie – příklad 1 http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 21
  22. 22. •22 Strategie nových vodních zdrojů Strategie nové infrastruktury Strategie obecné osvěty Strategie vzdělávání Výstup Záměr Cíl Hydrogeol. průzkum a vrtné práce… Odborné tréninky zdravotníků Kampaň v rodinách (hygiena) Technický projekt a stavební práce Vyškolení zdravotníci Informovanost o prevenci nemocí Vybudovaný vodovod / kanalizace Nové zdroje pitné vody (vrty, studny) Snížení podílu nemocí pocházejících ze závadné vody a snížení dětské nemocnosti a úmrtnosti Přístup k nezávadné pitné vodě (a základní sanitaci) Aktivita Změněné návyky (na základě osvěty); lepší zdravotní prevence a péče 22 Analýza cílů a strategií -> výběr strategie – příklad 2
  23. 23. 23 Participatory Rural Appraisal Disaster Risk Assessment Principles  Rapid learning from indogenous people - group dynamics, e.g. learning contracts, role reversals, feedback sessions  Empowerment, respect, localisation, inclusiveness, enjoyment  Sampling, e.g. transect walks, wealth ranking, social / health mapping  Semi-structured interviews, focus groups…triangulation  Preference raking, maping, modeling, visualization e.g. venn diagrams, timelines Manual – CRS http://www.crsprogramquality.org/storag e/pubs/me/rrapra.pdf
  24. 24. 24 http://collections.infocollections.org/ukedu/collect/ukedu/index/assoc/ii03re/p101.gif
  25. 25. 25 http://collections.infocollections.org/ukedu/en/d/Jii03re/2.5.5.html
  26. 26. 26 Teorie změny / logický model Logický model musí vysvětlit, jak aktivity projektu povedou v konkrétním kontextu k vytvoření výstupů a naplnění cílů a očekávaných dopadů (záměru). Hlavní koncept spočívá v identifikaci souvislostí: příčin a následků (pokud X, takY). Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo nebyly cíle dosaženy. Projekt tak zůstává „černou krabicí“ (izolovanou intervencí bez jakéhokoliv prokázaného vlivu).
  27. 27. 27 Logický model - teorie změny  Jak realizované aktivity povedou v konkrétním kontextu k vytvoření výstupů, naplnění cílů a záměru  Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo nebyly cíle dosaženy  Součástí monitoringu a evaluací musí být pochopení logického modelu projektu, případně jeho revize Inputs  Activities  Outputs Outcomes  Impacts Black box Political Environment (Governance, etc.) Public Attitudes EnvironmentAid Players Macro-economic Picture Policy Context
  28. 28. Logický model - matice http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 28
  29. 29. 29•29 Logický model - teorie změny – příklad 1
  30. 30. 30 •3030 inputs activities outputs immediate effects intermediate outcomes final impacts if then if then if then if then if then Agricultural Development Community Infrastructure Rural Credit Community Development Project coordinator, project management unit, research, extension, training, transport, construction, relevant budget, etc. Improve the livelihood of 5,000 families Landless families increase livestock, fish, and income generating activities Small farms enabled to intensify and diversify crop production Logický model - teorie změny – příklad 2
  31. 31. 31 Struktura projektu záměr (goal, impact) skutečný dopad na příjemce  cíle - účel (outcomes) reálné využití výstupů  výstupy (outputs) produkty projektu  aktivity (activities) realizované činnosti vstupy (inputs) finanční, materiální, lidské… vstupy výstupy aktivity cíle záměr (dopad) PROJEKTÚSPĚCH
  32. 32. 32 Zrevidujte teorii změny vašeho projektu výstup 2:výstup 1: záměr: cíl: výstup 3: aktivita 1.1: aktivita 3.1: aktivita 2.1: aktivita 1.2: aktivita 3.2:
  33. 33. 33 Záměr (goal) / Dopad (impact) („přispět k …“) dlouhodobý pozitivní dopad na cílové skupiny, k jehož zajištění má projekt - v rámci širších programů - přispět Cíl (outcome) / účel (purpose) („změna chování, situace“) změna chování nebo zlepšení situace v konkrétní oblasti jako důsledek realizovaných aktivit a výstupů projektu, při splnění nezbytných „externích“ předpokladů Výstupy (outputs) („vyprodukovat …“) jasně definované, časově i věcně identifikovatelné výsledky projektu směřující ke splnění cíle, které jsou garantovány na základě poskytnutých vstupů a projektovaných aktivit Aktivity (activities) („provést …“) činnosti sumarizující průběh projektu, při nichž jsou vstupy a prostředky projektu transformovány do výstupů Struktura projektu
  34. 34. 34 Záměr (goal) / Dopad (impact) („přispět k …“) dlouhodobý pozitivní dopad na cílové skupiny, k jehož zajištění má projekt - v rámci širších programů - přispět Cíl (outcome) / účel (purpose) („změna chování, situace …“) plánované zlepšení situace - cílový stav - v konkrétní oblasti jako důsledek realizovaných aktivit a výstupů projektu, při splnění nezbytných „externích“ předpokladů Výstupy (outputs) („vyprodukovat …“) jasně definované, časově i věcně identifikovatelné výsledky projektu směřující ke splnění cíle, které jsou garantovány na základě poskytnutých vstupů a projektovaných aktivit Aktivity (activities) („provést …“) činnosti sumarizující průběh projektu, při nichž jsou vstupy a prostředky projektu transformovány do výstupů přispět k potravinové soběstačnosti obyvatel a ke snížení chudoby ve venkovských oblastech rozvoj zpracovatelských technologií, nové manažerské postupy, tržní uplatnění produkce analytická studie zemědělských postupů, pilotní farma s kapacitou 250 nosnic, 20 vyškolených expertů průzkum, projekční práce, výstavba, nákup vybavení a rodičovské hejna, školení personálu, osvěta v komunitě Struktura projektu
  35. 35. 35 Vstupy projektu (inputs) („poskytnout, zabezpečit …“) všechny finanční, lidské a materiální zdroje potřebné pro realizaci aktivit a zpracování výstupů projektu Předpoklady projektu (assumptions) („nezbytné podmínky“) důležité a neovlivnitelné „pozitivní“ externí faktory (události, činnosti či podmínky) nezbytné pro úspěch projektu Rizika projektu (risks) („možné ohrožení“) negativní externí faktory, které mohou ovlivnit postup či úspěch projektu (které však nejsou příliš pravděpodobné nebo mohou být částečně pod kontrolou) Hodnotící ukazatele / indikátory („jak poznat změnu“) objektivně měřitelné a ověřitelné ukazatele pro posuzování realizace výstupů a dosažení cílů a záměru (dopadů) projektu Struktura projektu
  36. 36. 36 Vstupy projektu (inputs) („poskytnout, zabezpečit …“) všechny finanční, lidské a materiální zdroje potřebné pro realizaci aktivit a zpracování výstupů projektu Předpoklady projektu (assumptions) („nezbytné podmínky“) důležité a neovlivnitelné „pozitivní“ externí faktory (události, činnosti či podmínky) nezbytné pro úspěch projektu Rizika projektu (risks) („možné ohrožení“) negativní externí faktory, které mohou ovlivnit postup či úspěch projektu (které však nejsou příliš pravděpodobné nebo mohou být částečně pod kontrolou) Hodnotící ukazatele / indikátory („jak poznat změnu“) objektivně měřitelné a ověřitelné ukazatele pro posuzování realizace výstupů a dosažení cílů a záměru (dopadů) projektu např. množství nosnic, předpokládaný objem produkce, počet vyškolených odborníků, snížené procento osob pod hranicí chudoby, zastavení migrace do měst, ... podpis mezivládní dohody, získání pracovního víza, dostatek kvalifikovaných pracovních sil, místních surovin ap. rozpočet (náklady), experti (odbornost), dobrovolníci, adekvátní technologie, logistická infrastruktura, čas dřívější příchod monzunu (je možné přeskupit aktivity?), odstoupení partnera (je nahraditelný?), krádeže materiálu (lze zajistit ostrahu?) ap. Struktura projektu
  37. 37. 37 Doporučení Kromě odborné kvality projektu je potřeba zaměřit se na jeho proveditelnost: • použitelné metody (v daném prostředí) • správný tým, který projekt správně chápe • dostatek času a reálný čas zahájení projektu • dostatek financí (v reálném čase, reálné ceny) • sociálně kulturní aspekty • splnitelnost administrativních požadavků… Struktura projektu
  38. 38. 38 Indikátory Záměr, cíle a výstupy musí mít hodnotitelné indikátory (kvantita a kvalita, cílové skupiny, čas, místo, objektivita) Indikátory musí být „SMART“ (EU): Specific / specifické - musí měřit to, co má být měřeno Measurable / měřitelné Available / dostupné za přijatelných podmínek (vč. ceny) Relevant / relevantní pro danou úroveň projektu Time bound / definovány a platné v daném čase Indikátory musí být „CREAM„ (USA): Clear / přesné a jednoznačné Relevant / vhodné pro sledovanou úroveň Economic / dostupné za rozumnou cenu Adequate / poskytující dostatečný základ pro hodnocení Monitorable / musí umožnit nezávislé potvrzení
  39. 39. 39 Indikátory pro kvalitativní hodnocení Indikátory musí být „SPICED“: Subjective – respondenti využívají k hodnocení své osobní zkušenosti Participatory – musí zohledňovat priority a požadavky cílových skupin (tyto skupiny indikátor navrhují) Interpreted and communicable – musí být dobře vysvětleny a komunikovány v lokálním kontextu Cross-checked and compared – musí umožnit nezávislé ověření (triangulaci) a srovnatelnost Empowering – musí posilovat vlastnictví a zapojení cílových skupin i při kritickém hodnocení měnící se situace Diverse / Disaggregated – odpovědi musí být získávány od různých skupin a tříděny (např. s ohledem na gender)
  40. 40. Využívejte kvantitativní i kvalitativní indikátory http://www.smarttoolkit.net/?q=node/391 http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm V rámci indikátorů lze použít různých druhů srovnání: trendy (např. zvýšení), omezení (např. min. 30%), cíle (např. strategie do 12/Y1) Min. 30 % účastníků zahájí vlastní projekt týkající se lokálního problému. Důvody, proč účastníci ne/realizovali projekt týkající se lokálního problému. 40
  41. 41. •41 41 Indikátory - příklad Cíl projektu: Zvýšená živočišná produkce (nové postupy) Indikátor: Produkce vajec a kuřat Kvantitativní aspekt: nárůst produkce o 20 % oproti 2012 (kolik v 2012?) Kvalitativní aspekt: poměr nosnic (pro rozšíření chovu) a brojlerů (pro trh), podíl místní spotřeby a tržního uplatnění Cílové skupiny: vlastní pilotní farma, ostatní spolupracující farmy Místo: okres Kuito Čas: na konci projektu v roce 2014
  42. 42. 42 Zrevidujte indikátory vašeho projektu  Indikátor výstupu – kvantitativní a kvalitativní  Indikátor cíle – kvantitativní a kvalitativní  Indikátor záměru – kvantitativní a kvalitativní
  43. 43. •43 43 Indikátory Doporučení • Indikátory mají být SMART (CREAM, SPICED) • Indikátory upřesňují výsledky na jednotlivých úrovních projektu (výstupy, cíle, dopady) – musí se tedy pro jednotlivé úrovně lišit • Indikátory pomáhají hodnotit výsledky, ale nejsou výsledkem projektu samy o sobě – stačí zvolit pouze několik klíčových (a reálně měřitelných) indikátorů • Indikátory musí být realistické (dosažitelné)…
  44. 44. 44 Předpoklady -> rizika
  45. 45. 45 Rizika a opatření k jejich minimalizaci
  46. 46. 46 Zrevidujte zdroje ověření a předpoklady / rizika vašeho projektu
  47. 47. 47 Aktivity de facto na všech úrovních projektu  žádné výsledky aktivity = školení, výstup = školení, cíl = vyškolení, záměr = vzdělání Chybí přenos know-how  projekt není replikovatelný místně příklad: veškeré počítačové/modelové zpracování prováděno v ČR Chybí změna  nejsou zajištěny skutečné dopady (So what?) záměr = demonstrace moderních postupů / PROČ? UPLATNÍ JE? záměr = zlepšení přístupu na trh / ZLEPŠÍ TO ŽIVOT? JAK? Chybí vztah s cílovou skupinou  minimální či nulové dopady příklad: místní farmáři neví o existenci poradenského centra Cíle, výstupy a aktivity nejsou propojeny  chybí strategie příklad: jak souvisí studijní cesta do ČR s rozvojem komunity v Mali? Chybí udržitelnost  po skončení projektu přínosy končí příklad: není zajištěno vlastnictví a další financování farmy příklad: nejsou k dispozici náhradní díly a lokální servis Typické chyby logického modelu
  48. 48. 48 Indikátory shodné pro různé úrovně  nejedná se o jiné úrovně výstup = 50 vyškolených farmářů, cíl = 50 farmářů má lepší povědomí Indikátor formulován jako cíl  nelze prokázat jeho dosažení příklad: zlepšení postavení drobných zemědělců / JAK SE POZNÁ? příklad: míra zkvalitnění produkce / CO TO ZNAMENÁ? LZE OVĚŘIT? Indikátor není upřesněn  jak se pozná změna? příklad: zvýšení produkce / JAKÉ? O KOLIK? OD KDY DO KDY? KDE? příklad: rozloha zpracovaného území (ha) / 0,1 ha nebo 1000 ha? Indikátory zcela chybí  jak se pozná úspěch? příklad: cíl = zavedení principů hospodaření / CO TO ZNAMENÁ? příklad: záměr = udržitelný rozvoj / JAKÉ JSOU HLAVNÍ FAKTORY? Předpoklad na úrovni managementu  chybí garance realizace příklad: předpokladem je dostatečná kapacita hlavního realizátora Předpoklad je předem splněn  nemá vliv na realizaci projektu příklad: předpokladem je existence objektu z dřívějšího projektu Typické chyby logického modelu
  49. 49. 49 Logický rámec je nelogický  neexistuje logická provázanost příklad: přemíra nepříliš souvisejících aktivit bez jasného výsledku ! Logický rámec je nepřehledný  neumožňuje řízení projektu příklad: na 5 - 12 stranách nelze sledovat souvislosti a návaznosti ! Doporučení: Matice logického rámce není formulář (vyplňovaný po napsání projektu), ale nástroj pro přípravu a řízení projektu! Typické chyby logického rámce
  50. 50. 50 http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 50
  51. 51. Monitoring Proč? (Jak informace využijeme) Co? Kdy? Principy? Jak (inovativně) monitorovat? 51
  52. 52. 52 Zrevidujte monitorovací plán vašeho projektu  Co?  Kdy?  Kdo?  Jak?
  53. 53. Evaluace Proč? (Jak informace využijeme) Co? Kdo? Kdy? Principy? Jak (inovativně) monitorovat? 53
  54. 54. Evaluace 54  Vzpomeňte si na skvělou / příšernou evaluaci – díky čemu byla tak skvělá / příšerná? Principy:  Etický Kodex evaluátora a Formální standardy provádění evaluací ČES  http://www.czecheval.cz/Dokumenty.html  OECD/DAC Quality Standards for Development Evaluation http://www.oecd.org/development/evaluation/qualitystandards.pdf  Evaluation Ethics, Politics, Standards, and Guiding Principles http://dmeforpeace.org/sites/default/files/M14_NA.pdf
  55. 55. Evaluace 55 Zamyslete se nad svým projektem:  Co chcete vyhodnotit?  Proč to chcete vyhodnotit? K čemu vám to bude?  Kdo evaluaci využije a jak?  Kdy evaluaci uděláme?  Na co bychom si chtěli odpovědět?  Kolik máme na evaluaci času, peněz a lidí?
  56. 56.  Kontext  Účel  Využití výstupů  Zaměření  Evaluační kritéria a otázky  Metodologie  Harmonogram  Rozpočet  Lidské zdroje – zodpovědnosti, požadovaná expertíza Příručky:  UNDP Handbook (p. 194 - 200) ttp://web.undp.org/evaluation/handbook/  EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136) http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_a dm_pcm_guidelines_2004_en.pdf  New Zealand Guide http://dmeforpeace.org/sites/default/files/NZAID_ToR%20Guideline.pdf Zadání evaluace 56
  57. 57. Evaluační kritéria •57 •http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 57
  58. 58. 58 •58  Relevance – vztah k prioritám cílových skupin i donora, vliv projektu na řešenou problematiku  Efektivnost (effectiveness) – nastavení cílů a logiky projektu ("dělat správné věci")  Efektivita (efficiency) – produktivita realizace výstupů ("dělat věci správně")  Dopady (impacts) – pozitivní i negativní, plánované i neplánované vlivy na cílové skupiny  Udržitelnost (sustainability) – pokračování přínosů po ukončení projektu (podmínky v místě realizace)  Proveditelnost (feasibility) – kvalita projektu a garance (čas, lidé, zdroje, předpoklady a rizika) Evaluační kritéria
  59. 59. 59
  60. 60. 60 Evaluační otázky Vstupy (zdroje) Aktivity Výstup y Krátkodob é cíle Střednědob é cíle Dopady (dlouhodob é) Interní kontrola v organizaci Výstupy - zapojení příjemců Oblast externích vlivů Externí faktory Jaká je povaha a rozsah problémů při získávání porodních asistentek a dalšího vyškoleného personálu pro nové venkovské kliniky? Jak dlouho se čeká na nejvíce požadované služby? Nakolik byl projekt úspěšný pro udržení vyškoleného personálu v klinikách? Jak kliniky pomohly zlepšit zdravotní stav obyvatel po třech letech provozu? Formativní evaluace Závěrečná evaluacea/nebo
  61. 61. 61 Úspěch = pozitivní změna A) zahájení projektu B) konec projektu C) dva roky až pět let po ukončení projektu A B C neudržitelný projekt dobrý projekt špatný projekt bez projektu A B C neudržitelný projekt dobrý projekt špatný projekt bez projektu
  62. 62. 62 •62 Typické otázky - relevance  Je účel projektu stále v souladu s prioritami cílových skupin?  Odpovídá projekt místním strategiím rozvoje?  Do jaké míry logický model projektu řeší identifikované klíčové problémy?  Jak silné je vlastnictví projektu místními partnery?  Jsou naplněny klíčové externí předpoklady? Evaluační kritéria
  63. 63. 63 •63 Typické otázky - efektivita  Jsou zdroje projektu využívány transparentně a odpovědně?  Odpovídá čerpání finančních prostředků plánu?  Do jaké míry jsou realizovány plánované aktivity?  Existují dostatečné záznamy o realizovaných aktivitách?  Byly dosaženy plánované výstupy v očekávané kvalitě?  Jak byly řešeny problémy při realizaci projektu?  Do jaké míry se do realizace zapojili místní partneři?  Převzaly cílové skupiny odpovědnost za využití výstupů projektu? Evaluační kritéria
  64. 64. 64 •64 Typické otázky - efektivnost  Mohou dokončené výstupy přispět k dosažení cíle projektu?  Využívají cílové skupiny výsledky (výstupy) projektu?  Mají všechny cílové skupiny přístup k výsledkům?  Jaké existují překážky pro využití výstupů?  V čem se změnilo chování cílových skupin?  Odpovídají stanovené indikátory úrovni cílů projektu?  Přizpůsobil se projekt změnám podmínek v průběhu realizace? Evaluační kritéria
  65. 65. 65 •65 Typické otázky - dopady  Jaké jsou přímé pozitivní a negativní dopady projektu?  Jak konkrétně se změnila situace cílových skupin?  Odpovídají dopady předpokladům a stanoveným indikátorům?  Existují nějaké rozdíly v přístupu k přínosům projektu (např. z hlediska gender, etnické či kulturní příslušnosti)?  Jak byly řešeny případné negativní dopady projektu?  Jaké vnější faktory nejvíce přispěly k pozitivním dopadům (např. další rozvojové intervence)? Evaluační kritéria
  66. 66. 66 •66 Typické otázky - udržitelnost  Mají cílové skupiny dostatečné kapacity pro udržení pozitivních dopadů?  Existuje odpovídající legislativní zázemí?  Jak je zajištěna finanční udržitelnost výsledků projektu?  Jsou potřebné služby zajištěny i po ukončení projektu?  Jaké jsou zásadní vnější faktory ohrožující udržitelnost?  Jaké místní struktury jsou odpovědné za udržování dopadů?  Do jaké míry jsou cílové skupiny zapojeny do rozhodování?  Existuje pravděpodobnost rozšíření pozitivních dopadů (např. do jiných lokalit v regionu)? Evaluační kritéria
  67. 67. 67 Navrhněte evaluační otázky pro svůj projekt  Brainstorming – ptejte se na cokoliv (důležitého).  Následně seskupte otázky a vyberte otázky klíčové.  Koho se budete ptát? Kde získáte odpovědi?  Jak se budete ptát? Jak získáte odpovědi?  Otestujte si, zda jde otázka odpovědět.  Otestujte, zda vám odpověď pomůže.  Upravte otázky či metody, nezapomeňte na triangulaci.
  68. 68. Nejdůležitější evaluační otázky • Proč chceme evaluaci konkrétního projektu? • No a co? / So what? Opravdu je to úspěch? • Přinesla hodnocená intervence očekávanou změnu? Proč a jak? • Jakou změnu má přinést sama evaluace? Jak bude naloženo s jejími výsledky? 68
  69. 69. 69 Otázky pro výběr otázek • Kdo využije informace? Kdo chce vědět odpovědi? Komu by vadilo, že by odpovědi nedostal? • Sníží odpověď nejistoty? Ovlivní běh událostí? • Přinese odpověď důležitou informaci? Ovlivní běh událostí? • Chceme odpověď vědět nebo ji potřebujeme vědět? • Změnil by se výsledek evaluace, kdyby tato otázka nepadla? • Je možné na tuto otázku odpovědět (ve vztahu k financím, kapacitám, času, metodám a technikám)?
  70. 70. 70 Doporučení pro výběr otázek • Začněte s identifikací hlavních problémů • Každá otázka se musí zaměřit jen na jeden problém • Otázky musí řešit hlavní problémy • Je vhodné kombinovat všechny tři typy otázek • Otázky musí mít jasný vztah k účelu evaluace • Ověřte, zda se dají otázky odpovědět • Používejte rozumný počet otázek ve vztahu k času určenému pro evaluaci • Otázky musí odpovídat časovému průběhu programu
  71. 71. 71 Plán evaluace zahrnuje • Otázky a podotázky pro každý hlavní problém • Typy evaluačních otázek • Indikátory a cílové hodnoty (nebo standardy) • Vstupní hodnoty (baseline data) • Evaluační metody • Zdroje dat a informací • Požadovaný vzorek • Metody a nástroje sběru dat a informací • Způsoby vyhodnocení • Způsoby prezentace dat
  72. 72. 72 Typy otázek - deskriptivní Odpovědi popisují „co se děje“ Charakteristika: • snaží se pochopit nebo popsat program, postupy nebo přístupy k programu • odpovědi mají poskytnout obrázek o tom, co je • otázky jsou většinou jednoduché (kdo? co? kde? kdy? jak? kolik? jak moc?) • většinou se týkají vstupů (zdrojů), aktivit a výstupů • často jsou využívány pro zjištění názoru cílových skupin
  73. 73. 73 Typy otázek - deskriptivní / příklady • Jaké jsou cíle programu z pohledu různých aktérů? • Jaké jsou hlavní aktivity programu? • Kde je program realizován? • Kdo dostává jaké služby? • Jaké se při realizaci objevily překážky? • Jaké je průměrné hodnocení výsledků od cílových skupin? • Do jaké míry program využil zkušenosti z podobných programů? • Jaké jsou hlavní rozdíly při realizaci programu na různých lokalitách?
  74. 74. 74 Typy otázek - normativní • Porovnávají „co je“ s tím „co mělo být“ • Podobné otázky jsou požívány při auditu • Porovnávají výsledky ve vztahu k předem stanoveným kritériím • Často jsou používány při monitoringu a při schvalování výsledků programu
  75. 75. 75 Typy otázek - normativní / příklady • Odpovídaly náklady schválenému rozpočtu? • Byly náklady využity účelně (tak, jak měly být)? • Bylo očkováno 80% dětí, jak bylo stanoveno? • Podařilo se zavlažit 100 000 ha území, jak bylo plánováno? • Byl proces výběru účastníků programu spravedlivý a nediskriminační? • Do jaké míry program reflektoval rovnoprávnost žen a mužů?
  76. 76. 76 Typy otázek - kauzální • Sledují změnu, kterou intervence přinesla • Ptají se, zda byly dosaženy požadované výsledky a zda byly dosaženy díky programu • Srovnávají stav před programem a po programu a s programem a bez programu • Evaluace dopadů se zaměřují na příčiny a následky
  77. 77. 77 Typy otázek - kauzální / příklady • Pomohla spolupráce tří zemí ochránit biodiverzitu a současně udržet zaměstnanost v regionu? • Získali absolventi školení lepší pracovní uplatnění, které by jinak získat nemohli? • Pomohly založené malé podniky snížit míru chudoby v dané oblasti? • Přispěla vyšší daň z pohonných hmot ke snížení znečištění ovzduší? • Pomohly zákonné pokuty ke snížení zneužívání dětské práce v oděvním průmyslu?
  78. 78. 78 Typy otázek - kauzální / doporučení • Při kauzálních otázkách je zásadní teorie změny • Je nutné sledovat časové souslednosti • Je nutné sledovat korelace různých dat • Je nutné eliminovat alternativní vysvětlení
  79. 79. 79 Evaluační metody Metody pro deskriptivní a normativní otázky (většinou bez „pokusů“ - neexperimentální design): • jednoduché zjišťování průřezových parametrů • jednorázové zjišťování dat • zjišťování dat před a po intervenci • přerušované časové série dat • průběžné (dlouhodobé) zjišťování dat • případové studie Normativní otázky vždy srovnávají výsledek s předem stanovenými kritérii (cílovými hodnotami, normami).
  80. 80. 80 Evaluační metody Metody pro kauzální otázky: Experimentální design: • srovnává 2 kontrolní skupiny - jedné přímo zapojené do programu a druhé programem neovlivněné • výběr obou skupin je náhodný Kvazi-experimentální design: • nepoužívá náhodný výběr • využívá přirozeně existující srovnávací skupiny • potřebuje více dat k vyloučení alternativních vysvětlení
  81. 81. 81 Evaluační metody Metody pro kauzální otázky: Neexperimentální design: • nesrovnávají se různé skupiny • musí podrobně vysvětlit vztahy mezi intervencí a jejími dopady • evaluátor musí použít reprezentativní vzorky • může analyzovat existující data a informace • musí identifikovat charakteristiky, četnost a vztahy různých dat a informací
  82. 82. 82 Evaluační metody Kauzální otázky - možné postupy: • před a po programu s/bez srovnávací skupiny • před a po programu u neekvivalentních skupin • po programu s neekvivalentní srovnávací skupinou • přerušované časové srovnávací studie • průběžné (dlouhodobé) srovnávací studie • panel - stejná skupina lidí je sledována delší dobu • korelační statistický design • analýzy dopadů programu u srovnávacích skupin • neexperimentální metody: zjišťování průřezových parametrů, jednorázové metody, sledování kauzalit, případové studie
  83. 83. 83 Evaluační postupy • participativní metody (setkání, mapování, procházky) • rešerše existujících dat a informací • pozorování (nápadné či nenápadné) • průzkumy a rozhovory (strukturované nebo ne) • fokusní skupiny (skupinové diskuse) • deníky (nebo „měsíčníky“), dotazníky • odborné posudky (experti či panel expertů) • technika „Delphi“ (posudky nezávislých expertů centrálně zpracované) • další nástroje (přímá měření, analýzy, testy, karty spokojenosti, celostátní průzkumy…)
  84. 84. 84 Evaluační postupy - doporučení Neexistuje žádný nejlepší postup! Evaluace se nesmí odvíjet od metod, naopak je potřeba vybrat nejvhodnější metodu pro konkrétní evaluační otázky a pro konkrétní účel evaluace! Vždy je nutná triangulace - kombinace několika metod a několika zdrojů dat! Nejdůležitějším faktorem je využitelnost a využití výsledků evaluace – musí být jasné od začátku!
  85. 85. 85 Nástroje sběru dat Při „vzorkování“ je třeba zvážit: • rozsah potřebných dat - reprezentativní vzorek podle velikosti sledované populace nebo souboru dat • náhodné, stratifikované či cílené vzorky (konkrétní skupiny, metoda sněhové koule - kontakty přes jednotlivé respondenty, pohodlnost - např. lidé, kteří přijdou na jedno místo) • účel evaluace - typické (průměrné) hodnoty, extrémy, rozdílnost dat, pravidla a výjimky… • kombinaci kvalitativních a kvantitativních dat
  86. 86. 86 IPDET © 2009 Conversation with Concerned Individuals Community Interviews Field Visits Reviews of Official Records (MIS and admin data) Participant Observations Key Informant Interviews Focus Group Interviews Panel Surveys Censuses Field Experiments Informal/Less Structured Methods Formal/More Structured Methods One-Time Surveys Direct Observations Surveys Nástroje sběru dat
  87. 87. Evaluovatelnost - Je jasné, proč chceme evaluaci? Jak ji vvyužijeme? - Mame k dispozici (aktualizovanou) projektovou logiku? - Máme k dispozici relevantní data (vstupní, z monitoringu)? - Jou dostupní relevantní aktéři a spolehlivé zdroje informací? - Máme dostatek finančních prostředků a času na interní / externí evaluaci? Bude evaluace hospodárná, bude její přínos opodstatněný přiměřený nákladům? - Je pravděpodobní, že budou evaluační výstupy využity k tomu, aby byla zavedena zlepšení? Máme podporu vedení? - Mohou zúčastnění aktéři ovlivnit evaluační rozhodnutí? Přijmou a využijí evaluační výstupy? - Můžeme zajistit, že evaluaci nic vážně neohrozí? Budou k dispozici členi projektového týmu a další aktéři? Je vhodná doba na evaluaci např. s ohledem na sezónu? Lze očekávat elementy, které by vážně ovlivnily nezávislost evaluace? Můžeme projekt evaluovat ? 87
  88. 88. 88 Připravte plán evaluace pro konkrétní otázky:  Otázky a jejich typ (deskriptivní, normativní, kauzální):  Vstupní a cílové hodnoty (u normativních otázek):  Evaluační metody (experimentální, neexperimentální…):  Zdroje dat a informací (kdo, co, kde):  Požadovaný vzorek (rozsah požadovaných dat):  Metody a nástroje sběru dat a informací (kdy, kde, jak):  Způsoby vyhodnocení (kvantitativní, kvalitativní):  Způsoby prezentace dat (zpráva, workshop, média): Otestujte si pravděpodobný výsledek (odpovědi)!
  89. 89. 89 Příklad Cíl projektu: Dostat kuřata na druhou stranu frekventované silnice Hodnotící otázky: Jaké bylo zvoleno technické řešení - přechod, podchod, nadchod, semafory, kladkostroj, balón, prak nebo např. výcvik v létání? Nakolik bylo zvolené řešení efektivní (finančně, časově, humánně)? Nakolik bralo zvolené řešení ohled na cílovou skupinu a její priority - dočkala se ho např. kuřata vůbec? Mají kuřata na druhé straně zajištěnu potřebnou infrastrukturu - dostatečný prostor, péči, bezpečnost, vodu, zrní? Budou jejich podmínky na druhé straně lepší než byly předtím nebo lepší než u srovnávací skupiny, která nikam nešla? A proč vlastně kuřata chtějí na druhou stranu - neexistuje nějaká lepší strategie řešení jejich problémů a potřeb?
  90. 90. Evaluační otázka Vstupní data Indikátory Zdroje ověření Metoda sběru Vyhodnocení •90 Evaluační matice
  91. 91. 92 Zpracování dat - doporučení • Již před zahájením evaluace musí být jasná strategie zpracování kvantitativních a kvalitativních dat i způsob jejich propojení. • Způsob zpracování musí být uveden v evaluační zprávě, včetně stanovení míry věrohodnosti výsledků a nejistot. • Je nutné rozlišit konkrétní výsledky od jejich výkladu (interpretace). • Je vhodné použít konkrétní příklady a citace. • Nezbytná je kategorizace a triangulace výsledků.
  92. 92. 93 Zpracování dat Topics Quotes Findings Parents decide on topics I think the process of deciding would be valuable. There was a strong feeling that parents should be more involved in the choice of topics //// //// //// //// //// //// //// //// Cover a couple of topics per session Sometimes we just got into a topic and then it was time to leave or move to something else.We need more time to discuss. Many participants (38 or 52 interviewed) thought there should be more time for discussion. //// //// //// /// Not enough time spent on each topic //// //// //// /// Evaluační otázka: Byli rodiče spokojeni se školením? IPDET © 2009
  93. 93. Příklad kvantitativní analýzy dat 94
  94. 94. Zpráva a prezentace – dle použití a uživatele •95 Přípa dová studie 95
  95. 95. Příklad prezentace kvantitativních dat (Další příklady v příloze) 96Zdroj: Naviga4 2 20 48 31 303 476 3244 1033 Léčba prekancerózy Léčba rakoviny Prekanceróza Rakovina Vyšetřeny v onkocentrech Odeslané do onkocenter Vyšetřeny v mobilních… Účast na osvětových akcích Vyléčeno ?
  96. 96. •3 roky •11 mil CZK 3 roky 11 mil CZK 14? žen má šanci přežít 65? žen žije v beznaději Příklad prezentace kvantitativních dat
  97. 97. Léčba příliš drahá... ...a často nesprávná Ozařování nedostupné Učitelka chemie a matka, 26 let Prekanceróza děložního čípku Podezření na nesprávnou léčbu - a recidivu Příklad prezentace kvalitativních dat
  98. 98. •99Zdroh: Inka Pibilova Příklad prezentace kvalitativních dat Nové vedení zapojených samospráv po 1 až 2 měsících nebylo o projektech a jejich výsledcích informováno. Většina starostů – respondentů se velmi zajímala o možnosti budoucí spolupráce ohledně občanské angažovanosti. Jeden to považoval za bezpředmětné. „Někdo, kdo stěží dokončil třetí třídu základní školy, mi nebude říkat, co mám dělat. (…) Rozpočet je pro region, ne pro lidi.“ Nově zvolený starosta
  99. 99. •100 Zdroj: Inka Pibilova Příklad prezentace kvalitativních dat
  100. 100. Doporučení 33 36 24 16 18 20 9 11 17 22 28 13 29 0 5 10 15 20 25 30 35 40 13 12 11 10 9 8 7 6 5 4 3 2 1 Obrázek je lepší, než 1000 slov, ale hodně „dobrých věcí“ škodí! 101
  101. 101. S čím potřebuji pomoci na návazném workshopu v lednu 2015: Co plánuji udělat na základě tohoto workshopu: 102
  102. 102. Užitečné odkazy: 103  Česká evaluační společnost http://www.czecheval.cz/  Příklady evaluací, odkazy aj. www.evaluace.com/links/  Mezinárodní evaluační rozcestník s nástroji a zdroji www.betterevaluation.org  Školení EPDET http://www.dww.cz/english.php?page=epdet1  EC evaluation guidelines http://ec.europa.eu/europeaid/evaluation/methodology/tools/too_en.htm  EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136) http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/e uropeaid_adm_pcm_guidelines_2004_en.pdf  UNDP Handbook (p. 194 - 200) http://web.undp.org/evaluation/handbook/  RISK, UK: How do we know it is working? http://www.developmenteducationreview.com/issue11-review1  Road to Results https://openknowledge.worldbank.org/handle/10986/2699

×