Příklad evaluace projektu neziskové organizace z workshopu Jak mohou neziskové organizace a akademická sféra pomoci realizovat efektivnější projekty (aneb evaluace v teorii a zejména v praxi) v rámci konference Věda v akci 25. 10. 2012 --------------------- An example of an NGO project evaluation from the workshop How can NGOs and universities help to implement more ffective projects (evaluations in theory and practice), held as a part of the conference Science in Action on 25 October 2012.

1. Evaluace projektu
Prevence, výživa a komplexní podpora
pro děti a rodiny postižené HIV/AIDS
v distriktě Kisumu, Keňa
Ing. Inka Píbilová, MAS
Věda v akci, 25. 10. 2012

2. Agenda
1. Informace o projektu
2. Cíl a zaměření evaluace
3. Metodika
4. Zjištění a závěry
5. Doporučení
6. Poučení a tipy

3. 1. Informace o projektu

4. Těhotná matka Rodinní příslušníci
Dobrovolné HIV test
Prevence - testovací a rodinných
předporodní poradní centrum příslušníků
HIV test -
péče matky + +
- Léčba HIV
včetně
oportunitních
Prevence - infekcí
porodnické
služby
Prevence
-péče o Výživové centrum
novorozenc
e
(Dlouhodobý) Cíl : Plnohodnotný život novorozenců (bez nákazy HIV), dětí a jejich
rodinných příslušníků infikovaných a/či postižených HIV/AIDS v distriktě Kisumu

5. 2. Cíl a zaměření evaluace

6. 2. Cíl a zaměření evaluace
Cíle – poskytnout zjištění, závěry a doporučení pro:
 Posílení přínosů projektu
 Zaměření budoucích projektu Slovenska ve zdravotnictví v Keni
 Posílení vlastnictví, řízení rizik a udržitelnosti slovenských
rozvojových projektů
Zaměření - vyhodnocení:
 Relevance, efektivity, efektivnosti, udržitelnosti a dopadů
(OECD/DAC)
 Průřezových principů - řádné správy věcí veřejných a genderu
 Komplexní posouzení intervenční logiky
4G consite s.r.o.

7. 3. Metodika

8. 3. Metodika
Rešerše dokumentů
Polostrukturované
rozhovory Předběžná
zpráva
Fokusní skupiny konzultována
se
Návštěva zapojených zadavatelem,
zdravotnických zařízení referenční
skupinou
Případové studie a
realizátorem
Komunikace se zadavatelem a referenční skupinou

9. 4. Zjištění a závěry
4G consite s.r.o.

10. 4. Zjištění a závěry – Relevance - vysoká
Rozšíření HIV v roce 2007 v Nyanze 14,9%
x
Zdroj: National AIDS Control Council:
The Kenya AIDS epidemic Update 2011

11. 4. Zjištění a závěry – Relevance vysoká
Prevence přenosu HIV z matky na dítě jako základ
snížení nových infekcí
Zdroj: National AIDS Control Council:
The Kenya AIDS epidemic Update 2011

12. 4. Zjištění a závěry – Hospodárnost spíše vysoká
 Celkové náklady 76,7% plánu při dosažení či překročení většiny
výstupů a účelu projektu.
 Realizátor zdarma využíval prostor partnerů, jejich personálu,
léky.
Výhrady:
 Zprávy Magny nebyly konzistentní (zpoždění, nejasné výsledky
dle místa, neschválená změny rozpočtu).
 Plné hrazení veškerých léčebných nákladů a hmotná motivace
pacientek i komunitních pracovníků.
 Zapojení slovenské pediatričky vs. místní lékaři.

13. 4. Zjištění a závěry – Účinnost vysoká
 Integrovaný přístup místech realizace.
 Přínosná souběžná práce proškoleného personálů realizátora
a ostatních pracovníků zařízení.
 (Ne) dosažení indikátorů souvisí s aktuální situací v terénu.
 766 žen zapojených do komplexního programu prevence a léčby
 269 novorozeňat obdrželo poporodní antiretrovirální lék
 689 novorozeňat obdrželo výživu
 746 mužů a 462 dětí dobrovolně testováno na HIV
 863 pacientů zapojených do výživového programu
 Přínos projektu byl oceněn všemi konzultovanými aktéry.

14. 4. Zjištění a závěry – Dopad krátkodobě vysoký

15. 4. Zjištění a závěry – Dopad snižující se
Podoblastní nemocnice v Nyaheře 2007 2008 2009 2010 2011
Počet testovaných žen 1615 1868 1925 1885 1621
↑ ↑ ↓ ↓
Počet HIV+ žen 103 132 101 93 104
↑ ↓ ↓
Počet žen v programu prevence 103 132 101 ? ?
↑ ↓
Porody v nemocnici 92 129 96 ↓ 86 75 ↓
↑ ↓
Porody v domácím prostředí 3 3 → 5 → 7 → 29 ↑
Počet HIV+ dětí, obdržely léky 103 132 101 93 104
↑ ↓ ↓ ↑
Počet HIV+ dětí, obdržely výživu 95 84 ↓ 0 ↓ 0 → 0 →
Počet žen, co nedodržovaly prevenci 2 0 → 12 ↑ 22↑ 31 ↑
Zdroj: Podoblastní nemocnice v Nyaheře

16. 4. Zjištění a závěry - Udržitelnost nízká
 Programy dále fungují díky novým realizátorům.
 Nastavena spolupráce se státními zařízeními.
 Část pracovníků v zařízeních pokračuje.
Výhrady:
 Nedošlo k oficiálnímu předání a interní evaluaci.
 Činnost převzala „sesterská organizace“ jen do 2009.
 Neudržitelné poskytování léků / výživy zdarma a hmotné
motivace zúčastněným stranám.
 Většina pracovníků odešla, několik pozic není obsazeno.
 Komunitní práce byla omezena.
 Pacientky musely náhle přejít na méně efektivní praktiky, což
mohlo mít vliv na přenos HIV.

17. 5. Doporučení

18. 5. Doporučení
K projektu Hlavní
adresát
1. Informovat o závěrech evaluace a doporučeních UNDP BRC
hlavní zúčastněné strany.
2. V dalších HIV projektech zvážit: Magna
-posílení komunitní práce; /SAMRS
-systematické posilování místních partnerů.
K budoucím projektům ODA SR v Keni
3. Posílit spolupráci s ministerstvy a národními úřady Velvysla-
s cílem zapojit realizátory SR a posílit nectví SR
spolufinancování.

19. 5. Doporučení
Procesního a systémového charakteru Hlavní
adresát
4. Posílit systematické monitorování projektů: SAMRS /
-revize nastavení projektu a matice logického rámce; MZV SR
-detailnější struktura zpráv a jejich revize, aby bylo
patrné dosažení výsledků;
-půlroční souhrnné vyúčtování a audit;
-zapojení Velvyslanectví SR do monitorování zejména
velkých projektů.
5. Zavést interní evaluace jako součást projektů - SAMRS
zapojit místní aktéry včetně cílových skupin.

20. 5. Doporučení
Procesního a systémového charakteru Hlavní
adresát
6. Klást při výběru projektů větší důraz na SAMRS
udržitelnost (proškolení místních zaměstnanců,
spolufinancování, podpora při přípravě žádostí
ofinancování, strategie odchodu jasná od počátku)
7. Používat angličtinu jako jazyk projektových MZV SR /
dokumentů a evaluačních zpráv. SAMRS
8. Zvážit úhradu nákladů realizátora na externí MZV SR
evaluaci.

21. 6. Poučení

22. 6. Poučení
 Ukázková spolupráce s realizátorem - příprava v místě -
napomohla zapojit téměř 80 osob během 6 dnů.
 Referenční skupina (UNDP, MZV SR a Velvyslanectví SR)
a realizátor zapojeni do přípravy, realizace i připomínkování.
 Matice logického rámce – nedosažitelné cíle, chyběly indikátory.
 Revize matice pro účely evaluace, kontribuční analýza.
 Neúplnost / nedůvěryhodnost dat.
 Triangulace dat / metod / zdrojů.
 Citlivost tématu a nedostupnost cílové skupiny.
 Vysoký počet účastnic, úhrada nákladů, triangulace.

23. LOGO
konference
Jaké tipy jsou relevantní
pro Vás?

24. Evaluace vzdělávání
http://www.develor.cz/develorcz_files/File/kirkpatrickovy4uro
vne-novypohledpo50letech2.pdf

25. Kde se dozvědět více
 OECD/DAC evaluační kritéria a principy
http://www.oecd.org/dac/evaluationofdevelopmentprogrammes/d
accriteriaforevaluatingdevelopmentassistance.htm
 Česká evaluační společnost – etický kodex aj.
http://www.czecheval.cz/
 Evaluace rozvojových a vzdělávacích projektů MZV ČR
http://www.mzv.cz/pomoc/ – Dvoustranná – Evaluace
 EPDET – European Program for Development Evaluation
http://www.dww.cz/index.php?page=epdet
 www.evaluace.com