1. Ełk, 17.03.2012

2.  Czyszczenie zębów nitką dentystyczną (nie
cierpisz tego robić ale wiesz, że powinieneś)
 Zamówienie w barze na lotnisku kanapki z
pszennego chleba z żółtym serem i
majonezem, bez sałaty (gdybyś miał możliwość
wyboru, nawet byś na to nie spojrzał, a co
dopiero kupił)
 Składanie zeznania podatkowego, gdy i tak
wiadomo, że nie otrzyma się zwrotu pieniędzy
(coś, co odkłada się aż do ostatniej chwili)
Hawkins & B. Nederhood (1994)
Podręcznik ewaluacji programów profilaktycznych

4.  Audyt – sprawdzanie zgodności wykorzystania
zasobów (głównie finansowych) z obowiązującymi
przepisami oraz standardami
 Kontrola – może odnosić się do aspektów finansowo –
prawnych, w szczególności porównania stanu
faktycznego ze stanem wymaganym. Może mieć
charakter wycinkowy, dotyczyć jednego aspektu
 Monitorowanie – proces systematycznego zbierania i
analizowania ilościowych i jakościowych informacji
nt. wdrażania programu z wcześniej przyjętymi
założeniami. Służy sprawdzaniu prawidłowości
przebiegu projektu, w szczególności osiągania
założonych celów i rezultatów oraz nakładów
poniesionych na ich realizację

5.  Ocena wartości programu w celu jego
usprawnienia, rozwoju lub lepszego
rozumienia
 Zbieranie i wykorzystywanie informacji w
celu odpowiedzi na pytanie/a dotyczące
programu
 Ocena
efektywności, skuteczności, oddziaływania, t
rwałości i zgodności projektu ze wstępnymi
zamierzeniami.

6. Wróg jeśli:
 Traktowana jest jako zło konieczne i wymóg
biurokratyczny
 Realizatorzy boją się negatywnej oceny swojej pracy
profilaktycznej
 Jest narzędziem kontroli instytucji nadzorującej
Przyjaciel jeśli:
 Realizatorzy są zainteresowani efektami swojej pracy
profilaktycznej i rozwojem skutecznych programów
 Instytucje nadzorujące traktują ją jako narzędzie
służące rozwojowi kompetencji np. zespołu
pedagogicznego i działań profilaktycznych

7.  Zbadanie potrzeb np. beneficjentów
 Określenie kierunków i celów działań
 Poprawa przejrzystości podejmowanych działań
 Poznawanie mechanizmów wdrażania programów i
projektów
 Zwiększenie skuteczności i efektywności
 Wspomaganie procesu podejmowania decyzji
 Identyfikacja słabych i mocnych stron interwencji
 Sygnalizowanie pojawiających się problemów
 Określenie stopnia zgodności z przyjętymi
założeniami
 Zwiększanie profesjonalizmu świadczonych usług
 Pogłębianie odpowiedzialności za program/projekt
 Demokratyzacja procesu zarządzania

8.  Ewaluacja ex-ante
 Ewaluacja mid-term
 Ewaluacja ex-post
 Ewaluacja on-going

9. Jest to ewaluacja przeprowadzona przed
wdrażaniem programu i mająca za zadanie
ocenić, na ile planowana interwencja jest
trafna z punktu widzenia potrzeb oraz spójna
w zakresie planowanych celów i sposobów ich
realizacji. Może stanowić również zbadanie
kontekstu, identyfikację potencjalnych
trudności oraz diagnozę potrzeb i oczekiwań
grupy docelowej.

10. Jest realizowana mniej więcej w połowie
wdrażania programu. Poddaje analizie osiągnięte
na tym etapie rezultaty oraz dokonuje pierwszej
oceny jakości realizacji programu. Jej istotną rolą
jest również ocena poczynionych na etapie
programowania założeń, w tym szczególnie celów
oraz przyjętych wskaźników. Wyniki takiej
ewaluacji mogą przyczynić się do pewnych
modyfikacji oraz aktualizacji przyjętych założeń.
Opiera się w głównej mierze na danych z
monitoringu, jej jakość warunkowana jest
zakresem i rzetelnością danych monitoringowych.

11. Przeprowadza się ją po zakończeniu projektu.
Podstawowym zadaniem jest zbadanie
długofalowych efektów oddziaływania programu
oraz ich trwałości. Ważnym zadaniem jest
całościowa ocena skuteczności i efektywności
interwencji oraz jej trafności i użyteczności.
Szczególnie istotne jest odniesienie się do
założonych celów i sprawdzenie, na ile się udało je
osiągnąć. Oprócz zakładanych efektów może ona
pokazać inne efekty, których nie zakładano. Służy
nie tylko kompleksowemu podsumowaniu
realizacji, ale stanowi również cenne źródło
informacji użytecznych przy planowaniu kolejnych
działań lub kontynuacji obecnych.

12. Ma charakter uzupełniający dla wszystkich
wcześniej wymienionych typów ewaluacji i może
być prowadzona niezależnie od nich. Jest
prowadzona w trakcie działań, jednak nie należy
jej mylić z monitoringiem, gdyż jej zadaniem jest
dokonanie pogłębionej oceny wybranych
problemów, niekiedy zdiagnozowanych podczas
realizacji innych ewaluacji. Skupia się na realizacji
interwencji, diagnozuje i analizuje pojawiające się
problemy oraz poszukuje możliwości ich
rozwiązania. Może służyć pogłębionej analizie
uwarunkowań kontekstowych, które mogą mieć
znaczenie dla powodzenia realizacji
programu, bądź osiągnięcia założonych celów.

13. Skupiają się na analizie jakiegoś wycinka
prowadzonych działań, analiza ta ma
zazwyczaj charakter przekrojowy i/lub
porównawczy. Może dotyczyć np. określonego
elementu działania, bądź zawierać analizy
porównawcze z innymi działaniami. Często
realizowane są w formule studium
przypadku, który pozwala na szczegółową i
pogłębioną analizę wybranego zagadnienia.

14.  Ewaluacja założeń programu (ekspertyza) –
sprawdza, czy są dane teoretyczne i
empiryczne uzasadniające realizację
programu
 Ewaluacja procesu – dokumentuje, co się
wydarzyło w trakcie realizacji projektu
 Ewaluacja wyników – sprawdza, czy
osiągnięto zamierzone cele
 Ewaluacja efektywności (kosztów) –
kontroluje opłacalność poniesionych
nakładów

15.  Ekspertyza
 Ewaluacja procesu
 Ewaluacja wyników
 Ewaluacja efektywności
Pytania o podstawy i
założenia
Pytania o realizację
programu
Pytania o efekty
programu
Pytania o koszty w
porównaniu z
wynikami

16. podstawy zasoby program
Wyniki
bezpośred
nie
Wyniki
odroczone
Analiza kosztów – efektywność
Pytania o stosunek nakładów do efektów
Ekspertyza
Pytania o
założenia
Ewaluacja procesu
Pytania o nakłady i
proces realizacji
programu
Ewaluacja wyników
Pytania o doraźne i
odroczone skutki

17.  Trafność (relevance)
 Efektywność (efficiency)
 Skuteczność (effeciveness)
 Oddziaływanie / wpływ (impact)
 Trwałość efektów (sustainability)

18.  Analiza dokumentów
 Wywiady
 Kwestionariusze
 Obserwacja
 Analiza dostępnych danych
 Dane z monitoringu
 Studium przypadku
 Grupy fokusowe
 Opinie ekspertów
 Techniki grupowe

19. Jakościowe
 Nastawione na
klasyfikacje i
interpretacje
 Wyniki prezentowane w
postaci cytatów
wytwórców (np.
rysunki dzieci)
 Pytania dotyczą
charakteru
zjawiska, porównania
cech, interpretacji
znaczeń
Ilościowe
 Nastawione na pomiar
danego zjawiska
 Wyniki prezentowane
są w postaci licz lub
proporcji
 Pytania dotyczą
rozmiarów danego
zjawiska lub ilości
przypadków

20.  Rozpoznanie nowego zjawiska (np. używanie
nowych narkotyków syntetycznych)
 Dotarcie do „ukrytych” populacji (np.
nastolatki okazjonalnie palące marihuanę)
 Zaplanowanie lub ulepszenie działań (np.
podjęcie decyzji, jakie działania interwencyjne
warto realizować z daną grupą)
 Przygotowanie do zbierania danych metodą
ilościową (np. jakie kategorie odpowiedzi
zastosować w pytaniach zamkniętych w
kwestionariuszu)
 Wyjaśnienie wyników zebranych metodami
ilościowymi (np. dlaczego wobec jednej grupy
działania przyniosły sukces, a wobec drugiej nie)

21. Typowe pytania:
 Czym charakteryzują się użytkownicy nowych
narkotyków syntetycznych?
 W jakich okolicznościach używają tych środków?
 Dlaczego używają ich w pewnych sytuacjach a w
innych nie?
Wykorzystują dane z wielu źródeł tzw.
„triangulacja”
 Zbieranie informacji przy pomocy kilku
metod, różnych badaczy od różnych
respondentów
 Umożliwia głębszą analizę, ujęcie szerszego
kontekstu

22. Metoda Najlepsze zastosowanie
Wywiady indywidualne Poznanie indywidualnych doświadczeń,
opinii, biografii
Wywiady grupowe Badanie postaw, doświadczeń
powstających w określonym kontekście
społecznym, szukanie nowych rozwiązań
Obserwacje Badanie zachowań prowadzone w
naturalnym środowisku
Studium przypadku Dokładna analiza funkcjonowania w
realnym świecie

23.  Ocena skali zjawiska – np. odsetek
nastolatków którzy brali dopalacze
 Uchwycenie zmiany danego zjawiska na
przestrzeni czasu – np. rozpowszechnienie
różnego rodzaju narkotyków w porównaniu z
poprzednimi latami (ocena trendów)
 Ocena skuteczności działań profilaktycznych
– np. wpływ programu na ograniczenie picia
alkoholu przez odbiorców
 Porównanie grup np. chłopców i dziewcząt

24.  Ilu uczestników paliło papierosy w ostatnim
miesiącu?
 Jaki odsetek odbiorców upił się przynajmniej
raz w ostatnim roku?
 Ilu z nich wagarowało w ostatnim semestrze?
 Jak często brali udział w bójkach w ostatnim
roku?

25.  Panel ekspertów
 Benchmarking
 Analiza SWOT
 Analiza kosztów i korzyści
 Analiza kosztów i efektywności
 Modele ekonometryczne

27.  Wewnętrzny mechanizm zarządzania
projektem
 Zapewnienie zgodności realizacji
 Kontrola realizacji zadań
 Informacja zwrotna wspomagająca
zarządzanie projektem
Monitoring to dokumentowanie realizacji, czyli
zbieranie obiektywnych dowodów
potwierdzających poprawne działanie projektu

28.  Kontrola wewnętrzna i zewnętrzna
 Sprawozdawczość
 Zarządzanie jakością
 Zarządzanie zmianą
 ewaluacja

29. PRZEDMIOT MONITORINGU
MONITORING RZECZOWY
Śledzenie postępów prac
PROCES REALIZACJI
MONITORING FINANSOWY
Śledzenie kosztów
PROCES WYDATKOWANIA
Gromadzenie obiektywnych dokumentów
Zadania projektowe Przepływy gotówkowe
Harmonogram wykonania Kwalifikowalność kosztów
Wskaźniki rezultatów twardych Salda kosztów
Wskaźniki rezultatów miękkich Źródła finansowania
Ewidencja uczestników Wzajemne rozliczenie
WYTYCZNE PROCEDURY FORMULARZE

30.  Kontrola merytorycznego zakresu realizacji
 Harmonogram wdrażania projektu
 Systematyczne pomiary osiągania
zamierzonych rezultatów i celów
 Ewidencja informacji i uczestnikach i
formach wsparcia

31.  Dokumentacja projektowa – inwentaryzuje
wszystkie istotne, zaplanowane parametry
projektu (np. harmonogram, tabele wskaźników
rezultatów twardych i miękkich, tabele danych o
beneficjentach)
 Kwestionariusze – najlepiej opracowane przez
realizatorów (np. karty rekrutacyjne, pracy,
doradcze, listy obecności, dzienniki szkoleń,
zestawienia wydanych zaświadczeń, dyplomów,
ankiety ewaluacyjne, testy)
 Arkusze kalkulacyjne – analizują przebieg
finansowy projektu
 Schematy obiegu dokumentów – wzory
sprawozdań wewnętrznych itp..

33.  Uaktywnili się uczniowie bierni na lekcjach
 Zwiększyła się integracja środowiska
lokalnego
 Rodzice mają lepszy kontakt z dziećmi
 „Otworzyli” się beneficjenci mający
problemy w domu

34.  Przyniósł głównie wzrost wiedzy z zakresu
negatywnych skutków używania substancji
psychoaktywnych
 Nie wpłynął na zmianę ich poglądów, ani
intencji dotyczącej używania substancji
psychoaktywnych
 Nie znalazł odzwierciedlenia w ograniczeniu
zachowań ryzykownych

35. Realizatorzy:
 Aktywizacja w szkole
 Integracja społeczna
 Wzbudzanie zaufania
 Lepsze relacje rodzic
– dziecko
?????
Ewaluatorzy
 Przyrost wiedzy
 Brak wpływu na
poglądy i intencje
 Nie ograniczył
zachowań
ryzykownych
Dobry program zły program

36.  Odmiennych kryteriów ewaluacji
stosowanych przez realizatorów i
zewnętrznych ewaluatorów
 Oraz związanych z tym zupełnie innych
pytań ewaluacyjnych, jakie interesują
jednych i drugich