Prezentacja Doroty Szczepan-Jakubowskiej

1. Ewaluacja
jako narzędzie monitorowania
procesu zmiany

2. Ewaluacja to opis wartości.
Czy wszystkie
wartości
generowane
przez projekt
rozwojowy da się
zmierzyd
lub nawet Oto fractal – wykres obrazujący
procesy, które stale wracają do
przewidzied? punktu wyjścia, zachodzące w
świecie współzależności. Życie!

3. Projekty społeczne i organizacyjne to
działania w określonych systemach.
Ocena skuteczności
danego działania
powinna odnosid się
bardziej do stanu
społeczności, do całego
systemu, a nie do
zrealizowania wybranego Czy budowa studni
wskaźnika. podnosi jakośd życia
mieszkaoców Afryki ?

4. O tym, jakie wartości mają wynikad z projektu,
decyduje wybór celów. Czasami jednak jesteśmy tak
bardzo przywiązani do raz wybranego celu, że
zapominamy o tym, po co rozpoczęliśmy działania.
Tak, pod warunkiem, że
mieszkaocy chcą z niej
korzystad! Odmówią, jeśli
korzystanie ze studni
będzie godzid w ich
wartości.

5. Niekiedy ewaluacja skłania nas do widzenia celów ogólnych i
szczegółowych projektu jako wartości samej w sobie. Wówczas
możemy stracid z oczu najistotniejsze, lecz trudno mierzalne
wartości. Ewaluacja powinna pomagad w monitorowaniu
naszych działao pod względem ich sensu ogólnego.
Kiedy wspinamy się po
drabinie, czasami boimy
się rozglądad dookoła, a
szczególnie patrzed w dół.
Ale co zrobimy, jeśli
drabina przystawiona jest
nie do tej ściany?

6. Koncentracja się na określonym celu sprzyja zadaniowości, ale
również traceniu z pola widzenia podstawowego faktu:
uruchamiając działanie, w rzeczywistości uruchamiamy sied
powiązanych procesów. Wchodzimy w świat współzależności i
sprzężeo zwrotnych.
Wszystkie ulice miasta
stanowią system – są ze
sobą połączone.
Płynnośd jazdy w tym
systemie zależy od
czasami zaskakujących
dla kierowców
czynników.

7. Efekt działao służących realizacji danego celu jest zależny od
tego, jakie procesy zachodzą aktualnie w danym systemie
społecznym, oraz od tego, jak nasze działanie na nie wpływa.
Miejmy świadomośd, że lawinę różnych reakcji. Ostateczny
wynik jest efektem złożonej, wielokierunkowej interakcji.
Jak najlepiej
dojechad z jednego
kooca miasta na
drugi w godzinach
szczytu? Czy
najkrótsza droga jest
zawsze najlepsza ?

8. Działania uruchamiają procesy w systemie,
wszystko idzie dobrze… ale sprawy korkują się z
trudno zrozumiałych przyczyn.
W przypadku procesów społecznych próba „krótkiego
załatwienia sprawy” często prowadzi do wzmocnienia
problemu lub pojawienia się innych, nowych
problemów.

9. Chod wszyscy chcą
zmiany na lepsze, to
przecież pociąga ona
za sobą także
niepożądane i
nieprzewidziane
konsekwencje.
A to budzi opór!
Gdzie jest wyjście?

10. Rozwiązanie problemu jest zwykle „z innego
porządku” niż sam problem. Opór może byd na
przykład pokonany „oddolnie” poprzez samą
społecznośd lub grupę osób drogą
wypracowaną, „odkrytą” w trakcie projektu.
Właśnie odkrywaniu tych metod służy
ewaluacja procesowo- jakościowa.
Odpowiedzią na problem korków może
byd ruch społeczny na rzecz ścieżek
rowerowych oraz korzystania z
komunikacji miejskiej, który wzmocni
rozwiązania administracyjne.

11. Proponowany sposób formułowania
celu:
Celem projektu jest uruchomienie procesu …
• Udrażniania komunikacyjnego miasta
• Dostosowywania zasobów wodnych do potrzeb
ludzi i przyrody
• Wprowadzenie zmiany w organizacji życia
społeczności w związku z pogarszającym się
dostępem do wody…

12. Celem projektu społecznego jest
uruchomienie lub wzmocnienie procesu…
• aktywizacji osób trwale bezrobotnych….
• budowania spójności społecznej i współpracy różnych
środowisk oraz ugrupowao w społeczności lokalnej…
• budowania płaszczyzny dialogu i wymiany informacji
pomiędzy instytucjami pośredniczącymi a
beneficjentami projektów….

13. To cel, a jaka droga?
Potrzebna jest wizja tego, jakie działania mogą służyd
celowi głównemu, poparta weryfikowalnym modelem
zmiany.
Model zmiany powinien zawierad opis mechanizmów,
które prawdopodobnie zostaną uruchomione poprzez
określone działania (procesy wspierające) oraz
weryfikowalne założenia, co do ich związku z celem
ogólnym.

14. Przykład :
Celem projektu jest
aktywizacja osób trwale
bezrobotnych poprzez
zaangażowanie ich do
organizacji festynu na
rzecz zwiększenia liczby
miejsc pracy i poprawy
jakości życia w gminie.

15. Modele zmiany dotyczące przykładu:
1. Osoby trwale bezrobotne mają wiele niewykorzystanych
potencjałów.
Jeśli zastosują częśd ze swoich „uśpionych” kompetencji w
praktycznym działaniu oraz odniosą sukces (chodby
częściowy), to będą dalej dążyli do samorealizacji.
2. Osoby trwale bezrobotne mają ubogie kontakty społeczne,
więc trzeba pomóc im w poszerzeniu środowiska, co ułatwi
im zorientowanie się w możliwościach zawodowych na rynku
lokalnym.

16. Modele zmiany dotyczące przykładu:
3. Osoby trwale bezrobotne potrzebują doświadczyd własnej
skuteczności w rozwijaniu przedsiębiorczości, ale również w
pomaganiu innym w tym procesie.
4. Osoby trwale bezrobotne potrzebują doświadczyd własnej
skuteczności w rozwijaniu przedsiębiorczości osobistej,
ale również w pomaganiu innym.
Pomaganie innym często bardziej motywuje do aktywności niż
koncentracja na własnych potrzebach.

17. Modele zmiany dotyczące przykładu:
5. Osoby trwale bezrobotne aktywizują się, gdy pracują
samodzielnie, ale nie samotnie – pomocne będzie
doświadczenie wspólnoty zespołowej.
6. Osoby trwale bezrobotne aktywizują się, gdy doceniają ich
inni oraz gdy oni mogą docenid innych.

18. Typologia celów:
1. Cel główny (proces, który chcemy uruchomid
lub wzmocnid)
2. Cele wspierające (te, których realizacja
warunkuje pracę nad celem głównym)
3. Meta – cele (cele związane z ewaluacją)

19. Cele wspierające dotyczące przykładu:
1. Uruchomienie procesu identyfikacji przez beneficjentów
własnych potencjałów i odbudowywania wiary w siebie na
skutek odnoszenia realnego sukcesu.
2. Uruchomienie procesu podnoszenia kompetencji społecznych
związanych z pracą w projektach.
3. Uruchomienie procesu tworzenia rzeczywistego zespołu z
indywidualnych ochotników.

20. Cele wspierające dotyczące przykładu:
4. Uruchomienie procesu budowania szerszego środowiska
społecznego dla osób trwale bezrobotnych.
5. Uruchomienie procesu tworzenia klimatu akceptacji
społecznej dla osób trwale bezrobotnych.
6. Poprawa warunków dla przedsiębiorczości w gminie
7. Meta - cel: Rozwinięcie metodologii pracy z osobami trwale
bezrobotnymi.

21. Ewaluacji podlegają:
• Założenia modelu
• Procesy i zjawiska wywołane dążeniem do realizacji
celów wspierających
• Procesy i zjawiska wywołane dążeniem do realizacji
celu głównego
• Sposób realizacji założeo programu

22. Poziomy wyznaczania celów
Poziom
Indywidualny
Poziom Poziom
Środowiska Diady
Meta-Poziom
Ewaluacja
-
Ewaluacji
Poziom Poziom
Organizacji Zespołu

23. Założenia ewaluacyjne
dotyczą następujących kwestii
1. Co może świadczyd o tym, że procesy opisane w celach
głównych, celach wspierających i metacelach dzieją się
rzeczywiście?
2. Jak można zorganizowad sytuacje, w których uwidoczni się
interesujący nas proces? (np. tzw. rundka na warsztacie,
ankieta, rozmowy z ewaluatorem)
3. W jaki sposób będziemy opracowywad dane i wyciągad wnioski?
4. Kto bierze udział w procesie ewaluacji i jaka jest rola
ewaluatora?

24. Ewaluacja odpowiada na pytania:
1. Co stało się w trakcie realizacji programu?
2. Jakie procesy zostały wywołane? Jak się przejawiają?
3. Czy i w jaki sposób zrealizowane zostały cele
wspierające?
4. Czy i w jaki sposób zrealizowany został cel główny?
5. Czy założenie ewaluacyjne były słuszne?

25. Ewaluacja służy odpowiada na pytanie:
Co zrobiono i co to wywołało?
w przeciwieostwie do modelu tradycyjnego,
funkcją ewaluacji nie jest wyłącznie ocena
pracy realizatorów

26. Ewaluacja jest procesem
monitorowania zmian.
Ma charakter ciągły
i dostarcza danych
do modyfikowania
programu w ramach
możliwości.
Ewaluacja jest narzędziem
edukacyjnym zarówno
dla realizatorów, jak też
beneficjentów.

27. Danych do procesu ewaluacji
dostarcza wiele zaangażowanych
w projekt osób.
Specjalista do spraw ewaluacji
musi zorganizowad ich
ewaluacyjną aktywnośd:
omówid wskaźniki, sposób
zbierania i zapisu danych, sposób
bieżącego wykorzystywania
danych z ewaluacji w projekcie.

28. Ewaluacja oparta jest
na dialogu
z beneficjentami oraz realizatorami!

29. Ewaluacja ma charakter ilościowy,
jak też jakościowy.
Dane ilościowe są wartościową
wskazówką, ale nie dominują
nad danymi jakościowymi.

30. Ewaluacja tradycyjna Ewaluacja jakościowo - procesowa
Zakłada, że zmiana/ rozwój jest Zakłada, ze modele stojące u podstaw
kontrolowalny i przewidywalny projektu są do weryfikacji, a sama
zmiana ma w sobie elementy
nieprzewidywalne
Jej funkcją jest ocena, w jakim stopniu Odpowiada na pytanie: co się stało,
stało się to, co było założone jakie procesy zaszły?
Podsumowuje projekt Monitoruje projekt
Odnosi się do jednego lub dwóch Może odnosid się do sześciu poziomów
poziomów celów np. indywidualny celów
i /lub środowiskowy
Cele są sprowadzane do celów Cele są obudowywane celami
szczegółowych i to one są przedmiotem wspierającymi na podstawie
obserwacji i oceny zidentyfikowanych , lecz hipotetycznych
modeli

31. Ewaluacja tradycyjna Ewaluacja jakościowo - procesowa
Przyjmuje „z góry” określone wskaźniki Pozwala określid lub zmodyfikowad
wskaźniki w trakcie badania
Określa przyrost danego wskaźnika Opisuje zjawiska, zmiany w określonych
obszarach
Dominują narzędzia ilościowe, chod są Dominują narzędzia jakościowe, chod są
elementy jakościowych elementy ilościowych
Ewaluator jest obiektywny i Osób uczestniczących w procesie
zdystansowany ewaluacji jest wiele i są zaangażowani w
działanie, a ewaluator organizuje ich
aktywnośd i przepływ informacji
Język ewaluacji jest stworzony przez Język ewaluacji buduje się w dialogu z
ewaluatora beneficjentami i realizatorami

32. Ewaluacja tradycyjna Ewaluacja jakościowo- procesowa
Koncentruje się na konstatacji Przyczynia się do budowy modeli,
występowania oddzielonych faktów ponieważ dużo mówi o związkach
pomiędzy zjawiskami
Przyjmuje jako pewnik założenie o Weryfikuje założony związek pomiędzy
wpływie realizacji celów szczegółowych celami głównymi i wspierającymi
na ogólne
Zakłada pewną liniowośd procesu Zakłada nieliniowośd procesu
społecznego społecznego, zjawiska systemowe,
zaskakującą dynamikę procesu
społecznego w czasie
Myślowo związana jest z takimi nurtami Łączy podejście systemowe nowej
jak empiryzm, pozytywizm , generacji, konstruktywizm ,
strukturalizm. interpretatywizm, teorią ugruntowaną
Nie ewaluuje samej siebie Ewaluuje samą siebie

33. Dziękuję za uwagę