1. Łódzka Akademia PO KL Ewaluacja B04 Urząd Marszałkowski w Łodzi Departament ds. PO Kapitał Ludzki Instytucja Pośrednicząca Osoba prowadząca: Justyna Bodek

6. Definicje ewaluacji c.d. Ewaluacja Zbieranie, analiza oraz interpretacja danych nt. znaczenia i wartości tego, co podlega badaniu, przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych Opisywanie przebiegu oraz wyników badanych działań ze strony pozytywnej i negatywnej, wyjaśnienie związków pomiędzy nakładami i rezultatami, porównywanie rezultatów ze wstępnymi założeniami Okresowa ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów

7. Definicja c.d. Ewaluacja w projekcie polega na: sprawdzeniu, czy w wyniku podjętych działań osiągnięto rezultaty, które zostały założone na etapie planowania oraz czy te rezultaty przełożyły się na realizacje celów projektu. ZAPAMIETAJ! Działania ewaluacyjne powinny zostać zaplanowane już na etapie tworzenia projektu. Zaplanuj odpowiedni budżet na badania ewaluacyjne. Jeśli planujesz zlecić działanie ewaluacyjne zewnętrznemu podmiotowi, weź pod uwagę standardy ewaluacji.

8. Standardy ewaluacji Standardy Ewaluacji zostały opracowane przez Polskie Towarzystwo Ewaluacyjne w 2008r. Określają zasady współpracy pomiędzy podmiotami zaangażowanymi w proces ewaluacji, określają ich wzajemne prawa i obowiązki. Opracowanie dokumentu było możliwe dzięki współpracy przedstawicieli administracji publicznej, organizacji pozarządowych, pracowników firm realizujących badania ewaluacyjne, instytucji naukowych i niezależnych konsultantów. Zasady ujęte w Standardach mogą znaleźć zastosowanie zarówno w sektorze publicznym jak i prywatnym .

11. Kryterium czasu realizacji Ewaluacja ex-ante Przeprowadzana przed wdrażaniem projektu; ma na celu poprawę jakości projektu będącego w trakcie opracowania Ocenia projekt pod kątem potrzeb, planowanych celów oraz sposobów ich realizacji Bada kontekst społeczny, gospodarczy, prawny Bada stan wyjściowy w kontekście ewaluacji ex-post; identyfikuje ewentualne trudności Określa potrzeby i oczekiwania grupy docelowej

12. Kryterium czasu realizacji Ewaluacja mid-term Przeprowadzana w połowie realizacji projektu; oparta na danych dostarczonych przez proces monitorowania Ocenia i analizuje osiągnięte do tej pory efekty i rezultaty Ocenia po raz pierwszy jakość realizacji projektu Ocenia założone cele i wskaźniki podczas etapu programowania Może doprowadzić do modyfikacji realizacji projektu oraz aktualizacji przyjętych założeń

13. Kryterium czasu realizacji Ewaluacja ex-post Przeprowadzana po zakończeniu realizacji projektu; stanowi całościowe podsumowanie danego projektu Ocenia poziom osiągniętych celów Ocenia skuteczność i efektywność projektu oraz jego trafność i użyteczność Bada długotrwałe efekty projektu oraz ich trwałość Stanowi źródło informacji niezbędne przy planowaniu kolejnych projektów

14. Kryterium czasu realizacji Ewaluacja ex-post projektu powinna zostać przeprowadzona wtedy, gdy widoczne są efekty realizacji projektu . Często przyjmuje postać audytu , który ma na celu sprawdzenie, czy wszystko zostało wykonane zgodnie z założeniami wniosku. Celem ewaluacji ex-post jest całościowa ocena projektu .

15. Kryterium czasu realizacji Ewaluacja on-going Ma charakter uzupełniający do wszystkich pozostałych typów ewaluacji; przeprowadzana niezależnie od nich Ma na celu zgłębić problemy pojawiające się często w trakcie prowadzenia innych typów ewaluacji Dotyczy głównie zarządzania realizacją projektu Ma na celu zbadanie efektów realizowanego projektu z innymi projektami podobnego typu realizowanymi w tym samym czasie

22. Kryteria ewaluacji KRYTERIA TRAFNOŚĆ UŻYTECZNOŚĆ EFEKTYWNOŚĆ SKUTECZNOŚĆ TRWAŁOŚĆ

26. Pytania kluczowe Odpowiedzi dostarczą wyniki badania ewaluacyjnego Powinny zostać sformułowane w sposób ogólny Stanowią filar badania ewaluacyjnego Nie są to pytania, które wprost będą zadane osobom objętym ewaluacją

30. Metody badań ewaluacyjnych ILOŚCIOWE dotyczą informacji liczbowych; pozwalają poznać zależności pomiędzy występującymi zmiennymi; podlegają analizie statycznej, np. liczba odbiorców projektu. JAKOŚCIOWE dotyczą opisu, poznania i zrozumienia badanych zjawisk; niezbędne dla właściwej interpretacji informacji liczbowych; taki charakter badań kładzie nacisk na procesy i znaczenia, które nie podlegają rygorom pomiaru w znaczeniu ilościowym, np. opinie

31. Metody badań ewaluacyjnych ANALIZA DOKUMENTÓW dotyczy badania faktów; zbierania informacji w sposób formalny; pozwala na wykorzystanie dokumentów zgromadzonych podczas planowania i realizacji projektu; należy uważać, by nie interpretować danych w zbyt ogólny sposób. WYWIADY dotyczy zbierania opinii od osób zaangażowanych w realizację danego projektu oraz jego uczestników; daje możliwość poruszenia szczegółowych problemów i poznania interpretacji uczestników; metoda czasochłonna, kosztowna, obejmuje niewielką ilość respondentów. OBSERWACJA bezpośredni udział ewaluatorów w danym projekcie; może mieć charakter jawny lub niejawny; pozwala poznać kontekst danego działania; ułatwia interpretację, może prowadzić do przyswojenia stereotypów. KWESTIONARIUSZ uporządkowana lista pytań zamkniętych lub otwartych na jeden lub więcej tematów; umożliwia objęcie badaniem dużej grupy osób, jest anonimowa przez co daje swobodę wypowiedzi; odpowiedzi mogą okazać się zdawkowe; techniki: ankieta pocztowa, telefoniczna, internetowa.

35. Narzędzia badań ewaluacyjnych

40. Źródła informacji Wytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-2013 Podręcznik zarządzania projektami miękkimi K. Choromański, B. Ciężka, G. Dziarski, J. Ratajczak, A. Rudolf, T. Skierniewski oraz firma KPMG Ewaluacja – kwestie ogólne - Szkolenie dla pracowników Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Krajowej Jednostki Oceny oraz komórek oceny w instytucjach zarządzających poszczególnymi programami operacyjnymi – Polskie Towarzystwo Ewaluacyjne, Warszawa 2005 Polskie Towarzystwo Ewaluacyjne - Standardy ewaluacji www.pte.org.pl

41. Dziękuję za uwagę