Download to read offline
More Related Content
Similar to Ewaluacja i monitoring programu
Ewaluacja i monitoring programu
- 1.
- 2. Czyszczenie zębównitką dentystyczną (nie cierpisz tego robić ale wiesz, że powinieneś) Zamówienie w barze na lotnisku kanapki z pszennego chleba z żółtym serem i majonezem, bez sałaty (gdybyś miał możliwość wyboru, nawet byś na to nie spojrzał, a co dopiero kupił) Składanie zeznania podatkowego, gdy i tak wiadomo, że nie otrzyma się zwrotu pieniędzy (coś, co odkłada się aż do ostatniej chwili) Hawkins & B. Nederhood (1994) Podręcznik ewaluacji programów profilaktycznych
- 4. Audyt –sprawdzanie zgodności wykorzystania zasobów (głównie finansowych) z obowiązującymi przepisami oraz standardami Kontrola – może odnosić się do aspektów finansowo – prawnych, w szczególności porównania stanu faktycznego ze stanem wymaganym. Może mieć charakter wycinkowy, dotyczyć jednego aspektu Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji nt. wdrażania programu z wcześniej przyjętymi założeniami. Służy sprawdzaniu prawidłowości przebiegu projektu, w szczególności osiągania założonych celów i rezultatów oraz nakładów poniesionych na ich realizację
- 5. Ocena wartościprogramu w celu jego usprawnienia, rozwoju lub lepszego rozumienia Zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytanie/a dotyczące programu Ocena efektywności, skuteczności, oddziaływania, t rwałości i zgodności projektu ze wstępnymi zamierzeniami.
- 6. Wróg jeśli: Traktowanajest jako zło konieczne i wymóg biurokratyczny Realizatorzy boją się negatywnej oceny swojej pracy profilaktycznej Jest narzędziem kontroli instytucji nadzorującej Przyjaciel jeśli: Realizatorzy są zainteresowani efektami swojej pracy profilaktycznej i rozwojem skutecznych programów Instytucje nadzorujące traktują ją jako narzędzie służące rozwojowi kompetencji np. zespołu pedagogicznego i działań profilaktycznych
- 7. Zbadanie potrzebnp. beneficjentów Określenie kierunków i celów działań Poprawa przejrzystości podejmowanych działań Poznawanie mechanizmów wdrażania programów i projektów Zwiększenie skuteczności i efektywności Wspomaganie procesu podejmowania decyzji Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określenie stopnia zgodności z przyjętymi założeniami Zwiększanie profesjonalizmu świadczonych usług Pogłębianie odpowiedzialności za program/projekt Demokratyzacja procesu zarządzania
- 8. Ewaluacja ex-ante Ewaluacja mid-term Ewaluacja ex-post Ewaluacja on-going
- 9. Jest to ewaluacjaprzeprowadzona przed wdrażaniem programu i mająca za zadanie ocenić, na ile planowana interwencja jest trafna z punktu widzenia potrzeb oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Może stanowić również zbadanie kontekstu, identyfikację potencjalnych trudności oraz diagnozę potrzeb i oczekiwań grupy docelowej.
- 10. Jest realizowana mniejwięcej w połowie wdrażania programu. Poddaje analizie osiągnięte na tym etapie rezultaty oraz dokonuje pierwszej oceny jakości realizacji programu. Jej istotną rolą jest również ocena poczynionych na etapie programowania założeń, w tym szczególnie celów oraz przyjętych wskaźników. Wyniki takiej ewaluacji mogą przyczynić się do pewnych modyfikacji oraz aktualizacji przyjętych założeń. Opiera się w głównej mierze na danych z monitoringu, jej jakość warunkowana jest zakresem i rzetelnością danych monitoringowych.
- 11. Przeprowadza się jąpo zakończeniu projektu. Podstawowym zadaniem jest zbadanie długofalowych efektów oddziaływania programu oraz ich trwałości. Ważnym zadaniem jest całościowa ocena skuteczności i efektywności interwencji oraz jej trafności i użyteczności. Szczególnie istotne jest odniesienie się do założonych celów i sprawdzenie, na ile się udało je osiągnąć. Oprócz zakładanych efektów może ona pokazać inne efekty, których nie zakładano. Służy nie tylko kompleksowemu podsumowaniu realizacji, ale stanowi również cenne źródło informacji użytecznych przy planowaniu kolejnych działań lub kontynuacji obecnych.
- 12. Ma charakter uzupełniającydla wszystkich wcześniej wymienionych typów ewaluacji i może być prowadzona niezależnie od nich. Jest prowadzona w trakcie działań, jednak nie należy jej mylić z monitoringiem, gdyż jej zadaniem jest dokonanie pogłębionej oceny wybranych problemów, niekiedy zdiagnozowanych podczas realizacji innych ewaluacji. Skupia się na realizacji interwencji, diagnozuje i analizuje pojawiające się problemy oraz poszukuje możliwości ich rozwiązania. Może służyć pogłębionej analizie uwarunkowań kontekstowych, które mogą mieć znaczenie dla powodzenia realizacji programu, bądź osiągnięcia założonych celów.
- 13. Skupiają się naanalizie jakiegoś wycinka prowadzonych działań, analiza ta ma zazwyczaj charakter przekrojowy i/lub porównawczy. Może dotyczyć np. określonego elementu działania, bądź zawierać analizy porównawcze z innymi działaniami. Często realizowane są w formule studium przypadku, który pozwala na szczegółową i pogłębioną analizę wybranego zagadnienia.
- 14. Ewaluacja założeńprogramu (ekspertyza) – sprawdza, czy są dane teoretyczne i empiryczne uzasadniające realizację programu Ewaluacja procesu – dokumentuje, co się wydarzyło w trakcie realizacji projektu Ewaluacja wyników – sprawdza, czy osiągnięto zamierzone cele Ewaluacja efektywności (kosztów) – kontroluje opłacalność poniesionych nakładów
- 15. Ekspertyza Ewaluacjaprocesu Ewaluacja wyników Ewaluacja efektywności Pytania o podstawy i założenia Pytania o realizację programu Pytania o efekty programu Pytania o koszty w porównaniu z wynikami
- 16. podstawy zasoby program Wyniki bezpośred nie Wyniki odroczone Analizakosztów – efektywność Pytania o stosunek nakładów do efektów Ekspertyza Pytania o założenia Ewaluacja procesu Pytania o nakłady i proces realizacji programu Ewaluacja wyników Pytania o doraźne i odroczone skutki
- 17. Trafność (relevance) Efektywność (efficiency) Skuteczność (effeciveness) Oddziaływanie / wpływ (impact) Trwałość efektów (sustainability)
- 18. Analiza dokumentów Wywiady Kwestionariusze Obserwacja Analiza dostępnych danych Dane z monitoringu Studium przypadku Grupy fokusowe Opinie ekspertów Techniki grupowe
- 19. Jakościowe Nastawione na klasyfikacjei interpretacje Wyniki prezentowane w postaci cytatów wytwórców (np. rysunki dzieci) Pytania dotyczą charakteru zjawiska, porównania cech, interpretacji znaczeń Ilościowe Nastawione na pomiar danego zjawiska Wyniki prezentowane są w postaci licz lub proporcji Pytania dotyczą rozmiarów danego zjawiska lub ilości przypadków
- 20. Rozpoznanie nowegozjawiska (np. używanie nowych narkotyków syntetycznych) Dotarcie do „ukrytych” populacji (np. nastolatki okazjonalnie palące marihuanę) Zaplanowanie lub ulepszenie działań (np. podjęcie decyzji, jakie działania interwencyjne warto realizować z daną grupą) Przygotowanie do zbierania danych metodą ilościową (np. jakie kategorie odpowiedzi zastosować w pytaniach zamkniętych w kwestionariuszu) Wyjaśnienie wyników zebranych metodami ilościowymi (np. dlaczego wobec jednej grupy działania przyniosły sukces, a wobec drugiej nie)
- 21. Typowe pytania: Czymcharakteryzują się użytkownicy nowych narkotyków syntetycznych? W jakich okolicznościach używają tych środków? Dlaczego używają ich w pewnych sytuacjach a w innych nie? Wykorzystują dane z wielu źródeł tzw. „triangulacja” Zbieranie informacji przy pomocy kilku metod, różnych badaczy od różnych respondentów Umożliwia głębszą analizę, ujęcie szerszego kontekstu
- 22. Metoda Najlepsze zastosowanie Wywiadyindywidualne Poznanie indywidualnych doświadczeń, opinii, biografii Wywiady grupowe Badanie postaw, doświadczeń powstających w określonym kontekście społecznym, szukanie nowych rozwiązań Obserwacje Badanie zachowań prowadzone w naturalnym środowisku Studium przypadku Dokładna analiza funkcjonowania w realnym świecie
- 23. Ocena skalizjawiska – np. odsetek nastolatków którzy brali dopalacze Uchwycenie zmiany danego zjawiska na przestrzeni czasu – np. rozpowszechnienie różnego rodzaju narkotyków w porównaniu z poprzednimi latami (ocena trendów) Ocena skuteczności działań profilaktycznych – np. wpływ programu na ograniczenie picia alkoholu przez odbiorców Porównanie grup np. chłopców i dziewcząt
- 24. Ilu uczestnikówpaliło papierosy w ostatnim miesiącu? Jaki odsetek odbiorców upił się przynajmniej raz w ostatnim roku? Ilu z nich wagarowało w ostatnim semestrze? Jak często brali udział w bójkach w ostatnim roku?
- 25. Panel ekspertów Benchmarking Analiza SWOT Analiza kosztów i korzyści Analiza kosztów i efektywności Modele ekonometryczne
- 27. Wewnętrzny mechanizmzarządzania projektem Zapewnienie zgodności realizacji Kontrola realizacji zadań Informacja zwrotna wspomagająca zarządzanie projektem Monitoring to dokumentowanie realizacji, czyli zbieranie obiektywnych dowodów potwierdzających poprawne działanie projektu
- 28. Kontrola wewnętrznai zewnętrzna Sprawozdawczość Zarządzanie jakością Zarządzanie zmianą ewaluacja
- 29. PRZEDMIOT MONITORINGU MONITORING RZECZOWY Śledzeniepostępów prac PROCES REALIZACJI MONITORING FINANSOWY Śledzenie kosztów PROCES WYDATKOWANIA Gromadzenie obiektywnych dokumentów Zadania projektowe Przepływy gotówkowe Harmonogram wykonania Kwalifikowalność kosztów Wskaźniki rezultatów twardych Salda kosztów Wskaźniki rezultatów miękkich Źródła finansowania Ewidencja uczestników Wzajemne rozliczenie WYTYCZNE PROCEDURY FORMULARZE
- 30. Kontrola merytorycznegozakresu realizacji Harmonogram wdrażania projektu Systematyczne pomiary osiągania zamierzonych rezultatów i celów Ewidencja informacji i uczestnikach i formach wsparcia
- 31. Dokumentacja projektowa– inwentaryzuje wszystkie istotne, zaplanowane parametry projektu (np. harmonogram, tabele wskaźników rezultatów twardych i miękkich, tabele danych o beneficjentach) Kwestionariusze – najlepiej opracowane przez realizatorów (np. karty rekrutacyjne, pracy, doradcze, listy obecności, dzienniki szkoleń, zestawienia wydanych zaświadczeń, dyplomów, ankiety ewaluacyjne, testy) Arkusze kalkulacyjne – analizują przebieg finansowy projektu Schematy obiegu dokumentów – wzory sprawozdań wewnętrznych itp..
- 33. Uaktywnili sięuczniowie bierni na lekcjach Zwiększyła się integracja środowiska lokalnego Rodzice mają lepszy kontakt z dziećmi „Otworzyli” się beneficjenci mający problemy w domu
- 34. Przyniósł główniewzrost wiedzy z zakresu negatywnych skutków używania substancji psychoaktywnych Nie wpłynął na zmianę ich poglądów, ani intencji dotyczącej używania substancji psychoaktywnych Nie znalazł odzwierciedlenia w ograniczeniu zachowań ryzykownych
- 35. Realizatorzy: Aktywizacja wszkole Integracja społeczna Wzbudzanie zaufania Lepsze relacje rodzic – dziecko ????? Ewaluatorzy Przyrost wiedzy Brak wpływu na poglądy i intencje Nie ograniczył zachowań ryzykownych Dobry program zły program
- 36. Odmiennych kryteriówewaluacji stosowanych przez realizatorów i zewnętrznych ewaluatorów Oraz związanych z tym zupełnie innych pytań ewaluacyjnych, jakie interesują jednych i drugich