Оцінка і моніторинг автор Паливода Любов

1. МОНІТОРИНГ ТА ОЦІНКАТренінг для координаторів РТЦ30 – 31 серпня 2011 року ©Любов Паливода, PhD Творчий центр ТЦК 044 574-6411 palyvoda@ccc.kiev.ua

2. Що виміряне, те й зроблено! Якщо ви не вимірюєте результати, ви не можете відрізнити успіх від невдачі. Якщо ви не можете побачити успіх, ви не можете його винагородити. Якщо ви не винагороджуєте успіх, ви, можливо, винагороджуєте невдачу. Якщо ви не можете побачити успіх, ви не зможете навчитись з нього. Якщо ви не можете визначити невдачу, ви не можете її виправити. Якщо ви можете продемонструвати результати, ви зможете завоювати підтримку людей. Osborn & Gaebler (1992) Result-Oriented Government

3. МОНІТОРИНГ

4. Визначення Моніторинг - це постійне відстеження ходу робіт (в рамках проекту, програми або організації) для порівняння поточного стану справ з планом. Систематичний збір інформації про хід робіт (в рамках моніторингу) - свого роду «сканування» ситуації - проводиться як рутинна процедура, призначена, головним чином, для того, щоб вчасно виявляти відхилення від накреслених планів.

5. Моніторинг Моніторинг- цепроцесустановленогозборуінформації по всіх аспектах проекту/програми. Моніторингзабезпечуєкерівникаінформацієюнеобхідною для: Аналізуданоїситуації Визначенняпроблеми та знаходженнярішень Дотримування плану виконання проекту Вимірюванняпрогресу у виконанніпоставлених задач та формулюванні/переглядімайбутніхцілейта задач Прийняттярішеннь про людські, фінансові та матеріальніресурси

6. Завданнямоніторингу Визначити стан досягнення запланованих цілей (очікуваних результатів); Уточнити чи переглянути перелік робіт і ресурсного забезпечення проекту/програми з метою уточнення плану їх виконання або перепланування; Виміряти та уточнити основні показники проекту/програми; Відслідкуватизміни у значимому середовищіпроекту/програми, включно з нормативно-правовою базою; Перевірити стан фінансування проекту/програми та ефективність використання коштів; Підготовити звіт для громадськості.

7. Моніторинг Моніторингценеперервнийпроцес. Система моніторингу повинна бути розробленаще до початку роботи проекту. Роботи по моніторингуповинні бути внесені в робочий план проекту. Перший рівеньмоніторингуздійснюється персоналом, якийпрацює над проектом/програмою. Менеджеривідповідають за моніторингом персоналу та роботою, яку вінвиконує. А керівниквідповідає за моніторингомвсіхаспектівпроекту/програми. Другийрівеньмоніторингуздійснюється донором /зацікавленими сторонами.

8. Система моніторингу Моніторинг проводиться, для отримання оперативної інформації про стан справ. Для цього необхідно зробити наступне: Визначити індикатори, за якими можна буде відстежувати хід проекту. Встановити джерела інформації для проведення моніторингу; Вибрати методи збору інформації; Визначити частоту і графік збору інформації з урахуванням інтенсивності діяльності, яку потрібно оцінити; Призначити відповідальних за отримання необхідної інформації і домовитися з тими, хто цю інформацію буде надавати; Визначити технологію обробки і аналізу отриманої інформації; Спланувати, як і кому будуть передані дані моніторингу, а також, хто і як буде їх використовувати; Врахувати в бюджеті витрати, необхідні для проведення моніторингу.

9. ОЦІНКА

10. Визначення Оцінка – це аналіз результатів діяльності і/або отриманого ефекту і співвіднесення цих результатів з певними критеріями. За підсумками оцінки робиться висновок про ефективність програми, проекту або діяльності організації і формулюються рекомендації на майбутнє. Оцінка передбачає більш глибоке (у порівнянні з моніторингом) проникнення в сутність того, що відбувається.

11. Цілі оцінки Демонстрація, що цілі проекту чи програми досягнуті; Показати, що досягнення цілей було зроблено ефективно та ресурси використані найкращим чином; Допомогти менеджерам розробити та/або покращити програми та проекти;

12. Цілі оцінки (1) Надавати, по мірі можливості, періодичну оцінку ефективності програм, їх очікуваний та неочікуваний вплив, та альтернативні шляхи досягнення результатів; та Вивчити уроки для того, щоб в покращити як виконання проектів/програм, так і процеси прийняття рішень.

13. Оцінка використовується для: Визначення значущості стратегій, програм та проектів в досягненні змін через: Надання достовірних результатів; Вимірювання досягнутого прогресу; Впровадження нових знань, а не лише практики; та Впливу на формування майбутніх стратегій та програм.

14. Оцінка відповідає на запитання: Чи ми робимо правильні речі? та Чи ми робимо речі правильно?

15. Види оцінки

16. Форми оцінки Внутрішня оцінка - виконавці проекту самостійно здійснюють аналіз результатів проекту. Зовнішня оцінка-до проведення аналізу результатів проекту залучаються зовнішні організаціїчиексперти. Вибір того чи іншого варіанту залежить від завдань оцінки, характеру проекту, доступними ресурсами.

17. Критерії оцінки Відповідність, тобто сумісність завдань проекту з реальними проблем і потребам громади та клієнтів. Результативність, тобто рівень досягнення та реалізації визначених завдань та заходів проекту, його наслідки та вплив на становище бенефіціарів, громади в цілому. Ефективність, тобто забезпечення реалізації залач проекту за помірні ресурси. Сталість, тобто ймовірність продовження позитивного впливу реалізації проекту після закінчення періоду його реалізації; Вплив, тобто ефект, що дав проект.

18. Аспекти М&О Стратегії – план діяльності організації, який показує загальний напрямок необхідних витрат. Програми – набір процедур та практичної діяльності, розроблені для втілення стратегії та досягнення визначених в них (стратегіях) цілей. Проекти – окремі компоненти в рамках програм.

19. М&О: СХОЖІСТЬ ТА ВІДМІННІСТЬ

20. Практичне завдання в групах Група 1 та 2: Вкажіть 4 схожих риси моніторингу та оцінки Група 3 та 4: Вкажіть 4 відмінності між моніторингом та оцінкою Час – 10 хвилин

21. М&О: схожість та відмінність Якщо моніторинг ставить собі за мету відслідковувати хід реалізації стратегії чи проекту, то оцінка може проводитись для: Вияснення наскільки правильно були розроблені програма/проект Визначення доцільності формату програми/проекту Перевірки стану виконання програми/проекту Вивчення уроків Тощо

22. М&О: схожість та відмінність (1) Особливості моніторингу та оцінки Моніторинг: проводиться постійно надає інформацію про проблеми у впровадженні фактичні результати діяльності порівнюються із запланованими одержана інформація використовується для покращення управлінської діяльності Оцінка: проводиться на ключовихетапахвпровадження пояснює причини виникнення проблем і пропонує шляхи їх розв’язання аналізує причини досягнення / не досягнення запланованих результатів одержана інформація може бути використана не лише для покращення поточної діяльності, але й для уточнення планів на майбутнє

23. Логіка виконання

24. Розробка системи М&О Система моніторингу та оцінки – це система, яка уможливлює отримання, зберігання, обробку й представлення даних виконаної програми. Архітектура системи повинна враховувати необхідність періодичної розробки звітів щодо прогресу (регресу) у впровадженні стратегії, а також доступу до інформації з боку інституцій, що проводять моніторинг та оцінку, та громадськості. Основніпитання, на які повинна дативідповідь система М&О: Які дані збираються та їх джерела? (індикатори) Як часто і коли збираються дані ? (періодичність моніторингу) Як збираються дані ? (методологія) Хто збирає дані ? Хто аналізує дані ? Для кого збираються дані ? Як готується звіт та для перед ким відбувається звітування ?

25. Розробка системи М&О (1)ВПРОВАДЖЕННЯ ЗМІН

26. Матриця

27. Індикатори Індикатори- це характеристика об’єктаабосистеми, щоє доступною для спостереження та вимірюваннязарадиоцінкизмін, щовідбуваються в даному об’єктіабосистемі. Індикатори– цезагальніцифровісвідчення, щодопоможуть вам порівнятибажанірезультатизнаявними. Вони допомогаютьдативідповідь на запитання: «Звідкивизнаєте, щопросуваєтеь до встановленихцілей ?»

28. Індикатори (1)

29. Вимоги до відбору індикаторів чіткі доцільні об’єктивноперевірені їх незначна кількість невеликі затрати на збір даних для індикаторів доступність даних для індикаторів можливість періодичного визначення індикаторів вимірюваність (числа або відсотки) доступність і легкість тлумачення індикаторів

30. “Золотіправила” щодо індикаторів Повинен існувати чіткий зв’язок між індикатором та метою, завданнями та результатами програми; Індикатори треба вимірювати регулярно; Необхідно мати незалежних експертів (підрозділ), що збирають індикатори; Використовуйте лише 100% надійні дані.

31. Джерела інформації Державна статистика Звітність місцевих органів державної виконавчої влади, територіальних органів центральних органів виконавчої влади та місцевого самоврядування, Опитування громадської думки, зокрема бенефіціарів програми, проведених у формі анкетування, телефонного, електронного чи усного опитування Глибинні інтерв’ю Форуми чи дискусійні групи Прикладні дослідження Тексти відповідних державних та регіональних стратегій і програм, що реалізовуються на цільовій території Дані моніторингу Інтерв’ю, фокус-груп з виконавцями, бенефіціарами Спостереження за виконанням заходів програми; Незалежний експертний аналіз Звіти про попередні та проміжні оцінки Аналіз політичних, адміністративних, фінансових впливів на хід реалізації стратегії

32. Що слід пам'ятати? Вимоги щодо відбору індикаторів: їх незначна кількість невеликі затрати на збір даних для індикаторів доступність даних для індикаторів можливість періодичного визначення індикаторів вимірюваність (числа або відсотки) доступність і легкість тлумачення індикаторів Джерела інформації мають бути доступними

33. Що слід пам'ятати? (1) Якщо прогрес є незначним, то система моніторингу має врахувати наступне: Базові дані; Одиницю вимірювання; Інструмент вимірювання даних; Періодичність вимірювання; Підходи до порівняння для кожного індикатора

34. Практичне завдання Розробити індикатори для кожного заходу у відповідних стратегічних напрямках робочого плану УБА на 2011 рік та вказати джерела даних для кожного індикатора Презентувати результати роботи в групах Час – 45 хвилин

35. Методи збору інформації

36. Вибір відповідних методів Програмні заходи: Різноманітні кількісні виміри, такі як, кількість людей або споруд, рівень безробіття, суми прибутків, або міра участі у програмних заходах. Усні або письмові питання: анкети, інтерв’ю, огляди, спостереження, зустрічі, магнітофонні записи. Спостереження та фотографії. Письмова інформація: звіти та записи.

37. Вибір відповідних методів (1) Структура та організація програми: Письмова інформація: записи, звіти, бюджети, плани, проведені оцінки, журнали записів, тести, відомості, протоколи зустрічей. Усні або письмові питання, наприклад, анкети. Інтерв’ю. Спостереження. Дискусії та магнітофонні записи. Записи особистої роботи або робочі щоденники

38. Вибір відповідних методів (2) Методи, що використовуються для оцінки впливу на людей є такими: Усні питання, наприклад такі, що їх ставлять під час опитувань, інтерв’ю, тестів на знання та професійні навички, записів, зустрічей, обговорень. Письмові питання в анкетах, тестах на виявлення знань та професійних навичок, позицій з того чи іншого питання. Аналіз наявної інформації, наприклад, записів, звітів, щоденників та автобіографій (того, що люди пишуть про самих себе). Спостереження, фотографії та малюнки звичаїв, звичок, процедур.

39. Зустріч з громадою Публічні дискусії Зустрічі за місцем проживання Зустрічі з різними спільнотами Опитування громадської думки

40. Фокус-група якісний метод збору інформації в однорідних групах; це з’ясування точок зору, установок людей, їх конкретного досвіду за допомогою групової дискусії, яку проводить модератор, використовуючи гайд; беруть участь 7-12 людей, підібрані за заздалегідь сформульованими критеріями. Групова дискусія зазвичай триває 1,5-2 години; якісний аналіз даних результатів.

41. Аналіз документів Документ — цезасібзакріпленнярізним способом на спеціальномуматеріаліінформаціїщодофактів, подій, явищоб'єктивноїдійсностійрозумовоїдіяльностілюдини Види документів: нормативно-правові акти, офіційні звіти, листування, збірки, публікації (офіційні дані, офіційна інформація) тощо Методианалізудокументівбуваютьнеформалізовані (традиційні) та формалізовані.

42. Методи аналізу документів Неформалізований метод — тлумачення документа через з'ясуванняосновних думок та ідей конкретного тексту, оцінкуйогозмістузгіднозкритеріями.Вінпередбачаєзовнішнійівнутрішнійаналіз документа. Зовнішнійаналіз— цевідновленняобставинстворення документа в історичномуісоціальному планах. Внутрішнійаналіз— безпосереднійаналіззмісту документа, спрямований на виявленнярозбіжностейміжфактичнимілітературнимзмістом, встановленнярівнякомпетентності автора, систематизаціювідомостей, якімістяться у документах.

43. Методи аналізу документів Формалізований метод — пошук таких ознак документа, які б відображалиістотністоронийогозмісту. Найчастішепідцимрозуміютьконтент-аналіз— точнедослідженнязмістутекстовихмасивівз метою виявленнячивимірутенденцій, репрезентованихцимимасивами Методика контент-аналізу: система підрахунку «час — простір», наявністьознак у тексті, частота появиодиницьпідрахунку.

45. Фокус-група: гайд

47. Інструменти: анкета (1) Технічне оформлення анкети. Наявністьрізного роду інструктивнихвказівок та орієнтирів; нумераціязапитаньіваріантіввідповідей в єдинійцифровійсистемі; коректнанумерація у випадкахскладних, табличних за формою запитань. Поліграфічніякостіанкети. Типологізаціязапитань.

48. Інструменти: гайд фокус-групи 1 частина. Вступ (10-15 хвилин).Пояснення про мету фокус-групи, умови і правила і т.п. 2 частина. Питання для обговорення Два метода послідовності питань: 3 частина. Завершення обговорення. Мета цієї фази: зняти негатив, емоції, залишити позитивне враження, задати „інші” питання.

49. Інструменти: критерії для аналізу документу Вибірка: за який період, якого виду документу, рівень документу, вид та автор документу Частота згадування в тексті одиниці аналізу Частота посилань на одиницю аналізу Згадування в позитиві та/або негативі ………….

50. Логіка виконання

51. Розробка системи М&О Система моніторингу та оцінки – це система, яка уможливлює отримання, зберігання, обробку й представлення даних виконаної програми. Архітектура системи повинна враховувати необхідність періодичної розробки звітів щодо прогресу (регресу) у впровадженні стратегії, а також доступу до інформації з боку інституцій, що проводять моніторинг та оцінку, та громадськості. Основніпитання, на які повинна дативідповідь система М&О: Які дані збираються та їх джерела? (індикатори) Як часто і коли збираються дані ? (періодичність моніторингу) Як збираються дані ? (методологія) Хто збирає дані ? Хто аналізує дані ? Для кого збираються дані ? Як готується звіт та для перед ким відбувається звітування ?

52. Розробка системи М&О (1)ВПРОВАДЖЕННЯ ЗМІН

53. Матриця

54. Домашнє завдання Для 2-х напрямків діяльності РТЦ та визначених завдань (діяльності) на 2-й рік визначити короткотермінові, довготермінові результати та результати впливу (Таблиця 1); Для 2-х завдань та визначених короткотермінових, довготермінових результатів та результатів впливу розробити показники, джерела інформації для їх збору, методи збору та періодичність (Таблиця 2); Підготовити презентацію роботи; Провести 10-ти хвилинну презентацію для групи.

55. Таблиця 1

56. Таблиця 2

57. Збірданих

58. Аналіз даних Отримані дані Інформація Знання

59. Аналіз даних Зведення даних = Аналіз даних

60. Типи аналізу даних Кількісний аналіз Якісний аналіз Комбінований

61. Загальнасхемааналізуданих Що виявлено ? (виклад даних) Як це можна пояснити ? (інтерпретація даних, взаємозв’язків між ними) Який необхідно зробити висновок ? (на основі інтерпретації виробляються судження, чи у необхідному напрямку і чи необхідними методами реалізується програма) Що потрібно тепер робити ? (на основі висновків виробляються рекомендації)

62. Аналіз даних

63. Процедура підготовки висновків Дані моніторингу (результати); Висновки моніторингу; Визначення причин і наслідків висновків; Вироблення рекомендацій.

64. Висновки за результатами – це: особливі дані, які збираються, щоб відповісти на питання моніторингу, підтвердити припущення, тези тощо; становлять основу для рекомендацій, які повинні бути практичними.

65. Процес розробки рекомендацій Що необхідно зробити з Вашої точки зору конкретній інституції, посадовій особі, керівнику, працівнику і т.п.? Чому вони мають це робити? У який спосіб вони повинні це зробити?

66. Типові помилки інтерпретації Посилання на дані, отриманіневідомоким, невідомо коли іневідомо як. Неповнотавідповідей на певнезапитання, що часто не даєзмогисудити про результат. Не подаєтьсяформулюваннязапитання, щодоякогооприлюднюютьсярезультатиопитування. Дані, отримані на однійсукупностіреспондентів, поширюютьсянаіншу, яку вони не представляють. Порівнюютьсярезультатиопитувань, проведених у різний час. Порівнюютьсярезультатиопитуваньрізнихсоціологічнихфірмз того самого питання, яке ставилося у різнихформулюваннях. Даніопитуваньсприймаються як прогнози Не розрізняються рейтинги довіри, рейтингиоцінкидіяльності та виборчі рейтинги Ігноруєтьсятакийпоказник, як похибкавибірки.

67. Використання даних Як minimum для: визначення рівня досягнення визначених цілей уточнення чи перегляд переліку і ресурсного забезпечення програми уточнення планових показників реалізації програми

68. Використання даних Як maximum для: демонстрації підзвітності (перед різними структурами влади, зацікавленими сторонами, бенефіціарами, громадськістю) аргументації потреби реалізації програми, або її коригування, або припинення її реалізації вироблення висновків, які необхідно врахувати під час розробки інших документів ведення документації щодо реалізації програми залучення зацікавлених сторін, бенефіціарів, громадськості отримання підтримки від інших органів влади, зацікавлених сторін, бенефіціарів, громадськості підвищення рівня розуміння процесів, які відбуваються у сфері реалізації програми

69. Підготовказвіту за результатами М&О Формат звітувключає: Титульний лист Резюме Зміст Вступ Мета/завдання оцінки та методологія проведення Отримані результати відповідно до мети та завдань Висновки Рекомендації

70. Ключові фактори успіху виконання проекту Чіткі методологічні підходи: якість документу, чіткі зв'язки між документами всіх рівнів, інструкції “якробити”; Відповідні часові рамки: відвести належний час на побудову мережі партнерів, підготовку документів, знаходження консенсусу на регіональному рівні, обговоренню документів; Партнерський підхід: залучити всі зацікавлені групи, створити робочі групи залучивши до їх роботи партнерські установи та забезпечивши їх фінансами, робочими процедурами, та сформулювати очікувані результати; Супроводження: комунікаційні кампанії, напрацювання ідей, технічна допомога на підготовку проектів, визначення альтернативних джерел інформації. Моніторинг та оцінка: механізми та процедури, прозорість, періодичність. North-West RDA Director, Romania

71. ОЦЕНКА УЧЕБНЫХ ПРОГРАММ

72. Модель Киркпатрика-Филипса 1-й уровень – оценка реакции на тренинг, или ПОНРАВИЛСЯ ЛИ ТРЕНИНГ? 2-й уровень – оценка полученных знаний и навыков на тренинге, или КАКИЕ ЗНАНИЯ ПРИМЕНЯЮТСЯ? 3-й уровень – оценка практического применения знаний и навыков полученных на тренинге, или КАКИЕ ИЗМЕНЕНИЯ ПРОИЗОШЛИ В ОРГАНИЗАЦИИ? 4-й уровень – оценка результатов/влияния тренинга, или ЧТО ИЗМЕНИЛОСЬ В СООБЩЕСТВЕ? 5-й уровень – оценка ROI (возвращенных инвестиций), или КАКОВА ПРИБЫЛЬ ОТ ТРЕНИНГА?

73. Модель Киркпатрика (прод.) Логическая схема проведения оценки: Цель оценки Что измеряем, или задачи оценки? Индикаторы Источники информации Метод сбора информации Время/периодичность оценки

74. Цель проведения оценки Цель – определяет какое качественное изменение ожидается по данной программе. Она указывает на: Приоритеты организации; Четкие направления деятельности организации; Ожидаемые результаты и влияние деятельности; Основа для определения задач.

75. Задачи проведения оценки Задачи – измеряемые шаги программы, которые ожидаются достичь в ходе выполнения программы в определенный момент времени Пример: Задачи проведения оценки: Определить впечатления участников тренингов; Измерить уровень использования полученных на тренингах знаний и навыков; Измерить влияние тренингов на деятельность организации; Измерить влияние деятельности организаций на общество во время избирательной кампании.

76. Индикаторы (примеры) % участников, которые прослушали тренинг до конца % участников, которые принимали активное участие в тренинге % участников, которые отметили в оценочных анкетах актуальность темы тренинга – очень актуальная % участников, которые поделились полученными знаниями и навыками в своей организации % организаций, которые использовались в своей деятельности предоставленную участниками информацию, полученную на тренинге

77. Источники информации Люди (участники, тренеры, менеджеры, директор организации, донор) Анкеты участников Отчеты тренеров, участников, т.д. Списки участников Тренинговые материалы Заявка на проведение тренинга Годовые отчеты Аудиторские отчеты

78. Методы сбора информации Анкетирование Интервью – личное, по телефону, по почте; Наблюдение – аккредитация, визит, «клиент»; Фокус группа – участники выбраны случайно, регулярные встречи наблюдательного совета, т.д.;

79. Время/периодичность оценки Сразу же после проведения тренинга Один-два месяца после тренинга Шесть месяцев после тренинга

80. Сведение и интерпретация результатов оценки Результаты: Количественные (количество тренингов, количество участников, т.д.) и Качественные (т.е. влияние тренинга на качество жизни клиентов организации) Анализ результатов (статистический) Представление результатов (таблицы, графики, диаграммы, истории, т.д.)

81. Використана література Автономов А.С., Хананишвили Н.Л. Оценка в социальном проектировании: Методическое пособие. Оценка проектов и программ. Центр поддержки некоммерческих организаций. Москва, 2003 Оценка программ: методология и практика. Редакторы: Кузьмин А., Р.О’Салливан, Н.Кошелева. Москва 2009 СтратегіяУкраїнськоїбібліотечноїасоціації на 2010 – 2014 роки План роботиУкраїнськоїбібліотечноїасоціації на 2011 рік Donald L.Kirkpatrick. Another look at evaluating training programs. ASTD. Managing Evaluation Shortcuts. Published by ASTD. Info-line magazine, November 2001, issue 0111.