Программа “Система измерения и оценки программ в области социального сиротства: онлайн-сервис, экспертная поддержка и вдохновляющие кейсы» направлена на рост числа СО НКО г. Москвы, реализующих программы в сфере социального сиротства, внедряющих в свою деятельность практику измерения и оценки социальных результатов.
Церковная благотворительность, бюджетирование и инициативы, пробуждающие щедр...
Отчет о базовых замерах показателей программы ПИОН
1. ОТЧЕТ О БАЗОВЫХ ЗАМЕРАХ ПОКАЗАТЕЛЕЙ
ПРОГРАММЫ “СИСТЕМА ИЗМЕРЕНИЯ И ОЦЕНКИ
ПРОГРАММ В ОБЛАСТИ СОЦИАЛЬНОГО
СИРОТСТВА: ОНЛАЙН-СЕРВИС, ЭКСПЕРТНАЯ
ПОДДЕРЖКА И ВДОХНОВЛЯЮЩИЕ КЕЙСЫ»
ПО ЗАКАЗУ АНО «ЭВОЛЮЦИЯ И ФИЛАНТРОПИЯ»
ИСПОЛНИТЕЛЬ: ДАРЬЯ ШАМРОВА
МАЙ 2017
2. О ПРОГРАММЕ И ВОПРОСЫ К ОЦЕНКЕ:
Программа “Система измерения и оценки программ в области социального сиротства: онлайн-сервис,
экспертная поддержка и вдохновляющие кейсы» направлена на рост числа СО НКО г. Москвы,
реализующих программы в сфере социального сиротства, внедряющих в свою деятельность практику
измерения и оценки социальных результатов.
Программа предлагает различные формы воздействия на целевую группу, включая комплексное
сопровождение организаций, обучающие мероприятия по теме оценке, консультации по вопросам оценки,
онлайн-сервис для планирования и измерения социальных результатов, адресные электронные рассылки
материалов.
Таким образом, оценка данной программы сфокусирована на четырех основных вопросах:
Каковы характеристики организаций, участвующих в программе?
Насколько однородна группа специалистов, участвующих в программе, по уровню из возможностей в области
оценки? Каковы их профайлы?
Каков базовый уровень их знаний, осведомленности и навыков специалистов на момент начала участия в программе?
Каким образом уровень мотивации, доступных ресурсов и субъективных сложностей во внедрении оценки влияет на
потенциал специалистов?
3. КЛЮЧЕВЫЕ ИНСТРУМЕНТЫ ИЗМЕРЕНИЯ
Общая шкала возможностей специалистов в области в оценке включала вопросы анкеты, отражающие три
KPI (ключевые индикаторы результативности) программы – осведомленности (6 вопросов), знаниям (4
вопроса) и навыкам (16 вопросов). Сумма по трем KPI программы составляет Общую шкалу возможностей
специалистов в области в оценке. Для детального описания инструмента см. Отчет в word.
Шкала Ресурсы организации для оценки включала сумму 9 индикаторов:
Наличие стратегии/политики в области оценки, IT, бюджет, специалист по оценке, логическая рамка, система
показателей, инструменты для сбора данных, связи с внешними оценщиками, доступ к опыту других организаций
Шкала сложностей в проведении оценки представляет собой сумму 12 индикаторов возможных барьеров для
оценки программ исходя из субъективного представления респондентов. Индекс включал 9 индикаторов
внутренних барьеров (например, время сотрудников, бюджета, методических материалов итд.) и 3 внешних
барьера (поддержка доноров, стоимость внешней оценки и доступ к опыту других организаций).
Шкала мотивации включала такие варианты ответов как «начать оценку программ», «помочь коллегам
оценить программу», «улучшить результаты программы», «культура организации мотивирует на проведение
оценки», «доноры требуют проведения оценки», «результаты оценки помогут повысить эффективность
фандрайзинга».
4. ХАРАКТЕРИСТИКИ ОРГАНИЗАЦИЙ:
БОЛЬШИНСТВООРГАНИЗАЦИЙ НЕБОЛЬШОГО РАЗМЕРА,ЧТО МОЖЕТ ПРЕПЯТСТВОВАТЬ РАЗВИТИЮ ПОТЕНЦИАЛА В ОБЛАСТИОЦЕНКИ У ЭТОЙ ГРУППЫ
ОРГАНИЗАЦИЙ. ПРОГРАММЕ СЛЕДУЕТ УЧИТЫВАТЬОГРАНИЧЕННЫЙЧЕЛОВЕЧЕСКИЙ РЕСУРС ПРИ ПРОВЕДЕНИИ ОБРАЗОВАТЕЛЬНЫХ МЕРОПРИЯТИЙ.
ВОЗМОЖНО, СТОИТ ВКЛЮЧИТЬОБСУЖДЕНИЕ ВОПРОСОВ ПОТОМУ, КАК ПРОВЕСТИ ОЦЕНКУ ЭКОНОМИЧНО, НО КАЧЕСТВЕННО
13
6
14
5
1
Организации-участники по виду
организационно-правовой формы
(кол-во орг.)
Общественная организация
Автономная некоммерческая организация
Фонд/Благотворительный фонд
Учреждение
Некоммерческое партнерство
24
20
5
7
4 4 3
6 5
0
5
10
15
20
25
30
Кол-во сотрудников, работающих
на полную ставку
Кол-во привлеченных
сотрудников
Распределение организаций по размеру штата
(кол-во орг.)
0-5 сотр. от 6-10 сотр. от 11-15 сотр. от 16-20 сотр. более 20 сотр.
Респонденты, участвующие в оценке, работают в разноплановых организациях. Большинство из них – сотрудники
общественных организаций и фондов (в т.ч. благотворительных). Также все организации имеют в штате привлеченных
сотрудников.Чуть больше половины организаций имеют в штате до 5 сотрудников.
5. ФИНАНСИРОВАНИЕ:
БОЛЬШИНСТВООРГАНИЗАЦИЙ ИМЕЮТ НЕБОЛЬШИЕ БЮДЖЕТЫ,ЧТОТАКЖЕДОЛЖНО БЫТЬ УЧТЕНО В ОБРАЗОВАТЕЛЬНОМ БЛОКЕ
ПРОГРАММЫ.СКОРЕЕ ВСЕГО, НЕОБХОДИМО БУДЕТ ПРЕДЛАГАТЬОРГАНИЗАЦИЯМ ВОЗМОЖНОСТИ ДЛЯ ЭКОНОМНОГО ПРОВЕДЕНИЯ
ОЦЕНКИ С СОХРАНЕНИЕМ КАЧЕСТВАСОБИРАЕМЫХДАННЫХ. ОТОМ, КАК СНИЗИТЬ СТОИМОСТЬ ОЦЕНКИ СМ. ПОЛНЫЙ ОТЧЕТ
16
6
6
9
2
Организации-участники по объему бюджета
(кол-во орг.)
до 3 млн. руб от 3-10 млн. руб.
от 10-20 млн. руб. больше 20 млн. руб.
затрудняюсь ответить
6
14
4
5
3
3
4
Организации-участники по преимущественному
источнику финансирования (кол-во чел)
Частные пожервтования Государственные субсидии и гранты
Пожертвования учредителя Финансирование крупным бизнесом
Затрудняюсь ответить Смешанное
Нет преобладающего источника
Большинство из специалистов работают в организациях с небольшими бюджетами до 3 млн. руб. (41%). Несмотря на это в
выборке также представлена группа организаций с более крупными бюджетами от 20 млн. руб. (23%). Также большинство
организаций финансируются из государственных субсидий и грантов (36%).
6. ХАРАКТЕРИСТИКИОРГАНИЗАЦИЙ ПОТИПУ ДЕЯТЕЛЬНОСТИ И СВЯЗИ С
ИНСТИТУЦИОНАЛЬНЫМИДОНОРАМИ:
ПРОГРАММЕ СТОИТ ФОКУСИРОВАТЬСЯ НА ОЦЕНКЕ ПРЯМЫХ УСЛУГ ДЕТЯМ И СЕМЬЯМ
74%
8%
1% 6%
Организации-участники по типу
деятельности
Прямые услуги детям и семьям Инфраструктурная
Грантодающая Смешанная
50%
20%
20%
10%
Организации-участники по
количеству институциональных
доноров
от 1-2 от 3-6 от 7-15 больше 15
Большинство из специалистов работают в организациях, оказывающих прямые услуги детям и семьям (74%) и имеют
небольшое количество институциональных доноров (от 1-2).
7. БЛАГОПОЛУЧАТЕЛИ ОРГАНИЗАЦИЙ-РЕСПОНДЕНТОВ
СОДЕРЖАНИЕОБРАЗОВАТЕЛЬНЫХ МЕРОПРИЯТИЙ В РАМКАХ ПРОГРАММЫ НЕОБХОДИМО СФОКУСИРОВАТЬ НА ШИРОКОМ СПЕКТРЕ КЛЮЧЕВЫХ
БЛАГОПОЛУЧАТЕЛЕЙ,ТАК КАК ПРЕОБЛАДАЮЩАЯ ГРУППА БЛАГОПОЛУЧАТЕЛЕЙ У ОРГАНИЗАЦИЙ ДОСТАТОЧНО РАЗНОРОДНА. НАПРИМЕР,
ИСПОЛЬЗУЯ КЕЙСЫ СТОИТ ПРЕДЛАГАТЬ ПРИМЕРЫ ОЦЕНКИ ПРОГРАММ,СПЕЦИФИЧНЫХ ДЛЯ КРИЗИСНЫХ СЕМЕЙ, ПРИЕМНЫХ И ЗАМЕЩАЮЩИХ
СЕМЕЙ,АТАКЖЕ ДЕТЕЙ-СИРОТ, ВЫПУСКНИКОВ ДЕТСКИХ ДОМОЙ И ДЕТЕЙ, НАД КОТОРЫМИ ПРЕКРАЩЕНА ОПЕКА
[SERIES NAME], [VALUE]
Приемные и замещающие
семьи; 54%
Кандидаты в приемные семьи;
26%
Дети-сироты; 54%
Выпускники ДД; 33%
Дети с ограниченными
возможностями; 5%
Дети из Нац. Меньшинства; 5%
Бездомные дети; 5%
Дети, употребляющие
запрещенные вещества; 5%
Дети с психическими
растройствами; 18%
Дети над которыми прекращена
опека в замещ. семье; 33%
0%
10%
20%
30%
40%
50%
60%
Организации по типу благополучателей
8. УСЛУГИ, ПРЕДОСТАВЛЯЕМЫЕ ОРГАНИЗАЦИЯМИ-РЕСПОНДЕНТАМИ
МАТЕРИАЛЫ И ОБРАЗОВАТЕЛЬНЫЕ МЕРОПРИЯТИЯ В РАМКАХ ПРОГРАММЫ НЕОБХОДИМО СКООРДИНИРОВАТЬ СТИПАМИ УСЛУГ,
ПРЕДОСТАВЛЯЕМЫХОРГАНИЗАЦИЯМИ-УЧАСТНИКАМИ. ПРЕДЛАГАЯ ВЫБОР СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ В РАМКАХ СИСТЕМЫ ПИОН
НЕОБХОДИМО УЧИТЫВАТЬ, ПРЕДЛОЖЕННЫЕ УЧАСТНИКАМИ КАТЕГОРИИ.
90%
46%
18%
5%
44%
15%
28%
5%
10% 8%
13%
10% 5% 10% 8%
0%
20%
40%
60%
80%
100%
Организации по типу услуг
Псих.-Пед. Консультирование Работа со случаем
Обучение приемных/замещающих семей Помощь в трудоустройстве
Образовательная и досуговая дея-сть Информирование о проблемах детства
Обучение специалистов НКО и гос.учр. Медиация
Групповые формы работы с детьми и семьей Предоставление места проживания
Мат.Помощь/Сбор вещей/ФР/Оплата лечения Орг-ия волонтерской деятельности
Юр.Помощь Метод.разработки
Наставничество
Подавляющее большинство
специалистов работают в
организациях, где одной из
ключевых услуг является
психолого-педагогическое
консультирование и
диагностика (90%). Другими
наиболее популярными
услугами являются – работа
со случаем (46%),
образовательная и досуговая
деятельность (44%) и
обучение специалистов НКО и
государственных учреждений
(28%).
9. ХАРАКТЕРИСТИКИ БЛАГОПОЛУЧАТЕЛЕЙ ОРГАНИЗАЦИЙ-РЕСПОНДЕНТОВ:
НЕОБХОДИМО ПОВЫШАТЬ КОМПЕТЕНЦИИ УЧАСТНИКОВ ПО ИСПОЛЬЗОВАНИЮ ИНСТРУМЕНТОВСБОРА ДАННЫХ ДЛЯ РАЗНЫХ
ВОЗРАСТОВ ДЕТЕЙ,ТАКЖЕСТОИТ УЧИТЫВАТЬ,ЧТООРГАНИЗАЦИИ РАЗЛИЧАЮТСЯ ПО МАССОВОСТИ ПРЕДОСТАВЛЕНИЯУСЛУГ,ЧТО
МОЖЕТ ВЛИЯТЬ НА ДИЗАЙН НЕОБХОДИМОЙ ИМ ОЦЕНКИ
39%
49%
62%
80%
56%
0%
20%
40%
60%
80%
100%
Возраст благополучателей организаций-респондентов
по возрастам
от 0-3 от 4-5 от 6-12 от 13-17 старше 18
18%
29%
15%
24%
15%
Количество детей, получающих
ключевую услугу организации
Меньше 50 От 51-100 От 101-200
От 201-1000 Больше 1000
29%
21%
36%
11%
4%
Количество специалистов,
получающих ключевую услугу
организации
Меньше 50 От 51-100 От 101-200
От 201-1000 Больше 1000
72%
20%
8%
Количество организаций,
получающих ключевую услугу
организации
Меньше 50 От 51-100 От 101-200
Большинство организаций
оказывает услуги детям младшего и
среднего школьного возраста (6-12
лет), подросткового возраста и
молодым людям старше 18 лет.
Организации довольно равномерно
распределены по количеству детей,
получающих услуги. Около половины
организаций помогают от 1-100
детей в год. Также около 72%
оказывают услуги от 1-50
организаций в год. Кол-во
специалистов, получающих услуги
также различается с большим
количеством организаций,
оказывающих услуги от 101-200
специалистов в год. Организации в
среднем реализуют 5 программ и
проектов в год.
10. ПРЕДЫДУЩИЙ ОПЫТ СПЕЦИАЛИСТОВ В ОБЛАСТИ ОЦЕНКИ
РЕСПОНДЕНТЫ ПРОГРАММЫ ИМЕЮТ РАЗНОРОДНЫЙОПЫТ УЧАСТИЯ ВОЦЕНКЕ,ЧТОСТОИТ УЧИТЫВАТЬ ПРИ ПРОВЕДЕНИИ
ОБРАЗОВАТЕЛЬНЫХ МЕРОПРИЯТИЙ. СТОИТ УДЕЛЯТЬ ВНИМАНИЕ ВЫРАВНИВАНИЮ УРОВНЯ ЗНАНИЙ УЧАСТНИКОВ ПРИ ПОМОЩИ
РАСПРОСТРАНЕНИЯ ЕДИНОГО ПОНЯТИЙНОГО АППАРАТА В ОЦЕНКЕ ПРОГРАММ.
31%
39%
26% 26%
13%
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
Опыт респондентов по степени
интенсивности
Самостоятельно регулярно проводили оценку программ
Нерегулярно проводили оценку по запросу и собственными силами
Не оценивают программы сейчас, но был опыт в прошлом
Собирали данные в рамках гранта
Выполняли оценку с привлечением внешних оценщиков
10%
18%
36%
31%
46%
5%
0%
10%
20%
30%
40%
50%
Опыт респондентов по глубине
вовлечения
Никогда не оценивали программы
Составляли ТЗ на проведению оценки
Собирали данные для мониторинга результатов программы
Помогали оценивать программу
Участовали в оценке нескольких программ
Оценка - основной вид деятельности
В целом, большинство респондентов имели предыдущий опыт вовлечения в оценку, но он может быт охарактеризован своей эпизодичностью и
фрагментарностью.
11. СЕГМЕНТАЦИЯ ОРГАНИЗАЦИЙ ПОТРЕМ УРОВНЯМ ОЦЕНОЧНЫХ
ВОЗМОЖНОСТЕЙ (ЗНАНИЙ, ОСВЕДОМЛЕННОСТИ И НАВЫКОВ)
14
15
10
Распределение респондентов по уровню
возможностей в оценке (кол-во чел.)
Низкий уровень Средний уровень Высокий уровень
Далее был оценен уровень
возможностей специалистов по KPI.
Сумма по трем шкалам – знания,
осведомленность и навыки –
представлена в виде Общей шкалы
возможностей, используемой далее.
Затем респонденты были распределены в
три группы – низкий, средний и высокий
уровень
Подробное описание распределения
респондентов по уровню возможностей в
оценке см. вОтчете (в Word).
Программе стоит учитывать, что эти три
группы респондентов ,скорее всего,
будут иметь различные потребности и
факторы влияющие на развитие оценки в
организации
12. АНАЛИЗ КЛЮЧЕВЫХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ (ОСВЕДОМЛЕННОСТИ,
ЗНАНИЙ И НАВЫКОВ) ПРОГРАММЫ ПО УРОВНЯМ ВОЗМОЖНОСТЕЙ
СПЕЦИАЛИСТОВ
26 26
28
25
25,5
26
26,5
27
27,5
28
28,5
Осведомленность (Max = 30)
Низкий уровень Средний уровень
Высокий уровень
Среднее значение по всем организациям
В целом, специалисты с разным уровнем возможностей в оценке показали примерно одинаковые уровни осведомленности и знаний. Однако, источником
разницы между уровнями, скорее всего, является неравномерный уровень навыков между респондентами. Для дальнейшего роста по основным KPI
программе стоит сосредоточиться на развитии практических навыков специалистов
17 17
19
16
16,5
17
17,5
18
18,5
19
19,5
Знания (Max = 20)
Низкий уровень Средний уровень
Высокий уровень
49
61
72
0
10
20
30
40
50
60
70
80
Навыки (Max = 90)
Низкий уровень Средний уровень
Высокий уровень
13. ПРОФАЙЛЫ РЕСПОНДЕНТОВ ПО УРОВНЯМ ВОЗМОЖНОСТЕЙ
ГРУППЫ РЕСПОНДЕНТОВ ПО УРОВНЯМ ВОЗМОЖНОСТЕЙ РАЗЛИЧАЮТСЯ ПО РЯДУ КРИТЕРИЕВ. ПРОГРАММЕ СТОИТ
УЧИТЫВАТЬ,ЧТО ДЛЯ БОЛЕЕ ЭФФЕКТИВНОГО РОСТА НАВЫКОВ В ОБЛАСТИ ОЦЕНКИ НЕОБХОДИМО ПРЕДЛАГАТЬ
ОБУЧАЮЩИЕ МЕРОПРИЯТИЯ АДЕКВАТНЫЕ ХАРАКТЕРИСТИКАМ ГРУПП РЕСПОНДЕНТОВ
Критерий Низкий уровень Средний уровень Высокий уровень
По возрасту
организации
9 из 14 специалистов работают в организациях старше 5 лет; Специалисты с данным уровнем оценочных
возможностей работают в организациях как молодых,
так и довольно зрелых
Специалисты с высокими возможностями в
оценке работают в более зрелых
организациях, чем представители других
групп (9 из 10 старше 5 лет);
По типу
организации
Сюда входят сотрудники общественных организаций,
фондов и учреждений;
Сюда входят сотрудники как общественных организаций, так и фондов
По размеру штата Организации небольшого размера (в 9 из 14 работает до 5
человека)
73% организаций работают с менее, чем 5 сотрудниками; Это организации как маленькие до 5 человек
в штате (40%), так и большие со штатом
более 20 человек (30%);
По бюджету 63% организаций имеют бюджет до 10 млн. руб 64% имеют небольшой бюджет до 3 млн. 60% организаций имеют бюджет от 10 млн.
руб. и выше;
По источникам
финансирования
Финансируются данные организации из государственных
грантов (36%) и частных пожертвований (21%)
40% существуют на государственные гранты и 20% на
средства учредителя
30% организаций назвали основным
финансированием частные пожертвования;
30 % - государственные гранты
По
благополучателям
Большинство из этих организаций; помогает кризисным
семьям (64%); приемным и замещающим семьям (57%);
кандидатам в приемные семьи (36%); выпускниками
детских учреждений (36%); детям с психическими
расстройствами (36%); другим специалистам (50%); дети в
отношении, которых прекращена опека
60% организация помогают приёмным и замещающим
семьям
53% организаций помогает кризисным семьям, 53% -
детям-сиротам; 47% - другим специалистам; 47% -
другим НКО
50% организаций помогает детям сиротам;
50% выпускникам детских учреждений; 60%
- другим специалистам; 70% - другим НКО
По виду услуг 93% оказывают услуги по психолого-педагогическому
консультированию и диагностике; 50% - по работе со
случаем; 50% - по образовательно-досуговой
деятельности; 29% - по информированию о проблемах
детства
87 % оказывают услуги по психолого-педагогическому
консультированию и диагностике; 47% - по работе со
случаем; 86% - по обучению приемных и замещающих
семей; 53% - по образовательно-досуговой
деятельности
90% оказывают услуги по психолого-
педагогическому консультированию и
диагностике; 70% - по обучению
специалистов НКО и государственных
учреждений
14. 18
23
27
0
5
10
15
20
25
30
Ресурсы
Низкий уровень Средний уровень
Высокий уровень
91
103
119
0
20
40
60
80
100
120
140
Низкий уровень Средний уровень Высокий уровень
Среднее значение Общей шкалы
возможностей в области оценки : сегментация
по уровням (макс.140)
АНАЛИЗ СРЕДНИХ ЗНАЧЕНИЙ КЛЮЧЕВЫХ ШКАЛ ПО УРОВНЯМ
ВОЗМОЖНОСТЕЙ СПЕЦИАЛИСТОВ В ОЦЕНКЕ
ПРОГРАММЕСТОИТ УЧИТЫВАТЬДЕФИЦИТ РЕСУРСОВСРЕДИ ВСЕХ УЧАСТВУЮЩИХОРГАНИЗАЦИЙ (СМ. ОТЧЕТ В WORDДЛЯ УЧЕТА
ДЕФИЦИТА РАЗЛИЧНЫХ РЕСУРСОВ В ОЦЕНКЕ ПРОГРАММ)
Среднее значение Шкалы ресурсы (макс.45) и Шкала сложностей
(макс. 60) по уровням возможностей респондентов (См. описание
шкал слайд 3)
41
37
39
35
36
37
38
39
40
41
42
Сложности
Низкий уровень Средний уровень
Высокий уровень
15. СУБЪЕКТИВНЫЙ УРОВЕНЬ ЗНАНИЙ И ПРЕДЫДУЩИЙОПЫТ СПЕЦИАЛИСТОВ ПО УРОВНЯМ
ВОЗМОЖНОСТЕЙ:
ПРОГРАММЕ СТОИТ УЧИТЫВАТЬ РАЗНИЦУ В УРОВНЕ ЗНАНИЙ СРЕДИ УЧАСТНИКОВ ПРОГРАММЫ. ВОЗМОЖНО СОЗДАНИЕ ЦЕНТРАЛИЗОВАННОГО
ДОСТУПА К БАЗЕ ЗНАНИЙ ПО ОЦЕНКЕ ПРОГРАММ И ПРОВЕДЕНИЕ БАЗОВЫХ ВЕБИНАРОВ ПОМОЖЕТ В ВЫРАВНИВАНИИ УРОВНЯ ЗНАНИЙ.
3,5
5
6,9
0
1
2
3
4
5
6
7
8
Субъективная оценка уровня
знаний (Max. 10)
Низкий уровень Средний уровень Высокий уровень
Также участники ответили на
вопросы в отношении своего
предыдущего опыты проведения
оценки. Участники с низким
уровнем потенциала чаще всего
имеют меньше опыта в сборе
данных для мониторинга
результативности (21%),
составленииТЗ (10%), чаще чем
другие группы участников не
имеют на какого опыта в оценке
(24%), либо имеют опыт оценки
нескольких программ (Только 36%).
В дополнении к стандартизированной шкале знаний в области оценки, специалисты также оценили свой уровень знаний субъективно по шкале от 1-10.
Этот инструмент показал большую чувствительность к уровням возможностей специалистов и подтвердил, что респонденты все таки различаются
по уровням субъективных знаний об оценке.
16. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ИМЕЮЩИХСЯ НАВЫКОВ ПО УРОВНЮ ВОЗМОЖНОСТЕЙ
СПЕЦИАЛИСТОВ (MAX.5)
ВЫБОРТЕМАТИКДЛЯ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ ДОЛЖЕН БЫТЬ СФОКУСИРОВАН НА ОБЛАСТЯХ, НУЖДАЮЩИХСЯ В РАЗВИТИИ ДЛЯ
РАЗЛИЧНЫХ ГРУПП УЧАСТНИКОВ
2,79 2,79
3,07
3,29
3,14
3 3,07
2,79
3 3,07
3,21 3,21
2,36
3,79
3,64
2,36
3,47
3,87
4,13
3,93 4
3,4
3,67 3,67
4,07
3,73
3,87
3,73
3
4,3
4,5
3,1
4
4,7 4,7 4,7
4,5
4,2 4,3
4,5
5
4,8
4,6 4,7
3,8
4,7 4,8
3,8
0
1
2
3
4
5
6
Низкий Средний Высокий
Красными кружками отмечены навыки, получившие наименьшую оценку в каждой из групп респондентов.Таким образом, формулировка социального эффекта, выбор показателей,
выбор инструментов сбора данных и составлениеТЗ являются наименее развитыми навыками среди всех трех групп специалистов. Неудивительно, что специалисты с низким
уровнем возможностей имеют дополнительные потребности, например, в помощи с выбором видов оценки, формулировки вопросов, сборе и анализе данных.
17. СРАВНИТЕЛЬНЫЙ АНАЛИЗ СЛОЖНОСТЕЙ ДЛЯ ПРОВЕДЕНИЯ ОЦЕНКИ ПО УРОВНЮ
РАЗВИТИЯ ОЦЕНКИ (MAX.5)
ДЕЯТЕЛЬНОСТЬ В РАМКАХТЕКУЩЕЙ ПРОГРАММЫ СПОСОБНА НАПРЯМУЮ ПОВЛИЯТЬ НА СНИЖЕНИЕ ДЕФИЦИТОВ В ОБЛАСТИ НЕДОСТАТКА ЗНАНИЙ И НАВЫКОВ,
ИНСТРУМЕНТОВДЛЯ ПЛАНИРОВАНИЯОЦЕНКИ, НАЛИЧИЯ ПЕРЕЧНЯ ПОКАЗАТЕЛЕЙ И ДОСТУПА К ИНСТРУМЕНТАМСБОРА ДАННЫХ. ВОПРОСЫ, СВЯЗАННЫЕ С
НЕДОСТАТКОМЧЕЛОВЕЧЕСКОГО И ФИНАНСОВОГО ПОТЕНЦИАЛАДОЛЖНЫ БЫТЬ УЧТЕНЫ В СОДЕРЖАНИИ ОБРАЗОВАТЕЛЬНЫХ МЕРОПРИЯТИЙ (СМ. ОТЧЕТ В WORD)
2,86
2,14
2,86
3,71
3,07
3,79
3,64
3,07
4,14 4,14 4,07
3,71
2,93
2,73 2,67
3,07
2,87
3,13
3,47
2,73
3,93
3,2
3,07
3,2
2,7
1,8
2
3,11
3,22
4,11
3,8
3,1
4,6
3,7
3,5
3,3
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
Остутствие
согласованного
понимания
зачем нужна
оценка
Нет поддержки
со стороны
руководства
Нет запроса
доноров
Недостаток
знаний,
компетенций,
навыков у
сотрудников
Нет инфо и
методических
материалов
Нехватка
времени у
сотрудников
Нет бюджета Отсутствие
доступа к опыту
коллег
Высокая
стоимость
внешней оценки
Нет
инструментов
для
планирования
оценки
Нет
согласованного
перечня
показателей
Нет доступа к
инструментам
сбора данных
Низкий Средний Высокий
Красными кружками отмечены сложности, получившие наивысшую оценку в каждой из групп респондентов. Как и можно было ожидать, отсутствие бюджета на оценку и ее
высокая стоимость были отмечено всеми группами респондентов. Специалисты с низкий и высоким уровнями имели схожие сложности в нехватки времени сотрудников,
отсутствие инструментов планирования и согласованного перечня показателей. При этом сотрудники с низким уровней возможностей имели специфические сложности,
например, нехватка знаний, компетенций и навыков у сотрудников и отсутствие доступа к инструментам сбора данных.
18. СРАВНИТЕЛЬНЫЙ АНАЛИЗ РЕСУРСОВ ДЛЯ ОЦЕНКИ ПО УРОВНЮ ВОЗМОЖНОСТЕЙ
СПЕЦИАЛИСТОВ (MAX.5)
АНАЛИЗ РЕСУРСОВ ДЛЯ ОЦЕНКИ ПОКАЗАЛ СХОЖИЕ РЕЗУЛЬТАТЫС ПРЕДЫДУЩИМ АНАЛИЗОМСЛОЖНОСТЕЙ.ОТСУТСТВИЕ НЕОБХОДИМЫХ РЕСУРСОВ МОЖЕТ БЫТЬ
АДРЕСОВАНО НАПРЯМУЮ САМОЙ ПРОГРАММОЙ (НАПРИМЕР, ОТСУТСТВИЕ ИНСТРУМЕНТОВ),ТАК И КОСВЕННОЧЕРЕЗ ОБУЧЕНИЕ ЭКОНОМИЧНОМУ, НО КАЧЕСТВЕННОМУ
ПРОВЕДЕНИЮ ОЦЕНКИ (СМ. ОТЧЕТ В WORD)
2,64
2,5
1,29
2
2,29
2,14
1,71
1,31
2,212,29
2,57
1,79
2,29
3
2,71
2,86
2,64
2,93
3,8
3,3
2
2,9
3,8 3,7
2,9
2
2,7
0
0,5
1
1,5
2
2,5
3
3,5
4
Сотрудник,
отвечающий за
оценку
Стратегия, план,
политика по
оценке
Бюджет Логическая
рамка/ТИ
Перечень
индикаторов
Инструменты Связи с
оценщиками
Доступ к рез-ам
других
организаций
IT
Низкий Средний Высокий
Красными кружками отмечены ресурсы, получившие низкие оценки в каждой из групп респондентов. В целом, все организации, особенно специалисты с низким и средним уровнем
возможностей, испытывают значительный дефицит ресурсов для оценки по большинству пунктов включая сотрудников, бюджет, логические рамки программ, связи со
профессиональными оценщиками, доступ к результатам других организаций и IT решения для оценки.
19. СРАВНИТЕЛЬНЫЙАНАЛИЗ МОТИВАЦИИ К ОЦЕНКЕ ПО УРОВНЮ ВОЗМОЖНОСТЕЙСПЕЦИАЛИСТОВ В
ОЦЕНКЕ (MAX.5)
ПРОГРАММЕСТОИТ РАССМОТРЕТЬ ВОЗМОЖНОСТЬ ПО ПРИВЛЕЧЕНИЮДОНОРСКОГОСООБЩЕСТВА К ДИАЛОГУ ОБ ОЦЕНКЕ ПРОГРАММ,ТАК КАК
БОЛЬШИНСТВООРГАНИЗАЦИЙ ИМЕЮТДОНОРОВ, НОТЕМ НЕ МЕНЕЕ НЕ ДОСТАТОЧНО МОТИВИРОВАНЫ ИМИ НА ПРОВЕДЕНИЕОЦЕНКИ.
4,57
4,36
4,64
3,46 3,5
4,464,4
4,2
4,47
4,07
3,27
4,13
4,5 4,5 4,5
4,22
3,11
3,8
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
Хочу начать оценивать
программы
Хочу помочь коллегам
оценить программы
Хочу улучшить результаты
программы
Культура орг-ции
мотивирует проводить
оценку
Доноры требуют проводить
оценку
Хочу повысить
эффективность
фандрайзинга
Низкий Средний Высокий
Красными кружками отмечены мотивации, получившие низкие оценки в каждой из групп респондентов. В целом, стоит отметить тенденцию к невысокой роли доноров как
мотивирующих факторов для проведения оценки. Специалисты с низким уровнем возможностей также отметили, что культура их организации не всегда мотивирует их
проводить оценку. В тоже время, специалисты с высоким потенциалом в оценке реже отмечают оценку как способ повышения эффективности фандрайзинга
20. ПРЕДПОЧТЕНИЯ ПО ФОРМАТАМ УЧАСТИЕ СРЕДИ СПЕЦИАЛИСТОВ ВТРЕХ ГРУППАХ
ПРОГРАММЕ СТОИТ УЧЕСТЬ,ЧТО РЕСПОНДЕНТЫ С ВЫСОКИМ УРОВНЕМ ВОЗМОЖНОСТЕЙ ПРЕДПОЧИТАЮТ БОЛЕЕ ОПОСРЕДОВАННЫЕ ФОРМЫ
ВЗАИМОДЕЙСТВИЯ (НАПРИМЕР, ВЕБИНАРЫ), ВТО ВРЕМЯ КАК РЕСПОНДЕНТЫ С НИЗКИМ И СРЕДНИМ УРОВНЕМ ВОЗМОЖНОСТЕЙ БОЛЬШЕ СКЛОНЯЮТСЯ К
ФОРМАТАМ,ТРЕБУЮЩИМ ИНТЕНСИВНОГО ВОВЛЕЧЕНИЯ (ЗАОЧНЫЕ КОНСУЛЬТИРОВАНИЯ ИТРЕНИНГИ).
Низкий уровень Средний уровень Высокий уровень
Очное консультирование Все варианты Раз в квартал (27%)/Раз в
полгода (38%)
Каждый месяц (38%)
Заочное
консультирование
Каждый месяц (62%) Раз в квартал (42%)/
Каждый месяц (50%)
Раз в квартал (40%)/
Каждый месяц 50%
Тренинг/Прикладной
мастер класс
Раз в квартал (54%) Раз в полгода (50%) Все варианты в равной
степени
Семинар Раз в квартал (54%) Раз в квартал (46%) Раз в полгода (33%)/Раз в
квартал (22%)
Вебинар Каждый месяц (57%) Каждый месяц
(43%)/Каждый квартал
(43%)
Каждый месяц (80%)
Конференция Раз в год (46%)/Раз в
полгода (39%)
Раз в год (71%) Раз в год (40%)/Раз в
полгода (40%)
21. КОРРЕЛЯЦИОННЫЕ ДАННЫЕ И УСТАНОВЛЕНИЕ ЛОГИЧЕСКИХ СВЯЗЕЙ
МЕЖДУ РЕЗУЛЬТАТАМИ ПРОГРАММЫ
ПРОГРАММЕ СТОИТ РАССМОТРЕТЬ ВОЗМОЖНОСТИ ДЛЯ СНИЖЕНИЯ БАРЬЕРОВ К РАЗВИТИЮОЦЕНКИ, ПОВЫШЕНИЮ МОТИВАЦИИ И РАЗВИТИЕ
РЕСУРСНОЙ БАЗЫ ОРГАНИЗАЦИИ ДЛЯТОГО,ЧТОБЫ ПОВЫСИТЬ ЭФФЕКТИВНОСТЬДОСТИЖЕНИЯСОЦИАЛЬНОГО РЕЗУЛЬТАТА ПРОГРАММЫ,ТАК КАК
РЕЗУЛЬТАТЫ КОРРЕЛЯЦИОННОГОАНАЛИЗА ПОКАЗАЛИ ПРЯМУЮ ЗАВИСИМОСТЬ KPI ПРОГРАММЫ ОТ ПЕРЕЧИСЛЕННЫХ ВЫШЕ ФАКТОРОВ
Корреляционный анализ позволил определить взаимосвязи между ключевыми результатами программы. Потенциальная модель достижения
социального результата программы представлена в рисунке выше. Организации с повышенным уровнем информированности с больше вероятностью
имели повышенный уровень знаний и повышенный уровень навыков, что косвенно может поддерживать логику программы. Вопрос с ростом числа НКО,
внедряющих оценку будет освещен на основе финальных данных пре и пост в финальном отчете по программе. В тоже самое время, наличие
достаточных ресурсов для оценки было связано с высоким уровнем навыков. В тех организациях, где уровень существующих сложностей для проведения
оценки низок и присутствует высокий уровень мотивации, уровень осведомленности и знаний об оценке выше, чем во всех других организациях.
Повышение осведомленности
Повышение уровня знаний
Повышение уровня навыков
Рост числа НКО, внедряющих
оценку в деятельность
Наличие достаточных
ресурсов для оценки
Отсутствие сложностей в
осуществлении оценки
Высокий уровень мотивации
22. РЕКОМЕНДАЦИИ ДЛЯ ПРОГРАММЫ
Ключевые результаты Рекомендации
Общие финансовые и кадровые трудности Так как большинство организаций испытывают кадровые и финансовые трудности, предлагаемые
им решения в области оценки должны быть экономичны и легко осуществимы. Таким решением
может быть использование существующих административных данных в рамках программы для
оценки. Возможные мастер-классы/тренинги могут включать темы на инвентаризацию
существующих практик по сбору программных данных и их оптимизации для разного рода
оценочных вопросов.
Различные группы сотрудников по уровню
возможностей в оценке требуют различных
фокусировок для наращивания потенциала.
Для того, чтобы программа достигла максимального эффекта, необходимо фокусироваться на
потенциале специалистов с низкими способностями к оценке, так как именно эта группа имеет
наибольший потенциал к наращиванию по ключевым KPI в сравнении, например, с группой с
высоким уровнем возможностей. Фокус предоставляемых возможностей в рамках программы
следует поставить на формулировке социального эффекта, выбор показателей, выбор
инструментов сбора данных и составление ТЗ для всех групп специалистов. Отдельные усилия
необходимы для наращивания навыков специалистов с низким уровнем в области выбора видов
оценки, формулировки вопросов, сборе и анализе данных.
Организации имеют специфичные группы
благополучателей и предоставляют услуги, которые
должны быть учтены при дальнейшей разработке
ПИОН
Включение в ПИОН индикаторов и социальных результатов специфичных для услуг психолого-
педагогического консультирования, работы со случаем, образовательно-досуговой деятельности
и по обучению специалистов. Фокусировка индикаторов может учитывать ключевые группы
благополучателей, включающие кризисные семьи, приемные и замещающие семьи, детей-сирот,
детей, выпустившихся из учреждения и находящихся вне опеки. Большинство организаций
оказывает услуги детям младшего и среднего школьного возраста, подросткам и молодым людям,
что должно быть отражено в выборе индикаторов для ПИОН
Предпочтения по форматам взаимодействия с
программой три группы специалистов также
различаются.
Специалисты с высоким уровнем потенциала гораздо могут гораздо охотнее участвовать в
большем количестве очных консультаций и вебинаров. В то время как специалисты с низким
уровнем возможностей чаще готовы участвовать в заочных консультированиях и семинарах