3. 1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
4. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
1. Классификация критериев оценки
5. 1. КЛАССИФИКАЦИЯ КРИТЕРИЕВ ОЦЕНКИ
(Дональд Киркпатрик, опубликовано в 1959 году)
Почему нужно проводить оценку?
Три основных причины:
1.
Оправдать существование отдела обучения, показав,
какой вклад делает этот отдел в достижение целей
организации;
2.
Принять решение о том, продолжать или прекратить
конкретную программу обучения;
3.
Получить информацию о том, как улучшить обучающую
программу (содержание, методы, тренер и др.) в
будущем.
Киркпатрик: «В большинстве случаев оценка проводится для того, чтобы
понять, как повысить результаты обучения, какими способами можно
его улучшить».
Критерии (группы показателей) оценки: Рис.
6. 1. КЛАССИФИКАЦИЯ КРИТЕРИЕВ ОЦЕНКИ
(Дональд Киркпатрик, опубликовано в 1959 году)
Оценка
результатов
обучения
Критерии (группы показателей) оценки: Текст
7. 1. КЛАССИФИКАЦИЯ КРИТЕРИЕВ ОЦЕНКИ
(Дональд Киркпатрик, опубликовано в 1959 году)
Критерии для оценки
результатов обучения
(и/или):
1.
2.
3.
4.
Реакция (Reaction),
Научение (Learning),
Поведение (Behavior),
Результаты (Results).
5. Филипс: ROI
6. ДПС: для открытого тренинга - Связи
Three Steps to Effectiveness Jim and Wendy Kirkpatrick - 11/4/10
2. Реакция
8. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
9. 2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ
Предмет
оценки
Оцениваемые
параметры
Способы и методы оценки
1. Реакция
1. Реакция участников 1. Оценочная анкета в
конце тренинга??????
(удовлетво- 2. Мнение участников
рённость
(понравилось или не 2. Опросы участников
тренинга, сделанные
потребитепонравилось)
руководством
лей)
компании
Реакция должна оцениваться с акцентом на ПОЛЕЗНОСТЬ!
Фрагмент анкеты
10. 2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ
Традиционная анкета (фрагмент)
Комментарии
Параметры оценки
Цели обучения:
соответствие обучения поставленным целям
Содержание курса:
раскрывает ли содержание обучения заявленную тему
соотношение теории и практики в данном курсе
качество раздаточных материалов
Работа преподавателя:
доступность изложения материала
взаимодействие преподавателя с группой
качество и полнота ответов на вопросы
……………………………
Диаграммы увеличенные
Оценка
(от 1 до 5)
11. 2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ
Киркпатрик: «Позитивная реакция не гарантирует успешного освоения новых знаний,
умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает
уменьшение вероятности научения».
«Эффект Хоторна»
12. 2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ
Возможное искажение оценки по критерию
«реакция» – «Эффект Хоторна»
Средство повышения объективности оценки –
выявление 2-х видов реакции:
А) эмоциональной (сразу после обучения),
Б) осознанной (через неделю после обучения).
Причины использования «листков для улыбок»
13. 2. ОЦЕНКА РЕАКЦИИ СЛУШАТЕЛЕЙ
Использование анкет по окончании обучения –
преобладающая практика оценки результатов обучения.
Более сложная и глубокая оценка не проводится, потому что:
организаторы не считают её срочной или важной,
никто не знает, как её провести,
руководство не требует этого,
организаторы обучения чувствуют себя в безопасности и
не видят нужды "копать" глубже,
есть много вещей, которые для них более важны или
которыми они предпочитают заниматься.
Киркпатрик: «Эти анкеты – "листы для улыбки" (smile-sheets). Чаще всего
участники используют анкеты для выражения благодарности».
2. Научение
14. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
15. 3. ОЦЕНКА НАУЧЕНИЯ
Предмет
оценки
2. Научение
(уровень
усвоения
новых
знаний и
навыков)
Оцениваемые
параметры
Знания,
навыки,
установки
Способы и методы оценки
1. Самоанализ, самооценка участников обучающей программы об
изменениях знаний и навыков
2. Анкетирование
3. Наблюдения тренера во время
обучения, анализ изменений
участников тренинга к концу
обучения и их описание в отчете
по результатам проведения
тренинга.
ПОЛЕЗНОСТЬ!!!
Продолжение таблицы
16. 3. ОЦЕНКА НАУЧЕНИЯ
Предмет
оценки
2. Научение
(уровень
усвоения
новых
знаний и
навыков)
Оцениваемые
параметры
Способы и методы оценки
Любые
3. Контрольные
изменения
упражнения в
персонала,
конце или во время
способствующие
тренинга на усвоение и
эффективной
использование
работе.
полученных знаний.
4. Наблюдения руководства
за изменениями
участников тренинга
после обучения.
5. Цифровые замеры
4. Оценка поведения
17. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения (деятельности – Д.С.)
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
18. 4. ОЦЕНКА ПОВЕДЕНИЯ
Предмет
оценки
3. Поведение
(системное
применение
полученных на
тренинге
знаний и
навыков)
Оцениваемые
параметры
Изменения
поведения на
рабочем месте:
рост уверенности в себе;
рост
лояльности;
повышение
сплоченности
команды
Киркпартик: «Отсутствие изменений
в поведении участников не означает,
что тренинг был нерезультативным.
Условия изменения поведения:
Способы и методы оценки
1. Наблюдения руководства за
работой сотрудника, прошедшего
обучение (на рабочем месте).
2. Оценка примеров эффективного
и неэффективного поведения при
исполнении должностных
обязанностей.
3. Анализ анкеты клиента или
записей в книге жалоб и
предложений.
3. Регулярная аттестация
ПОЛЕЗНОСТЬ !!!
Условия
19. 4. ОЦЕНКА ПОВЕДЕНИЯ
Условия изменения поведения после научения:
Желание участников изменить поведение,
Возможность использовать полученные знания и
навыки делать,
Наличие соответствующего социальнопсихологического климата,
Поощрение участников за изменение поведения.
Киркпатрик: «Единственный способ создания позитивного климата
– вовлечение руководителей в разработку учебных программ».
5. Результаты
20. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
5. Оценка результатов
21. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
Предмет
оценки
Оцениваемые
параметры
4. Результаты 1. Изменение
результатов
деятельности
2. Изменение
качественных
показателей
3. Изменение количественных показателей (продажи;
доля рынка; масса
прибыли; рентабельность …)
Способы и методы оценки
1. Анкета клиента
(удовлетворенность
обслуживанием)
2. Заказное исследование
об имидже компании.
3. Личные наблюдения,
расчеты руководства.
4. Отслеживание уровня
текучести кадров
5. Данные оперативного
учёта результатов
работы
Графики Деминга: 1. Начинающий менеджер
22. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
До обучения
После обучения
Средние еженедельные результаты работы НАЧИНАЮЩЕГО менеджера
по продажам. Верхний и нижний контрольные пределы для Хср рассчитаны
по карте размахов (Деминг Э. Элементарные принципы статистического контроля качества
(Elementary Principles of the Statistical Control of Quality), Японский союз ученых и инженеров,
Токио, 1950, с. 22.)
ВКП и НКП означают верхний и нижний контрольные пределы для Хср.
Графики Деминга: 2. Опытный менеджер
23. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
До обучения
После обучения
Верхний контрольный уровень
Нижний контрольный уровень
Средние еженедельные результаты работы ОПЫТНОГО менеджера по
продажам до и после обучения.
Менеджер достиг состояния статистической управляемости еще до начала
обучения. Соответственно, обучение оказалось неэффективным.
Значение управленческого учета - График
24. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
.
т»
и:
е
к
ти й уч
к
ра ски
п
е
ло
нч
и
е
ав
вл
р
а
п
е
пр
у
но
ий
ст
е
ш
зв
ро
И
хо
ен
ж
у
«н
:
ки ».
и
ог ине
л
ч
ло
ри
и
п
ав п о
пр
т
е
о
чи
тн зна
ес
не
зв
И
е
сл
о
«п
Факторы, влияющие на динамику результатов работы
25. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
Факторы, влияющие на динамику результатов работы:
Снижение цены
Появление нового актуального товара
Реклама
Сезонность
Новое оформление товара, выкладка (мерчендайзинг)
Сравнение результатов работы экспериментальной и контрольной групп
26. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
Экспериментальная группа
Измерение
1
Измерение
Обучение
2
«120»
Измерение
Контрольная группа
«100»
Измерение
1
«100»
Отсутствие
обучения
2
«102»
Измерение
Обучение
3
«120»
Возможное искажение оценки – 5 уровней …
27. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
Возможное искажение оценки –
ПЯТЬ УРОВНЕЙ ФОРМИРОВАНИЯ НАВЫКА:
1. Общее представление о сфере
применения навыка,
2. Понимание технологии навыка,
3. Единичный опыт применения
навыка на практике,
4. Начальная автоматизация навыка,
которая нарушается при изменении
внешних условий,
5. Полная автоматизация навыка.
Формируются в
период обучения
Формируются
через несколько
месяцев после
обучения
Пути объективного выявления результата
28. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
Практические рекомендации для объективной оценки
результатов:
если возможно, использовать контрольную группу (не
проходившую обучение),
проводить оценку через некоторое время, чтобы результаты
стали заметны,
проводить оценку до и после программы (если это
возможно),
провести оценку несколько раз в ходе программы,
сопоставить ценность информации, которую удастся
получить с помощью оценки и стоимость получения этой
информации (проведение оценки на 4 уровне не всегда
целесообразно в связи с ее высокой стоимостью).
Модели, которые базируются на модели Киркпатрика
29. 5. ОЦЕНКА РЕЗУЛЬТАТОВ РАБОТЫ
Модели, которые базируются на модели Д.Киркпатрика:
1.
Целевой подход Тайлера (Tyler’s Objectives Approach);
2.
Прикладная теория Поля Кирнса (Paul Kearns);
3.
Модель Скривенса;
4.
Модель Стафлебима (CIPP, системная модель);
5.
Модель CIRO, разработанная Бердом;
6.
Натуралистический подход Губа (Guba’s Naturalistic
Approach);
7.
Модель Брюса Аарона
От чего зависит результат обучения
30. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
6. Факторы, влияющие результаты обучения
31. 6. ФАКТОРЫ, ВЛИЯЮЩИЕ НА РЕЗУЛЬТАТЫ ОБУЧЕНИЯ
От чего зависит результат обучения (США, 2004)
6. Факторы, влияющие результаты обучения
32. 6. ФАКТОРЫ, ВЛИЯЮЩИЕ НА РЕЗУЛЬТАТЫ ОБУЧЕНИЯ
От чего зависит
результат
обучения
(HRM.ru 2011)
7. Темы докладов на семинаре
33. ОЦЕНКА РЕЗУЛЬТАТОВ
ОБУЧЕНИЯ
1. Классификация критериев оценки
2. Оценка реакции слушателей
3. Оценка научения
4. Оценка поведения
5. Оценка результатов работы
6. Факторы, влияющие на результаты
обучения
7. Темы докладов на семинаре
7. Темы докладов
34. 7. ТЕМЫ ДОКЛАДОВ НА СЕМИНАРСКОМ ЗАНЯТИИ
1.
ROI: Разбор ситуации-упражнения «Эффективность проекта по
обучению персонала»
2.
Целевой подход Тайлера (Tyler’s Objectives Approach);
3.
Прикладная теория Поля Кирнса (Paul Kearns);
4.
Модель Скривенса;
5.
Модель Стафлебима (CIPP, системная модель);
6.
Модель CIRO, разработанная Бердом;
7.
Натуралистический подход Губа (Guba’s Naturalistic Approach);
8.
Модель Брюса Аарона
Конец