Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
・ Как оценить эффективность ・
АЛЕКСЕЙ КАПТЕРЕВ
@kapterev
!
ОБУЧЕНИЯ
Слушай, а какой процент
после твоего тренинга
«взяли и побежали»?
— Ой, много!
Процентов 10!
Ок, ну может 20…
—
Половину денег на рекламу я трачу
впустую — проблема в том, чтобы
понять, какую именно половину.
"
ДЖОН УОННАМЕЙКЕР
Пионер...
НАША 

ЦИФРА 

БЛИЖЕ 

К 80%
◆
◆
Мне реально не хватает
обратной связи.
—
1
2
3
4
2011 2012 2013 2011 2012 2013
3.743.66
3.4
3.913.873.77
Преподаватель понятно излагает материал
Моя оценка Средняя...
2.5
3
3.5
4
Я прихожу на занятие хорошо подготовленным
2011 2012 2013 2011 2012 2013
3.643.63
3.49
3.743.723.65
Я активно ...
В целом, презентует 

очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется на
ключе...
#
СРЕДНЯЯ 

ОЦЕНКА 

МАЛО 

О ЧЕМ 

ГОВОРИТ
Златомир
В целом, презентует 

очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется...
Рогнеда
В целом, презентует 

очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется ...
Марфа
В целом, презентует 

очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется на...
Ярополк
В целом, презентует 

очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется ...
Зореслав
В целом, презентует 

очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется...
Easy, economic, expedient - An effective
training evaluation model for SMEs
Sajid Khan, Phil L. Ramsey

School of Manageme...
УРОВНИ ОЦЕНКИ 

по Киркпатрику и Филипсу
1. Реакция: понравилось ли людям обучение
2. Обучение: приобрели ли люди знания и...
ЧТО МЫ ДЕЛАЕМ? 

данные вымышлены, совпадения случайны
Реакция
Обучение
Поведение
Результаты
ROI
0% 25% 50% 75% 100%
ЧТО МЫ ХОТИМ? 

данные вымышлены, совпадения случайны
Реакция
Обучение
Поведение
Результаты
ROI
0% 25% 50% 75% 100%
КТО ВЫ? МЫ УЧАСТНИКИ 

ТРЕНИНГА!!!
ВАМ ПОНРАВИЛСЯ ТРЕНИНГ?
ДА!!!
НИЧЕГО!!!
ЧТО ВЫ БУДЕТЕ
ИСПОЛЬЗОВАТЬ?
А почему мы не 

меряем ROI?
— Встречный вопрос:
а какой ROI у
измерения ROI?
—
МЕРИТЬ НЕ ДЛЯ
ИЗМЕРЕНИЙ
#
МЕРИТЬ ДЛЯ 

УЛУЧШЕНИЙ
Ну как вам?— Ой, всем очень
понравилось!
—
ПЛАН ДЕЙСТВИЕ ОЦЕНКА= =
=
=
=
Easy, economic, expedient - An effective
training evaluation model for SMEs
Sajid Khan, Phil L. Ramsey

School of Manageme...
ИЗМЕРЯТЬ 

ДОРОГО! ◆
◆
Попробуй
СТОРИТЕЛЛИНГ!◆ ◆
НЕ МЫ ПЕРВЫЕ, 

НЕ МЫ ПОСЛЕДНИЕ
#
МЕДИЦИНА
ДВОЙНОЕ СЛЕПОЕ
РАНДОМИЗИР ОВАННОЕ
ПЛАЦЕБО-КОНТР ОЛИРУЕМОЕ
ИССЛЕДОВАНИЕ
"
"
Greenhalgh T (July 1997). "How to read a paper. Getting
your bearings (deciding what the paper is about)". BMJ
315 (7102):...
СИЛА ДОКАЗАТЕЛЬСТВ 

в американской юридической практике
1. Вне разумных сомнений
2. Ясное и убедительное доказательство
3...
Although observational studies cannot be used as reliable sources to
make statements of fact about the "safety, efficacy, ...
✤ После не значит вследствие
✤ Эффект Пигмалиона
✤ Эффект наблюдателя
✤ Эффект плацебо
✤ …
ГДЕ ТУТ МОЖНО
ОШИБИТЬСЯ?
✤ Что происходит «в реальности»?
✤ Каких результатов программа позволяет
добиваться?
✤ Какова ценность результатов?
✤ Как ...
ОПРОС ИНТЕРВЬЮ=
✤ Кто применяет новые методы, а кто нет?
✤ Что применяется, а что нет?
✤ Насколько широко распространилось
применение?
✤ К...
КЕЙС ПРО ПИВО
60% участников использовали программу чтобы
достичь увеличения продаж, повышения лояльности
или увеличения среднего дохода...
✤ Обучение нельзя изолировать
✤ Тренеры должны стать бизнес-партнерами
✤ Индивидуальный подход
✤ Мы не можем полагаться то...
МЕРИТЬ НЕ ДЛЯ
ИЗМЕРЕНИЙ
#
МЕРИТЬ ДЛЯ 

УЛУЧШЕНИЙ
License: CC, Attribution, Share Alike | http://creativecommons.org/licenses/by-sa/2.5/
kapterev@gmail.com
ALEXEI KAPTEREV
...
Как оценить эффективность обучения
Как оценить эффективность обучения
Как оценить эффективность обучения
Как оценить эффективность обучения
Upcoming SlideShare
Loading in …5
×

Как оценить эффективность обучения

2,522 views

Published on

Презентация 2015-го года, и к сожалению, без текста многое непонятно.

Published in: Business
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/vqa6dbl } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/vqa6dbl } ......................................................................................................................... Download Full doc Ebook here { https://tinyurl.com/vqa6dbl } ......................................................................................................................... Download PDF EBOOK here { https://tinyurl.com/vqa6dbl } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/vqa6dbl } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/vqa6dbl } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Hello! High Quality And Affordable Essays For You. Starting at $4.99 per page - Check our website! https://vk.cc/82gJD2
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • For online course coupons and discount visit http://www.todaycourses.com
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Как оценить эффективность обучения

  1. 1. ・ Как оценить эффективность ・ АЛЕКСЕЙ КАПТЕРЕВ @kapterev ! ОБУЧЕНИЯ
  2. 2. Слушай, а какой процент после твоего тренинга «взяли и побежали»? — Ой, много! Процентов 10! Ок, ну может 20… —
  3. 3. Половину денег на рекламу я трачу впустую — проблема в том, чтобы понять, какую именно половину. " ДЖОН УОННАМЕЙКЕР Пионер маркетинга
  4. 4. НАША 
 ЦИФРА 
 БЛИЖЕ 
 К 80% ◆ ◆
  5. 5. Мне реально не хватает обратной связи. —
  6. 6. 1 2 3 4 2011 2012 2013 2011 2012 2013 3.743.66 3.4 3.913.873.77 Преподаватель понятно излагает материал Моя оценка Средняя оценка всех
 преподавателей курса
  7. 7. 2.5 3 3.5 4 Я прихожу на занятие хорошо подготовленным 2011 2012 2013 2011 2012 2013 3.643.63 3.49 3.743.723.65 Я активно участвую в дискуссиях на занятии 2011 2012 2013 2011 2012 2013 3.55 3.383.36 3.78 3.54 3.33 Преподаватель понятно излагает материал 2011 2012 2013 2011 2012 2013 3.743.66 3.4 3.913.873.77 Преподаватель указывает на ключевые
 для понимания курса моменты 2011 2012 2013 2011 2012 2013 3.783.69 3.43 3.913.783.65 Преподаватель умело инициирует и управляет дискуссиями 2011 2012 2013 2011 2012 2013 3.693.63 3.35 3.913.833.75 Преподаватель дает полезные замечания по
 результатам письменных заданий и тестов 2011 2012 2013 2011 2012 2013 3.663.56 3.27 3.873.83.76 Преподаватель стимулирует интерес к 
 изучению дополнительных материалов 2011 2012 2013 2011 2012 2013 3.63.49 2.94 3.913.83.62 Преподаватель относится к студентам с уважением 2011 2012 2013 2011 2012 2013 3.813.84 3.02 3.873.853.88 Преподаватель доступен для консультаций помимо занятий 2011 2012 2013 2011 2012 2013 3.59 3.41 3.19 3.78 3.543.54 Я понимаю задания, которые выдаются для работы в группе, и какие навыки они развивают 2011 2012 2013 2011 2012 2013 3.713.69 3.46 3.913.743.73
  8. 8. В целом, презентует 
 очень плохо В целом, презентует отлично «Растекается мыслью», много и ни о чем Фокусируется на ключевой идее, тезисе Информирует, не задумываясь о мотивации Мотивирует, обсуждая актуальные проблемы Говорит абстрактно, 
 без привязки к бизнесу Говорит практично, 
 по делу Не использует цифры или использует неэффективно Использует цифры, статистику Не использует эмоции 
 или использует неуместно Говорит эмоционально, когда это уместно Не поддерживает контакт, говорит сам с собой Поддерживает контакт с аудиторией Не рассказывает историй Рассказывает истории, кейсы, примеры Не использует юмор или использует неуместно Уместно использует юмор 1 2 3 4 5 2.4 3.1 3.9 3.0 3.9 4.3 3.7 3.9 3.9 2.8 3.2 3.2 3.0 3.4 3.7 3.1 3.7 3.4 Средние оценки Была тройка с плюсом — стала четверка с минусом. Чуда не произошло, но заказчик очень доволен. Было Стало
  9. 9. # СРЕДНЯЯ 
 ОЦЕНКА 
 МАЛО 
 О ЧЕМ 
 ГОВОРИТ
  10. 10. Златомир В целом, презентует 
 очень плохо В целом, презентует отлично «Растекается мыслью», много и ни о чем Фокусируется на ключевой идее, тезисе Информирует, не задумываясь о мотивации Мотивирует, обсуждая актуальные проблемы Говорит абстрактно, 
 без привязки к бизнесу Говорит практично, 
 по делу Не использует цифры или использует неэффективно Использует цифры, статистику Не использует эмоции 
 или использует неуместно Говорит эмоционально, когда это уместно Не поддерживает контакт, говорит сам с собой Поддерживает контакт с аудиторией Не рассказывает историй Рассказывает истории, кейсы, примеры Не использует юмор или использует неуместно Уместно использует юмор 1 2 3 4 5 3.4 4.1 4.8 3.4 3.6 4.1 4.5 3.9 4.5 3.0 4.0 3.0 3.7 4.4 4.1 3.5 4.0 4.1 С самого начала выступал очень хорошо, но была пара серьезных недостатков. Их удалось поправить. Было Стало
  11. 11. Рогнеда В целом, презентует 
 очень плохо В целом, презентует отлично «Растекается мыслью», много и ни о чем Фокусируется на ключевой идее, тезисе Информирует, не задумываясь о мотивации Мотивирует, обсуждая актуальные проблемы Говорит абстрактно, 
 без привязки к бизнесу Говорит практично, 
 по делу Не использует цифры или использует неэффективно Использует цифры, статистику Не использует эмоции 
 или использует неуместно Говорит эмоционально, когда это уместно Не поддерживает контакт, говорит сам с собой Поддерживает контакт с аудиторией Не рассказывает историй Рассказывает истории, кейсы, примеры Не использует юмор или использует неуместно Уместно использует юмор 1 2 3 4 5 2.1 2.9 3.9 3.1 4.0 4.4 3.6 4.1 3.9 2.6 3.4 4.1 3.1 4.0 3.6 3.3 4.0 3.7 Пропустила несколько занятий, особой разницы не заметно. Что-то лучше, что-то хуже — на уровне погрешности. Было Стало
  12. 12. Марфа В целом, презентует 
 очень плохо В целом, презентует отлично «Растекается мыслью», много и ни о чем Фокусируется на ключевой идее, тезисе Информирует, не задумываясь о мотивации Мотивирует, обсуждая актуальные проблемы Говорит абстрактно, 
 без привязки к бизнесу Говорит практично, 
 по делу Не использует цифры или использует неэффективно Использует цифры, статистику Не использует эмоции 
 или использует неуместно Говорит эмоционально, когда это уместно Не поддерживает контакт, говорит сам с собой Поддерживает контакт с аудиторией Не рассказывает историй Рассказывает истории, кейсы, примеры Не использует юмор или использует неуместно Уместно использует юмор 1 2 3 4 5 2.1 2.9 3.9 3.1 4.0 4.4 3.6 4.1 3.9 1.5 1.7 2.7 2.2 2.5 3.2 2.7 3.7 2.8 Удивительно хорошо выступила на «зачете», никто не ожидал. Будем считать, чудо. Было Стало
  13. 13. Ярополк В целом, презентует 
 очень плохо В целом, презентует отлично «Растекается мыслью», много и ни о чем Фокусируется на ключевой идее, тезисе Информирует, не задумываясь о мотивации Мотивирует, обсуждая актуальные проблемы Говорит абстрактно, 
 без привязки к бизнесу Говорит практично, 
 по делу Не использует цифры или использует неэффективно Использует цифры, статистику Не использует эмоции 
 или использует неуместно Говорит эмоционально, когда это уместно Не поддерживает контакт, говорит сам с собой Поддерживает контакт с аудиторией Не рассказывает историй Рассказывает истории, кейсы, примеры Не использует юмор или использует неуместно Уместно использует юмор 1 2 3 4 5 2.1 2.9 3.3 2.3 3.9 4.0 3.3 3.3 3.3 2.3 2.6 2.7 2.4 3.0 3.3 2.9 3.0 2.7 Весьма умеренный, но все же прогресс. Было Стало
  14. 14. Зореслав В целом, презентует 
 очень плохо В целом, презентует отлично «Растекается мыслью», много и ни о чем Фокусируется на ключевой идее, тезисе Информирует, не задумываясь о мотивации Мотивирует, обсуждая актуальные проблемы Говорит абстрактно, 
 без привязки к бизнесу Говорит практично, 
 по делу Не использует цифры или использует неэффективно Использует цифры, статистику Не использует эмоции 
 или использует неуместно Говорит эмоционально, когда это уместно Не поддерживает контакт, говорит сам с собой Поддерживает контакт с аудиторией Не рассказывает историй Рассказывает истории, кейсы, примеры Не использует юмор или использует неуместно Уместно использует юмор 1 2 3 4 5 2.1 2.9 3.9 3.1 4.0 4.4 3.6 4.1 3.9 3.3 2.8 2.9 2.8 2.2 3.8 2.7 3.7 3.1 Очень хороший прогресс, как раз то, чего реалистично можно было бы ожидать за это время. Было Стало
  15. 15. Easy, economic, expedient - An effective training evaluation model for SMEs Sajid Khan, Phil L. Ramsey
 School of Management, Massey University, Palmerston North, New Zealand
  16. 16. УРОВНИ ОЦЕНКИ 
 по Киркпатрику и Филипсу 1. Реакция: понравилось ли людям обучение 2. Обучение: приобрели ли люди знания или навыки 3. Поведение: используют ли люди знания на работе 4. Результаты: изменились ли их KPI 5. ROI: есть ли монетарный возврат на инвестиции
  17. 17. ЧТО МЫ ДЕЛАЕМ? 
 данные вымышлены, совпадения случайны Реакция Обучение Поведение Результаты ROI 0% 25% 50% 75% 100%
  18. 18. ЧТО МЫ ХОТИМ? 
 данные вымышлены, совпадения случайны Реакция Обучение Поведение Результаты ROI 0% 25% 50% 75% 100%
  19. 19. КТО ВЫ? МЫ УЧАСТНИКИ 
 ТРЕНИНГА!!! ВАМ ПОНРАВИЛСЯ ТРЕНИНГ? ДА!!! НИЧЕГО!!! ЧТО ВЫ БУДЕТЕ ИСПОЛЬЗОВАТЬ?
  20. 20. А почему мы не 
 меряем ROI? — Встречный вопрос: а какой ROI у измерения ROI? —
  21. 21. МЕРИТЬ НЕ ДЛЯ ИЗМЕРЕНИЙ # МЕРИТЬ ДЛЯ 
 УЛУЧШЕНИЙ
  22. 22. Ну как вам?— Ой, всем очень понравилось! —
  23. 23. ПЛАН ДЕЙСТВИЕ ОЦЕНКА= = = = =
  24. 24. Easy, economic, expedient - An effective training evaluation model for SMEs Sajid Khan, Phil L. Ramsey
 School of Management, Massey University, Palmerston North, New Zealand
  25. 25. ИЗМЕРЯТЬ 
 ДОРОГО! ◆ ◆
  26. 26. Попробуй СТОРИТЕЛЛИНГ!◆ ◆
  27. 27. НЕ МЫ ПЕРВЫЕ, 
 НЕ МЫ ПОСЛЕДНИЕ #
  28. 28. МЕДИЦИНА
  29. 29. ДВОЙНОЕ СЛЕПОЕ РАНДОМИЗИР ОВАННОЕ ПЛАЦЕБО-КОНТР ОЛИРУЕМОЕ ИССЛЕДОВАНИЕ " "
  30. 30. Greenhalgh T (July 1997). "How to read a paper. Getting your bearings (deciding what the paper is about)". BMJ 315 (7102): 243–6. doi:10.1136/bmj.315.7102.243. PMC 2127173. PMID 9253275. 1. Систематические обзоры и мета-анализы исследований с определенными результатами 2. Рандомизированный плацебо-контролируемые исследования с определенными результатами 3. Рандомизированный плацебо-контролируемые исследования с неопределенными результатами (эффект присутствует, но перекрывается доверительным интервалом) 4. Когортные исследования 5. Контрольно-диагностические исследования 6. Кросс-секционные исследования 7. Клинический случай (кейс) СИЛА ДОКАЗАТЕЛЬСТВ 
 в медицинской практике
  31. 31. СИЛА ДОКАЗАТЕЛЬСТВ 
 в американской юридической практике 1. Вне разумных сомнений 2. Ясное и убедительное доказательство 3. Превалирующее доказательство 4. Существенное доказательство 5. Некоторое достоверное доказательство 6. Разумное предположение 7. Разумное подозрение
  32. 32. Although observational studies cannot be used as reliable sources to make statements of fact about the "safety, efficacy, or effectiveness" of a practice,[3] they can still be of use for some other things: "[T]hey can: 1)provide information on “real world” use and practice; 2)detect signals about the benefits and risks of...[the] use [of practices] in the general population; 3)help formulate hypotheses to be tested in subsequent experiments; 4)provide part of the community-level data needed to design more informative pragmatic clinical trials; and 5)inform clinical practice."[3] Richard Nahin, Ph.D., M.P.H., Senior Advisor for Scientific Coordination and Outreach, National Center for Complementary and Alternative Medicine, June 25, 2012
  33. 33. ✤ После не значит вследствие ✤ Эффект Пигмалиона ✤ Эффект наблюдателя ✤ Эффект плацебо ✤ … ГДЕ ТУТ МОЖНО ОШИБИТЬСЯ?
  34. 34. ✤ Что происходит «в реальности»? ✤ Каких результатов программа позволяет добиваться? ✤ Какова ценность результатов? ✤ Как можно улучшить программу? ВОПРОСЫ SCM
  35. 35. ОПРОС ИНТЕРВЬЮ=
  36. 36. ✤ Кто применяет новые методы, а кто нет? ✤ Что применяется, а что нет? ✤ Насколько широко распространилось применение? ✤ Какие группы участников используют, а какие — нет? ✤ В каких ситуациях используются новые методы? ЕЩЕ ВОПРОСЫ Чуть более конкретные
  37. 37. КЕЙС ПРО ПИВО
  38. 38. 60% участников использовали программу чтобы достичь увеличения продаж, повышения лояльности или увеличения среднего дохода от клиента. Из этих 60% — 20% перевыполнили план продаж на 15% и больше. С другой стороны, 28% сообщили, что не используют новые инструменты и не ощутили влияния на продажи, лояльность или доход. Еще 12% сообщают о некоторых успехах, но их планы продаж не выполнены. КОЛИЧЕСТВЕННЫЕ ОЦЕНКИ ИЗ SCM
  39. 39. ✤ Обучение нельзя изолировать ✤ Тренеры должны стать бизнес-партнерами ✤ Индивидуальный подход ✤ Мы не можем полагаться только на: ✤ Ощущения ✤ Наблюдения ✤ Здравый смысл ✤ Цифры ✤ Можно полагаться на все четыре вещи сразу РЕЗЮМЕ
  40. 40. МЕРИТЬ НЕ ДЛЯ ИЗМЕРЕНИЙ # МЕРИТЬ ДЛЯ 
 УЛУЧШЕНИЙ
  41. 41. License: CC, Attribution, Share Alike | http://creativecommons.org/licenses/by-sa/2.5/ kapterev@gmail.com ALEXEI KAPTEREV KAPTEREV.COM

×