Презентация к конференции "Искусство разработки курсов" (Москва, декабрь 2015)

1. Разработка тестов, результаты
которых имеют значение
Алексей
Корольков

2. Что должны измерять тесты?
Проверка / закрепление знаний в
курсе1
2 Проверка возможности
выполнять рабочие обязанности

3. Цель
тестирования
Может ли сотрудник
на самом деле
выполнять те
действия, которым его
обучили?

4. Какими
должны
быть
тесты?
Валидными
Если тест сдают
все, то тест не
самый лучший
Надежными
Дифференцирую-
щими

5. 0
1250
2500
3750
5000
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80 82 84 86 88 90 92 94 96 98
Ненормальное распределение
Тесты не
дифференцируют
руководителей и
обычных
сотрудников
Статистика по 2000 тестов от более чем 10 компании, более 300 000 тестовых сессий

6. Тесты плохо
дифференцируют
Руководителей и сотрудников
Людей с различным стажем
работы в компании
Сотрудников разного возраста

7. Процесс разработки тестирования
Определить
цели
Написать
вопросы
Review
вопросов
Тестирование
на пилотной
группе
Проверка
теста
(статистика)
Определение
весов
вопросов
Определение
проходного
балла
Публикация
теста
Анализ
результатов

8. Ошибки проектирования тестов
Некорректное
планирование
тестирования
Плохое тестирование может разрушить всю
СДО
Отсутствие
экспертизы
вопросов
Отсутствие
проверки теста на
пилотной группе
Плохо
составленные
тестовые вопросы
Ошибки
конструирования
теста
Слабый анализ
результатов

9. Очень простые вопросы
60%
Слишком простые вопросы
40%
Вопросов
Вопросов
Более

10. 30%
Слишком высокая дисперсия вариантов ответов
(плохие дистракторы)
Вопросов
Более

11. 20-30%
Низкий (<0.1) или отрицательный коэффициент
корреляции между правильным ответом на
вопрос и успешным прохождением теста
Вопросов

12. 25%
Длина правильного ответа превосходит среднюю
длину дистракторов на 30 символов и более.
Вопросов

13. Для вариантов ответов не
используется перемешивание
Вопросов
50%
Более
Вопросов
70%
Правильный ответ
содержится в одном из 2-х
первых вариантов ответа
(первый вариант в 40%
случаев)

14. МАГИЧЕСКОЕ
ЧИСЛО
Проходной балл
определяется
неизвестным науке
способом
80

15. Как создать
правильный тест?
Изучайте науку о тестировании1
Используйте аналитику в вашей
СДО
Постройте правильный процесс
создания тестов
2
3

16. akor@websoft.ru
Алексей Корольков