1. Проверка знаний: как делать
тесты и что можно делать кроме
них?
Ю.В.Тихомиров,
профессор кафедры физики Московского
государственного технического университета
гражданской авиации
1
2. ВВЕДЕНИЕ
Мы слышим: хочу сделать тест!
Кто это мог сказать?
1. Преподаватель, стремящийся улучшить
учебный процесс и облегчить участие в нем.
2. Педдизайнер, желающий улучшить качество
учебного курса, сделать его «красивым» для
заказчика.
3. Чиновник от образования, стремящийся
проконтролировать участников учебного
процесса.
2
3. ЭТО РАЗНЫЕ ТЕСТЫ
Тест у преподавателя - обучающий, встроенный
в учебный процесс, повышающий его
эффективность.
Тест у педдизайнера - идеальный, украшающий
курс, удовлетворяющий нужным критериям.
Тест у чиновника от образования - нормативный,
креативный, дифференцирующий ...
Дальше только о первом!
О других пусть расскажут другие специалисты.
3
4. Учебный тест. Учебный процесс
Учебный тест является частью учебного
процесса, обеспечивающей проверку его хода.
кон.проверка
проверка i обучаемый
нач.проверка обучаемый (кон. состоян.)
обучаемый (состояние i) уровни
(исх. состоян.) обученности
воздействие i+1
воздействие 1 4
5. Воздействие в учебном процессе
1. Предъявление элемента учебной
информации.
2. Освоение данного элемента.
Элемент учебной информации есть минимальная
ее часть, сохраняющая вложенный в нее смысл.
5
6. Учебная информация
Учебная информация это часть информационного
содержания
науки,
общечеловеческого опыта,
коллективного опыта,
индивидуального опыта.
Информационное содержание как правило
формализовано.
6
7. Место учебного материала (информации)
Основное
содержание
(ядро знаний)
У определения
Т объектов и
В явлений
Е
определения
Р
характеристик
Ж
Д законы
Е
алгоритмы
спецкурс Н
И логические
Я связи
7
8. Освоение, а не усвоение
Освоение информации все больше осознается,
не как «усвоение пищи» (положили в рот и
можешь глотать, а оно само переварится), а как
самостоятельный и наиважнейший этап
процесса обучения.
8
9. Как обеспечить процесс освоения
информации?
Это очень объемная тема, нуждающаяся в
отдельном разговоре.
Решаемая здесь проблема - проверить результат
этого процесса. А что есть «результат»?
Достижение требуемого уровня освоения для
каждого элемента учебной информации!
9
10. Освоение учебной информации
Деятельностный подход (бихевиоризм,
таксономия Блума для обучения с
некоторыми дополнениями).
Начальные уровни освоения элемента учебной
информации
1. представление
2. знание
3. понимание Есть более
4. умение высокие
5. навык
6. креативный 10
11. Уровни освоения учебного материала
Представление - способность воспроизвести с подсказкой
(поддержкой).
Знание - способность воспроизвести без подсказки.
Понимание - способность воспроизвести, преобразовать,
аппроксимировать.
Умение - способность воспроизвести и использовать при
решении задачи в знакомой ситуации за разумное время.
Навык - способность воспроизвести и использовать в
знакомой ситуации за очень короткое время, автоматически
Элементы творчества - способность воспроизвести и
использовать в незнакомой ситуации.
Более высокие: анализ, синтез, оценка (по Блуму). 11
12. 1-й шаг. Детализация учебной информации
Преподаватель разрабатывает учебный курс,
отбирая и перерабатывая информацию науки.
Информационное содержание курса - совокупность
логических элементов (утверждений) с указанием
уровня освоения каждого.
Множительное число от уровня освоения -
совокупность элементов, освоенных на этом
уровне.
12
13. Примерный состав учебного курса
Курс физики около 500 элементов (50 лекций).
представления
45%
знания 25%
понимание 15%
умения 5%
навыки 3%
остальное 2%
13
14. Поэтапное достижение уровней освоения
45% ПРЕДСТАВ
ЛЕНИЕ
25% ПРЕДСТАВ ЗНАНИЕ
ЛЕНИЕ
15% ПРЕДСТАВ ЗНАНИЕ ПОНИМА
ЛЕНИЕ НИЕ
5% ПРЕДСТАВ ЗНАНИЕ ПОНИМА УМЕНИЕ
ЛЕНИЕ НИЕ
ЛЕКЦИИ ПРАКТ., ЛАБОРАТ., ИГРЫ
предъявление освоение
все возможно в электронной форме (eL) 14
15. Электронное обучение (eL).
Под электронным обучением
подразумевается система обучения,
основанная на использовании последних
достижений электроники и информационных
технологий (IT).
Компьютер (и управляемые им устройства, в
частности, информационные сети) является
основным техническим средством системы
электронного обучения.
15
16. «Проверка знаний» - главный для
студента элемент процесса обучения
Как организована «проверка знаний», так и будут
действовать обучаемые в процессе обучения.
Студенты часто говорят: «Что будут спрашивать
на экзамене, то мы и будем учить!».
Тест (кратко) - инструмент «проверки знаний».
Компьютерный тест использует компьютер для
предъявления задания, его выполнения и оценки.
Конфигурация Word: Сервис, Макрос,
Безопасность, Низкая Проверка 16
17. 2-й шаг. Разработка заданий для
компьютерного теста
Наилучшее соотношение: один элемент учебной
информации - одно задание, определяющее,
освоен это элемент, или не освоен.
Этому требованию удовлетворяют задания на
конструирование ответа (рассмотрим позже).
Возможно ли это? Да! Есть 20 летний опыт их
разработки и применения в разных компонентах
учебного процесса по курсу физики.
Эффективность не вызывает сомнений.
17
18. База заданий охватывает ядро курса
Все задания группируются в несколько файлов,
например по разным разделам.
Разработанная система позволяет в один
файл группировать до 100 заданий.
Физика - 16 разделов и оптимальная структура
базы заданий - 16 файлов по 30 заданий.
18
19. 3-й шаг. Определение количества заданий
в тесте
Нужны модели студента, задания и теста,
позволяющие заранее сравнить разные тесты.
«Абсолютно серый студент» - равновероятно
осваивает любое количество элементов учебной
информации (пунктов). Из них состоит группа.
Модель задания - одно задание стопроцентно
проверяет уровень освоения одного элемента.
Модель теста - задания выбираются машиной из
базы абсолютно случайным образом.
19
20. Результат теоретического анализа
Задача. Пусть в контролируемом разделе К
пунктов, в тесте q заданий.
Студент освоил i пунктов и выполнил j заданий
теста.
Нам известны K, q и j. Надо найти неизвестное i.
N ij i!q!(K q)!(K i)!
Pij
Ni j!K!(i j)!(q j)![( K i) (q j)]!
N СТ
Ni .
K 1
20
21. Количество студентов Nij, освоивших i пунктов и
выполнивших j заданий равно вероятности Рij,
умноженной на количество студентов в i-й
выборке:
N СТ
Nij = Ni Рij = Рij.
K 1
Часть студентов группы,
выполнивших j заданий
K K
N ij Pij
Nj i j i j
.
N СТ N СТ K 1
21
22. В тесте 5 заданий (50%)
Pij j=q=5
1.2-
1.0-
0.8-
выполнено 100%
0.6-
0.4-
0.2-
+ +-+-+-+-+-+-+-+-+-+- i/K
100 70 40 10 %
освоено
Из выполнивших 100% заданий
· 55% это те, кто освоил 100%
материала,
· 27,5% те, кто освоил 90%,
· 12% те, кто освоил 80%,
· 4% те, кто освоил 70%. 22
23. выполнено
Pij j=q-1=4 (80%)
0.6-
0.5-
0.4-
5 заданий (50%)
0.3-
0.2-
0.1-
+ +-+-+-+-+-+-+-+-+-+-+ i/K
100 70 40 10 %
освоено
Из выполнивших 80% заданий
27.5% это те, кто освоил 90% материала,
31% те, кто освоил 80%,
23% те, кто освоил 70%,
13% те, кто освоил 60%. 23
24. выполнено
Pij j=q-2=3 (60%)
0.6-
0.5-
0.4- 5 заданий (50%)
0.3-
0.2-
0.1-ов
+ +-+-+-+-+-+-+-+-+-+-+ i/K
100 70 40 10 %
освоено
Из выполнивших 60% заданий
•12% это те, кто освоил 80% материала
•23% те, кто освоил 70%,
•26% те, кто освоил 60%,
•21,7% те, кто освоил 50%. 24
27. 4-й шаг. Использование заданий в курсе
Первоначально - на лекциях для совместного
контроля внимания и понимания.
Пример 1.
При самостоятельной работе по освоению
материала с помощью обучающей программы.
Пример 2.
При рубежном контроле освоения материала
раздела (база около 30 , в тесте 12-15 заданий).
Пример 3. 27
28. Тестирование блочное и предварительное на
экзамене (5 - 6 разделов, база более 150
заданий).
Пример 4.
Тестирование при допуске к лабораторным
работам (база до 30 заданий по каждой).
Пример 5.
28
29. Как простой человек сделает задание?
Можно ли за 5 минут сделать задание, которое
потом можно эффективно использовать 20 лет?
Ответ - да!
Пример 6.
Пример 7.
29
30. Как простой человек сделает тест?
Можно ли за 5 минут сделать тест для рубежного
контроля, который смогут использовать 15
студентов одновременно? Ответ положительный
Пример 8.
30
31. Уровни освоения и способы проверки
Представление - задание на КО с шаблоном.
Знание - задание на КО без шаблона.
Понимание - задание на КО без шаблона (слова +
формула).
Умение - задание на КО (формула + решение задачи в
знакомой ситуации за разумное время).
Навык - задание на КО (формула + решение задачи,
решенной ранее, за очень короткое время, автоматически).
Элементы творчества - задание на КО (формула +
решение задачи, не встречавшейся ранее).
31
32. Вместо «теста» - настоящий обучающий
компьютерный тест
Разработчики стандартных тестов, использующих
в основном задания с выбором ответа, всегда
избегают вопросов о том, как заранее определить
достоверность контроля.
Поскольку априори определить качество
стандартного теста невозможно, он по сути
не является тестом, когда вы его сделали.
32
33. Относительно так называемых «тестов»
Стандартно: для повышения достоверности надо
использовать несколько тестовых заданий для
проверки одного элемента информации.
Стандартно: принимать решение о качестве
теста только после анализа результатов его
применения (лучше многократного).
Ясно, что такой подход практически невозможно
реализовать в условиях реально происходящего
учебного процесса.
33
34. Вопрос: Что можно делать вместо таких «тестов»?
Ответ: Настоящие контролирующие задания и
настоящие обучающие тесты.
34
35. Наши рекомендации, как сделать тест
Тщательно структурируйте учебный материал,
выделяя его элементы и уровень их освоения.
Откажитесь, наконец, от стандартных заданий с
выбором ответа, которые контролируют только
умение что-то выбрать (например, товар в
магазине).
Разрабатывайте и применяйте эффективные
обучающие задания, например, на
конструирование ответа.
Формируйте тесты, состоящие из обоснованного
количества заданий. 35
36. РАЗРАБОТАННЫЕ БАЗЫ ЗАДАНИЙ
•Элементарная математика (200 заданий DOS)
•Элементарная физика (DOS и Win по 400
заданий)
•Высшая математика (300 заданий DOS)
•Физика для ВТУЗов (DOS и Win по 400 заданий)
•Физ.практикум ВТУЗ (Win 450 заданий)
ВСЕГО около 2000 заданий
36
37. МОИ ВОПРОСЫ
Проблемы компьютерного тестирования, которые
мне казалось целесообразным обсудить:
• Оценка уровня освоения учебного материала
по крайней мере так же важна, как и предъявление
информации обучаемому в учебном курсе.
• Компьютерные системы, используемые при
оценке (тестировании), должны по возможности
использовать опыт, полученный при традиционном
обучении.
• Регулярность тестирования должна быть
максимально возможной.
37
38. • Что контролирует одно задание? Какой
критерий Вы используете, при определении
количества заданий в тесте?
• Можете ли Вы заранее определить качество
разработанных заданий?
• Ограничивает ли программное обеспечение
ваш выбор формы применяемого задания?
• Процент заданий с множественным выбором
(МВ) в курсах, которые Вы разрабатывали,
превышает 90%.
• Хорошо ли Вы знакомы с тестовыми
заданиями других форм. Хотели бы Вы более
широко их использовать ? 38
39. • Трудоемкость составления преподавателем
заданий с МВ при контроле теоретических знаний
слишком велика.
• У студентов возникают излишние затруднения
при работе с заданиями на выбор ответа.
• Как Вы относитесь к тому, что при контроле
теоретических знаний задания с множественным
выбором (МВ) содержат от 70% до 90% ложной
информации?
• Считаете ли Вы что эта ложная информация
существенно ухудшает качество учебного
процесса?
39
40. • Считаете ли Вы целесообразным рекомендовать
по возможности не использовать задания с
множественным выбором при тестировании
теоретических знаний, поскольку они
неэффективны, содержат слишком много ложной
информации и создают излишние затруднения?
• Поддерживаете ли Вы широкое использование
заданий на конструирование ответа?
40
41. Спасибо за внимание и терпение!
Тихомиров Юрий Валентинович
профессор кафедры физики
Московского государственного
технического университета
гражданской авиации
http:sites.google.comsiteyutixtestum
E-mail: yutix@ya.ru
- для запроса на дополнительный материал
Skype: yury.tikhomirov
Проверка знаний: как делать тесты
и что можно делать кроме них? 41
