7. Качество теста Тот, кто не стремиться к объективности, тот, в конечном итоге, вступает на путь произвола. (Ингенкамп К. Педагогическая диагностика. Пер. с нем. М. Педагогика, 1991 стр 35)
12. Сколько вопросов задавать Вопросы задаются последовательно В наихудшем случае вероятность угадывания каждого конкретного вопроса 0,5 Вероятность выпадения конкретного вопроса конкретному тестируемому не более 0,3 Только один человек из 1000 может пройти тест, ничего не зная.
Здравствуйте.Вначале пару слов о себе и своём профессиональном опыте в области дистанционного обучения.Меня зовут Комбаров Максим. Свой первый дистанционных курс я создал в рамках дипломной работы в Московском Энергетическом Интитуте.В фармацевтической компании АстраЗенека мной была запущена корпоративная система ДО, а так же создано более 15 курсов по продуктам компании.В настоящее время я работаю на компанию Пфайзер, развивая корпоративное дистанционное обучение.Сегодня я предлагаю вашему вниманию рассказ, как решилась достаточно важная проблема: создание корректных вопросов для нужд ДО.
Cуммируя весь свой опыт, я могу сказать, что чаще всего сталкивался с тремя глобальными проблемами.Первая: Исходные материалы для создания курсов и тестов.Часто специалисты, делающие курсы и носители знания – люди разных специальностей с разным опытом, иногда даже из разных компаний. И между ними всегда присутствуют конфликты интересов. Другая проблема, постоянно встающая перед разработчиками курсов корпоративного ДО – это мотивация обучаемых и удержание внимания. Третья проблема, о которую сегодня хотелось бы обсудить – контроль полученных знаний, проверка выживаемости знаний.
Однажды мне позвонил хороший знакомый с воплем о помощи «все сотрудники имитируют сбой Интернета, лишь бы не отвечать на тесты, что делать?!».Выяснение ситуации показало, что каждую неделю в компании составлялись новые тесты на знания продуктов компании и рассылались всем сотрудникам. Они ОБЯЗАНЫ были проходить эти тесты. Естественно, качество тестов оставляло желать лучшего. К сожалению, это часто встречающаяся ситуация, когда составитель вопросов не придаёт значения корректности формулировок, соответствия вопросов целям теста.В Пфайзере мы решили эту проблему, проведя серию мероприятий для повышения качества тестирования.Сегодня я представлю вашему вниманию результаты этой работы.
Первым этапом было построение теоретического обоснования процедурам тестирования.Позвольте представить результат:В корпоративном обучении мы предлагаем использовать следующее определение понятию тест: набор стандартизированных заданий (вопросов), позволяющих определить наличие у испытуемого достаточного уровня и объёма знаний, необходимых для выполнения повседневной трудовой деятельности.
Несмотря на то, что различные применяемые в образовательной практике системы тестов базируются на самых разных теоретических представлениях, составление тестов строиться по единой схеме. Определение целей теста составление тестаСтруктураВопросы (задания)Апробация теста на пилотной группеИсправление выявленных недостатковНазначение теста целевой аудитории и анализ результатов.
Качество теста определяется тремя основными характеристиками.Надежность.Под надежностью теста подразумевается воспроизводимость результатов тестирования, например, при повторном тестировании через некоторое время.Валидность.ВАЛИДНОСТЬ – это характеристика теста, отражающая его способность получать результаты, соответствующие поставленной цели.(Ким В.С., Тестирование учебных достижений. – Монография Уссурийск, 2007)Стандартной процедурой установления валидности теста является независимая экспертная оценка.(НАЖАТЬ МЫШЬ)Объективность.Измерение (тест) считается объективным, если удаётся максимально исключить субъективные воздействия исследователей. (Ингенкамп К. Педагогическая диагностика. Пер. с нем. М. Педагогика, 1991 стр 32). Нам, как сотрудникам тренинг отдела, очень важно обеспечить объективный тест.(НАЖАТЬ МЫШЬ)
Уровень сложности вопросов напрямую зависят от того, какой уровень знаний мы хотим проверить. Следовательно, нужно чёткое понимание, какие же существуют уровни знаний.В своей работе я использую предложенную Владимиром Петровичем Беспалько схему уровней усвоения знаний. (слагаемые педагогической технологии)Это понимание, узнавание, воспроизведение, применение и творчество.На слайде продемонстрирована изменение сложности вопроса в зависимости от уровня знаний, наличие которого мы хотим проверить.ПАУЗА СЕКУНД 10Обращаю ваше внимание, что Последний уровень – творчество – проверить тестами невозможно, так как он, этот уровень, означает способность человека создавать новые, никому ранее неизвестные, знания о предмете.Нам наиболее интересен уровень «Воспроизведение» - это тот самый уровень, который обеспечивает самостоятельное решение типовых задач.
В зависимости от решаемой задачи, определяется уровень знаний, на который следует ориентироваться при составлении вопросов (заданий) тестирования.Например, обязательное тестирование должно ориентироваться на уровень «Узнавание», если речь идёт о выходном тесте сразу после окончания обучения или на уровень «Воспроизведение», если проводиться проверка выживаемости знаний в полевых условиях.Для самопроверки в процессе изучения материала подходят уровни «Узнавание» или «Анализ», если мы хотим дать вопросы со звездочкой.Так же, уровень «Анализ», совместно с уровнем «Синтез» - это ориентиры для составления заданий на самостоятельное изучение.
В итоге всех теоретических изысканий, приведенных выше, была разработан пошаговый алгоритм составления вопросов в компании.Бизнес – эксперт устанавливает цель будущего тестирования.В соответствии с поставленными задачами рассчитывается структура тестаПри написании вопросов, бизнес-эксперт ориентируется на пять простых правил написания корректных вопросовВсе вопросы оцениваются на соответствие поставленной цели и заданному уровню сложности бизнес-тренерами.Проводиться пробное тестирование на линейных руководителях целевой аудитории, на состовителях вопросах и на бизнес-тренерах. Только при положительном результате пробного тестирования, тест назначается целевой группе, в результате мы имеем повышение знаний по продуктам компании.
Как показывает практика, любая инициатива отдела обучения обречена на провал, если высшее руководство компании не будет эту инициативу поддерживать. Поэтому, весь отдел, работал над продвижением идей директорам.Первым шагом было написание статьи в корпоративный журнал о важности экспертных знаний по продуктам компании и медицине у полевых сотрудников.После этого была подготовлена презентация для директоров о том, как важно контролировать выживаемость знаний.Когда директора согласились, что тестирование должно быть качественным, были проведено несколько мероприятий с целью научить сотрудников, ответственных за составление вопросов, тому как качественно и быстро создавать тесты. Сначала был создан и назначен теоретический курс дистанционного обучения, для самостоятельной подготовки. Следующий этап – проведён семинар, на котором, основываясь на теоретическом материале, были разобраны уже существующие вопросы.Так же составили и раздали экспертам памятку «Путеводитель по составлению вопросов». На двух сторонах листа формата А4 кратко изложены основные моменты, помогающие создавать качественные тесты.
При проведении семинаров, выяснилось, что по ряду продуктов количество вопросов, которые имеет смысл задавать на тестировании мало, по другим – минимально необходимый объём знаний представляет из себя необъятное поле. Соответственно, возник вопрос, сколько вопросов следует задавать при проведении теста.Мной была предложена идея случайного выбора некоторого количества вопросов из пула по продукту.Для обеспечения граничных условий, которые оказались приемлемыми для компании, необходимо и достаточно провести 10 независимых испытаний по отдельному продукту. Для повышения надёжности, мы установили минимально количество вопросов в одном тесте 20.
