Основні результати опубліковані в: http://scipeople.ru/publication/105074 (Вища освіта України. Тематичний випуск "Вища освіта України в контексті інтеграції до Європейського освітнього простору" / Ред. Кремень В.Г., Савченко О.Я., Маноха О.П. та ін. – 2011. - Додаток 2 до № 3. Т. 3 (28) – С. 29 – 35.); http://scipeople.ru/publication/111134 (Higher Education in Ukraine: Internationalization, Reform, Innovation. International Conference. April 20-21, 2012. Kyiv, Ukraine); http://www.anvsu.org.ua/index.files/Articles/Bakhruschin.htm

1. СТАТИСТИЧНИЙ АНАЛІЗ ТЕСТІВ
ЗНО 2009 – 2011
Бахрушин В.Є.
д.ф.-м.н., професор,
академік АН вищої школи України
Класичний приватний університет, м. Запоріжжя
Vladimir.Bakhrushin@zhu.edu.ua
2011

2. Педагогічний тест це система тестових завдань
різної складності, яка дає змогу якісно й ефективно
вимірювати рівень та структуру підготовленості
учнів (В.С. Кім).
Педагогічний тест – це система паралельних
завдань зростаючої складності, специфічної
форми, визначеного змісту, яку створюють з метою
аргументованої оцінки рівня та структури
підготовленості учнів (В.С. Аванесов).

3. З цих визначень випливає, що педагогічний тест є
певною моделлю знань, доповненою засобами
встановлення відповідності знань конкретного
випробуваного цієї моделі.
Враховуючи, що будь-яка модель є цільовим,
приблизним, неточним відображенням оригінала
ми можемо зробити такі висновки:
1. Для досягнення різних цілей потрібні різні тести.
2. Якісний тест має розроблятися згідно з певними
правилами, що забезпечують його якість,
зокрема передбачають перевірку цієї якості
3. Навіть хороший тест дає результати, придатні
для певного усередненого учня, але результати
тестування окремих учнів можуть виявитися
помилковими.

4. Стосовно ЗНО з першої вимоги зокрема
випливає необхідність принаймні трьох типів тестів,
що відповідають таким моделям успішного студента
(для різних напрямів підготовки й різних ВНЗ):
1) абітурієнт, що швидко відповідає на
велику кількість відносно простих питань;
2) абітурієнт, що може правильно вирішувати
складні завдання;
3) абітурієнт, що може навчатися.
Для перевірки якості тесту зазвичай використовують
такі показники, як надійність й валідність. Крім
цього необхідно визначати якість окремих завдань,
зокрема: рівень їх складності; коефіцієнт
кореляції; коефіцієнт (індекс) дискримінації.

5. До переваг тестування зазвичай зараховують
таке:
• більша об'єктивність порівняно з іншими
формами контролю;
• більша справедливість;
• більш повне охоплення всього навчального
матеріалу;
• більша точність оцінювання;
• економічна ефективність;
• порівняно малі витрати часу на контроль.
Але всі ці переваги виявляються, якщо тест є
якісним.

6. Основними недоліками тестування є:
• тривалість, трудомісткість, висока собівартість
розробки;
• звичайний тест не виявляє причин
незадовільних відповідей студентів;
• тестування не дає змоги перевіряти рівні
знань, що пов'язані із творчістю, глибоким
аналізом проблем тощо;
• результати тестування містять випадкову
складову.

7. Далі будуть розглянуті деякі результати ЗНО
2009, 2010 та 2011 р. Вихідні дані взято із офіційних
звітів, опублікованих на сайті УЦОЯО
(http://www.testportal.gov.ua).
Особливістю цих тестів є наявність офіційної
статистики; великі обсяги вибірок, що підвищує
достовірність статистичних показників; а також
наявність спеціалізованого центру тестування, що
мало б забезпечити дотримання науково
обґрунтованої процедури розробки тестів.
Валідність тестів ЗНО не визначається через
необхідність забезпечення таємності завдань. Але є
відомості про слабку (на рівні 0,3 – 0,5) кореляцію
результатів ЗНО з оцінками першокурсників.

8. Надійність тестів ЗНО оцінюється за
допомогою коефіцієнта α-Кронбаха, який
коливається в межах. 0,80 – 0,97. Найнижчі
значення характерні для тестів з біології, географії,
історії України та фізики.
Слід зазначити, що за результатами
моделювання, цей показник може бути досить
високим (0,95 – 0,98) навіть при високому рівні
випадковості відповідей. Тому його високі значення
не можуть вважатися достатньою умовою для
висновку про якісність аналізованих тестів без
врахування інших показників надійності. Але для
тестів ЗНО такі дані відсутні

9. Для тестів ЗНО-2010 частка дуже легких
завдань коливається в межах від 0 до 10 %, а
частка дуже важких – в межах від 0 до 23 %. При
цьому, дуже легких завдань немає у тестах з
математики, історії України (2 сесія), фізики,
географії, англійської та німецької мов, а
найбільшою їх частка є в тестах з української
мови та літератури (1 сесія) та іспанської мови
(10 %).
Дуже складних завдань немає в тесті з
іспанської мови, а найбільшою їх частка є в
тестах з фізики (23 %) та математики (17 – 19 %).

10. Для тестів ЗНО-2011 частка дуже легких
завдань коливається в межах від 0 до 10 %, а
частка дуже важких – в межах від 0 до 27 %. При
цьому, дуже легких завдань немає у тестах з
фізики, хімії, географії, англійської, німецької та
французької мов, а найбільшою їх частка є в
тесті з російської мови (10 %).
Дуже складних завдань немає в тестах з
української мови та літератури (2 сесія) та
іспанської мови, а найбільшою їх частка є в
тестах з фізики (27 %) та математики (23 %).

11. Слід зазначити, що висока частка
"оптимальних" за складністю (з погляду авторів
звіту) тестових завдань значною мірою
зумовлена високою часткою завдань з
вибором відповіді. Тому навіть у випадках, коли
наведені дані свідчать про випадковий характер
вибору відповіді на певне питання (частоти вибору
є приблизно однаковими для всіх відповідей), це
питання зазвичай потрапляє до "оптимальних".
Така помилка зумовлена тим, що організатори
ЗНО не здійснюють передбаченого теорією
тестування корегування результатів і оцінок на
імовірність вгадування.

12. Як приклад можна навести частки вибору окремих
варіантів при виконанні завдання 45 тесту з Історії
України ЗНО-2010 (2 сесія): Ліквідація раднаргоспів у
другій половині 1960-х років призвела до: А)
Розширення господарських прав республік – 30,33 %;
Б) Посилення централізованості планування – 21,78
% (правильна відповідь); В) Ліквідації директивного
планування – 20,22 %; Г) Утворення вільних
економічних зон – 27,45 %. Тобто частка вибору тієї
чи іншої відповіді коливається поблизу 1/4 = 25 %. Це
свідчить про те, що частка абітурієнтів, які знали
правильну відповідь на це питання, насправді є
близькою до нуля.

13. Таких прикладів можна навести багато, але
частіше спостерігається дещо інша ситуація, коли
частка абітурієнтів, що обирає правильну відповідь, є
дещо більшою.
Наприклад розподіл вибору відповідей на
завдання 39 з Історії України ЗНО-2010 (2 сесія) є
таким: 17,65; 11,45; 14,12 та 56,63 % (правильною є
четверта відповідь). Але ми бачимо, що відсоток тих,
хто обирає відповідь шляхом вгадування дорівнює
близько 15 %. Тому насправді кількість тих, хто знав
правильну відповідь у цьому завданні є істотно
меншою, ніж 56,63 %, і знаходиться приблизно в
межах 40 – 45 %.

14. Частка завдань, для яких коефіцієнт кореляції не перевищує 0,3
(тобто відсутня кореляція між успішністю виконання завдання і
підсумковим балом з тесту)
Дисципліна ЗНО- ЗНО-2010 ЗНО-2011
2009
Українська мова та 0,47 0,21 – 0,38** 0,18 – 0,31**
література
Математика 0,03 0,06 – 0,14** 0,17
Історія України 0,59 0,58 – 0,75** 0,62
Фізика 0,43 0,24 0,53
Хімія 0,25 0,28 0,27
Біологія 0,63 0,67 0,62
Географія 0,47 0,78 0,53
Англійська мова 0,38* 0,37 0,33
Іспанська мова 0,16* 0,12 0,05
Німецька мова 0,11* 0,17 0,18
Французька мова 0,27* 0,28 0,40
Російська мова – – 0,52

15. Непрямим показником якості тесту також є
розподіл підсумкових балів. Аналіз звітів про
підсумки ЗНО свідчить, що розподіл первинних
балів за різними дисциплінами є досить
різнотипним.
Характер розподілу залежить не тільки від
якості самого тесту але й від об’єктивного розкиду
рівня знань учнів. Але спосіб обробки
результатів тестування має його враховувати.
Крім того, методи оцінювання якості тестів у
багатьох випадках базуються на певних
припущеннях про вид розподілу (як правило
вони передбачають нормальність, чи принаймні
однорідність розподілу) і мають бути скореговані у
випадках, коли ці припущення не виконуються.

16. ЗНО-2011, Українська мова і література, перша
сесія, (кількість абітурієнтів = 112021)

17. ЗНО-2011, математика (145510)

18. ЗНО-2011, англійська мова (62601)

19. ЄГЕ-2008 (Росія), математика

20. Дисципліна Мінімальний Імовірність отримання
первинний прохідний прохідного балу
бал (% від шляхом вгадування, %
максимально
можливого)
2009 2010 2011 2009 2010 2011
1 Українська мова та 23 25 23 – 0 0 0
література 26
2 Математика 7 13 12 59 22 38
3 Історія України 22 23 29 9 3 0
4 Хімія 19 21 18 0 0 0
5 Фізика 12 13 16 62 44 15
6 Географія 24 26 27 0 0 0
7 Біологія 24 25 30 2 1 0
8 Англійська мова 20 12 16 0 0 0
9 Німецька мова 18 10 13 0 0 0
10 Французька мова 18 14 16 15 1 0
11 Іспанська мова 18 13 15 0 0 0

21. Як висновок, можна зазначити, що ЗНО має
певні переваги перед традиційними методами
вступних випробувань. Але воно також має істотні
недоліки й потребує обережності при практичному
застосуванні.
Тому результати ЗНО не повинні бути єдиним
критерієм при відборі абітурієнтів до ВНЗ. ЗНО є
обличчям системи освітнього тестування у цілому, а
його якість істотно впливає на якість відбору
студентів українських університетів та долю кожного
абітурієнта.

22. До основних проблем ЗНО належить необхідність
виконання існуючих вимог до розробки тестів,
зокрема:
- врахування впливу цільового призначення тесту на
вибір його структури та змісту, а також алгоритми
обробки результатів; необхідність створення різних
типів тестів для різних категорій абітурієнтів;
- використання контрольних груп й корегування
тестів з урахуванням показників якості;
- вибір методів призначення балів за правильні
відповіді з урахуванням їх складності;
- обґрунтування коректності перенесення
"правильних у середньому" результатів тестування
на кожного конкретного випробуваного.

23. Дякую за увагу