Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
СТАТИСТИЧНИЙ АНАЛІЗ ТЕСТІВ      ЗНО 2009 – 2011               Бахрушин В.Є.            д.ф.-м.н., професор,      академік ...
Педагогічний тест це система тестових завданьрізної складності, яка дає змогу якісно й ефективновимірювати рівень та струк...
З цих визначень випливає, що педагогічний тест є   певною моделлю знань, доповненою засобами   встановлення відповідності ...
Стосовно ЗНО з першої вимоги зокремавипливає необхідність принаймні трьох типів тестів,що відповідають таким моделям успіш...
До переваг тестування зазвичай зараховуютьтаке:• більша обєктивність порівняно з іншимиформами контролю;• більша справедли...
Основними недоліками тестування є:• тривалість, трудомісткість, висока собівартістьрозробки;•   звичайний     тест   не   ...
Далі будуть розглянуті деякі результати ЗНО2009, 2010 та 2011 р. Вихідні дані взято із офіційнихзвітів,     опублікованих ...
Надійність тестів ЗНО оцінюється задопомогою      коефіцієнта     α-Кронбаха,      якийколивається в межах. 0,80 – 0,97. Н...
Для тестів ЗНО-2010 частка дуже легкихзавдань коливається в межах від 0 до 10 %, ачастка дуже важких – в межах від 0 до 23...
Для тестів ЗНО-2011 частка дуже легкихзавдань коливається в межах від 0 до 10 %, ачастка дуже важких – в межах від 0 до 27...
Слід   зазначити,   що   висока     частка"оптимальних" за складністю (з погляду авторівзвіту)    тестових   завдань   зна...
Як приклад можна навести частки вибору окремихваріантів при виконанні завдання 45 тесту з ІсторіїУкраїни ЗНО-2010 (2 сесія...
Таких прикладів можна навести багато, алечастіше спостерігається дещо інша ситуація, количастка абітурієнтів, що обирає пр...
Частка завдань, для яких коефіцієнт кореляції не перевищує 0,3(тобто відсутня кореляція між успішністю виконання завдання ...
Непрямим показником якості тесту також єрозподіл підсумкових балів. Аналіз звітів пропідсумки ЗНО свідчить, що розподіл пе...
ЗНО-2011, Українська мова і література, першасесія, (кількість абітурієнтів = 112021)
ЗНО-2011, математика (145510)
ЗНО-2011, англійська мова (62601)
ЄГЕ-2008 (Росія), математика
Дисципліна               Мінімальний       Імовірність отримання                           первинний прохідний      прохід...
Як висновок, можна зазначити, що ЗНО має      певні переваги перед традиційними методами  вступних випробувань. Але воно т...
До основних проблем ЗНО належить необхідністьвиконання існуючих вимог до розробки тестів,зокрема: - врахування впливу ціль...
Дякую за увагу
Upcoming SlideShare
Loading in …5
×

Статистичний аналіз ЗНО 2009 - 2011

1,508 views

Published on

Основні результати опубліковані в:
http://scipeople.ru/publication/105074 (Вища освіта України. Тематичний випуск "Вища освіта України в контексті інтеграції до Європейського освітнього простору" / Ред. Кремень В.Г., Савченко О.Я., Маноха О.П. та ін. – 2011. - Додаток 2 до № 3. Т. 3 (28) – С. 29 – 35.);
http://scipeople.ru/publication/111134 (Higher Education in Ukraine: Internationalization, Reform, Innovation. International Conference. April 20-21, 2012. Kyiv, Ukraine);
http://www.anvsu.org.ua/index.files/Articles/Bakhruschin.htm

Published in: Education
  • Be the first to comment

  • Be the first to like this

Статистичний аналіз ЗНО 2009 - 2011

  1. 1. СТАТИСТИЧНИЙ АНАЛІЗ ТЕСТІВ ЗНО 2009 – 2011 Бахрушин В.Є. д.ф.-м.н., професор, академік АН вищої школи УкраїниКласичний приватний університет, м. Запоріжжя Vladimir.Bakhrushin@zhu.edu.ua 2011
  2. 2. Педагогічний тест це система тестових завданьрізної складності, яка дає змогу якісно й ефективновимірювати рівень та структуру підготовленостіучнів (В.С. Кім).Педагогічний тест – це система паралельнихзавдань зростаючої складності, специфічноїформи, визначеного змісту, яку створюють з метоюаргументованої оцінки рівня та структурипідготовленості учнів (В.С. Аванесов).
  3. 3. З цих визначень випливає, що педагогічний тест є певною моделлю знань, доповненою засобами встановлення відповідності знань конкретного випробуваного цієї моделі.Враховуючи, що будь-яка модель є цільовим, приблизним, неточним відображенням оригінала ми можемо зробити такі висновки:1. Для досягнення різних цілей потрібні різні тести.2. Якісний тест має розроблятися згідно з певними правилами, що забезпечують його якість, зокрема передбачають перевірку цієї якості3. Навіть хороший тест дає результати, придатні для певного усередненого учня, але результати тестування окремих учнів можуть виявитися помилковими.
  4. 4. Стосовно ЗНО з першої вимоги зокремавипливає необхідність принаймні трьох типів тестів,що відповідають таким моделям успішного студента(для різних напрямів підготовки й різних ВНЗ): 1) абітурієнт, що швидко відповідає навелику кількість відносно простих питань; 2) абітурієнт, що може правильно вирішуватискладні завдання; 3) абітурієнт, що може навчатися.Для перевірки якості тесту зазвичай використовуютьтакі показники, як надійність й валідність. Крімцього необхідно визначати якість окремих завдань,зокрема: рівень їх складності; коефіцієнткореляції; коефіцієнт (індекс) дискримінації.
  5. 5. До переваг тестування зазвичай зараховуютьтаке:• більша обєктивність порівняно з іншимиформами контролю;• більша справедливість;• більш повне охоплення всього навчальногоматеріалу;• більша точність оцінювання;• економічна ефективність;• порівняно малі витрати часу на контроль.Але всі ці переваги виявляються, якщо тест єякісним.
  6. 6. Основними недоліками тестування є:• тривалість, трудомісткість, висока собівартістьрозробки;• звичайний тест не виявляє причиннезадовільних відповідей студентів;• тестування не дає змоги перевіряти рівнізнань, що повязані із творчістю, глибокиманалізом проблем тощо;• результати тестування містять випадковускладову.
  7. 7. Далі будуть розглянуті деякі результати ЗНО2009, 2010 та 2011 р. Вихідні дані взято із офіційнихзвітів, опублікованих на сайті УЦОЯО(http://www.testportal.gov.ua). Особливістю цих тестів є наявність офіційноїстатистики; великі обсяги вибірок, що підвищуєдостовірність статистичних показників; а такожнаявність спеціалізованого центру тестування, щомало б забезпечити дотримання науковообґрунтованої процедури розробки тестів. Валідність тестів ЗНО не визначається черезнеобхідність забезпечення таємності завдань. Але євідомості про слабку (на рівні 0,3 – 0,5) кореляціюрезультатів ЗНО з оцінками першокурсників.
  8. 8. Надійність тестів ЗНО оцінюється задопомогою коефіцієнта α-Кронбаха, якийколивається в межах. 0,80 – 0,97. Найнижчізначення характерні для тестів з біології, географії,історії України та фізики. Слід зазначити, що за результатамимоделювання, цей показник може бути доситьвисоким (0,95 – 0,98) навіть при високому рівнівипадковості відповідей. Тому його високі значенняне можуть вважатися достатньою умовою длявисновку про якісність аналізованих тестів безврахування інших показників надійності. Але длятестів ЗНО такі дані відсутні
  9. 9. Для тестів ЗНО-2010 частка дуже легкихзавдань коливається в межах від 0 до 10 %, ачастка дуже важких – в межах від 0 до 23 %. Прицьому, дуже легких завдань немає у тестах зматематики, історії України (2 сесія), фізики,географії, англійської та німецької мов, анайбільшою їх частка є в тестах з українськоїмови та літератури (1 сесія) та іспанської мови(10 %). Дуже складних завдань немає в тесті зіспанської мови, а найбільшою їх частка є втестах з фізики (23 %) та математики (17 – 19 %).
  10. 10. Для тестів ЗНО-2011 частка дуже легкихзавдань коливається в межах від 0 до 10 %, ачастка дуже важких – в межах від 0 до 27 %. Прицьому, дуже легких завдань немає у тестах зфізики, хімії, географії, англійської, німецької тафранцузької мов, а найбільшою їх частка є втесті з російської мови (10 %). Дуже складних завдань немає в тестах зукраїнської мови та літератури (2 сесія) таіспанської мови, а найбільшою їх частка є втестах з фізики (27 %) та математики (23 %).
  11. 11. Слід зазначити, що висока частка"оптимальних" за складністю (з погляду авторівзвіту) тестових завдань значною міроюзумовлена високою часткою завдань звибором відповіді. Тому навіть у випадках, колинаведені дані свідчать про випадковий характервибору відповіді на певне питання (частоти виборує приблизно однаковими для всіх відповідей), цепитання зазвичай потрапляє до "оптимальних".Така помилка зумовлена тим, що організаториЗНО не здійснюють передбаченого теорієютестування корегування результатів і оцінок наімовірність вгадування.
  12. 12. Як приклад можна навести частки вибору окремихваріантів при виконанні завдання 45 тесту з ІсторіїУкраїни ЗНО-2010 (2 сесія): Ліквідація раднаргоспів удругій половині 1960-х років призвела до: А)Розширення господарських прав республік – 30,33 %;Б) Посилення централізованості планування – 21,78% (правильна відповідь); В) Ліквідації директивногопланування – 20,22 %; Г) Утворення вільнихекономічних зон – 27,45 %. Тобто частка вибору тієїчи іншої відповіді коливається поблизу 1/4 = 25 %. Цесвідчить про те, що частка абітурієнтів, які зналиправильну відповідь на це питання, насправді єблизькою до нуля.
  13. 13. Таких прикладів можна навести багато, алечастіше спостерігається дещо інша ситуація, количастка абітурієнтів, що обирає правильну відповідь, єдещо більшою. Наприклад розподіл вибору відповідей назавдання 39 з Історії України ЗНО-2010 (2 сесія) єтаким: 17,65; 11,45; 14,12 та 56,63 % (правильною єчетверта відповідь). Але ми бачимо, що відсоток тих,хто обирає відповідь шляхом вгадування дорівнюєблизько 15 %. Тому насправді кількість тих, хто знавправильну відповідь у цьому завданні є істотноменшою, ніж 56,63 %, і знаходиться приблизно вмежах 40 – 45 %.
  14. 14. Частка завдань, для яких коефіцієнт кореляції не перевищує 0,3(тобто відсутня кореляція між успішністю виконання завдання і підсумковим балом з тесту) Дисципліна ЗНО- ЗНО-2010 ЗНО-2011 2009 Українська мова та 0,47 0,21 – 0,38** 0,18 – 0,31** література Математика 0,03 0,06 – 0,14** 0,17 Історія України 0,59 0,58 – 0,75** 0,62 Фізика 0,43 0,24 0,53 Хімія 0,25 0,28 0,27 Біологія 0,63 0,67 0,62 Географія 0,47 0,78 0,53 Англійська мова 0,38* 0,37 0,33 Іспанська мова 0,16* 0,12 0,05 Німецька мова 0,11* 0,17 0,18 Французька мова 0,27* 0,28 0,40 Російська мова – – 0,52
  15. 15. Непрямим показником якості тесту також єрозподіл підсумкових балів. Аналіз звітів пропідсумки ЗНО свідчить, що розподіл первиннихбалів за різними дисциплінами є доситьрізнотипним. Характер розподілу залежить не тільки відякості самого тесту але й від об’єктивного розкидурівня знань учнів. Але спосіб обробкирезультатів тестування має його враховувати.Крім того, методи оцінювання якості тестів убагатьох випадках базуються на певнихприпущеннях про вид розподілу (як правиловони передбачають нормальність, чи принаймніоднорідність розподілу) і мають бути скореговані увипадках, коли ці припущення не виконуються.
  16. 16. ЗНО-2011, Українська мова і література, першасесія, (кількість абітурієнтів = 112021)
  17. 17. ЗНО-2011, математика (145510)
  18. 18. ЗНО-2011, англійська мова (62601)
  19. 19. ЄГЕ-2008 (Росія), математика
  20. 20. Дисципліна Мінімальний Імовірність отримання первинний прохідний прохідного балу бал (% від шляхом вгадування, % максимально можливого) 2009 2010 2011 2009 2010 2011 1 Українська мова та 23 25 23 – 0 0 0 література 26 2 Математика 7 13 12 59 22 38 3 Історія України 22 23 29 9 3 0 4 Хімія 19 21 18 0 0 0 5 Фізика 12 13 16 62 44 15 6 Географія 24 26 27 0 0 0 7 Біологія 24 25 30 2 1 0 8 Англійська мова 20 12 16 0 0 0 9 Німецька мова 18 10 13 0 0 010 Французька мова 18 14 16 15 1 011 Іспанська мова 18 13 15 0 0 0
  21. 21. Як висновок, можна зазначити, що ЗНО має певні переваги перед традиційними методами вступних випробувань. Але воно також має істотні недоліки й потребує обережності при практичному застосуванні. Тому результати ЗНО не повинні бути єдиним критерієм при відборі абітурієнтів до ВНЗ. ЗНО єобличчям системи освітнього тестування у цілому, а його якість істотно впливає на якість відборустудентів українських університетів та долю кожного абітурієнта.
  22. 22. До основних проблем ЗНО належить необхідністьвиконання існуючих вимог до розробки тестів,зокрема: - врахування впливу цільового призначення тесту навибір його структури та змісту, а також алгоритмиобробки результатів; необхідність створення різнихтипів тестів для різних категорій абітурієнтів; - використання контрольних груп й корегуваннятестів з урахуванням показників якості; - вибір методів призначення балів за правильнівідповіді з урахуванням їх складності; - обґрунтування коректності перенесення"правильних у середньому" результатів тестуванняна кожного конкретного випробуваного.
  23. 23. Дякую за увагу

×