Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ЯКІСТЬ ОСВІТИ В УНІВЕРСИТЕТАХ УКРАЇНИ: ОЦІНКУ СТАВЛЯТЬ СТУДЕНТИ

ДО РЕАЛІЗАЦІЇ ПРОЕКТУ

«ВСЕУКРАЇНСЬКИЙ ДОСЛІДНИЦЬКИЙ ПОРТАЛ ЗАБЕЗПЕЧЕННЯ ЯКОСТІ ВИЩОЇ ОСВІТИ»

(“UKRAINIAN QUALITY ASSURANCE E.SERVICE FOR EDUCATION”) : 2019 – 2020

КИЇВ – 2020

Related Books

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

  • Be the first to like this

ЯКІСТЬ ОСВІТИ В УНІВЕРСИТЕТАХ УКРАЇНИ: ОЦІНКУ СТАВЛЯТЬ СТУДЕНТИ

  1. 1. ЯКІСТЬ ОСВІТИ В УНІВЕРСИТЕТАХ УКРАЇНИ: ОЦІНКУ СТАВЛЯТЬ СТУДЕНТИ ГРОМАДСЬКА ОРГАНІЗАЦІЯ ЕЛІБУКР У ПАРТНЕРСТВІ З НАЦІОНАЛЬНИМ УНІВЕРСИТЕТОМ «КИЄВО-МОГИЛЯНСЬКА АКАДЕМІЯ» ТА НАЦІОНАЛЬНИМ АГЕНТСТВОМ ІЗ ЗАБЕЗПЕЧЕННЯ ЯКОСТІ ВИЩОЇ ОСВІТИ ЗА ПІДТРИМКИ ПОСОЛЬСТВА БОЛГАРІЇ  В УКРАЇНІ ДО РЕАЛІЗАЦІЇ ПРОЕКТУ «ВСЕУКРАЇНСЬКИЙ ДОСЛІДНИЦЬКИЙ ПОРТАЛ ЗАБЕЗПЕЧЕННЯ ЯКОСТІ ВИЩОЇ ОСВІТИ» (“UKRAINIAN QUALITY ASSURANCE E. SERVICE FOR EDUCATION”) : 2019  – 2020 КИЇВ – 2020
  2. 2. ПРО ЕЛІБУКР Громадська організація ЕЛІБУКР (засн. у 2009 р.) з метою сприяння інтеграції вищої освіти та науки України у світовий академічний простір. Проекти ЕЛІБУКР спрямовані на розвиток наукової комунікації, відкритої науки та відкритого доступу до наукової інформації, академічної доброчесності, якості освіти. Детальніше: http://elibukr.org 02
  3. 3. 02 Національний університет «Києво-Могилянська академія» (засн. у 1615 р., відновлено з 1991 р.) – класичний дослідницький університет, ініціатор більшості інновацій в галузі вищої освіти України. Детальніше: http://www.ukma.edu.ua Національне агентство із забезпечення якості вищої освіти (засн. у 2015 р.) - незалежний, постійно діючий колегіальний орган, який реалізовує державну політику у сфері забезпечення якості вищої освіти. Розглядає себе як каталізатор змін у вищій освіти України з метою формування культури її якості. Детальніше: https://naqa.gov.ua Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 03 ПАРТНЕРИ ПРОЕКТУ
  4. 4. ЧОМУ ПРОЕКТ ВАЖЛИВИЙ Студенти є стейкголдерами та реальними учасниками системи забезпечення якості освітньої діяльності своїх університетів. Їхня думка важлива для оцінювання якості викладання, а також для розвитку навчальних курсів та освітніх програм. Одним з головних інструментів оцінювання якості закладів вищої освіти є регулярні опитування студентів. На жаль, такі опитування, зокрема в Україні, досі не стали повсякденною практикою для більшості закладів вищої освіти. Також поки що не створені алгоритми системного врахування їхніх результатів. Проект має на меті змінити ситуацію на краще через розробку технічного та методологічного рішення для проведення опитувань студентів (також, при потребі, опитувань будь яких інших стейкголдерів, зокрема випускників і працедавців) та створення відповідного незалежного Всеукраїнського дослідницького порталу забезпечення якості вищої освіти. Забезпечення якості вищої освіти є вимогою сучасності, незаперечним пріоритетом для академічної спільноти й державної освітньої політики країн Єдиного європейського простору вищої освіти та інших розвинених країн світу. Освіта і наука впливають на всі структурні елементи будь-якого суспільства, виступають чинником його модернізації, технологічного та інноваційного розвитку. Вони також включаються до параметрів національної безпеки. Без перебільшення, від якості вищої освіти залежить майбутнє країни. ЯК ОЦІНИТИ ЯКІСТЬ ОСВІТИ В УКРАЇНСЬКИХ ЗАКЛАДАХ ВИЩОЇ ОСВІТИ? Переконатися, чи розвивається та реагує ун верситет на виклики часу, на потреби ринку прац ? 1 2 Пор вняти? 04
  5. 5. Національний університет «Києво-Могилянська академія»   - найстаріший університет України (засн. у 1615 р.),  нині класичний дослідницький університет, ініціатор більшості інновацій у вищій освіті України після 1991 р. ЧОМУ ПРОЕКТ СТАРТУВАВ У МОГИЛЯНЦІ? Якість освіти завжди була і залишається ключовим пріоритетом для НаУКМА. Вимогливість, нульова толерантність до будь-яких проявів академічної недоброчесності, відсутність корупції, критичне мислення й атмосфера справжньої академічної свободи є ознаками внутрішньої культури цього університету. Серед складових системи внутрішнього забезпечення якості освіти  в НаУКМА ще з 1990-х років були регулярні опитування студентів стосовно якості навчальних курсів та якості викладання. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 05
  6. 6. Ось як про це розповідає президент НаУКМА (2007-2014), Міністр освіти України (2014-2016), Голова Національної Агенції забезпечення якості вищої освіти (з 2017 р.) професор «Спочатку перед нами стояло завдання відновити регулярні студентські опитування перед кожною сесією стосовно якості навчальних курсів і якості викладання. Ще у 1990-х роках у Могилянці проводилися такі опитування на паперових носіях і вільно поширювалися по університету у зведених файлах. Тоді студентам було досить просто заповнити анкети з кількома запитаннями – й відразу віддати їх волонтерам. Тепер ситуація змінилися у глобальному вимірі, оскільки перехід на on-line опитування в усіх університетах світу призвів до різкого зменшення участі студентів. Тепер вони повинні знайти час і натхнення на персональну реєстрацію та заповнення відразу багатьох анкет з усіх предметів певної сесії. На моє запитання про те, як краще можна було б залучати студентів до проведення таких опитувань, одна з керівників Європейської студентської спілки (ESU) Лія Майстер на симпозіумі у Брюсселі у червні 2017 року відповіла таким чином: по-перше, для того, щоб студенти не сприймали заклики до опитувань як спам, їхню увагу мають привертати самі викладачі, приділяючи для цього час на останніх парах під час власних курсів. По-друге, студенти мають відчувати, що їхня участь в опитуваннях впливає на ситуацію в університеті. СЕРГІЙ КВІТ 06
  7. 7. Таким шляхом вирішила йти Києво- Могилянська академія – даючи час і можливість студентам реєструватися й відповідати на питання анкети на останній парі перед початком сесії. Тепер, згідно з «Положенням про освітній процес НаУКМА», on-line опитування стало частиною самого навчання. Вважається, що студент завершив курс тоді, коли він його прослухав, оцінив і склав іспит або залік. Важливо підкреслити, що тут немає примусу. Студенти визнають важливість регулярного опитування, розуміють, що в такий спосіб вони можуть впливати на якість Могилянки. Однак, як це не парадоксально, – часто не знаходять для цього часу. Також вони задають питання про дотримання анонімності. НаУКМА, зі свого боку, підкреслює, що таке опитування може і повинно бути лише анонімним. Воно має стати частиною академічної культури Києво- Могилянської академії для з’ясування реального стану справ, врахування позиції студентів (у т.ч. через відповіді на відкриті запитання), поширення позитивного викладацького досвіду, сприяння піднесенню академічної якості університету». Джерело: Сергій Квіт. Забезпечення якості сучасного університету (2017): https://bit.ly/2RLIMbt Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 07
  8. 8. Національний університет «Києво-Могилянська академія» (м.Київ) Харківський національний університет імені В.Н.Каразіна (м.Харків) Ужгородський національний університет (м.Ужгород) Донецький національний університет імені Василя Стуса (м.Вінниця) Донецький національний технічний університет (м. Покровськ Донецької обл.) Чорноморський національний університету імені Петра Могили (м.Миколаїв) Багатолітній досвід НаУКМА в організації, проведенні та узагальненні даних студентських опитувань щодо якості викладання та навчання, у т.ч. в сучасному он-лайн форматі, дозволило побудувати модель, яку можна рекомендувати іншим університетам та масштабувати в межах всієї країни. Пілотний проект Всеукраїнського дослідницького порталу забезпечення якості вищої освіти нині проходить апробацію в 6 університетах України (в т.ч. у 2 переміщених з тимчасово окупованих територій) 08 Всеукраїнський дослідницький портал забезпечення якості вищої освіти
  9. 9. ДОСЛІДЖЕННЯ Проведений аналіз продемонстрував винятково важливе й центральне місце систематичних опитувань студентів щодо якості викладання та навчання у внутрішній системі забезпечення якості освіти. Проведений аналіз міжнародного досвіду щодо системи забезпечення якості освіти, зокрема, через вивчення нормативних документів та проектів Асоціації Європейських університетів (з розвитку культури якості в європейських університетах), The European Network for Quality Assurance in Higher Education, Європейські стандарти і рекомендації щодо забезпечення якості в Європейському просторі вищої освіти (ESG), проект «Система забезпечення якості освіти в Україні QUAERE-562013-EPP-1-2015- 1-PLEPPKA2-CBHE-SP: Розвиток на основі європейських стандартів та рекомендацій» (опитування 217 внз України, 2016) та ін., а також відповідного досвіду різних університетів світу (Університети Торонто, Альберти в Канаді, Глазго у Сполученому Королівстві, Маастрихту у Нідерландах, Стенфордський, Прінстонський та Ратгерський в США та ін.). Предметом дослідження стала лише одна ключова компонента системи – опитування студентів щодо якості викладання, водночас були проаналізовані й інші дотичні складові (на які вказують зазвичай респонденти): процеси забезпечення якості освіти у викладанні та навчанні; оцінювання; процедури перегляду та моніторингу навчальних програм; кваліфікація викладацького складу; навчальні ресурси та підтримка студентів; інформаційні системи тощо. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 09
  10. 10. 25,200 В Україні опитування студентів проводяться в різних формах у багатьох закладах вищої освіти, принаймні про це свідчать дані дослідження 2016 р.: «Регулярне опитування студентів щодо якості освітньої діяльності проводиться у 176 вищих навчальних закладах України» (див. https://bitly.su/erCYVSCY). Проте лише 20% стосуються власне якості освітніх програм. Як правило, ЗВО не мають врегульованих норм врахування результатів опитувань студентів та вжиття відповідних заходів за результатами цих опитувань. Лише в окремих університетах студентам, які брали участь в опитуваннях, надається інформація про результати та заходи, вжиті на основі цих результатів. Така тенденція не дозволяє сформувати у студентів усвідомлення того, що саме вони є реальними учасниками системи забезпечення якості освітньої діяльності. 75% Про як сть роботи науково- педагог чних прац вник в *дан досл дження 2016 р.: "Регулярне опитування студент в щодо якост осв тньої д яльност " Чи зд йснюються у вашому навчальному заклад регулярн опитування студент в?* 20% Про як сть осв тн х програм 5% Опитування не зд йснюються Такі опитування є в провідних університетах світу важливим компонентом студентоцентрованого (студентоорієнтованого) навчання. Вони дозволяють краще врахувати потреби й запити студентів, а також виступають інструментом забезпечення академічної доброчесності та протидії корупції. 10
  11. 11. ЗАГАЛЬНІ ТЕНДЕНЦІЇ У ПРОВЕДЕННІ ОПИТУВАНЬ Лише їх послідовне вирішення дозволяє отримати результати, які будуть надійними, валідними, консистентними та репрезентативними, а отже дадуть можливість зробити висновки щодо якості викладання дисциплін, оцінити наявні тенденції. Забезпечення конфіденційності та анонімності респондентів (студентів). Унеможливлення маніпулювання результатами як на рівні викривлення кількості чи заповнення анкет, так і на рівні інтерпретації та подальшого використання результатів. Забезпечення високого рівня участі студентів (response rate) та, наприклад, відсоток відповідей до загальної кількості студентів, які слухали дисципліну). Залученість і зацікавленість викладачів та адміністрації вищих навчальних закладів в конструктивному використанні отриманих результатів для поліпшення якості викладання та освітніх програм. В організації таких опитувань зазвичай є кілька основних проблемних аспектів: Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 11
  12. 12. ДОСВІД НаУКМА Єдиний портал, який розроблено у відповідності до проекту, гарантує збереження анонімності та конфіденційності кожного респондента Регулярн опитування студент в проводилися в Нац ональному ун верситет «Києво-Могилянська академ я» ще з середини 1990-х рок в, а в д 2016 року вони повн стю перейшли у формат онлайн. Важливо, що ц опитування зд йснюються на регулярн й основ (трич на р к, перед кожною сес єю). В рамках проекту проведено детальний анал з попереднього досв ду опитувань в НаУКМА, особливо щодо масового залучення студент в, терм н в його проведення (це необх дно робити до отримання результат в оц нювання на спит чи зал ку) чи релевантност отриманих результат в лише зареєстрованим на той чи нший курс студентам, моніторингу результатів впродовж тривалішого (ніж один семестр) терміну, кореляції результатів до загальної успішності, аналізі використання та врахування результатів для прийняття академічних чи адміністративних заходів тощо. Було детально проаналізовано методологію опитування (підготовка дослідницького інструментарію, збору, обробки та інтерпретації результатів тощо). На підставі вивчення досвіду НаУКМА та відповідного дослідження, запропоновано методологічне та технічне рішення (створення порталу), що надає українським університетам можливість запровадити систематичні та консистентні студентські опитування щодо якості викладання. 12
  13. 13. ПРО РІВЕНЬ УЧАСТІ СТУДЕНТІВ З переходом від паперових до онлайн опитувань рівень участі студентів (response rate) спадає. Для вирішення проблеми пропонувалось багато рішень, у т.ч. запровадження обов’язковості участі для складання дисципліни до опитувань інтерв’юєрами face-to-face за допомогою планшетів (що виявилось дуже затратним). Найбільш дієвим способом підвищення рівня участі виявилась робота з викладачами та прохання (або прямо сформульована вимога) щодо приділення часу на заповнення електронної анкети під час останнього семінарського або лекційного заняття. Отже, інформаційну роботу, включно з рекламними кампаніями, СММ- кампаніями та персоналізованими розсилками щодо важливості опитування слід проводити не тільки зі студентами, але й з викладачами, серед яких, на жаль, подекуди спостерігається спротив ідеї та проведенню таких опитувань. Підвищення рівня участі студентів та відповідно повніше використання результатів опитування в навчальному процесі можливе тільки через формування та поширення культури подібних опитувань, розуміння, що вони не є тимчасовою забаганкою, а є невід’ємною частиною навчання, освітнього процесу як на університетському, так і на національному рівні та ширше, університетського життя. Тобто фактично мова йде про формування (корпоративної/інституційної) культури проведення таких систематичних опитувань та забезпечення високого рівня довіри до них на всіх етапах. Звичайно, якщо мова йде про довіру, принциповим стає питання уникнення маніпуляцій та забезпечення анонімності й конфіденційності респондентів. Інформація про відповіді студентів, їх розподіли та результати опитування, до яких мають доступ викладачі та адміністрація, – це завжди агрегована, узагальнена інформація, за якою не є можливим ідентифікувати окремого студента чи студентку. Студентські опитування - невід’ємна частина університетського життя Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 13
  14. 14. Слід зазначити, що із запровадженням авторизації, рівень участі студентів в НаУКМА спочатку суттєво знизився (майже вдвічі). Частково це може бути пояснене особливістю процесу реєстрації в системі, небажанням витрачати додатковий час на реєстрацію чи виконувати якісь додаткові дії взагалі, зникненням ефекту новизни. Серед основних причин низької активності також називалися відсутність зворотного зв’язку (яким чином студентське опитування вплинуло на перегляд навчальних курсів конкретної кафедри, роботу конкретного викладача). На наступних етапах опитування рівень участі знов дещо підвищився (до 21% і далі до 43%), якщо рахувати середнє по університету по всіх спеціальностях та роках навчання. Проте слід зауважити, що кількість анкет по переважній більшості дисциплін складає менше 10, лише кілька дисциплін з усього університету мали показники участі слухачів на рівні більше 60%. З позитивних моментів відзначимо, що рівень участі серед студентів 1-2 курсу є вищим, ніж серед студентів старших курсів, особливо магістерських програм. Продовжує лишатися актуальною постійна потреба ширшого інформування студентів про опитування, особливості його За чотири роки онлайн опитування студентів щодо якості навчання та викладання в НаУКМА відсоток довіри до е- сервісу зростав: від 10- 12% від загальної кількості студентів на перших етапах до понад 53% в останній рік. проведення та опрацювання результатів, гарантії анонімності при аналізі відповідей, загалом про роль та важливість результатів опитування для покращення освітнього процесу. Наголошуємо на важливості корпоративної або інституційної культури опитувань та надання зворотного зв’язку і потреби конструктивної критики загалом, як на рівні студентів, так і на рівні викладачів і адміністрації ЗВО. Важливим є позиціонування студентських опитувань як таких, що є не тимчасовим явищем, а невід’ємною частиною навчання та ширше, університетського життя. А також лише однією, хоч і дуже важливою, зі складових процесу оцінювання якості викладання. 14
  15. 15. ПРО ОСОБЛИВОСТІ ВИКОРИСТАННЯ РЕЗУЛЬТАТІВ ОПИТУВАНЬ В  СИСТЕМІ ЗАБЕЗПЕЧЕННЯ ЯКОСТІ ВИКЛАДАННЯ консистентність, надійність, тяглість та повторюваність результатів; впевнившись, що отримані дані не є винятками, а свідчать про систематичні успішні практики чи перемоги або проблемні моменти чи недоліки. Водночас, під час обговорення результатів та їх використання потрібно наголошувати, що йдеться насамперед про оцінювання якості саме викладання навчальних дисциплін, а не викладачів. Цілком можливо, що один і той самий викладач матиме різні «оцінки» за різні дисципліни, особливо, якщо вони читаються студентам різних спеціальностей чи факультетів. Тож «високі/низькі оцінки» окремо взятих курсів за рік чи два не можуть розглядатися як достатня підстава для висновків щодо викладачів, проте, безперечно, є сигналом для кафедри щодо потреби моніторингу ситуації. Також слід зважати на те, що студенти різних програм та різних років можуть мати різні середні чи базові лінії – тобто оцінювати всі дисципліни більш чи менш критично. Відповідно, «оцінки», як такі, не є достатніми для формування висновків – також мають бути враховані їхня динаміка, тенденції, «відкриті відповіді» та відповідні тренди. Від опитування про якість викладання навчальних дисциплін не можна очікувати миттєвих результатів, хоч певні очікування такого ґатунку можуть скластися як у студентів, так і у викладачів, особливо тих, які активно долучаються до цього процесу. Відповідно, має сенс вести інформаційну кампанію з наголосом, що відповіді на питання анкети сьогодні допоможуть покращити викладання дисциплін для студентів наступних років (завтра), і що опитування не може використовуватися як елемент «зведення рахунків», як і не є чарівною паличкою для миттєвих покращень (впродовж року). Змістовно та продуктивно використовувати результати опитувань можна тільки зафіксувавши певну Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 15
  16. 16. Зокрема все це говорить про потребу напрацювання політик поширення результатів опитування, забезпечення дотримання максимальної приватності всіх зацікавлених осіб разом з якомога повнішим використанням результатів в навчальному процесі. Важливим є і наголос на гарантіях забезпечення анонімності та конфіденційності студентів, які взяли участь в опитуваннях, навіть у ситуаціях, коли вони не заперечують відкриття своїх імен. Принципово важливим є формування розуміння, що студенти та викладачі є не антагоністами чи супротивниками, але колегами та союзниками, які об’єднані спільною метою та спільною справою. Конструктивна та позитивна налаштованість всіх учасників освітнього процесу на результат – забезпечення та покращення якості навчання й викладання – є запорукою успіху. Конструктивна та позитивна налаштованість всіх учасників освітнього процесу на результат Окремо варто зауважити, що опитування студентів щодо якості викладання дисциплін має сенс доповнити опитуванням викладачів щодо своєї професійної діяльності в ЗВО та опитуванням викладачів і студентів щодо роботи адміністративних відділів (для студентів – наприклад, деканатів). 16
  17. 17. Викладач(ка) добре пояснював(ла) матеріал на лекції. Курс зацікавив мене та сприяв моєму інтелектуальному розвитку. Загалом я задоволений(а) якістю курсу. Я задоволений(а) лекціями та семінарами однаковою мірою. Я задоволений(а) тим, як викладач(ка) за потреби допомагав(ла) мені, надавав(ла) достатньо коментарів та «зворотного зв’язку». Викладач(ка) заохочував(ла) активну участь студентів. Тематичний матеріал курсу був добре структурований. Курс був достатньо забезпечений літературою, інформаційними та матеріально-технічними ресурсами. Система оцінювання була зрозумілою та відповідала змісту дисципліни. Порівняно з іншими дисциплінами, ця була… Практичні заняття та/або семінари допомогли мені глибше зрозуміти зміст дисципліни. Оцінювання викладача(ки) було справедливим. Перелік «закритих» питань- тверджень: СТРУКТУРА ОПИТУВАЛЬНИКА ЩОДО ЯКОСТІ ВИКЛАДАННЯ ДИСЦИПЛІН В НАУКМА Початково опитування в НаУКМА проводилось за анкетою з 12 закритих питань-тверджень, з якими студенти (респонденти) мали погодитися або не погодитися (за шкалою від 5 до 1). Обсяг анкети у 12-14 питань є на межі оптимального, а її збільшення навіть на 3-4 питання з достатньо великою ймовірністю знизить рівень відповідей / заповнень. Що найбільше сподобалося під час вивчення дисципліни? Що найбільше не сподобалося і що можна було б змінити?). Також анкета містила два (2) відкриті питання: Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 17
  18. 18. Проблемним моментом було і залишається питання оцінювання тих дисциплін, які викладаються декількома викладачами, в найбільш поширеному варіанті – лекції та семінари читають різні люди. На етапі підготовки анкети та опитування, було вирішено, що на такі курси студенти мають заповнити анкету один раз, вказавши у відповідному рядку прізвища обох (всіх) викладачів. Змістовно, питання анкети дозволяються розділити їх на ті, що стосуються лекцій та ті, в яких йдеться радше про семінари. Такий підхід виходив з припущення, що необхідність заповнювати одну й ту саму анкету на кожного окремого викладача знизить рівень відповідей загалом. Проведене пілотне опитування показало, що в більшості випадків студенти заповнювали анкету або вказуючи прізвища двох викладачів, як передбачалось, або ж виключно прізвище викладача семінарів. В останньому випадку у відповіді на перше відкрите питання часто зазначали, що лекції вів інший викладач, та своє від них враження. У декількох поодиноких випадках, студенти не полінувались заповнити анкету два рази на кожного викладача, але у всіх них фіксується кардинальний розрив в оцінці рівня викладання лекцій та семінарів (в більшості випадків – лекції оцінюються дуже гарно, тоді як семінари – погано). Проте, потреба заповнити дві анкети (чи навіть три) на одну й ту саме дисципліну не сприяє підвищенню рівня залученості студентів та кількості відповідей. Більше того, викликає питання, наскільки студенти можуть відмежувати враження від лекцій та семінарів та відповідно різних викладачів одне від одного. Опитування проводиться впродовж останніх кількох тижнів викладання перед сесією і загалом, на цей час студенти мають більш-менш цілісні та інтегровані враження про дисципліну. 18
  19. 19. СИСТЕМА ОЦІНЮВАННЯ Окрему увагу в опитуванні (анкеті) було приділено системі оцінювання та справедливості оцінювання. Аналіз результатів, зокрема з залученням відповідей на відкриті питання, показав що у своїх відповідях студенти розводять думку щодо системи оцінювання та її адекватності й прозорості, відповідності змісту дисципліни («Система оцінювання була зрозумілою та відповідала змісту дисципліни») та враження від справедливості оцінювання викладача («Оцінювання викладача(ки) було справедливим»). Зважаючи, що питання оцінювання та ставлення викладачів обговорюється студентами у відкритих відповідях чи не найбільше, є дуже вдалим, що й закриті питання дозволяються зафіксувати це. Наприклад, дуже часто студенти зазначали, що система оцінювання є адекватною та зрозумілою, проте власне оцінювання не є справедливим. Звичайно, наявність відкритою відповіді допомагає конкретизувати проблему, наприклад, часто було уточнення щодо наявності різних викладачів, упередженого ставлення тощо. «Тестування» анкети в реальних умовах, а саме кількох хвилях опитування в НаУКМА показало, що питання «Я задоволений/а лекціями та семінарами однаковою мірою» неоднозначно трактувалось респондентами, і відповідно було вилучено з анкети. Отже, до певної міри проблема опитування на дисциплінах з співвикладанням потребує подальшого тестування інструментарію. Варто зауважити і те, що для різних ЗВО або навіть різних факультетів та спеціальностей можуть підходити різні рішення. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 19
  20. 20. «Я би радила/в іншим «Яку оцінку Ви розраховуєте отримати з цієї дисципліни?» «Скільки годин на тиждень Ви витрачали на підготовку до Окремо слід зауважити, що опитування важливо провести до початку сесії, зокрема залікової, бо фактична отримана оцінка з дисципліни не має впливати на відповіді респондентів. Після перших двох етапів опитування, анкету було відредаговано. Як вже було зазначено, одне питання вилучили, натомість додавши питання про готовність порекомендувати цей курс іншим, про очікувану оцінку з дисципліни (відповідь в діапазоні А-Е за шкалою ЕКТС) та суб’єктивну оцінку часу, потрібного для підготовки до занять (інтервальна оцінка): записатись на цей курс» занять з цієї дисципліни?» Використання анкети в наступних хвилях опитування показало, що «закриті питання» анкети працюють добре, зокрема не дублюють одне- одне. Також слід зауважити, що загалом перелік питань анкети та застосована методологія як анкети, так і опитування відповідають та є суголосними тим, що використовуються в західних університетах для оцінювання якості викладання дисциплін. Теоретично, до анкети може бути додане ще одне-два (1-2) питання. Також, анкета може бути відкоректована під потреби окремого ЗВО. На рівні Єдиного порталу та за участі Національного агентства із забезпечення якості вищої освіти має сенс визначити ключові питання, які будуть у всіх анкетах (ядро) та варіативну частину, що може відрізнятися. Хоча рівень участі в опитуванні в НаУКМА не дозволяє, назагал, говорити про певні кореляції чи їх відсутність, проте можна говорити про певні тенденції принаймні для окремих дисциплін – наприклад, очікувано спостерігалися відповідність рівня задоволеності курсом та готовності порекомендувати його іншим студентам. Між тим, такої відповідності не спостерігається між складністю курсу й/ або очікуваною оцінкою та задоволеністю й/або готовністю порекомендувати його. Проте знов слід наголосити, що це тільки попередні висновки, чи навість гіпотези, і для більш надійних та репрезентативних загалом потрібні вищі показники участі студентів. 20
  21. 21. ОСОБЛИВОСТІ ІНТЕРПРЕТАЦІЇ ЯКІСНОЇ ЧАСТИНИ АНКЕТИ (ВІДКРИТИХ ВІДПОВІДЕЙ) З великою ймовірністю більшій частині українських університетів, включно з НаУКМА, потрібно буде пройти довгий шлях до забезпечення стабільно високих показників рівня участі студентів у опитуванні (80%) та вибудови відповідної корпоративної культури (спів)участі та довіри. Відповідно, актуальною є проблема недостатньої кількості відповідей для проведення кількісного аналізу «закритих питань» анкети. Водночас, неможливість кількісного аналізу результатів не виключає обговорення й інтерпретації якісних даних, а саме відповідей на дві відкритих питання. Тут варто пам’ятати про обмеження, які накладають особливості якісної методології – а саме те, що фіксується не стільки розповсюдженість, скільки спектр думок та основні змістовні категорії без зазначення їх рівня поширеності. Також, обмеженням є неможливість робити однозначні висновки з приводу будь-якого окремо взятого курсу чи викладача. Більше того, за низьких показників участі рівень заповненості відкритих відповідей є достатньо високим – може навіть перевищувати 50% (тобто – більше половини заповнених анкет мають відповіді на відкриті питання). Зазвичай цей показник є на рівні до 25% (до чверті анкет). Частково це пов’язана з феноменом самовідбору – найперше та найактивніше анкету заповнюють ті студенти, яким є що сказати щодо дисциплін та їх викладання – як хороше, так і погане. Отже, ці студенти завжди схильні заповнювати анкети. Більше того – частина з них навіть підписують свої відповіді (у відкритих питаннях). Це зайвий раз доводить важливість опитувань як способу, зворотного зв’язку, можливості висловитись та донести свою думку до викладачів, кафедри й адміністрації. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 21
  22. 22. З аналізу досвіду НаУКМА, більшість анкет містять змістовні відповіді на обидва запитання, зазначають як позитивні моменти курсу, так і те, що вони хотіли б змінити. Окрему категорію складають анкети, де відповідь на одне з питань радше продовжувала основну позитивну, в переважній кількості випадків, оцінку курсу. Разом все це свідчить про радше позитивне та конструктивне налаштування студентів. Більше того, якщо для якоїсь дисципліни було декілька анкет із заповненими відкритими відповідями, то, як правило, вони всі вказували на схожі сильні та слабкі сторони, систематично говорили про одні й ті самі речі. Тобто фіксувалась певна повторюваність відповідей. При цьому наявність кількох негативних коментарів не заперечує високої оцінки курсу загалом (як і навпаки, але зворотна ситуація – рідша). Звичайно, це не виключає наявність поодиноких «викидів», як в позитивну, так і в негативну сторону, що зокрема, може бути свідчення спеціального суб’єктивного ставлення. Все це тільки наголошує, що для використання отриманих результатів, наприклад кафедрами, треба розуміти, що потрібна їхня додаткова «верифікація» (тріангуляція) з боку інших джерел, що покаже систематичність та тяглість щодо зазначених позитивних або Ставлення студентів до опитування є в переважній своїй більшості конструктивне й зацікавлене у навчанні та постійному покращенні його рівня негативних аспектів викладання. Більше того, специфіка опитування загалом потребує наявності повторюваних результатів впродовж тривалого періоду і виключає «моментальність» висновків на основі тільки одного-двох опитувань. Крім власне своїх вражень від курсів та викладання, студенти писали про свої успіхи чи проблеми, з якими стикалися під час прослуховування курсу, висловлювали захоплення чи незгоду, писали роздуми щодо специфіки навчального плану та організації навчання, рефлексували щодо власного досвіду та досвіду колег. Загальне враження від прочитання всіх відкритих відповідей переконує, що налаштування студентів є в переважній своїй більшості конструктивне й зацікавлене у навчанні та постійному покращенні його рівня. Видається, що його слід цінувати та плекати, зокрема через зворотний зв'язок. 22
  23. 23. СЕРЕД ОСНОВНИХ : Структурованість курсу – насамперед, наявність РТП/силабусу та його дотримання, логічність та системність викладу матеріалу, суголосність лекцій, семінарів та практичність занять, відповідність назви та анотації дисципліни її фактичному змісту й навчальним цілям (спрямованість на досягнення чи розвиток заявлених результатів навчання та компетентностей), зрозумілість змісту та суті навчальних завдань, зокрема письмових робіт, наявність методичних вказівок та вимог до них. Фактично, саме це є тим, про що говорять в першу чергу, коли вказують саме про недоліки курсу. Ставлення викладача до студентів та систему оцінювання – окремо виділяються її зрозумілість й прозорість та її справедливість, тут таки вказують і на упередженість або не відповідне ставлення до студентів. Як правило, тут поглиблено розкривається відповідь на два закриті питання анкети про систему оцінювання. Загалом, саме систематичні та консистентні (повторюване в часі (на різних хвилях) АНАЛІЗ ВІДПОВІДЕЙ Детальний аналіз відкритих відповідей дозволяє згрупувати їх за основними темами або проблематикою Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 23 та в межах окремої вибірки (в межах однієї хвилі) зауваження про недоліки та сильні сторони і є тим, на що кафедра насамперед має звернути увагу задля покращення якості навчання. Рівень зацікавленості викладача Недоліки, які не залежать від викладача та кафедри, а саме зауваження щодо місця та часу проведення занять, матеріально- технічного забезпечення (включно з обладнанням лабораторій та зручністю сайтів курсів), кількістю студентів у групах. Варто зауважити, що такі коментарі не можна відкидати або ігнорувати. За можливості, слід зважати на побажання студентів, там, де ситуацію можна покращити спільними зусиллями факультету, адміністрації університету, викладачів та кафедри. Отже, відкриті відповіді можуть і мають бути використані в процесі забезпечення якості вищої освіти, за умови обережної та фахової їх інтерпретації, навіть коли рівень участі студентів в опитуванні є на рівні 30-40 % і недостатній для кількісного (статистичного) аналізу відповідей на «закриту частину» анкети.
  24. 24. освіти, відслідковувати тренди та тенденції. Це також забезпечить наявність критеріїв прийняття рішень у сфері вищої освіти та сприятиме налагодженню доступного і зрозумілого звітування, підтвердженого згнерованими даними. Результати досліджень будуть інформувати про необхідність проведення оперативних перевірок діяльності систем забезпечення якості та механізмів роботи з отриманими рекомендаціями. За допомогою порталу користувачі та управлінці освітньої системи проводитимуть сфокусовані дослідження та опитування широкого спектру серед бенефіціарів системи. За результатами опитувань портал буде формувати відповідну аналітику забезпечення системи проведення процедур зовнішнього забезпечення якості освіти. Також функціонал порталу дозволить інформувати Національне агентство із забезпечення якості вищої освіти (НАЗЯВО) та Міністерство Освіти та Науки України щодо оперативних проблем у сфері 24 ФУНКЦІОНАЛ ВСЕУКРАЇНСЬКОГО ДОСЛІДНИЦЬКОГО ПОРТАЛУ ЗАБЕЗПЕЧЕННЯ ЯКОСТІ ВИЩОЇ ОСВІТИ
  25. 25. На подальших кроках розробки порталу буде приділено особливу увагу розробці модулю моніторингу ефективності процедур забезпечення якості освітніх та професійних тренінгів, а також автоматизації процесів підготовки та оприлюднення статистичної інформації для доповідей про якість вищої освіти в Україні, та її відповідність завданням сталого інноваційного розвитку суспільства. У свою чергу бенефеціари системи будуть мати 24/7 доступ до безпосереднього впливу на якість освіти та власного досвіду в системі вищої освіти Україні. Вони матимуть можливість залишати відгук на безпосередні навчальні програми, на якість навчання на відповідних програмах, та у своєму університеті в цілому. Вони також зможуть надавати відгук на більш стратегічні рішення у системі забезпечення якості освіти. На рівні університетів керівники закладів будуть мати доступ до відповідного рівня аналітики, що буде інформувати їх про можливі стратегічні та оперативні рішення щодо забезпечення якості освіти у їх університетах. Доступ до порталу буде обмежено тільки для користувачів системи освіти. Вони будуть проходити відповідну аутентифікацію в системі. Це убезпечить від надання недостовірних даних, а також забезпечить конфіденційність даних, що виключить будь-які впливи. Для ідентифікації користувачів порталу на етапі пілотного впровадження використовуються можливості MS Office 365. В майбутньому є можливість додати вхід через інших провайдерів, наприклад, Google, у разі якщо заклади визої освіти використовують його для корпоративного середовища (провайдер має підтримувати протокол OpenID Connect). Також можливе налагодження співпраці із id.gov.ua для використання інших засобів ідентифікації (BankID, ЕЦП тощо). Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 25
  26. 26. 26 ОСНОВНІ ЕТАПИ РОБОТИ З ПОРТАЛОМ Етап 1 Вхід до системи під ролями, що передбачені в системі здійснюється через перехід за гіперпосиланням на сторінку аутентифікації. На етапі MVP, вхід у систему реалізовано через сервіс аутентифікації Office 365. Ми обрали такий спосіб Аутентифікації та видачі повноважень з кількох причин. Компанія Microsoft у 2014 році розробила програму для українських закладів вищої освіти, за якою на пільгових умовах платформу Office 365 почали використовувати студенти та викладачі. Використання корпоративної електронної адреси для входу в систему дає можливість адміністраторам закладів вищої освіти точно визначити свого користувача, а здобувачам вищої освіти ти НПП безпечно здійснювати доступ до системи. Дорожня карта розвитку сервісу передбачає використання для авторизації Google+, та BankID (в залежності від динаміки впровадження цього способу аутентифікації в Україні). Заповнивши необхідні дані (пароль, логін тощо), система надає інформацію щодо користувача (ім’я, прізвище, електронну пошту тощо) та використовує цю інформацію для авторизації користувача у нашій системі.
  27. 27. Етап 2 вибір дисциплін для проходження опитування щодо якості викладання; сторінка, на якій розміщено результати пройденого опитування; форма зворотного зв'язку; налаштування для ЗВО (для адміністраторів). Користувач потрапляє до головної сторінки, де в залежності від своєї ролі у системі, він має доступ до функціоналу сайту: Зверху сторінки користувачеві доступне меню з інформацією про цього користувача та кнопки для переходу до головного меню та сторінки налаштувань. Знизу сторінки користувач має доступ до блоку з інформацією про власників та організацію. Також користувач матиме доступ до кнопки, натискаючи на яку буде з’являтися довідка як користуватися сервісом. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 27
  28. 28. Етап 3 Представлення вибору дисципліни та анкета. На сторінці відгуків користувачу надається список із доступними для нього дисциплінами та написанням відгуку. Натискаючи на кнопку біля обраної дисципліни, користувач переходить на сторінку заповнення форми. У разі якщо користувач раніше вже заповнював форму для певної дисципліни, замість кнопки «Заповнити» з’явиться кнопка «Редагувати», що дозволить редагувати дані, які були введені у формі для цієї дисципліни. 28
  29. 29. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 29 Етап 4 Працівник відділу забезпечення якості освіти університету у головному меню має додаткову опцію «Переглянути результати», натискаючи на котру потрапляє на сторінку вибору університету, щоб отримати результати опитування з дисципліни певного університету, що його цікавить. Анонімність результатів гарантується. Етап 5 На сторінці результатів опитування по дисципліні відображені статистичні дані у вигляді графіків та діаграм, а також є можливість завантажити форму звіту.
  30. 30. Якщо користувач вперше заповнює анкету, то на сторінці анкети користувачу наводиться запитання у вигляді різних полів із незаповненими чи невибраними даними. Якщо користувач вже заповнював анкету, текст чи варіанти заповнених питань вже будуть наведені. Після усіх питань та полів відповідей знизу сторінки буде знаходитись кнопка «Надіслати відгук», яка групує усі відповіді та надсилає їх на сервер та кнопка «Скасувати», яка повністю видаляє усі введені цього разу дані та переходить до сторінки відгуків. Етап 6 Функціонал Всеукраїнського дослідницького порталу забезпечення якості вищої освіти дозволяє широкому колу користувачів впливати на якісь освіти в Україні. Етап 7 Обравши опцію «Залишити відгук», користувач потрапляє на нову сторінку. На цій сторінці відображено форму для вводу даних, у котру користувач записує своє питання, побажання чи відгук про користування системою. У разі якщо користувач не зареєстрований він має записати свої контактні дані у формі зворотного контакту. Для надсилання «Відгуку про систему», користувач перевіряє введені дані та натискає кнопку підтвердження. 30
  31. 31. Як сть осв ти в ун верситетах Украї ни: оц нку ставлять студенти Киї в-2020 31 Подальші кроки розвитку функціоналу порталу включають наступні етапи : • розробка онлайн-системи моніторингу ефективності процедур забезпечення якості освітніх та професійних тренінгів; • розробка онлайн-системи для акредитації програм освіти та навчання; • створення та ведення ІТ-реєстру освітніх та навчальних програм. ДОРОЖНЯ КАРТА
  32. 32. ЯКІСТЬ ОСВІТИ В УНІВЕРСИТЕТАХ УКРАЇНИ: ОЦІНКУ СТАВЛЯТЬ СТУДЕНТИ. ДО РЕАЛІЗАЦІЇ ПРОЕКТУ  «ВСЕУКРАЇНСЬКИЙ ДОСЛІДНИЦЬКИЙ ПОРТАЛ ЗАБЕЗПЕЧЕННЯ ЯКОСТІ ВИЩОЇ ОСВІТИ»  (“UKRAINIAN QUALITY ASSURANCE E. SERVICE FOR EDUCATION”) : 2019-2020 / КВІТ С. , ЯРОШЕНКО Т. ,   КОСТЮК О. , ОСИПЧУК Г. , ЯРОШЕНКО О. ; ГО ELIBUKR. – К. , 2020. - 32 С. ДЖЕРЕЛА ФОТО: НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ "КИЄВО-МОГИЛЯНСЬКА АКАДЕМІЯ", ОЛЕКСАНДРА ЛИСТОПАД (НБ НАУКМА), ОЛЕКСАНДРА ЯРОШЕНКО (ELIBUKR), АРТЕМ САХ (НАУКМА), ЗОБРАЖЕННЯ З ВІДКРИТОЮ ЛІЦЕНЗІЄЮ PEXELS (PEXELS.COM)

×