Презентация к семинару о нашей системе взаимного оценивания PASCA (mail-based Peer Assessment System for Complex Artifact) в НИУ ВШЭ 2016-11-21

1. Взаимное оценивание студентов:
от идеи к реализации
Незнанов Алексей Андреевич, доцент департамента анализа
данных и искусственного интеллекта ФКН НИУ ВШЭ
Максименкова Ольга Вениаминовна, старший преподаватель
департамента программной инженерии ФКН НИУ ВШЭ
Коломиец Андрей Ильич, студент бакалаврской программы
«Программная инженерия» ФКН НИУ ВШЭ
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 1

2. Кто мы такие и чем занимаемся?
• Ольга Максименкова
• Департамент Программной инженерии,
ФКН НИУ ВШЭ, Москва, Россия
• E-mail: omaksimenkova@hse.ru
• Web-site: http://hse.ru/staff/maksimenkova
• Blog: http://stoptoscale.blogspot.ru (RU)
• Алексей Незнанов
• Департамент Анализа данных и искусственного интеллекта,
ФКН НИУ ВШЭ, Москва, Россия
• E-mail: aneznanov@hse.ru
• Web-site: http://hse.ru/staff/aneznanov
• Blog: http://siberianshamanssongs.blogspot.ru (RU)
• Коломиец Андрей Ильич
• Образовательная программа «Программная инженерия» ФКН
• E-mail: aikolomiets@edu.hse.ru
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 2

3. Что мы будем делать?
• Методы активного обучения
• Технологии активного обучения
• Взаимное оценивание в курсах различных областей
• Представление PASCA (нашей программы)
• Изучение документации и репозитория
• Пробный прогон
• Познание себя в роли преподавателя
• Создание сессии взаимного оценивания
• Создание оценочного листа
• Познание себя в роли студента
• Что может пойти не так?
3© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ

4. Идея и методологии
Формы активного обучения
Технологии и компьютерная поддержка
Взаимное оценивание
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 4

5. Активное обучение:
Идея и методологии
• Центрированный на ученике подход
• Ученик активно участвует в формировании
собственных знаний, умений, навыков,
компетенций…
• В качестве учебных используются задачи из
профессиональной практики
• Использование и обучение
коллаборативным техникам
• Адаптивная организация учебных
материалов и учебного процесса
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 5
Клод Адриан Гельвеций
(1715-1771)
Вильгельм фон Гумбольдт
(1767-1835)J. M. Carroll (ed.), Innovative Practices in Teaching Information Sciences and Technology,
DOI 10.1007/978-3-319-03656-4_1

6. Активное обучение:
Формы
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 6
Работа в парах
Дебаты
Взаимное оценивание
Работа в группах
Самооценивание

7. Активное обучение:
Взаимное оценивание
• Плюсы
• Повышение вовлечённости студентов в учебный процесс
• Формирования навыков конструктивной критики
• Минусы
• Ресурсоёмкость при организации в ручном режиме
• Необходимость уточнения соглашений об оценивании между студентами и
преподавателями
• Читинг
• Подробности:
• Falchikov N, Goldfinch J. Student Peer Assessment in Higher Education: A Meta-Analysis
Comparing Peer and Teacher Marks. Review of Educational Research, 70(3), 2000. pp. 287-
322
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 7

8. Взаимное обучение в программировании:
О компетенциях разработчиков ПО
Программист должен:
• Уметь самостоятельно проводить анализ кода (code review)
• Уметь работать в команде при проведении анализа кода
небольших компонентов
• Применять разнообразные стратегии отладки и тестирования
программ
• Анализировать степень соответствия чужого кода
документации и профессиональным стандартам разработки
Computer Science Curricular 2013 “Software development fundamentals” (SDF)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 8

9. Взаимное обучение в программировании:
ВО при обучении разработчиков ПО
• Плюсы усиливаются
• Будущие программисты учатся писать текст на естественном языке
• Формируются навыки работы с чужим кодом
• Вырабатываются навыки анализа кода [code review]
• Формируются навыки командной работы
(при групповом взаимном оценивании)
• Повышается объективность обратной связи
(в анонимизированном варианте)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 9

10. Взаимное оценивание:
Обзор КПСУН для взаимного оценивания
• Cистема с открытым кодом MyPeerReview, разработанная для
обучения компьютерным наукам (computer science)
• Hamalainen, H., Hyyrynen, V., Ikonen, J., and Porras, J. Applying peer-review for programming
assignments. International Journal on Information Technologies & Security, 1 (2011), 3-17.
• Одна из наиболее популярных систем Aropӓ, успешно
применяется в курсах компьютерных наук.
• Hamer J, Purchase H, Denny P, Luxton-Reilly A. Quality of Peer Assessment in CS1. 5th
International Workshop on Computing Education Research, Berkeley, 2009. pp. 27-36.
• ...
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 10

11. Взаимное оценивание:
Проблемы существующих КПСУН
• Методологические
• Как правило, ограничивают оценочные листы некоторым «достаточным»
минимумом, не допуская полёт фантазии при создании схем оценивания
• Процедурные
• Массово не поддерживают анонимизацию
• Требуют дополнительной аутентификации и авторизации студентов и
преподавателей
• Хотя сейчас наблюдается прогресс в интеграции web-служб поддержки учебного
процесса
• Технологические
• Расширяют стек используемых технологий
• Не поддерживают передачу комплексных артефактов
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 11
Никто не виноват, но что делать?!

12. Основные термины
Бизнес-процессы и подводные камни
Некоторые интересные решения
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 12

13. Основные термины:
Взаимное оценивание
• Взаимное оценивание [Peer Assessment (PA)] – процедура
оценивания, организованная в форме рандомизированного
взаимного рецензирования [Peer Review (PR)] артефактов,
трактуемых как результат выполнения учебного задания с
предварительно формализованной схемой оценивания
• Сессия взаимного оценивания (СВО) [PA session] – процесс
взаимного оценивания результатов одного задания, то есть
одного артефакта
• Оцениваемый артефакт может быть комплексным
• Например, результат курсового проектирования в виде набора
артефактов проектирования и конструирования ПО
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 13

14. Основные термины:
Оцениваемые артефакты
• Артефакт [Artifact] –
• В общем: сущность, созданная человеком с определённой
целью
• В нашем случае:
сущность, созданная студентом
с целью получить рецензию? J
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 14

15. Основные термины:
Роли
1. Преподаватель [Teacher] – любой организатор
взаимного оценивания, имеющий полный доступ к
данным текущей СВО
2. Студент [Student] – любой студент, потенциально
имеющий возможность участвовать в текущей СВО
3. Автор [Initial Author] – студент, зарегистрированный в
качестве будущего отправителя артефакта в текущей СВО
4. Податель [Submitter] – студент, направивший артефакт
на рецензирование в рамках СВО
5. Рецензент [Reviewer] – студент, отославший валидый
оценочный лист в рамках СВО
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 15

16. Основные термины:
Элементы данных СВО
1. Параметры СВО [PA parameters] – набор параметров СВО
2. Оценочный лист [PR form] – таблица, специфицирующая поля
рецензии для конкретного типа артефакта и конкретного
задания; содержит понятные рецензенту описания полей,
примеры заполнения и правила валидации значений полей
• Адекватный оценочный лист всегда содержит дополнительное текстовое поле
«свободный комментарий» для неформальных впечатлений рецензента
3. Подача [Submission] – артефакт, направленный на
рецензирование конкретным Подателем
4. Рецензия [Review] – заполненный оценочный лист,
отосланный Рецензентом
5. Обратная связь [Feedback] – любая дополнительная
информация от Студента, отличная от Подачи и Рецензии
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 16

17. Основные стадии сессии ВО:
Начало и конец каждой стадии
№ Объект рассмотрения Начальное событие Конечное событие
1 Подготовка сессии Создание новой сессии
Окончание
конфигурирования сессии
2 Сбор подач Рассылка задания
Дедлайн «Окончание
подачи» [Submission_end]
3 Сбор рецензий
Рассылка артефактов
рецензентам
Дедлайн «Окончание
рецензирования»
[Review_end]
4
Анализ и рассылка
результатов
Сбор итоговых рецензий
Дедлайн «Получение
результатов» [Result_msg]
5
[Дополнительно]
Организация
обратной связи
Отправка первого сообщения
в рамках обратной связи
Завершение
курса/блока/модуля
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 17

18. Основные стадии сессии ВО:
BPMN-диаграмма
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 18

19. Основные стадии сессии ВО:
Акценты на действиях преподавателя
• Установка параметров сессии
• Подготовка задания
• Рассылка задания
• Сбор подач
• Рассылка подач рецензентам
• Сбор рецензий
• Оценивание подач через оценивание и усреднение рецензий
• Рассылка оценок и обратной связи
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 19

20. © 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 20

21. Peer-Assessment Sytem
for Complex Artifacts PASCA
Архитектура
Требования
Возможности
Развитие
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 21

22. PASCA:
Где лежит?
• Открытый репозиторий PASCA
(https://bitbucket.org/SiberianShaman/pasca)
• Документация в формате Wiki
(https://bitbucket.org/SiberianShaman/pasca/wiki/ru/About)
• Эта презентация (http://www.slideshare.net/alexneznanov)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 22

23. Требования к ПО:
Основание разработки и приоритеты
• Основание разработки очевидно из вышеизложенного
• При разработке PASCA авторами были поставлены приоритеты:
1. Поддержка произвольных оцениваемых артефактов
2. Поддержка формализованных оценочных листов [peer-review form]
любой сложности
1. Автоматическое вычисление общей оценки по оценочному листу
2. Автоматическая валидация оценочного листа
3. Минимизация взаимодействия студента с новым ПО
4. Минимизация влияния инструментов взаимного оценивания на
смежные бизнес-процессы с точки зрения преподавателя
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 23

24. Требования к ПО:
Базовые функциональные требования
• Простое импортирование исходного списка студентов
• Автоматическое преобразование и рассылка файла с описанием
задания
• Поддержка нескольких адресов одного студента
• Базовая анонимизация артефактов
• Ослепление участников СВО для поддержки двойного слепого
рецензирования
• Рандомизация рецензентов
• Независимая подготовка оценочных листов любой сложности
• Интегрированная валидация оценочного листа (перед отправкой
рецензии)
• Автоматический расчёт первичного балла по формализованным
полям оценочного листа
• Автоматическая подготовка отчётов по состоянию СВО и финального
отчёта
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 24

25. Требования к ПО:
Некоторые нефункциональные требования
• Использование только стандартных компонентов Microsoft
Office 2010+ или Office 365 на клиентах
• Поддержка серверных технологий:
• IMAP-совместимых почтовых серверов
• Microsoft Exchange
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 25

26. Требования к компьютеру:
Преподаватель
• Установлен Microsoft Office 2010+ или развёрнут клиент
Microsoft Office 365
• Необходимые компоненты: Excel, Word, Outlook
• В Microsoft Office разрешён запуск макросов
• В Microsoft Outlook настроен необходимый почтовый ящик
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 26

27. Требования к компьютеру:
Студент
• Возможность:
• Работы с электронной почтой
• Чтения PDF-файла
• Редактирования Excel-файла (*.xlsm) для версии Microsoft Office 2007+
þ Microsoft Office на компьютере студента не обязателен!
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 27

28. PASCA: Главный лист рабочей книги
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 28
Основные стадии (начало)
Точка в стадии!Общие настройки

29. PASCA:
Практические проблемы и перспективы
• Организационные
• Интеграция с учебными планами, программами, процессами, отчётами….
• Технологические
• Интеграция КПСУН взаимного оценивания с существующими средствами
поддержки учебного процесса
• Как минимум – с Microsoft OneNote Class Notebook (https://www.onenote.com/classnotebook)
• Проблемы в контексте обучения разработчиков ПО
• Составные схемы оценивания (rubric + grading rule + scale)
• Отсев однозначно неверных работ (не компилируются, завершаются
аварийно)
• Как направить (поддержать) студентов при проверке работ?
• Как поставить итоговую оценку?
• Формализация перехода от первичного балла к итоговой оценки
• Что делать с «халтурщиками»?
• Особенно «халтурными» рецензиями. Вариант – межсессионная связь
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 29

30. PASCA
Все стадии одной сессии взаимного оценивания
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 30

31. 1. Стадия подготовки сессии:
Сценарии
1.1. Подготовка задания (файл описания задания)
1.2. Подготовка оценочного листа с правилами валидации и
критериями оценивания
• Варианты: чек-лист [check-list], список шкал [scale list], рубрика [rubric],
другое
1.3. Подготовка исходного списка участников СВО (Авторов) с
адресами электронной почты
1.4. Заполнение параметров сессии и её расписания
1.5. Анонимизация участников СВО и построение
схемы рандомизации Подач и Рецензий
• Отображение пар < Податель, Рецензент > в пространство
идентификаторов рецензий
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 31

32. 1. Стадия подготовки сессии:
Список студентов (авторов)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 32
Идентификатор участника СВО

33. 1. Стадия подготовки сессии:
Параметры сессии
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 33

34. 1. Стадия подготовки сессии:
Оценочный лист (PR-Form)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 34

35. 1. Стадия подготовки сессии:
Оценочный лист: анонимизация
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 35
Идентификатор рецензии

36. 1. Стадия подготовки сессии:
Оценочный лист: валидация рецензии
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 36
Сообщение об ошибке заполнения

37. 2. Стадия сбора артефактов:
Сценарии
2.1. Рассылка файла описания задания Авторам
2.2. Отслеживание присылаемых Подач до даты окончания
подачи
2.3. [Необязательно] Переопределение отображения Авторов и
Рецензентов после анализа поступивших Подач
• Контроль числа Подач (% от числа Авторов)
• Ручная проверка соответствия пар < Податель, Рецензент >
и имеющихся Артефактов
• [в работе] Адаптивные алгоритмы отбора будущих Рецензентов
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 37

38. 3. Стадия сбора рецензий:
Сценарии
3.1. Рассылка оценочных листов
• По имеющемуся отображению Авторов и будущих Рецензентов
3.2. Отслеживание присылаемых Рецензий до даты окончания
рецензирования
3.3. Подсчёт первичного балла по присланным Рецензиям и
проверка статуса всех Авторов
• Правила:
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 38
Mark Sense
-3 Invalid PR form (by ValidateForm func)
-2 Invalid call to assessment func (AssessmentResult func)
-1 Invalid calculation inside assessment func
>=0 Result of normal execution of assessment func

39. 4. Стадия анализа и рассылки результатов:
Сценарии
4.1. Рассылка результатов СВО студентам
4.2. Получение дополнительной обратной связи от студентов
4.3. Построение итогового отчёта
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 39

40. 4. Стадия анализа и рассылки результатов:
Письмо с результатом рецензирования
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 41

41. 4. Стадия анализа и рассылки результатов:
Первичные баллы после автоматической
обработки рецензий
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 41

42. Постоянно-доступные сценарии
• Проверка состояния СВО
• Отчёт о Подачах
• Отчёт о Рецензиях
• Рассылка информационных писем студентам
• С комментариями к заданию
• С запросом обратной связи
• Произвольные письма
• Архивирование:
• Почтового ящика
• Загруженных артефактов и рецензий
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 42

43. Но это ещё не конец?!
Спасибо за внимание!
Контакты:
• Алексей Незнанов
• Департамент Анализа данных и искусственного интеллекта,
Факультет компьютерных наук, НИУ ВШЭ, Москва, Россия
• E-mail: aneznanov@hse.ru
• Web-site: http://hse.ru/staff/aneznanov
• Blog: http://siberianshamanssongs.blogspot.ru (RU)
• Ольга Максименкова
• Департамент Программной инженерии,
Факультет компьютерных наук, НИУ ВШЭ, Москва, Россия
• E-mail: omaksimenkova@hse.ru
• Web-site: http://hse.ru/staff/maksimenkova
• Blog: http://stoptoscale.blogspot.ru (RU)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 43