Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Автоматизированный анализпсихического состояния студентовна основе истории их деятельностив обучающей системеН.В. Смирнова...
Следящие интеллектуальные обучающие системы
Мотивационно-волевой компонент модели обучаемого(МВК)МВК отражает:• психическое состояние студента во время решения задач•...
Построение МВК. Обучение по прецедентам. Часть 1Построить МВК == решить задачи обучения по прецедентам **Воронцов К.В. Мат...
Построение МВК. Обучение по прецедентам. Часть 2Построить МВК == решить задачи обучения по прецедентам – задачиклассификац...
Обзор литературы по теме исследования. Часть 1Обучающие среды:• следящие (2 работы),• обучающиепрограммированию (1),• иври...
Обзор литературы по теме исследования. Часть 2Автору не известны модели психического состояния студента,оценки которых был...
Обзор литературы по теме исследования. Часть 3Пример протокола сбора и обработки экспертных оценок*:Эксперт оценивает пове...
Обзор литературы по теме исследования. Часть 4Еще один пример протокола сбора и обработки экспертныхоценок*:Эксперты оцени...
МВК: психолого-педагогический базис. Часть 1 Оценка психологического состояния студента с помощью показателей*:*разработа...
МВК: психолого-педагогический базис. Часть 2**разработано при участии н.с. факультета психологии МГУ А.Ю. ШварцПоказатель ...
Измерение МВК. Часть 1 Одномоментные события (проверка фрагмента решения) Длительные события (чтение теоретического мате...
13Измерение МВК. Часть 2Текущее значение каждого показателя оценивается с помощью вектора видавероятность того, что текуще...
Задача 2. Коэффициенты (принадлежность к классу M)14Подбор коэффициентов логистических функций. Часть 1Обучающая выборка –...
Текущее значение каждого показателя оценивается с помощью вектора вида15Подбор коэффициентов логистических функций. Часть ...
16Подбор коэффициентов логистических функций. Часть 3Минимизация осуществляется с помощью trust region newton methodДля на...
Сбор экспертных оценок (предлагаемый протокол)«Если в течение 5-минутногофрагмента• показатель существенно неизменялся, ук...
Обработка экспертных оценок (предлагаемый протокол).Часть 1toto+300HLM (оценка эксперта)toto+300H L MВарианты формирования...
Обработка экспертных оценок (предлагаемый протокол).Часть 2Выбирается разбиение,которому соответствуетмаксимальное значени...
Эксперимент• 23 студента психфака МГУ,• студенты поделены на группы F,A,I,• вид инструкции зависел от группы студента и от...
Подбор коэффициентов: предварительные сведения.Часть 1. Стандартизация данных Стандартизация данных – необходимый шаг пре...
Подбор коэффициентов: предварительные сведения.Часть 2. F-мера* Используется для оценки обобщающей способности алгоритмаИ...
Подбор коэффициентов: предварительные сведения.Часть 3. Стратифицированный k-кратный скользящийконтроль Фиксируется некот...
Подбор коэффициентов: предварительные сведения.Часть 4. Стратифицированное разбиениеСтратифицированное разбиение Нестратиф...
Подбор коэффициентов. Важные свойства классаsklearn.linear_model.LogisticRegression)1log()(1 liixTiyeCf Функция пот...
Подбор коэффициентов. Показатель «Усилия». Часть 1Обобщающие способности различных алгоритмов формирования точек дляобучен...
Подбор коэффициентов. Показатель «Усилия». Часть 2Анализ ошибок … Выбран способ «огрубление» и правило огрубления неско...
Подбор коэффициентов. Показатель «Фрустрационноеповедение» беседа с экспертами (мало «хаотической» деятельности в системе...
Подбор коэффициентов. Значимые признаки дляпоказателей МВК. Часть 1выделим несколько групп возможных действий студента в с...
Подбор коэффициентов. Значимые признаки дляпоказателей МВК. Часть 2Признаки, описывающие вектор превалирующих групп действ...
Выводы• Изложен опыт решения задач классификации, возникающих при настройкепоказателей МВК,• апробирован отличный от ранее...
Upcoming SlideShare
Loading in …5
×

автоматизированный анализ психического состояния студентов

758 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

автоматизированный анализ психического состояния студентов

  1. 1. Автоматизированный анализпсихического состояния студентовна основе истории их деятельностив обучающей системеН.В. СмирноваИПУ РАН, 2012
  2. 2. Следящие интеллектуальные обучающие системы
  3. 3. Мотивационно-волевой компонент модели обучаемого(МВК)МВК отражает:• психическое состояние студента во время решения задач• степень рациональности организации его познавательнойдеятельностиПрименение МВК:• интеллектуальное управление учебным процессом• выявление плохо проработанных мест учебного курса• анализ состава студентов (например, перед экзаменом илизачетом)
  4. 4. Построение МВК. Обучение по прецедентам. Часть 1Построить МВК == решить задачи обучения по прецедентам **Воронцов К.В. Математические методы обучения по прецедентам (теорияобучения машин). Курс лекций ВМК МГУ и МФТИ, 2011прецедент 1 0 1 -1 2…прецедент n 2 2 3 4 Требуется по частным данным выявить общие зависимости, присущиевсем прецедентам (и тем, которые еще не наблюдались) Обучение без учителя (пример: задача кластеризации) Обучение с учителем (для каждого прецедента задается «метка», найтизависимость между значениями признаков и «метками»)обучающая выборказначения признаков
  5. 5. Построение МВК. Обучение по прецедентам. Часть 2Построить МВК == решить задачи обучения по прецедентам – задачиклассификацииЭтапы решения задачи обучения по прецедентам*:• фиксируется модель восстанавливаемой зависимости• вводится функционал качества модели• алгоритм обучения ищет такой набор параметров модели, при которомфункционал качества принимает оптимальное значениепрецедент 1, L 0 1 -1 2прецедент 2 , H 5 3 -4 1…прецедент n , M 2 2 3 4---------------------------------------------------прецедент n+1, 3 1 1 -2 -> H,L или M?взято с www.machinelearning.ru
  6. 6. Обзор литературы по теме исследования. Часть 1Обучающие среды:• следящие (2 работы),• обучающиепрограммированию (1),• ивриту (1),• концепциям мобильнойробототехники (1), и т.д.Больше всего признаков связано с этими действиями:взаимодействие с подсказками/подсистемой автоматической проверкифрагментов решенияМетоды измерения варьируются отлинейно изменяющихся величин с эмпирически заданнымикоэффициентами до байесовских сетейПревалирующие показатели:• «Самостоятельность»,• «Усилия»,• «Детектированиенерационального поведения»
  7. 7. Обзор литературы по теме исследования. Часть 2Автору не известны модели психического состояния студента,оценки которых были бы достаточно точны на данных,собранных в разные дни с участием разных студентовПроблема:Ежеминутно происходит много событий, которые могутсвидетельствовать об изменении того или иного показателя МВККак и когда эксперт должен выставлять оценки? Как соотноситьих с действиями студента?
  8. 8. Обзор литературы по теме исследования. Часть 3Пример протокола сбора и обработки экспертных оценок*:Эксперт оценивает поведение студента в те моменты, когда оносущественно изменяетсяДля сопоставления действий студентов с оценками экспертовиспользовались «временные окна»2-мин «временное окно»:для генерации точки обучения используются действия,произошедшие в интервале [t-120с, t+120с],t – время фиксации экспертной оценки*Baker R.S.J.d (et al) Developing a Generalizable Detector of When Students Game the System //Springer-Verlag Berlin Heidelberg, 2008. User Modeling and User-Adapted Interaction. Vol. 18.№ 3. pp. 287-314
  9. 9. Обзор литературы по теме исследования. Часть 4Еще один пример протокола сбора и обработки экспертныхоценок*:Эксперты оценивают отдельные фрагменты истории действийстудентов в системеВероятность выбора фрагмента зависит от того, сколько действийстудента в нем зафиксировано*Baker R.S.J.d (et al) Labeling Student Behavior Faster and More Precisely with Text Replays //Educational Data Mining, 2008. pp. 38-47Актуальна проблема усовершенствования протокола сбора иобработки экспертных оценок. Цель статьи – апробацияальтернативного протокола (оценки каждые n секунд)
  10. 10. МВК: психолого-педагогический базис. Часть 1 Оценка психологического состояния студента с помощью показателей*:*разработано при участии н.с. факультета психологии МГУ А.Ю. Шварц
  11. 11. МВК: психолого-педагогический базис. Часть 2**разработано при участии н.с. факультета психологии МГУ А.Ю. ШварцПоказатель увеличивается уменьшается«Самостоятельность» … …«Усилия» … …«Фрустрационноеповедение»появление «хаотическойдеятельности»: студент вовремя редактирования шагамного раз и быстропереисправляет введеннуюинформацию,несколько раз проверяетвведенный шаг, а система егоне засчитывает,нецеленаправленнообращается то к одному, то кдругому элементуинтерфейса, переключаетсямежду окнами,и т.п.1)если системазасчитывает студенту шагкак правильный,2)с течением времени,если отсутствуютпроявления хаотичнойдеятельности.
  12. 12. Измерение МВК. Часть 1 Одномоментные события (проверка фрагмента решения) Длительные события (чтение теоретического материала)Признаки на основе одномоментных событий:• количество появлений,• средний интервал между появлениями,• …Признаки на основе длительных событий:• cредняя длительность,• количество появлений длительностью менее 7 сек,• …В истории действий студента в системе могут быть:Другие признаки:(например, оценка напредыдущем интервале)
  13. 13. 13Измерение МВК. Часть 2Текущее значение каждого показателя оценивается с помощью вектора видавероятность того, что текущеезначение низкоевероятность того, что текущеезначение высокоеЛогистическая функцияzezf 11)(0 1 1 2 2 ... .k kz x x x       признакрегрессионныйкоэффициент(0.1, 0.6, 0.3) – средний уровень(0.8, 0.1, 0.1) – высокий уровень))(),(),(( XfXfXf
  14. 14. Задача 2. Коэффициенты (принадлежность к классу M)14Подбор коэффициентов логистических функций. Часть 1Обучающая выборка – совокупность пар вида}1,1{,,,...,1),,(  iiii yRxliyx nТехника «один-против-всех». Пусть {H,M,L} – множество всех меток классов.Задача 1. Коэффициенты (принадлежность к классу H)Задача 3. Коэффициенты (принадлежность к классу L)
  15. 15. Текущее значение каждого показателя оценивается с помощью вектора вида15Подбор коэффициентов логистических функций. Часть 2Обучающая выборка – совокупность пар видаИскомые коэффициенты минимизируютфункцию потерьФункция потерьzezf 11)(0 1 1 2 2 ... .k kz x x x       признакрегрессионныйкоэффициент}1,1{,,,...,1),,(  iiii yRxliyx nЛогистическая функция)1log()(1 liixTiyeCf L1 L2T21min||min1ni i))(),(),(( XfXfXf
  16. 16. 16Подбор коэффициентов логистических функций. Часть 3Минимизация осуществляется с помощью trust region newton methodДля нахождения на каждой итерации необходимо переходить в точкус меньшим значением функцииОсновная идея методов доверительных областей*:Аппроксимировать f посредством более простой функции q, которая достаточноправдоподобно отображает поведение f в окрестности N точки x• Рассчитывается пробный шаг s:• Если , текущая точка переходит в состояние x+s, иначе область Nпретерпевает некое сокращение и расчет пробного шага повторяетсяargmin ( )f xx{min ( ), }q s s Ns ( ) ( )f x s f x *А.Г. Трифонов. Алгоритмы большой размерностиhttp://matlab.exponenta.ru/optimiz/book_1/17.php
  17. 17. Сбор экспертных оценок (предлагаемый протокол)«Если в течение 5-минутногофрагмента• показатель существенно неизменялся, укажите егопреимущественное значение.Например: Н (т.е. значениепоказателя преимущественнобыло низким).• существенно изменялсяодин раз, укажите егопреимущественное значениеближе к началу, середине и концу5-минутного фрагмента. Например:НСН (в начале значение показателябыло низким, ближе к середине –средним, к концу – опять низким).• существенно изменялся болееодного раза, напишите МН.
  18. 18. Обработка экспертных оценок (предлагаемый протокол).Часть 1toto+300HLM (оценка эксперта)toto+300H L MВарианты формирования точек обучающей выборки:1 точка («огрубление»):300, HLM->L, HHM->H, MMH->M и т.д.3 точки:• [100, 100, 100]• адаптивное разбиение (выбор из [100,100,100], [60,120,120],[120,60,120], [120,120,60], [60,180,60])
  19. 19. Обработка экспертных оценок (предлагаемый протокол).Часть 2Выбирается разбиение,которому соответствуетмаксимальное значениевеличиныАлгоритм 1«максимальная средняядлительность событийбездействие дольше 7 с»Алгоритм 2.«длина наименее заполненногоинтервала»Заполненность интервала:0.5 0.5D Dj jn lВыбирается разбиение с наиболее однородными по активности студента интервалами
  20. 20. Эксперимент• 23 студента психфака МГУ,• студенты поделены на группы F,A,I,• вид инструкции зависел от группы студента и от того, каким по порядку онподошел,• показатель «Самостоятельность» был исключен из списка показателей для подборакоэффициентов,• 2 эксперта,• проблема смещенных классов
  21. 21. Подбор коэффициентов: предварительные сведения.Часть 1. Стандартизация данных Стандартизация данных – необходимый шаг предобработки данных передобучениемОдин из методов стандартизации:Пример стандартизации:[0, 1, 10, 20] -> [0, 0.05, 0.5, 1][0, 0, 2, 0] -> [0, 0, 1, 0]
  22. 22. Подбор коэффициентов: предварительные сведения.Часть 2. F-мера* Используется для оценки обобщающей способности алгоритмаИдеальный алгоритм обеспечивает 100% полноту и точностьДля удобства полноту и точность сводят к однойоценке – F-мере:…1…1…… 1… 0… 099TP + TNpr(“1”)=0.98,rc(“1”)=1pr(“0”)=0,rc(“0”)=0
  23. 23. Подбор коэффициентов: предварительные сведения.Часть 3. Стратифицированный k-кратный скользящийконтроль Фиксируется некоторое множество разбиений выборки на 2 части: обучающую иконтрольнуюобучающаяконтрольнаяобучающаяконтрольная…Разбиение 1Разбиение nF-меры разбиения 1F-меры разбиения nОценка k-кратного контроля:Среднее(F-меры разбиения 1,F-меры разбиения n)9/101/109/101/10
  24. 24. Подбор коэффициентов: предварительные сведения.Часть 4. Стратифицированное разбиениеСтратифицированное разбиение Нестратифицированное разбиение… L… L… H… H… H… H… M… M… L… L… H… H… H… H… M… Mобучениеконтрольобучениеконтроль… L… H… H… M… L… H… H… M… L… L… H… M… M… H… H… H Стратифицированное разбиение:кол-во элементов каждого класса в каждой контрольной выборкепропорционально кол-ву элементов класса в исходной выборке
  25. 25. Подбор коэффициентов. Важные свойства классаsklearn.linear_model.LogisticRegression)1log()(1 liixTiyeCf Функция потерьzezf 11)(0 1 1 2 2 ... .k kz x x x       Логистическая функция
  26. 26. Подбор коэффициентов. Показатель «Усилия». Часть 1Обобщающие способности различных алгоритмов формирования точек дляобученияАнализ ошибок беседа с экспертами, визуальный анализ графиков -> сформирован второй наборпризнаков апробировано несколько правил «огрубления». Наилучшие результаты у правил:
  27. 27. Подбор коэффициентов. Показатель «Усилия». Часть 2Анализ ошибок … Выбран способ «огрубление» и правило огрубления несколько раз запускался алгоритм с penalty=‘l2’, отбрасывались незначимыепризнаки поиск комбинации параметров класса sklearn.linear_model.LogisticRegression,обеспечивающей наиболее высокую обобщающую способность.Наилучший результат:fit_intercept=false, penalty=‘l1’, C=100, class_weight={0:0.2, 1:0.8}F-меры на обучающей и контрольной выборках: [0.75, 0.66], [0.75, 0.65]
  28. 28. Подбор коэффициентов. Показатель «Фрустрационноеповедение» беседа с экспертами (мало «хаотической» деятельности в системе, «хорошие» и«плохие» периоды бездействия) сформирован другой набор признаков выбран способ «огрубление» и правило огрубления отбрасывание незначимых признаков не привело к увеличению обобщающейспособности алгоритма поиск комбинации параметров класса sklearn.linear_model.LogisticRegression,обеспечивающей наиболее высокую обобщающую способность.Наилучший результат:fit_intercept=false, penalty=‘l1’, C=200, class_weight={}F-меры на обучающей и контрольной выборках: [0.79, 0.69], [0.72, 0.61]
  29. 29. Подбор коэффициентов. Значимые признаки дляпоказателей МВК. Часть 1выделим несколько групп возможных действий студента в системе:• поисковые (просмотр полученныхподсказок, обозначений, введенногорешения, поиск нужного параграфа воглавлении и т.д., обозначается буквой«s»),• диалоговые (проверка введенногофрагмента решения, запрос подсказки ит.д., обозначается буквой «d»),• редактирование фрагментов решения(обозначается буквой «e»),• чтение теоретического материала(обозначается буквой «t»),• бездействие (т.е. отсутствие действий извышеупомянутых групп, обозначаетсязнаком «-»).Пример векторапревалирующихгрупп действий (m=10):eestttt---
  30. 30. Подбор коэффициентов. Значимые признаки дляпоказателей МВК. Часть 2Признаки, описывающие вектор превалирующих групп действий студента pav:• кол-во обозначений «s»,• кол-во обозначений «d»,• кол-во «t» и «e» на позициях 0-2, 3-6, 7-9• кол-во «-» на позициях 0-2, 3-6, 7-9• Рваность (непоследовательность) действий студента:(для вектора eeeeeeeeee этот признак равен 0, для вектора etetetetet – 1)Кол-во «хороших» и «плохих» периодов бездействия длительностью [7,25), [25,50), >50секПример векторапревалирующихгрупп действий (m=10):eestttt---
  31. 31. Выводы• Изложен опыт решения задач классификации, возникающих при настройкепоказателей МВК,• апробирован отличный от ранее предложенных протокол сбора и обработкиэкспертных оценок,• наиболее эффективным способом формирования точек для обучения являетсяспособ «Огрубление»,• предложены признаки, которые могут быть полезными для любыхавтоматизированных обучающих сред,• предложенный протокол может быть использован для построения МВК, позволяетклассифицировать 2 градации уровня показателей,• рекомендуется включать в выборку студентов больше студентов с более высокимзначением показателя «% незасчитанных шагов»,• наилучшие результаты даст «гибридный» анализ поведения студентов (камеравключается на короткие промежутки времени).

×