SlideShare a Scribd company logo
1 of 17
Download to read offline
Учебная аналитика
Максим Скрябин
1
Треугольник аналитики обучения
2
“the measurement,
collection, analysis and
reporting of data about
learners and their
contexts, for purposes
of understanding and
optimizing learning and
the environments in
which it occurs”
(SoLAR)
“an emerging discipline,
concerned with
developing methods for
exploring the unique
types of data that come
from educational
settings, and using those
methods to better
understand students,
and the settings which
they learn in” (IEDM
Society)
Драйверы учебной аналитики
3
Учебная
аналитика
Learning
Science
Академическая
аналитика
Четыре типа аналитики
4
Процесс аналитики
5
Понимание
бизнеса
Понимание
данных
Подготовка
данных
Анализ
данных
Оценка Внедрение
Определить
потребности
бизнеса
Определить
задачи
аналитики
Собрать
данные
Описать
данные
Провести
первичное
исследование
данных
Проверить
качество
данных
Отобрать
данные
Очистить
данные
Преобразо-
вать данные
(производные
переменные,
агрегация,
приведение к
формату)
Выбрать
методы
анализа
Провести
анализ
Оценить
результаты
анализа
с т.з.
методов
Оценить
результаты
анализа
с т.з.
потребнос-
тей
Написать
итоговый
отчет
[Составить
план
мониторинга
и внедрения]
На основе методологии CRISP-DM: https://www.the-modeling-agency.com/crisp-dm.pdf
Потребности бизнеса
и задачи аналитики
6
Результаты
Поведение
Обучение
Реакция
Модель
Киркпатрика
Потребности
бизнеса
Задачи
обучения
Задачи
аналитики
Типовые запросы
7
Тема Ключевой вопрос
Анализ умений учащихся Что учащиеся знают и умеют?
Анализ поведения
учащихся
Как поведение учащихся сказывается на их
обучение? Какая мотивация у учащихся?
Анализ опыта учащихся Довольны ли учащиеся своим опытом обучения?
Сегментирование
учащихся
Какие группы учащихся можно выделить?
Моделирование
предметной области
Как должен быть организован учебный контент?
Анализ средств обучения Какой учебный контент эффективен для обучения?
Анализ трендов Что меняется со временем и как?
Персонализация Что можно порекомендовать учащемуся далее?
Источник: Enhancing Teaching and Learning Through Educational Data Mining and Learning
Analytics: An Issue Brief U.S. Department of Education Office of Educational Technology
Поток данных
8
Процесс обучения Получаемые данные
1. Анализ потребностей и условий
обучения
2. Проектирование обучения
3. Подготовка обучения
До обучения: социально-
демографическая информация,
результаты предварительной
оценки и т.п.
4. Проведение обучения Во время обучения:
взаимодействие с учебными
ресурсами, формирующий контроль
и т.п.
5. Сопровождение после обучения
6. Оценка обучения
После обучения: итоговый
контроль, обратная связь и т.п.
Типы данных (LOTS)
• Life-Outcome
• Observer-Reported
• Test
• Self-Reported
9
Описание данных (Codebook)
10
Переменная Описание Тип Уровень
измерения
Метод
(LOTS)
Схема
кодирования
user_id Идендификатор
пользователя
Integer Nominal
gender Пол
пользователя
String Nominal Анкета (S) male/female
gender_n Пол
пользователя
(recoded)
Integer Nominal Производная
переменная
1=male, 2=female
Принцип GI-GO*
11
* garbage in, garbage out
Проблемы качества данных
• Пропущенные значения
• Ошибки в данных
• Ошибки измерения
• Непостоянство кодирования
• Плохое описание
12
Чистка данных
Проблемы данных Возможные решения
Пропущенные
значения
Исключить наблюдения или переменные. Или
воспользоваться методами, восстанавливающие
пропущенные значения
Ошибки в данных Заменить ошибочные данные. Или исключить
переменные
Ошибки измерения Улучшить инструменты для сбора данных
Непостоянное
кодирование
Выбрать единственную схему кодирования
Плохое описание Проверить переменные и обновить описание
13
Анализ данных
Тип аналитики Задачи Примеры методов
Описательная
аналитика
(«Что произошло?»)
Описание данных
Обнаружение аномалий и
выбросов
Меры центральной тенденции
Характеристики распределения
Меры разброса
Диагностическая
аналитика
(«Почему это
произошло?»)
Обнаружение причинно-
следственных связей
Обнаружение связи между
переменными
Выявление кластеров
Проверка гипотез, дисперсионный
анализ
Корреляционный анализ
Кластерный анализ
Предсказательная
аналитика
(«Что произойдет?»)
Составление прогнозов
Классификация данных
Регрессионный анализ
Дискриминантный анализ
Предписывающая
аналитика
(«Как этого достичь?»)
Оптимизация и управление
Автоматизация поддержки
принятия решения
Оптимизационные методы
Имитационное моделирование
«Мягкое» моделирование (например,
экспертные системы)
14
Оценка и внедрение
• Опросы и обратная связь (от заказчика
и/или пользователя)
• Оценка метрик (и критериев успеха)
15
С чего начать?
• Анализ учебного контента
• Анализ умений и поведения учащихся
• Персонализация и рекомендации
16
Контакты
Максим Скрябин
E-mail: maxim.skryabin@gmail.com
Facebook: mskryabin
17

More Related Content

What's hot

lkpd informatika.pdf
lkpd informatika.pdflkpd informatika.pdf
lkpd informatika.pdfNurulIlyas1
 
Introduction to Data Visualization
Introduction to Data Visualization Introduction to Data Visualization
Introduction to Data Visualization Ana Jofre
 
The 5 Biggest Data Science Trends In 2022
The 5 Biggest Data Science Trends In 2022The 5 Biggest Data Science Trends In 2022
The 5 Biggest Data Science Trends In 2022Bernard Marr
 
Jenis-Jenis Aplikasi Pengolah Angka
Jenis-Jenis Aplikasi Pengolah AngkaJenis-Jenis Aplikasi Pengolah Angka
Jenis-Jenis Aplikasi Pengolah AngkaDinaWahyuni14
 
1 - Simulasi Digital - Logika dan Algoritma.pptx
1 - Simulasi Digital - Logika dan Algoritma.pptx1 - Simulasi Digital - Logika dan Algoritma.pptx
1 - Simulasi Digital - Logika dan Algoritma.pptxNiLuhPutuArdani
 
Diktat Algoritma Pemrograman Java
Diktat Algoritma Pemrograman JavaDiktat Algoritma Pemrograman Java
Diktat Algoritma Pemrograman JavaMuhammad Yunus
 

What's hot (7)

Em Algorithm | Statistics
Em Algorithm | StatisticsEm Algorithm | Statistics
Em Algorithm | Statistics
 
lkpd informatika.pdf
lkpd informatika.pdflkpd informatika.pdf
lkpd informatika.pdf
 
Introduction to Data Visualization
Introduction to Data Visualization Introduction to Data Visualization
Introduction to Data Visualization
 
The 5 Biggest Data Science Trends In 2022
The 5 Biggest Data Science Trends In 2022The 5 Biggest Data Science Trends In 2022
The 5 Biggest Data Science Trends In 2022
 
Jenis-Jenis Aplikasi Pengolah Angka
Jenis-Jenis Aplikasi Pengolah AngkaJenis-Jenis Aplikasi Pengolah Angka
Jenis-Jenis Aplikasi Pengolah Angka
 
1 - Simulasi Digital - Logika dan Algoritma.pptx
1 - Simulasi Digital - Logika dan Algoritma.pptx1 - Simulasi Digital - Logika dan Algoritma.pptx
1 - Simulasi Digital - Logika dan Algoritma.pptx
 
Diktat Algoritma Pemrograman Java
Diktat Algoritma Pemrograman JavaDiktat Algoritma Pemrograman Java
Diktat Algoritma Pemrograman Java
 

Similar to Учебная аналитика

Функциональные элементы системы управления персоналом
Функциональные элементы системы управления персоналомФункциональные элементы системы управления персоналом
Функциональные элементы системы управления персоналомДмитрий Соловьев
 
Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...
   Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...   Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...
Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...Ирина Галкина
 
Математический аппарат в UX. Как проверять гипотезы на статистических данных
Математический аппарат в UX. Как проверять гипотезы на статистических данныхМатематический аппарат в UX. Как проверять гипотезы на статистических данных
Математический аппарат в UX. Как проверять гипотезы на статистических данныхПрофсоUX
 
Типология и этапы проведения исследования
Типология и этапы проведения исследованияТипология и этапы проведения исследования
Типология и этапы проведения исследованияИрина Галкина
 
Что вам может рассказать hr-портал?
Что вам может рассказать hr-портал?Что вам может рассказать hr-портал?
Что вам может рассказать hr-портал?WebSoft
 
Практика машинного обучения: вопросы и проблемы при работе над ML-проектом
Практика машинного обучения: вопросы и проблемы при работе над ML-проектомПрактика машинного обучения: вопросы и проблемы при работе над ML-проектом
Практика машинного обучения: вопросы и проблемы при работе над ML-проектомDenisenko Sergei
 
Методики оценки рекомендательных систем
Методики оценки рекомендательных системМетодики оценки рекомендательных систем
Методики оценки рекомендательных системWitology
 
Avtandil Rudenko: Feature selection: огляд технік та останні новинки
Avtandil Rudenko: Feature selection: огляд технік та останні новинкиAvtandil Rudenko: Feature selection: огляд технік та останні новинки
Avtandil Rudenko: Feature selection: огляд технік та останні новинкиLviv Startup Club
 
методика изучения мотивов учебной деятельности
методика изучения мотивов учебной деятельностиметодика изучения мотивов учебной деятельности
методика изучения мотивов учебной деятельностиВиктория Левченко
 
Mass fundraising tools and methods
Mass fundraising tools and methodsMass fundraising tools and methods
Mass fundraising tools and methodsAgnessa Sarkisyan
 
демос. введение.
демос. введение.демос. введение.
демос. введение.Rosvertol
 
Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...
Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...
Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...Ирина Галкина
 
Tests bogachkov last_version_120412
Tests bogachkov last_version_120412Tests bogachkov last_version_120412
Tests bogachkov last_version_120412Vladimir Kukharenko
 
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...Светлана Панюкова
 
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)Mark Shaphir
 
الفتح الرباني في علاقة القراءات بالرسم العثماني
الفتح الرباني في علاقة القراءات بالرسم العثمانيالفتح الرباني في علاقة القراءات بالرسم العثماني
الفتح الرباني في علاقة القراءات بالرسم العثمانيسمير بسيوني
 
Как сделать учебную аналитику полезной? (ITGM8)
Как сделать учебную аналитику полезной? (ITGM8)Как сделать учебную аналитику полезной? (ITGM8)
Как сделать учебную аналитику полезной? (ITGM8)Maxim Skryabin
 
Оценка персонала в IT. Методы и инструменты.
Оценка персонала в IT. Методы и инструменты.Оценка персонала в IT. Методы и инструменты.
Оценка персонала в IT. Методы и инструменты.Natalya Klimenko
 

Similar to Учебная аналитика (20)

Функциональные элементы системы управления персоналом
Функциональные элементы системы управления персоналомФункциональные элементы системы управления персоналом
Функциональные элементы системы управления персоналом
 
Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...
   Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...   Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...
Тема 3. Этапы проведения исследования. Этап второй: 1.Определение типа исс...
 
Математический аппарат в UX. Как проверять гипотезы на статистических данных
Математический аппарат в UX. Как проверять гипотезы на статистических данныхМатематический аппарат в UX. Как проверять гипотезы на статистических данных
Математический аппарат в UX. Как проверять гипотезы на статистических данных
 
Типология и этапы проведения исследования
Типология и этапы проведения исследованияТипология и этапы проведения исследования
Типология и этапы проведения исследования
 
Что вам может рассказать hr-портал?
Что вам может рассказать hr-портал?Что вам может рассказать hr-портал?
Что вам может рассказать hr-портал?
 
Практика машинного обучения: вопросы и проблемы при работе над ML-проектом
Практика машинного обучения: вопросы и проблемы при работе над ML-проектомПрактика машинного обучения: вопросы и проблемы при работе над ML-проектом
Практика машинного обучения: вопросы и проблемы при работе над ML-проектом
 
Методики оценки рекомендательных систем
Методики оценки рекомендательных системМетодики оценки рекомендательных систем
Методики оценки рекомендательных систем
 
Avtandil Rudenko: Feature selection: огляд технік та останні новинки
Avtandil Rudenko: Feature selection: огляд технік та останні новинкиAvtandil Rudenko: Feature selection: огляд технік та останні новинки
Avtandil Rudenko: Feature selection: огляд технік та останні новинки
 
методика изучения мотивов учебной деятельности
методика изучения мотивов учебной деятельностиметодика изучения мотивов учебной деятельности
методика изучения мотивов учебной деятельности
 
Наталья Калинина Анализ резюме
Наталья Калинина Анализ резюмеНаталья Калинина Анализ резюме
Наталья Калинина Анализ резюме
 
Mass fundraising tools and methods
Mass fundraising tools and methodsMass fundraising tools and methods
Mass fundraising tools and methods
 
демос. введение.
демос. введение.демос. введение.
демос. введение.
 
Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...
Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...
Тема 1.Маркетинговое исследование: определение, процедура, планирование, типо...
 
Tests bogachkov last_version_120412
Tests bogachkov last_version_120412Tests bogachkov last_version_120412
Tests bogachkov last_version_120412
 
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
Лекция 3 Информационные и коммуникационные технологии в реализации системы ко...
 
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
 
01 введение 2012
01 введение 201201 введение 2012
01 введение 2012
 
الفتح الرباني في علاقة القراءات بالرسم العثماني
الفتح الرباني في علاقة القراءات بالرسم العثمانيالفتح الرباني في علاقة القراءات بالرسم العثماني
الفتح الرباني في علاقة القراءات بالرسم العثماني
 
Как сделать учебную аналитику полезной? (ITGM8)
Как сделать учебную аналитику полезной? (ITGM8)Как сделать учебную аналитику полезной? (ITGM8)
Как сделать учебную аналитику полезной? (ITGM8)
 
Оценка персонала в IT. Методы и инструменты.
Оценка персонала в IT. Методы и инструменты.Оценка персонала в IT. Методы и инструменты.
Оценка персонала в IT. Методы и инструменты.
 

Учебная аналитика

  • 2. Треугольник аналитики обучения 2 “the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs” (SoLAR) “an emerging discipline, concerned with developing methods for exploring the unique types of data that come from educational settings, and using those methods to better understand students, and the settings which they learn in” (IEDM Society)
  • 5. Процесс аналитики 5 Понимание бизнеса Понимание данных Подготовка данных Анализ данных Оценка Внедрение Определить потребности бизнеса Определить задачи аналитики Собрать данные Описать данные Провести первичное исследование данных Проверить качество данных Отобрать данные Очистить данные Преобразо- вать данные (производные переменные, агрегация, приведение к формату) Выбрать методы анализа Провести анализ Оценить результаты анализа с т.з. методов Оценить результаты анализа с т.з. потребнос- тей Написать итоговый отчет [Составить план мониторинга и внедрения] На основе методологии CRISP-DM: https://www.the-modeling-agency.com/crisp-dm.pdf
  • 6. Потребности бизнеса и задачи аналитики 6 Результаты Поведение Обучение Реакция Модель Киркпатрика Потребности бизнеса Задачи обучения Задачи аналитики
  • 7. Типовые запросы 7 Тема Ключевой вопрос Анализ умений учащихся Что учащиеся знают и умеют? Анализ поведения учащихся Как поведение учащихся сказывается на их обучение? Какая мотивация у учащихся? Анализ опыта учащихся Довольны ли учащиеся своим опытом обучения? Сегментирование учащихся Какие группы учащихся можно выделить? Моделирование предметной области Как должен быть организован учебный контент? Анализ средств обучения Какой учебный контент эффективен для обучения? Анализ трендов Что меняется со временем и как? Персонализация Что можно порекомендовать учащемуся далее? Источник: Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief U.S. Department of Education Office of Educational Technology
  • 8. Поток данных 8 Процесс обучения Получаемые данные 1. Анализ потребностей и условий обучения 2. Проектирование обучения 3. Подготовка обучения До обучения: социально- демографическая информация, результаты предварительной оценки и т.п. 4. Проведение обучения Во время обучения: взаимодействие с учебными ресурсами, формирующий контроль и т.п. 5. Сопровождение после обучения 6. Оценка обучения После обучения: итоговый контроль, обратная связь и т.п.
  • 9. Типы данных (LOTS) • Life-Outcome • Observer-Reported • Test • Self-Reported 9
  • 10. Описание данных (Codebook) 10 Переменная Описание Тип Уровень измерения Метод (LOTS) Схема кодирования user_id Идендификатор пользователя Integer Nominal gender Пол пользователя String Nominal Анкета (S) male/female gender_n Пол пользователя (recoded) Integer Nominal Производная переменная 1=male, 2=female
  • 12. Проблемы качества данных • Пропущенные значения • Ошибки в данных • Ошибки измерения • Непостоянство кодирования • Плохое описание 12
  • 13. Чистка данных Проблемы данных Возможные решения Пропущенные значения Исключить наблюдения или переменные. Или воспользоваться методами, восстанавливающие пропущенные значения Ошибки в данных Заменить ошибочные данные. Или исключить переменные Ошибки измерения Улучшить инструменты для сбора данных Непостоянное кодирование Выбрать единственную схему кодирования Плохое описание Проверить переменные и обновить описание 13
  • 14. Анализ данных Тип аналитики Задачи Примеры методов Описательная аналитика («Что произошло?») Описание данных Обнаружение аномалий и выбросов Меры центральной тенденции Характеристики распределения Меры разброса Диагностическая аналитика («Почему это произошло?») Обнаружение причинно- следственных связей Обнаружение связи между переменными Выявление кластеров Проверка гипотез, дисперсионный анализ Корреляционный анализ Кластерный анализ Предсказательная аналитика («Что произойдет?») Составление прогнозов Классификация данных Регрессионный анализ Дискриминантный анализ Предписывающая аналитика («Как этого достичь?») Оптимизация и управление Автоматизация поддержки принятия решения Оптимизационные методы Имитационное моделирование «Мягкое» моделирование (например, экспертные системы) 14
  • 15. Оценка и внедрение • Опросы и обратная связь (от заказчика и/или пользователя) • Оценка метрик (и критериев успеха) 15
  • 16. С чего начать? • Анализ учебного контента • Анализ умений и поведения учащихся • Персонализация и рекомендации 16