The Open University v Milton Keynes je univerzitou s nejvyšším počtem studentů ve Spojeném království. Oproti českým univerzitám nabízí pouze distanční formu vzdělávání prostřednictvím několika set online kurzů rozdělených do studijních programů. Každý kurz připravuje tým odborníků a zkušených pedagogů a jeho příprava trvá řádově dva až tři roky. Zejména v prvních fázích studijních programů se kurzy potýkají s vysokou mírou nedokončení. Aby se tato míra snížila, funguje na univerzitě Student Support Team, jehož členové se snaží pomáhat studentům, kteří by mohli mít potíže s dokončením kurzu. Ve webináři představím, jakým způsobem přistupujeme k odhalování rizikových studentů společně s tím, k čemu je tato informace dále využita. Rovněž představím náš systém vytvořený pro podporu této analýzy, který v současné době rozšiřujeme pro použití na celé univerzitě.

1. Odhalování rizikových studentů
v distančních kurzech na Open University
Datum: 01.12.2014
Autor: Martin Hlosta,
Martin.Hlosta@open.ac.uk

2. KMi – The Open University
• Knowledge Media institute
• The Open University
• Milton Keynes
Bletchley Park
(code breakers,
A.Turing)

3. VŠ v ČR vs. MOOC vs.
The Open University
Prezenční ČR ( = FIT VUT ) MOOC (Coursera) The Open University
Prezenční Distanční – Online Distanční (Online + ostatní
zdroje)
>20 000 studentů na VUT
(2010)
>10mil. uživatelů (10/2014) > 200 000 studentů (2013)
1 Kurz = 1 semestr cca
13týdnů obvykle do 10
kreditů
1 kurz = 4 - 8 týdnů 1kurz = Typicky >30 týdnů (60
kreditů)
Stovky Tisíce až stotisíce Stovky až tisíce
Úspěšnost předmětů:
většinou > 70 % (2005 - 2010)
Většina < 13% Proměnlivá – ze začátku studia
některé < 50%
Zdarma Zdarma (většinou) / signature
track (30GBP = cca 1000 Kč)
Placené
(2 632 GBP = cca 90 000 Kč)

4. Průběh kurzu
Exam/ProjectTMA nTMA2
FAIL
Start TMA1
Pass/Distinction
20
21
20
20
20 students / tutor
Student Support Team (SST)
Payment Payment
…
Tutor Marked Assignment (TMA)
VLE VLE VLE
VLE = Virtual Learning Environment

5. OU Analyse
• Data Prediktivní Aplikace
modelování a nasazení

6. Z jakých dat ?
• Statická –
Demografická
• Dynamická
– VLE
– Výsledky z
průběžných zkoušek
(TMA)

7. Data z VLE
• Interakce studentů ve výukovém prostředí
– Moodle
• Cca 30 různých „Activity types“
– Forum activity (F – forumng)
– Resource activity (R – resource)
– View of test assignment (OU – Oucontent)
– Online learning materials activity (U – url)
– …

8. Co predikovat?
We are here
History we know Future we can estimate
– Významnost zkoušek - v pozdějších fázích
výsledky předchozích TMA nejvýznamnější
ukazatele úspěchu v kurzu
– Predikce úspěchu v nejbližší TMA

9. Proč už 1. TMA ?
• Studenti, kteří selžou při 1. TMA mají
vysokou pravděpodobnost selhání celého
kurzu (>95%)
We need to start predicting before
1. TMA

10. Prediktivní modelování
• Z jakých dat trénovat modely ?
– Předchozí běh kurzu
– B (jaro) vs. J (podzim) běh
• Čištění dat, integrace – >80% času
• Výběr příznaků – pro každý týden
– mRMR: minimum-redundancy maximum-
relevance algoritmus

11. Prediktivní modely
VOTING
> 2 votes
≤ 2 votes
CART (Classification
and Regression
Tree)
kNN
- Demographic
- VLE
Bayes

12. Co dál s predikcemi?
TUTOR

13. Nasazení
• 2 pilotní kurzy (1 500, 3 000 studentů), různé
obory, vysoký počet neúspěšných studentů
• evaluace pomocí klasifikačních metrik
• průzkum u tutorů, manuální vyhodnocení
• Další krok: Predikce a evaluace vzhledem k
intervencím
Useful? Number Percentage Perc. of yes+no
yes 12 46.15% 70.59%
no 5 19.23% 35.71%
Don’t know 9 34.62% -
Total 26 26 (100%) 17 (100%)

14. Aplikace – dashboard
Module (celý kurz)

15. Aplikace – dashboard: Student

16. Analýza chování studentů
• Markovský řetězec – bez paměti
• Chování před 1. TMA
• Důležité aktivity ve VLE
– Př: Homepage (H), URL (U), Subpage (S),
OU_content (O)
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US

17. Start
Pass Fail No submit TMA-1time
VLE opens
Start
Activity space
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US

18. Start
Pass Fail No submit TMA-1time
VLE opens
Start
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
VLE trail:
successful student

19. Start
Pass Fail No submit TMA-1time
VLE opens
Start
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
HSH UHSOHS OUHN O SUHUOH OU OUSOUHS OS US
VLE trail: student who did
not submit

20. PP. model: Markovský řetězec
time
TMA1
VLE
start

21. Lessons learned
– Odhalit rizikové studenty co nejdříve
– Neustále feedback od cílových uživatelů
– Rychle vyvinout prototyp aplikace, proof of
concept, pro demonstraci
– Prezentace/výstavy zdánlivě berou čas, ale jsou
výborné jako deadlines (ospravedlnění
půlnočních prací)
– Začátek jde rychle, ale v málo lidech s rostoucím
rozsahem projektu roztříštěnost lidí a přestává
být čas na vývoj  rozšíření týmu

22. Co děláme a co budeme dělat
• Škálování nasazení na více kurzů
• Zvýšení automatizace celého procesu
• Predikce
– Informace o intervencích
– Tuning modelů + nové modely
• Student Activity Recommender
• Frontend redesign

23. Děkuji za pozornost
analyse.kmi.open.ac.uk
Zdenek.Zdrahal@open.ac.uk
Martin.Hlosta@open.ac.uk