Keynote presentatie van LESEC annual event 2018 (https://set.kuleuven.be/LESEC/news-events/annual-event-2018) over learning dashboards. Concreet bevat de presentatie bevindingen en aanbevelingen van grootschalige piloten binnen KU Leuven in kader van twee Europese Erasmus+ projecten: ABLE en STELA.

1. LESEC annual event 2018
27 maart 2018
Schaalbare én ethische learning analytics: een haalbare kaart?

2. LESEC
12.45 u : Welkom
13.15 u : Keynote lezing
• Learning dashboards voor feedback op leer- en
studeervaardigheden en academische prestaties: van piloot
naar universiteitsbrede implementatie (Tinne De Laet)
• Ervaringen met deze learning dashboards @KU Leuven
(Studieadvies KU Leuven)
14.45 u : Debat, met moderator Remy Amkreutz
15.45 u : Discussie tussen de deelnemers
(met een hapje en een drankje)
16.35 u : Presentatie van conclusies uit de discussie
16.50 u : Kritische reflectie
Programma

3. https://mfeldstein.com/purdue-course-signals-data-issue-

4. Learning dashboards voor feedback
op leer- en studeervaardigheden en
academische prestaties:
van piloot naar universiteitsbrede implementatie
Tinne De Laet
Tinne.DeLaet@kuleuven.be
@TinneDeLaet

5. “Learning analytics is
about collecting traces
that learners leave
behind and using
those traces to
improve learning.”
- Erik Duval
Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/ 5
Learning Analytics?

6. Learning Analytics?
6Greller, W. and Drachsler, H., 2012. Translating learning into numbers: A generic framework for learning analytics. Journal of Educational Technology & Society, 15(3), p.42.

7. Learning Dashboards?
7Dashboard Confusion, Stephen Few, Intelligent Enterprise, March 20, 2004
“A dashboard is a visual display
of the most important
information needed to achieve
one or more objectives;
consolidated and arranged on a
single screen so the information
can be monitored at a glance.”
- Stephen Few

8. Successful Transition from secondary to higher
Education using Learning Analytics
enhance a successful transition from
secondary to higher education by means of
learning analytics
 design and build analytics dashboards,
 dashboards that go beyond identifying at-risk
students, allowing actionable feedback for all
students on a large scale.
Achieving Benefits from Learning Analytics
research strategies and practices for using
learning analytics to support students during
their first year at university
 developing the technological aspects of
learning analytics,
 focuses on how learning analytics can be used
to support students.
8
www.stela-project.eu
@STELA_project
2015-1-UK01-KA203-013767
www.ableproject.eu
@ABLE_project_eu
562167-EPP-1-2015-1-BE-EPPKA3-PI-FORWARD

9. STELA ♥ ABLE
9
actionable feedback
focus op studenten
& studieloopbaanbegeleiders
opleidingsniveau
inclusief
eerstejaarsstudenten
instellingsbreed
Learning Analytics
échte implementatie

10. Probleemstelling
overgang van secundair naar hoger onderwijs
 uitdagend vanuit academisch en sociaal perspectief
 studenten moeten zich aanpassen, maar hoe?
social-comparison
theory
 mensen evalueren hun
capaciteiten door
vergelijking met
anderen als objectieve
maatstaven ontbreken
 voor nieuwe studenten
ontbreekt vergelijkend
kader
self-efficacy
 “verwachting om
succesvol te zijn in
specifieke taak” ≈
situatiespecifiek
zelfvertrouwen
 academische self-
efficacy beïnvloedt
academische resultaten
feedback
 belangrijk voor
verhogen van
studiesucces
actionable feedback!
10

11. [!] Feedback moet “actionable” zijn.
11
Opgelet!
Mannen hebben 10%
minder kans om
succesvol te zijn.
Jij bent een man.
Opgelet!
Jouw online activeit
is lager dan gewenst!
actie?
?
actie?
?


12. 12
awareness
(self-)reflection
sensemaking
impact
data
questions
answers
behavior change
new meaning
Verbert K, Duval E, Klerkx J; Govaerts S, Santos JL (2013) Learning analytics dashboard applications. American Behavioural Scientist, 10 pages. Published online February 2013.
[!] Feedback moet “actionable” zijn.

13. probleemstelling
Wat we studenten vroegen …
★ hoeveel vertrouwen heb je dat je
succesvol zal zijn in het eerste jaar
★ studiegerelateerd gedrag dat
belangrijk is om succesvol te zijn
Learning dashboards
met
actionable feedback
die
eerste jaar
studiesucces
ondersteunen
Hoeveel vertrouwen heb je?
Wat is belangrijk om
succesvol te zijn?
Welke feedback wil
je ontvangen?
Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal
13

14. probleemstelling
★ ★ ★
★ ★ ★
★ ★ ★
Komt dit overeen met eigenlijke eerste jaar studiesucces?
drop-out
60%
24%
42%
Hebben nieuwe studenten vertrouwen?
Hoelezen?
14
Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal

15. probleemstelling
Welke studiegerelateerde activiteiten zullen belangrijk zijn om succesvol te zijn?
alles is belangrijk …. alleen twijfels over communicatie
15
De Laet T., Broos T., Van Staalduinen J., Ebner M., Langie G., Van Soom C., Schepers W. (2017). Confidence in and beliefs about first-
year engineering student success: case study from KU Leuven, TU Delft, and TU Graz. Proceedings of the 45th SEFI Conference. SEFI
Conference. Azores, Portugal, 18-21 September 2017 (pp. 1-9).

16. probleemstelling
16
Overgang van secundair naar hoger onderwijs is uitdagend.
Studenten willen “actionable” feedback.
Learning Analytics?
Learning Dashboards?

17. 17
interactie
zelfreflectie
LISSA
REX - scores
STUDIELOOPBAAN
BEGELEIDER
STUDENT
Erasmus+ project ABLE
LASSI - leervaardigheden
de dashboards

18. [!] Begin met gegevens die al
beschikbaar zijn.
veel data zou eventueel beschikbaar
kunnen komen …
… maar start met wat er vandaag is.
18
(*)
(*) Zarraonandia, T., Aedo, I., Díaz, P., & Montero, A. (2013). An augmented lecture feedback system to support learner and teacher communication.
British Journal of Educational Technology, 44(4), 616-628.

19. Case study
dashboard interactie student – studieloopbaanbegeleider

20. studieloopbaanbegeleider– student
20
Moet ik een andere
studie overwegen?
Kan ik de bachelor nog
op 3 jaar afmaken?
Kan je me helpen bij
het opstellen van mijn
programma?
Wat zijn je
persoonlijke
omstandigheden?
Hoe kan ik helpen?
Wat is de
volgende stap?

21. [!] Gebruik alle beschikbare expertise
in iteratief ontwerpproces.
21
visualisatie-
experten
onderzoekers
Learning
Analytics
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue.
In IEEE Transactions on Learning Technology (http://ieeexplore.ieee.org/document/7959628/).
studieloopbaanbegeleiders
eindgebruikers
onderzoekers eerste
jaar studiesucces

22. 22
LISSA dashboard

23. [!] Wording matters.
23
73% kans op succes
73% van studenten uit
eerdere cohortes met
zelfde studie-efficiëntie
behaalde bachelordiploma
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/

24. Hoe de CSE grenzen
bepalen?
LISSA dashboard
24
 Bovenste en onderste groep duidelijke boodschap
 Middengroep zo klein mogelijk
 Overfit niet (nuance)

25. LISSA dashboard
25
drie examenperiodes
observaties, interviews, enquête
piloot bij 2 ingenieursopleidingen
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology

26. LISSA: evaluatie – observaties
26
15 observaties
insights
(-) factual
(+) interpretative
(!) reflective
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology

27. LISSA: interviews studieloopbaanbegeleiders
“Als studenten de cijfers zien zijn ze verbaasd,
maar nu geloven ze me.
Vroeger gebruikte ik intuïtie en ervaring, nu voel
ik me ook meer zeker.”
“Het is als een
leidraad door het
gesprek.”
“Ik kan praten over wat te doen na de
resultaten, in plaats van elke keer de data
te zoeken en bij elkaar te puzzelen.”
“Studenten weten soms niet waar te kijken
tijdens het gesprek en vermijden oogcontact. Het
dashboard geeft hen een mogelijke focus.”
“Een student veranderde zijn
studiemethode in juni en kan
nu zien dat het opbracht.”
LISSA ondersteunt het persoonlijk gesprek.
 de mate van gebruik hangt af van de
ervaring en stijl van de
studieloopbaanbegeleider
 datagebaseerde informatie ter ondersteuning
verhaal
 helpt pad van de student in beeld te brengen
“Ik kan focussen op het
individueel pad van de
student, eerder dan op
de pure feiten.”
“Nu kan ik het
dashboard de schuld
geven en me richten
op het samen zoeken
naar de volgende stap
die we kunnen
nemen.”
27

28. LISSA: stand van zaken
28
26 opleidingen >4500 studenten
114 studieloopbaanbegeleiders
training voor
studieloopbaanbegeleiders door
Studieadvies op 3 campussen
http://blog.associatie.kuleuven.be/tinnedelaet/lissa-learning-dashboard-supporting-student-advisers-in-traditional-higher-education/
Millecamp M., Gutiérrez F., Charleer S., Verbert K., De Laet T.# (2018). A qualitative evaluation of a learning dashboard to support advisor-student
dialogues. Proceedings of the 8th International Learning Analytics & Knowledge Conference. LAK. Sydney, 5-9 March 2018 (pp. 1-5) ACM.
dashboards voor 3 examenperiodes

29. LISSA: evaluatie - studentenbevraging
29
26 programs @KU Leuven
291 ingevulde enquêtes
eerste examenperiode
“Confronterend maar
uiteindelijk ook wel
handig”
“Dashboard zelf thuis
kunnen raadplegen.”
“Aparte resultaten voor
oefeningen, theorie en labo
ook tonen in plaats van enkel
het totaalresultaat”
“Hoe weet ik of het
betrouwbaar is?”
“Is het mogelijk de grafieken
naar de student door te
sturen?”
“Zeer bondig en duidelijk.”

30. 30
0
0
1
1
1
1
4
2
1
4
4
3
29
21
36
37
49
42
176
112
156
132
141
169
80
155
93
116
92
72
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Het dashboard is overzichtelijk.
2. De getoonde gegevens over mijn studiesituatie zijn
correct.
3. De getoonde positionering ten opzichte van mijn
medestudenten (histogrammen per vak en globale…
4. Een gesprek met mijn studieloopbaanbegeleider helpt
me om inzicht te krijgen in mijn studietraject.
5. De visualisaties in het dashboard gaven een
meerwaarde aan het gesprek.
6. De getoonde gegevens geven me inzicht in mijn
studiesituatie.
Studentendashboard januari 2018 (N=291)
helemaal niet niet enigszins sterk zeer sterk

31. 31
2
3
1
7
2
1
10
44
23
36
3
11
64
97
81
74
36
29
150
115
126
110
119
91
61
30
56
59
128
157
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
7. Het dashboard helpt me om me meer bewust te maken
van mijn huidige studiesituatie.
8. Het dashboard helpt me om zicht te krijgen op
verschillende mogelijkheden in mijn toekomstig studietraject.
9. Het dashboard doet me reflecteren over mijn
studiegedrag en/of studietraject.
10. Het dashboard stimuleert me om mijn studies anders
aan te pakken in de toekomst (studiegedrag of studietraject).
11. Als ik na een volgende examenperiode op gesprek kom,
hoop ik dat de visualisatie opnieuw gebruikt wordt.
12. Ik zou de getoonde informatie ook zelf willen kunnen
raadplegen.
Studentendashboard januari 2018 (N=291)
helemaal niet niet enigszins sterk zeer sterk

32. [!] Oversimplificeer niet, geef
onzekerheid weer.
32
• realiteit is complex
• meting is beperkt
• individuele factoren!
• nuance nodig
• lok reflectie uit
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/

33. [!] Let op met predictieve algoritmes.
33
• realiteit is complex
• meting is beperkt
• individuele factoren!
• interpreteerbaardheid
noodzaak voor
acceptatie
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/

34. Case study
studentgerichte dashboards

35. [!] Begin met gegevens die
beschikbaar zijn.
35
data already available?
administrative (examples)
student records course grades
systems (examples)
LMS access logs advisor meetings
)
Broos T., Verbert K., Van Soom C., Langie G., De Laet T.# (2018). Small data as a conversation starter for learning analytics: exam results dashboard for first-year students in higher
education. Journal of Research in Innovative Teaching & Learning, , 1-14.

36. [!] Zoek de data verder dan je
neus lang is.
36
• denk niet te traditioneel.
• veel instellingen verzamelen
gegevens in kader van onderzoek

37. [!] Niet alle gegevens zijn bruikbaar.
37
online activiteit van een “traditioneel eerstejaarsvak” (Toledo/VLE)
examenscore
activiteit/week (#dagen)
week van het jaar

38. [!] Niet alle gegevens zijn bruikbaar.
38
online activiteit van een “flipped teaching” eerstejaarsvak (Sofia)
examenscore
activiteit
(# gebruikte modules)
Geen enkele student die
minder dan 10 modules
gebruikte slaagde.
De meeste geslaagde
studenten gebruikten
≥15 modules.

39. [!] Hou rekening met learning
analytics bij leerontwerp.
39
Als LA bijdraagt tot leerproces en
potentieel beter leerontwerp …
maak LA dan geen nabeschouwing
Learning
Analytics
Learning Design
INFORM
ENABLE

40. 40
Is mijn concentratie
van belang?
Is mijn tijdbeheer
goed genoeg?
Ik voel me onzeker.
Is dat normaal?
Hoe kan ik mijn
concentratie
verbeteren?

41. data already available?
administrative (examples)
student records course grades
[!] Zoek de data verder dan je
neus lang is.
41
systems (examples)
LMS access logs advisor meetings
surveys (examples)
quality insurance LASSI

42. ~ 30 LASSI vragen
(verkorte versie)
LASSI: Leer- en studeervaardigheden
vb: Ik studeer alleen als er druk
is van een toets of test.
vb: Ik stel hoge eisen aan mezelf
voor mijn studies.
vb: Zelfs als ik goed voorbereid ben
voor een toets, voel ik me erg
ongerust.
ruwe scores
(5 van de 10)
CONCENTRATIE
MOTIVATIE
FAALANGST
TESTSTRATEGIËN
TIJDBEHEER
normscores
(start Vlaams Hoger Onderwijs)
vb: goed
vb: gemiddeld
vb: goed
vb: zeer goed
vb: zeer zwak
Pinxten, M., Van Soom, C., Peeters, C., De Laet, T., Langie, G., At-risk at the gate: prediction of study success of first-year science and engineering students in an
open-admission university in Flanders—any incremental validity of study strategies? Eur J Psychol Educ (2017).
readySTEMgo Erasmus+ project https://iiw.kuleuven.be/english/readystemgo
42
 Metacognitieve vaardigheden

43. Dashboard leer- en studeervaardigheden
43
studenten vullen LASSI in
studenten krijgen gepersonaliseerde
mail met uitnodiging naar feedback
4367 studenten in 26 opleidingen
in 9 faculteiten @KU Leuven
demo:
https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)
2 opleidingen @TU Delft

44. Feedback model
1. Waarover gaat dit?
2. Hoe doe ik het?
3. Hoe zit het met mijn peers?
4. Waarom is dit relevant?
5. Wat kan ik er aan doen?
44

45. 3. Hoe zit het met mijn peers?
45
2. Hoe doe ik het?
1. Waarover gaat dit?
@studyProgram@
@yourScore@

46. 4. Waarom is dit relevant?
5. Wat kan ik er aan doen?
46

47. 47
5. Wat kan ik er aan doen?

48. Respons
48
3868 (89%) gebruikte
dashboard

49. Studenten feedback?
49
http://blog.associatie.kuleuven.be/tinnedelaet/learning-dashboard-for-actionable-feedback-on-learning-and-studying-skills/
sterren sterren

50. Doorklikkers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
50
 betere leer- en studeervaardigheden

51. Intensieve gebruikers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
51
 slechtere leer- en studeervaardigheden

52. [!] Geef studenten sleutel in handen.
52
• Student heeft sleutel tot eigen
gegevens in handen.
• Student neemt zelf intiatief voor
bespreken van de gegevens.
• GDPR als opportuniteit!

53. Dashboard ijkingstoets
53https://feedback.ijkingstoets.be/ijkingstoets-10-ir/index.html (10ir0demo)

54. [!] Voor impact komt acceptatie.
54
• Betrek belanghebbenden van bij de start en
schat hun input naar waarde!
COmmunicatie
COöperatie
• Toon nut aan.
• Zorg voor ethiek & privacy.
• Goed scenario:
studenten & studieloopbaanbegeleiders
als ambassadeurs
COCO

55. Is er impact?
bevraging voor interventie
 2e jaarsstudenten 2016-2017
 gedrag dat belangrijk was voor studiesucces
 ervaring over eerstejaarsfeedback
 41 vragen, 5-point Likert scale
 pen & papier
programma’s met interventie
 Ingenieurswetenschappen
 Chemie, Biologie, Biochemie & Biotechnologie, Geologie, Geografie
 Wiskunde & fysica
 Informatica
programma zonder interventie = reference
 Industriële ingenieurswetenschappen (Gent)
dashboards
 LISSA
 LASSI (feedback leer- en studeervaardigheden)
 3 x REX (feedback examenresultaten)
bevraging na interventie
 2e jaarsstudenten 2017-2018
 gedrag dat belangrijk was voor studiesucces
 ervaring over eerstejaarsfeedback
 41 vragen, 5-point Likert scale
 pen & papier

56. Is er impact?
Tijdens het eerste jaar ontving ik voldoende informatie over mijn academische prestaties.
56
Ingenieurswetenschappen (p<0.001)

57. Is er impact?
De informatie die ik ontving hielp om me te positioneren tov mijn medestudenten.
57
Ingenieurswetenschappen (p<0.001)

58. Is er impact?
58
De informatie die ik ontving deed me reflecteren.
De informatie die ik ontving deed me mijn gedrag aanpassen.

59. [!] Context is belangrijk!
• beschikbare gegevens
• nationale en institutionele regelgeving
en cultuur
• onderwijsvisie
• onderwijssysteem, grootte van groepen
• …
niet zo meer bestaande LA oplossing
kopiëren!
59

60. Project team @
60
Sven Charleer
AugmentHCI, Computer Science department
PhD researcher ABLE
Katrien Verbert
AugmentHCI, Computer Science department
Copromotor of STELA & ABLE
Carolien Van Soom
Leuven Engineering and Science Education Center
Head of Tutorial Services of Science
Copromotor of STELA & ABLE
Greet Langie
Leuven Engineering and Science Education Center
Vicedean (education) faculty of Engineering Technology
Copromotor of STELA & ABLE
Tinne De Laet
Leuven Engineering and Science Education Center
Head of Tutorial Services of Engineering Science
Coordinator of STELA
KU Leuven coordinator of ABLE
Francisco Gutiérrez
AugmentHCI, Computer Science department
PhD researcher ABLE
Tom Broos
Leuven Engineering and Science Education Center
AugmentHCI, Computer Science department
PhD researcher STELA
Martijn Millecamp
AugmentHCI, Computer Science department
PhD researcher ABLE
Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning!
Jasper, Bart, Riet, Hilde, An, …
♥

61. Samenvatting
61
case studies 10 bevindingen/aanbevelingen
[!] Begin met gegevens die beschikbaar zijn.
[!] Zoek de data verder dan je neus lang is.
[!] Niet alle gegevens zijn bruikbaar.
[!] Wording matters.
[!] Oversimplificeer niet, geef onzekerheid weer.
[!] Let op met predictieve algoritmes.
[!] Hou rekening met learning analytics bij leerontwerp.
[!] Geef studenten sleutel in handen.
[!] Voor impact komt acceptatie.
[!] Context is belangrijk!
 traditionele universitaire setting
 bescheiden aanpak
 “small data”
 betrokkenheid van studieloopbaanbegeleiders
 actionable feedback
 schaalbaarheid
Is dit Learning Analytics?

62. Toekomst?
62
voortzetten dashboard @KU Leuven?
transfer naar andere instellingen
uitbreiding?

63. Bedankt voor jullie aandacht!
63
Sven Charleer
AugmentHCI, Computer Science department
PhD researcher ABLE
Katrien Verbert
AugmentHCI, Computer Science department
Copromotor of STELA & ABLE
Carolien Van Soom
Leuven Engineering and Science Education Center
Head of Tutorial Services of Science
Copromotor of STELA & ABLE
Greet Langie
Leuven Engineering and Science Education Center
Vicedean (education) faculty of Engineering Technology
Copromotor of STELA & ABLE
Tinne De Laet
Leuven Engineering and Science Education Center
Head of Tutorial Services of Engineering Science
Coordinator of STELA
KU Leuven coordinator of ABLE
Francisco Gutiérrez
AugmentHCI, Computer Science department
PhD researcher ABLE
Tom Broos
Leuven Engineering and Science Education Center
AugmentHCI, Computer Science department
PhD researcher STELA
Martijn Millecamp
AugmentHCI, Computer Science department
PhD researcher ABLE
Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning!
Jasper, Bart, Riet, Hilde, An, …
♥

64. 64
Learning and test strategies Study program
N
0/1
Intercept con anx mot test time Eng. Sc. Eng. Sc. Arch. CBBGG Eng. Tech. MIP
Gender
(female)
Clicked
271/1135 -0.806 - - - 0.0363 0.0501** 0.570* 0.724 -0.942*** -0.238 0.194 -
Tab
con 36/1099 3.00* - - 0.0762 - -0.0700 - - - - - -
anx 54/1081 3.00*** - - - - - - - - - - -
mot 66/1069 2.12*** - - - - - 0.827* 0.126 -0.105 0.714 1.61* 0.460
test 66/1069 2.78*** - - - - - - - - - - -
time 72/1063 2.07*** - - - - - 0.879* 0.259 0.240 0.740* 1.75* -
Return to tab
con 792/307 0.909* -0.0633*** - - - - - - - - - -0.387*
anx 804/277 0.801 - -0.0363** -0.0447* - - 0.625* 0.0515 0.124 0.390 0.697* -
mot 804/265 1.08 - -0.0351* -0.0512** - - 0.596* 0.396 -0.109 0.264 0.570 -0.458*
test 796/273 0.937 - - 0.0322 -0.0693*** -0.0308 - - - - - -0.365*
time 890/173 -0.746 -0.0563** - - - - 1.06** 0.656 0.560 0.516 1.10** -0.340
Tips
con 700/399 -0.438 -0.0629*** - 0.0563** - - - - - - - -
anx 881/200 0.251 - -0.120*** 0.0525* - - 0.217 -0.286 -0.162 -0.646* -0.690* 0.378*
mot 897/172 0.607 - - -0.0627** - - -0.378 -0.226 -0.504 -0.939*** -0.552 -
test 896/173 -0.233 - - 0.0850*** -0.135*** - - - - - - 0.394*
time 834/229 -2.47** - - 0.0598* 0.0828*** -0.119*** 0.0598 -0.529 -0.707* -0.477 -0.477 0.324
Feedback
968/167 -3.84*** - -0.0292 - 0.0948*** - - - - - - -