Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Learning dashboards voor feedback op leer- en studeervaardigheden en academische prestaties: van piloot naar universiteitsbrede implementatie

700 views

Published on

Keynote presentatie van LESEC annual event 2018 (https://set.kuleuven.be/LESEC/news-events/annual-event-2018) over learning dashboards. Concreet bevat de presentatie bevindingen en aanbevelingen van grootschalige piloten binnen KU Leuven in kader van twee Europese Erasmus+ projecten: ABLE en STELA.

Published in: Education
  • Be the first to comment

  • Be the first to like this

Learning dashboards voor feedback op leer- en studeervaardigheden en academische prestaties: van piloot naar universiteitsbrede implementatie

  1. 1. LESEC annual event 2018 27 maart 2018 Schaalbare én ethische learning analytics: een haalbare kaart?
  2. 2. LESEC 12.45 u : Welkom 13.15 u : Keynote lezing • Learning dashboards voor feedback op leer- en studeervaardigheden en academische prestaties: van piloot naar universiteitsbrede implementatie (Tinne De Laet) • Ervaringen met deze learning dashboards @KU Leuven (Studieadvies KU Leuven) 14.45 u : Debat, met moderator Remy Amkreutz 15.45 u : Discussie tussen de deelnemers (met een hapje en een drankje) 16.35 u : Presentatie van conclusies uit de discussie 16.50 u : Kritische reflectie Programma
  3. 3. https://mfeldstein.com/purdue-course-signals-data-issue-
  4. 4. Learning dashboards voor feedback op leer- en studeervaardigheden en academische prestaties: van piloot naar universiteitsbrede implementatie Tinne De Laet Tinne.DeLaet@kuleuven.be @TinneDeLaet
  5. 5. “Learning analytics is about collecting traces that learners leave behind and using those traces to improve learning.” - Erik Duval Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/ 5 Learning Analytics?
  6. 6. Learning Analytics? 6Greller, W. and Drachsler, H., 2012. Translating learning into numbers: A generic framework for learning analytics. Journal of Educational Technology & Society, 15(3), p.42.
  7. 7. Learning Dashboards? 7Dashboard Confusion, Stephen Few, Intelligent Enterprise, March 20, 2004 “A dashboard is a visual display of the most important information needed to achieve one or more objectives; consolidated and arranged on a single screen so the information can be monitored at a glance.” - Stephen Few
  8. 8. Successful Transition from secondary to higher Education using Learning Analytics enhance a successful transition from secondary to higher education by means of learning analytics  design and build analytics dashboards,  dashboards that go beyond identifying at-risk students, allowing actionable feedback for all students on a large scale. Achieving Benefits from Learning Analytics research strategies and practices for using learning analytics to support students during their first year at university  developing the technological aspects of learning analytics,  focuses on how learning analytics can be used to support students. 8 www.stela-project.eu @STELA_project 2015-1-UK01-KA203-013767 www.ableproject.eu @ABLE_project_eu 562167-EPP-1-2015-1-BE-EPPKA3-PI-FORWARD
  9. 9. STELA ♥ ABLE 9 actionable feedback focus op studenten & studieloopbaanbegeleiders opleidingsniveau inclusief eerstejaarsstudenten instellingsbreed Learning Analytics échte implementatie
  10. 10. Probleemstelling overgang van secundair naar hoger onderwijs  uitdagend vanuit academisch en sociaal perspectief  studenten moeten zich aanpassen, maar hoe? social-comparison theory  mensen evalueren hun capaciteiten door vergelijking met anderen als objectieve maatstaven ontbreken  voor nieuwe studenten ontbreekt vergelijkend kader self-efficacy  “verwachting om succesvol te zijn in specifieke taak” ≈ situatiespecifiek zelfvertrouwen  academische self- efficacy beïnvloedt academische resultaten feedback  belangrijk voor verhogen van studiesucces actionable feedback! 10
  11. 11. [!] Feedback moet “actionable” zijn. 11 Opgelet! Mannen hebben 10% minder kans om succesvol te zijn. Jij bent een man. Opgelet! Jouw online activeit is lager dan gewenst! actie? ? actie? ? 
  12. 12. 12 awareness (self-)reflection sensemaking impact data questions answers behavior change new meaning Verbert K, Duval E, Klerkx J; Govaerts S, Santos JL (2013) Learning analytics dashboard applications. American Behavioural Scientist, 10 pages. Published online February 2013. [!] Feedback moet “actionable” zijn.
  13. 13. probleemstelling Wat we studenten vroegen … ★ hoeveel vertrouwen heb je dat je succesvol zal zijn in het eerste jaar ★ studiegerelateerd gedrag dat belangrijk is om succesvol te zijn Learning dashboards met actionable feedback die eerste jaar studiesucces ondersteunen Hoeveel vertrouwen heb je? Wat is belangrijk om succesvol te zijn? Welke feedback wil je ontvangen? Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal 13
  14. 14. probleemstelling ★ ★ ★ ★ ★ ★ ★ ★ ★ Komt dit overeen met eigenlijke eerste jaar studiesucces? drop-out 60% 24% 42% Hebben nieuwe studenten vertrouwen? Hoelezen? 14 Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal
  15. 15. probleemstelling Welke studiegerelateerde activiteiten zullen belangrijk zijn om succesvol te zijn? alles is belangrijk …. alleen twijfels over communicatie 15 De Laet T., Broos T., Van Staalduinen J., Ebner M., Langie G., Van Soom C., Schepers W. (2017). Confidence in and beliefs about first- year engineering student success: case study from KU Leuven, TU Delft, and TU Graz. Proceedings of the 45th SEFI Conference. SEFI Conference. Azores, Portugal, 18-21 September 2017 (pp. 1-9).
  16. 16. probleemstelling 16 Overgang van secundair naar hoger onderwijs is uitdagend. Studenten willen “actionable” feedback. Learning Analytics? Learning Dashboards?
  17. 17. 17 interactie zelfreflectie LISSA REX - scores STUDIELOOPBAAN BEGELEIDER STUDENT Erasmus+ project ABLE LASSI - leervaardigheden de dashboards
  18. 18. [!] Begin met gegevens die al beschikbaar zijn. veel data zou eventueel beschikbaar kunnen komen … … maar start met wat er vandaag is. 18 (*) (*) Zarraonandia, T., Aedo, I., Díaz, P., & Montero, A. (2013). An augmented lecture feedback system to support learner and teacher communication. British Journal of Educational Technology, 44(4), 616-628.
  19. 19. Case study dashboard interactie student – studieloopbaanbegeleider
  20. 20. studieloopbaanbegeleider– student 20 Moet ik een andere studie overwegen? Kan ik de bachelor nog op 3 jaar afmaken? Kan je me helpen bij het opstellen van mijn programma? Wat zijn je persoonlijke omstandigheden? Hoe kan ik helpen? Wat is de volgende stap?
  21. 21. [!] Gebruik alle beschikbare expertise in iteratief ontwerpproces. 21 visualisatie- experten onderzoekers Learning Analytics Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology (http://ieeexplore.ieee.org/document/7959628/). studieloopbaanbegeleiders eindgebruikers onderzoekers eerste jaar studiesucces
  22. 22. 22 LISSA dashboard
  23. 23. [!] Wording matters. 23 73% kans op succes 73% van studenten uit eerdere cohortes met zelfde studie-efficiëntie behaalde bachelordiploma http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/
  24. 24. Hoe de CSE grenzen bepalen? LISSA dashboard 24  Bovenste en onderste groep duidelijke boodschap  Middengroep zo klein mogelijk  Overfit niet (nuance)
  25. 25. LISSA dashboard 25 drie examenperiodes observaties, interviews, enquête piloot bij 2 ingenieursopleidingen Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology
  26. 26. LISSA: evaluatie – observaties 26 15 observaties insights (-) factual (+) interpretative (!) reflective Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology
  27. 27. LISSA: interviews studieloopbaanbegeleiders “Als studenten de cijfers zien zijn ze verbaasd, maar nu geloven ze me. Vroeger gebruikte ik intuïtie en ervaring, nu voel ik me ook meer zeker.” “Het is als een leidraad door het gesprek.” “Ik kan praten over wat te doen na de resultaten, in plaats van elke keer de data te zoeken en bij elkaar te puzzelen.” “Studenten weten soms niet waar te kijken tijdens het gesprek en vermijden oogcontact. Het dashboard geeft hen een mogelijke focus.” “Een student veranderde zijn studiemethode in juni en kan nu zien dat het opbracht.” LISSA ondersteunt het persoonlijk gesprek.  de mate van gebruik hangt af van de ervaring en stijl van de studieloopbaanbegeleider  datagebaseerde informatie ter ondersteuning verhaal  helpt pad van de student in beeld te brengen “Ik kan focussen op het individueel pad van de student, eerder dan op de pure feiten.” “Nu kan ik het dashboard de schuld geven en me richten op het samen zoeken naar de volgende stap die we kunnen nemen.” 27
  28. 28. LISSA: stand van zaken 28 26 opleidingen >4500 studenten 114 studieloopbaanbegeleiders training voor studieloopbaanbegeleiders door Studieadvies op 3 campussen http://blog.associatie.kuleuven.be/tinnedelaet/lissa-learning-dashboard-supporting-student-advisers-in-traditional-higher-education/ Millecamp M., Gutiérrez F., Charleer S., Verbert K., De Laet T.# (2018). A qualitative evaluation of a learning dashboard to support advisor-student dialogues. Proceedings of the 8th International Learning Analytics & Knowledge Conference. LAK. Sydney, 5-9 March 2018 (pp. 1-5) ACM. dashboards voor 3 examenperiodes
  29. 29. LISSA: evaluatie - studentenbevraging 29 26 programs @KU Leuven 291 ingevulde enquêtes eerste examenperiode “Confronterend maar uiteindelijk ook wel handig” “Dashboard zelf thuis kunnen raadplegen.” “Aparte resultaten voor oefeningen, theorie en labo ook tonen in plaats van enkel het totaalresultaat” “Hoe weet ik of het betrouwbaar is?” “Is het mogelijk de grafieken naar de student door te sturen?” “Zeer bondig en duidelijk.”
  30. 30. 30 0 0 1 1 1 1 4 2 1 4 4 3 29 21 36 37 49 42 176 112 156 132 141 169 80 155 93 116 92 72 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 1. Het dashboard is overzichtelijk. 2. De getoonde gegevens over mijn studiesituatie zijn correct. 3. De getoonde positionering ten opzichte van mijn medestudenten (histogrammen per vak en globale… 4. Een gesprek met mijn studieloopbaanbegeleider helpt me om inzicht te krijgen in mijn studietraject. 5. De visualisaties in het dashboard gaven een meerwaarde aan het gesprek. 6. De getoonde gegevens geven me inzicht in mijn studiesituatie. Studentendashboard januari 2018 (N=291) helemaal niet niet enigszins sterk zeer sterk
  31. 31. 31 2 3 1 7 2 1 10 44 23 36 3 11 64 97 81 74 36 29 150 115 126 110 119 91 61 30 56 59 128 157 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 7. Het dashboard helpt me om me meer bewust te maken van mijn huidige studiesituatie. 8. Het dashboard helpt me om zicht te krijgen op verschillende mogelijkheden in mijn toekomstig studietraject. 9. Het dashboard doet me reflecteren over mijn studiegedrag en/of studietraject. 10. Het dashboard stimuleert me om mijn studies anders aan te pakken in de toekomst (studiegedrag of studietraject). 11. Als ik na een volgende examenperiode op gesprek kom, hoop ik dat de visualisatie opnieuw gebruikt wordt. 12. Ik zou de getoonde informatie ook zelf willen kunnen raadplegen. Studentendashboard januari 2018 (N=291) helemaal niet niet enigszins sterk zeer sterk
  32. 32. [!] Oversimplificeer niet, geef onzekerheid weer. 32 • realiteit is complex • meting is beperkt • individuele factoren! • nuance nodig • lok reflectie uit http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/
  33. 33. [!] Let op met predictieve algoritmes. 33 • realiteit is complex • meting is beperkt • individuele factoren! • interpreteerbaardheid noodzaak voor acceptatie http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/
  34. 34. Case study studentgerichte dashboards
  35. 35. [!] Begin met gegevens die beschikbaar zijn. 35 data already available? administrative (examples) student records course grades systems (examples) LMS access logs advisor meetings ) Broos T., Verbert K., Van Soom C., Langie G., De Laet T.# (2018). Small data as a conversation starter for learning analytics: exam results dashboard for first-year students in higher education. Journal of Research in Innovative Teaching & Learning, , 1-14.
  36. 36. [!] Zoek de data verder dan je neus lang is. 36 • denk niet te traditioneel. • veel instellingen verzamelen gegevens in kader van onderzoek
  37. 37. [!] Niet alle gegevens zijn bruikbaar. 37 online activiteit van een “traditioneel eerstejaarsvak” (Toledo/VLE) examenscore activiteit/week (#dagen) week van het jaar
  38. 38. [!] Niet alle gegevens zijn bruikbaar. 38 online activiteit van een “flipped teaching” eerstejaarsvak (Sofia) examenscore activiteit (# gebruikte modules) Geen enkele student die minder dan 10 modules gebruikte slaagde. De meeste geslaagde studenten gebruikten ≥15 modules.
  39. 39. [!] Hou rekening met learning analytics bij leerontwerp. 39 Als LA bijdraagt tot leerproces en potentieel beter leerontwerp … maak LA dan geen nabeschouwing Learning Analytics Learning Design INFORM ENABLE
  40. 40. 40 Is mijn concentratie van belang? Is mijn tijdbeheer goed genoeg? Ik voel me onzeker. Is dat normaal? Hoe kan ik mijn concentratie verbeteren?
  41. 41. data already available? administrative (examples) student records course grades [!] Zoek de data verder dan je neus lang is. 41 systems (examples) LMS access logs advisor meetings surveys (examples) quality insurance LASSI
  42. 42. ~ 30 LASSI vragen (verkorte versie) LASSI: Leer- en studeervaardigheden vb: Ik studeer alleen als er druk is van een toets of test. vb: Ik stel hoge eisen aan mezelf voor mijn studies. vb: Zelfs als ik goed voorbereid ben voor een toets, voel ik me erg ongerust. ruwe scores (5 van de 10) CONCENTRATIE MOTIVATIE FAALANGST TESTSTRATEGIËN TIJDBEHEER normscores (start Vlaams Hoger Onderwijs) vb: goed vb: gemiddeld vb: goed vb: zeer goed vb: zeer zwak Pinxten, M., Van Soom, C., Peeters, C., De Laet, T., Langie, G., At-risk at the gate: prediction of study success of first-year science and engineering students in an open-admission university in Flanders—any incremental validity of study strategies? Eur J Psychol Educ (2017). readySTEMgo Erasmus+ project https://iiw.kuleuven.be/english/readystemgo 42  Metacognitieve vaardigheden
  43. 43. Dashboard leer- en studeervaardigheden 43 studenten vullen LASSI in studenten krijgen gepersonaliseerde mail met uitnodiging naar feedback 4367 studenten in 26 opleidingen in 9 faculteiten @KU Leuven demo: https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login) 2 opleidingen @TU Delft
  44. 44. Feedback model 1. Waarover gaat dit? 2. Hoe doe ik het? 3. Hoe zit het met mijn peers? 4. Waarom is dit relevant? 5. Wat kan ik er aan doen? 44
  45. 45. 3. Hoe zit het met mijn peers? 45 2. Hoe doe ik het? 1. Waarover gaat dit? @studyProgram@ @yourScore@
  46. 46. 4. Waarom is dit relevant? 5. Wat kan ik er aan doen? 46
  47. 47. 47 5. Wat kan ik er aan doen?
  48. 48. Respons 48 3868 (89%) gebruikte dashboard
  49. 49. Studenten feedback? 49 http://blog.associatie.kuleuven.be/tinnedelaet/learning-dashboard-for-actionable-feedback-on-learning-and-studying-skills/ sterren sterren
  50. 50. Doorklikkers Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness. In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham. 50  betere leer- en studeervaardigheden
  51. 51. Intensieve gebruikers Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness. In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham. 51  slechtere leer- en studeervaardigheden
  52. 52. [!] Geef studenten sleutel in handen. 52 • Student heeft sleutel tot eigen gegevens in handen. • Student neemt zelf intiatief voor bespreken van de gegevens. • GDPR als opportuniteit!
  53. 53. Dashboard ijkingstoets 53https://feedback.ijkingstoets.be/ijkingstoets-10-ir/index.html (10ir0demo)
  54. 54. [!] Voor impact komt acceptatie. 54 • Betrek belanghebbenden van bij de start en schat hun input naar waarde! COmmunicatie COöperatie • Toon nut aan. • Zorg voor ethiek & privacy. • Goed scenario: studenten & studieloopbaanbegeleiders als ambassadeurs COCO
  55. 55. Is er impact? bevraging voor interventie  2e jaarsstudenten 2016-2017  gedrag dat belangrijk was voor studiesucces  ervaring over eerstejaarsfeedback  41 vragen, 5-point Likert scale  pen & papier programma’s met interventie  Ingenieurswetenschappen  Chemie, Biologie, Biochemie & Biotechnologie, Geologie, Geografie  Wiskunde & fysica  Informatica programma zonder interventie = reference  Industriële ingenieurswetenschappen (Gent) dashboards  LISSA  LASSI (feedback leer- en studeervaardigheden)  3 x REX (feedback examenresultaten) bevraging na interventie  2e jaarsstudenten 2017-2018  gedrag dat belangrijk was voor studiesucces  ervaring over eerstejaarsfeedback  41 vragen, 5-point Likert scale  pen & papier
  56. 56. Is er impact? Tijdens het eerste jaar ontving ik voldoende informatie over mijn academische prestaties. 56 Ingenieurswetenschappen (p<0.001)
  57. 57. Is er impact? De informatie die ik ontving hielp om me te positioneren tov mijn medestudenten. 57 Ingenieurswetenschappen (p<0.001)
  58. 58. Is er impact? 58 De informatie die ik ontving deed me reflecteren. De informatie die ik ontving deed me mijn gedrag aanpassen.
  59. 59. [!] Context is belangrijk! • beschikbare gegevens • nationale en institutionele regelgeving en cultuur • onderwijsvisie • onderwijssysteem, grootte van groepen • … niet zo meer bestaande LA oplossing kopiëren! 59
  60. 60. Project team @ 60 Sven Charleer AugmentHCI, Computer Science department PhD researcher ABLE Katrien Verbert AugmentHCI, Computer Science department Copromotor of STELA & ABLE Carolien Van Soom Leuven Engineering and Science Education Center Head of Tutorial Services of Science Copromotor of STELA & ABLE Greet Langie Leuven Engineering and Science Education Center Vicedean (education) faculty of Engineering Technology Copromotor of STELA & ABLE Tinne De Laet Leuven Engineering and Science Education Center Head of Tutorial Services of Engineering Science Coordinator of STELA KU Leuven coordinator of ABLE Francisco Gutiérrez AugmentHCI, Computer Science department PhD researcher ABLE Tom Broos Leuven Engineering and Science Education Center AugmentHCI, Computer Science department PhD researcher STELA Martijn Millecamp AugmentHCI, Computer Science department PhD researcher ABLE Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning! Jasper, Bart, Riet, Hilde, An, … ♥
  61. 61. Samenvatting 61 case studies 10 bevindingen/aanbevelingen [!] Begin met gegevens die beschikbaar zijn. [!] Zoek de data verder dan je neus lang is. [!] Niet alle gegevens zijn bruikbaar. [!] Wording matters. [!] Oversimplificeer niet, geef onzekerheid weer. [!] Let op met predictieve algoritmes. [!] Hou rekening met learning analytics bij leerontwerp. [!] Geef studenten sleutel in handen. [!] Voor impact komt acceptatie. [!] Context is belangrijk!  traditionele universitaire setting  bescheiden aanpak  “small data”  betrokkenheid van studieloopbaanbegeleiders  actionable feedback  schaalbaarheid Is dit Learning Analytics?
  62. 62. Toekomst? 62 voortzetten dashboard @KU Leuven? transfer naar andere instellingen uitbreiding?
  63. 63. Bedankt voor jullie aandacht! 63 Sven Charleer AugmentHCI, Computer Science department PhD researcher ABLE Katrien Verbert AugmentHCI, Computer Science department Copromotor of STELA & ABLE Carolien Van Soom Leuven Engineering and Science Education Center Head of Tutorial Services of Science Copromotor of STELA & ABLE Greet Langie Leuven Engineering and Science Education Center Vicedean (education) faculty of Engineering Technology Copromotor of STELA & ABLE Tinne De Laet Leuven Engineering and Science Education Center Head of Tutorial Services of Engineering Science Coordinator of STELA KU Leuven coordinator of ABLE Francisco Gutiérrez AugmentHCI, Computer Science department PhD researcher ABLE Tom Broos Leuven Engineering and Science Education Center AugmentHCI, Computer Science department PhD researcher STELA Martijn Millecamp AugmentHCI, Computer Science department PhD researcher ABLE Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning! Jasper, Bart, Riet, Hilde, An, … ♥
  64. 64. 64 Learning and test strategies Study program N 0/1 Intercept con anx mot test time Eng. Sc. Eng. Sc. Arch. CBBGG Eng. Tech. MIP Gender (female) Clicked 271/1135 -0.806 - - - 0.0363 0.0501** 0.570* 0.724 -0.942*** -0.238 0.194 - Tab con 36/1099 3.00* - - 0.0762 - -0.0700 - - - - - - anx 54/1081 3.00*** - - - - - - - - - - - mot 66/1069 2.12*** - - - - - 0.827* 0.126 -0.105 0.714 1.61* 0.460 test 66/1069 2.78*** - - - - - - - - - - - time 72/1063 2.07*** - - - - - 0.879* 0.259 0.240 0.740* 1.75* - Return to tab con 792/307 0.909* -0.0633*** - - - - - - - - - -0.387* anx 804/277 0.801 - -0.0363** -0.0447* - - 0.625* 0.0515 0.124 0.390 0.697* - mot 804/265 1.08 - -0.0351* -0.0512** - - 0.596* 0.396 -0.109 0.264 0.570 -0.458* test 796/273 0.937 - - 0.0322 -0.0693*** -0.0308 - - - - - -0.365* time 890/173 -0.746 -0.0563** - - - - 1.06** 0.656 0.560 0.516 1.10** -0.340 Tips con 700/399 -0.438 -0.0629*** - 0.0563** - - - - - - - - anx 881/200 0.251 - -0.120*** 0.0525* - - 0.217 -0.286 -0.162 -0.646* -0.690* 0.378* mot 897/172 0.607 - - -0.0627** - - -0.378 -0.226 -0.504 -0.939*** -0.552 - test 896/173 -0.233 - - 0.0850*** -0.135*** - - - - - - 0.394* time 834/229 -2.47** - - 0.0598* 0.0828*** -0.119*** 0.0598 -0.529 -0.707* -0.477 -0.477 0.324 Feedback 968/167 -3.84*** - -0.0292 - 0.0948*** - - - - - - -

×