Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

SOONER - Interim project presentatie

105 views

Published on

Presentatie gegeven voor beleidsmedewerkers van het ministerie van onderwijs, cultuur en wetenschap.

Published in: Science
  • Be the first to comment

  • Be the first to like this

SOONER - Interim project presentatie

  1. 1. Utrecht, 30 april 2018 Ministerie van Onderwijs, Cultuur en Wetenschap Prof. Dr. Marco Kalz Drs. Martine Schophuizen Open University of the Netherlands Interim project presentatie
  2. 2. AGENDA • Doelstelling SOONER • Overview SOONER: resultaten en voortgang • Project A: Self-regulated learning skill acquisition • Project B: Motivation and intentions as key to drop-out • Project C: Scaling of support, feedback and interaction • Project D: Organizational development and educational innovation • Discussie
  3. 3. CONTEXT VAN OPEN EDUCATION Open Educational Resources Open Courses/ MOOCs Formal education Non-formal learning Open Learning Communities
  4. 4. UITDAGINGEN VOOR ONDERZOEK SELF REGULATED LEARNING SCALABILITY DROP-OUT ORGANISATION & INNOVATION
  5. 5. SOONER – IN A NUTSHELL • Fundamenteel & begeleidend onderzoek over open online onderwijs (OOO) • OOO als strategische en organisatorische activiteit met systematische implicaties • 4 PhD projecten • Zelfregulerend leren vaardigheden ontwikkeling in het kader van OOO (MICRO) • Motivatie en intenties als bepalend voor drop-out (i.e., het gat tussen intentie en werkelijk gedrag) in OOO (MICRO) • Schaalbare ondersteuningsoplossingen voor OOE (MESO) • OOO en de organisatie (MACRO) • Verschillende bronnen voor dataverzameling (SURF-projecten, Europese projecten, partners etc.) • Strikt open access beleid
  6. 6. DOELSTELLING SOONER • Het opleveren van kennis over condities en impact van OOE op het individu (micro & meso) en de instellingen (macro) • Wetenschappelijke kennis en praktijkkennis • Systemic approach: “Under which conditions, which approaches work best to reach which goals” • Welke effecten hadden de subsidies?
  7. 7. HIGHLIGHTS
  8. 8. KENNISVERSPREIDING
  9. 9. KENNISVERSPREIDING
  10. 10. SOONER TEAM dr. Jeroen Janssen dr. ir. Karel Kreijns dr. Peter van Rosmalen prof dr. Marco Kalz prof dr. Liesbeth Kester dr. Anoushka van Leeuwen drs. Renée Jansen drs. Maartje Henderikx drs. Julia Kasch drs. Martine Schophuizen
  11. 11. MICRO, MESO, MACRO PhD B Motivation and intentions as key to drop-out PhD C Scaling of support, feedback and interaction PhD D Organizational development and educational innovation PhD A Self-regulated learning skill acquisition MACRO: Organizational Level MESO: Course level MICRO: Learners level Fundamenteel onderzoek Begeleidend onderzoek
  12. 12. PHD A: SELF-REGULATED LEARNING SKILL AQUISITION PhD B Motivation and intentions as key to drop-out PhD C Scaling of support, feedback and interaction PhD D Organizational development and educational innovation PhD A Self-regulated learning skill acquisition MACRO: Organizational Level MESO: Course level MICRO: Learners level drs. Renée Jansen Universiteit Utrecht
  13. 13. SELF-REGULATED LEARNING
  14. 14. SELF-REGULATED LEARNING
  15. 15. Assess the task Evaluate Strength and Weaknesses Plan Apply strategies Monitor progress Reflect & Adjust Individual Learning Dispositions Ambrose et al., 2010 SELF-REGULATED LEARNING
  16. 16. STUDIES SELF-REGULATED LEARNING SKILL AQUISITION Studie 1: Jansen, R. S., van Leeuwen, A., Janssen, J., Kester, L., & Kalz, M. (2017). Validation of the self-regulated online learning questionnaire. Journal of Computing in Higher Education, 29, 6–27. https://doi.org/10.1007/s12528-016- 9125-x Studie 2a: Quantitative log-data study: Behaviour in online learning environments (in review) Studie 2b: Qualitative interview study: Behaviour in online learning environments (in progress) Studie 3: Meta-analysis/review study: Relationship between (1) SRL interventions, (2) SRL and (3) study results in higher education (in progress) Studie 4: Intervention study: How to scaffold SRL in open online learning environments (in progress)
  17. 17. STUDIE 1: THE SELF-REGULATED ONLINE LEARNING QUESTIONNAIRE Doel: • Ontwikkeling en validatie van een vragenlijst voor SRL specifiek voor online onderwijs. Bevindingen: • Dit meetinstrument maakt valide en betrouwbaar onderzoek naar SRL in online onderwijs mogelijk. Jansen, Van Leeuwen, Janssen, Kester & Kalz, 2017
  18. 18. STUDIE 2: BEHAVIOUR IN ONLINE LEARNING ENVIRONMENTS Doel: • Combineren van vragenlijst resultaten (SRL) met leergedrag. • Aanname: Studenten die aangeven anders hun leren te reguleren, gedragen zich ook anders. Bevindingen: • Zelfregulatie ondersteunen is belangrijk voor succesvol leergedrag. • Zwakke reguleerders volgen sterk het voorgestelde pad in de cursus. Zij zijn dus het beste te helpen met ondersteuning geïntegreerd in de cursus.
  19. 19. STUDIE 3: META-ANALYSIS: SRL INTERVENTIONS, SRL, STUDY RESULTS Doel: • Review studie naar de relatie tussen (1) SRL interventies, (2) SRL en (3) prestatie in hoger en online onderwijs. Bevindingen: • Sterke relatie tussen: – (1) SRL interventies en (2) SRL en tussen – (1) SRL interventies en (3) prestatie • Ondersteuning van SRL is effectief voor zowel SRL als voor prestatie.
  20. 20. STUDIE 3: META-ANALYSIS: SRL INTERVENTIONS, SRL, STUDY RESULTS Bevindingen (vervolg): • Kenmerken van een succesvolle interventie voor SRL zijn anders dan de kenmerken van een succesvolle interventie voor prestatie. • Het is belangrijk het doel van de ondersteuning goed voor ogen te hebben, voordat er keuzes gemaakt worden over het ontwerp. • Het artikel bevat tips voor beide situaties.
  21. 21. PHD B: MOTIVATION AND INTENTIONS AS KEY TO DROP-OUT PhD B Motivation and intentions as key to drop-out PhD C Scaling of support, feedback and interaction PhD D Organizational development and educational innovation PhD A Self-regulated learning skill acquisition MACRO: Organizational Level MESO: Course level MICRO: Learners level drs. Maartje Henderikx Open Universiteit
  22. 22. MOTIVATION AND INTENTIONS AS KEY TO DROP-OUT
  23. 23. DROP-OUT – THE CATEGORY ERROR Jordan, 2015
  24. 24. A […] more important limitation […] is the tendency to ignore the perspective of the individual […] Such definitions of dropout […] imply connotations of inferiority […] of the individual dropping out. Tinto & Cullen, 1973
  25. 25. STUDIES MOTIVATION AND INTENTIONS AS KEY TO DROP-OUT Studie 1: Henderikx, M., Kreijns, K. ,& Kalz, M. (2017). Refining Success and Dropout in Massive Open Online Courses. Distance Education. 38 (3). 353-368. doi:10.1080/01587919.2017.1369006 Studie 2a: Exploratory study: A classification of barriers that influence intention achievement in Massive Open Online Courses (submitted) Studie 2b: Confirmatory study: A classification of barriers that influence intention achievement in Massive Open Online Courses (in progress) Studie 3: Exploring factors that predict the encounter of barriers to learning in Massive Open Online Courses (in progress) Studie 4: Implementation intentions and goal achievement; a match made in heaven? (in progress)
  26. 26. STUDIE 1: COMPARING SUCCESS PARADIGMS MOOC “Marine Litter” De traditionele benadering 6500, 4000 starters, 400 certificates 10 % successful learners 90 % dropouts De intentie benadering 49,2 % Inclined abstainers 23,8 % Inclined actors 27 % Disclined abstainers
  27. 27. STUDIE 1: SUCCESS PARADIGMS MOOC “The Adolescent Brain” De traditionele benadering 1500 participants, 80 certificates 5,5 % successful learners 95,5 % dropouts De intentie benadering 23,3 % Inclined abstainers 8,1 % Inclined actors 68,6 % Disclined abstainers
  28. 28. STUDIE 2A: EXPLORATORY STUDY: A CLASSIFICATION OF BARRIERS THAT INFLUENCE INTENTION ACHIEVEMENT IN MASSIVE OPEN ONLINE COURSES (SUBMITTED) Hoofdconclusie: De meeste barrières zijn niet MOOC gerelateerd Component Label Type Coping level 1 Technical and online related skills Non-MOOC related Can be dealt with on a personal level 2 Social context Partly MOOC and partly non-MOOC related Can be dealt with on both personal and MOOC-level 3 Course design MOOC related Can be dealt with on MOOC level 4 Time, support and motivation Non-MOOC related Can be dealt with on a personal level or on a MOOC level
  29. 29. IMPLICATIONS FOR POLICY • Overweeg alternatieve manieren om online leersucces (non-compulsory) te meten • Ondersteun modulaire certificering van (non- compulsory) online cursussen • Focus op transversal skills en study skill ontwikkeling in open online leeromgevingen
  30. 30. IMPLICATIONS FOR PRACTICE • Een meer complete visie op cursus succes (of failure) wat zal leiden tot minder onnodige online learning design inteventions en onjuiste negatieve reviews • Als men weet welke barrières lerenden tegenkomen, dan kunnen MOOC designers/providers hier passende ontwerp oplossingen voor vinden (als het betrekking heeft op MOOC gerelateerde barrières)
  31. 31. PHD C: SCALING OF SUPPORT, FEEDBACK AND INTERACTION PhD B Motivation and intentions as key to drop-out PhD C Scaling of support, feedback and interaction PhD D Organizational development and educational innovation PhD A Self-regulated learning skill acquisition MACRO: Organizational Level MESO: Course level MICRO: Learners level drs. Julia Kasch Open Universiteit
  32. 32. SCALABILITY QUALITY COSTS SCALING OF SUPPORT, FEEDBACK AND INTERACTION
  33. 33. CONFUSION OF TONGUES
  34. 34. SCALABLE DESIGN SCALABLE TECHNOLOGY Worked out examples Bots and virtual tutors Self-organised groups Matchmaking (question-answering) Peer-Assessment Recommender Systems Self-Assessment Prediction-Algorithms SCALABILITY: WELKE ONDERWIJS METHODES ZIJN SCHAALBAAR?
  35. 35. STUDIES SCALING OF SUPPORT, FEEDBACK AND INTERACTION Studie 1: Kasch, J., Van Rosmalen, P,, & Kalz, M. (2017). A Framework Towards Educational Scalability of Open Online Courses. Journal of Universal Computer Science. 23 (9). 845-867. Studie 2: Kasch, J., Van Rosmalen, P., Löhr, A., Ragas, A., & Kalz, M. (accepted). Guerrero-Roldan, A. & Ras, E. (Eds). Student's peer-feedback perceptions in MOOCs. In Proceedings of Technology-Enhanced Assessment Conference, Barcelona, Spain. Communications in Computer and Information Science Vol. 829. Springer. Studie 3: Impacts of Online Peer-Feedback Training on Students' Conceptions of Peer- Feedback in a Massive Open Online Course (MOOC) Studie 4: Best practices of scalable feedback and student support in Massive Open Online Courses (MOOCs)
  36. 36. STUDIE 1: A FRAMEWORK TOWARDS EDUCATIONAL SCALABILITY OF OPEN ONLINE COURSE Doel: ▪ Introduceren & valideren van framework voor scalability van educational design elementen in MOOCs ▪ Determine scalable practices in MOOCs regarding support and formative assessment & feedback Onderzoeksvraag: • Which methods for support and formative assessment and feedback are suitable for open online courses without impacting the teacher bandwidth? Kasch, Van Rosmalen & Kalz, 2017
  37. 37. STUDIE 1: A FRAMEWORK TOWARDS EDUCATIONAL SCALABILITY OF OPEN ONLINE COURSE Bevindingen: ▪ Middels het gebruiken van ons analyse instrument (Educational Scalability Analysis Instrument) vonden wij: ▪ Het concept van scale is niet geoperationaliseerd en is meestal een impliciet kwantitatief begrip ▪ MOOC design heeft een focus op low complexity learning activities met weinig interactie en samenwerking ▪ Er is sprake van een uitdaging m.b.t. het opzetten van complexe en interactieve leeractiviteiten waarbij er tevens geen hoge kosten zijn voor docenten Kasch, Van Rosmalen & Kalz, 2017
  38. 38. STUDIE 1: EDUCATIONAL SCALABILITY MODEL Kasch, Van Rosmalen & Kalz, 2017
  39. 39. STUDIE 1: ANALYSIS EXAMPLE Kasch, Van Rosmalen & Kalz, 2017
  40. 40. STUDIE 1: A FRAMEWORK TOWARDS EDUCATIONAL SCALABILITY OF OPEN ONLINE COURSE Aanbevelingen voor beleid & praktijk: ▪ Cursusontwerp zou zich moeten richten op kwaliteit en kwantiteit: OER ≠ Education en scale ≠ educational scalability ▪ Grote cursussen (offline en online) kunnen baat hebben bij ontwerp richtlijnen m.b.t. formatieve assessment en feedback. Bijvoorbeeld: ▪ Welke types van feedback worden gebruikt, en hoe? Feed-up, feedback, feedforward? ▪ Hoe kan je uitgebreide feedback verzorgen? ▪ …
  41. 41. STUDIE 2: STUDENT PERCEPTION OF SCALABLE PEER-FEEDBACK DESIGN IN MASSIVE OPEN ONLINE COURSES Doel: • Inzicht krijgen in de perceptie van studenten m.b.t. peer feedback/training als ook het design hiervoor verzorgen • Ontwerpen van peer feedback training met een focus op clarity, transparancy en de mogelijkheid om op voorhand te oefenen om zo: – Vergroten van bereidheid om mee te doen in toekomstige peer- feedback activiteiten en training – Verhogen van de perceived usefulness en preparedness van studenten – Verbeteren van algemene attitude van studenten m.b.t. peer feedback Onderzoeksvraag: How do instructional design elements of peer-feedback training influence student perception of peer-feedback activities in MOOCs? Kasch, Van Rosmalen, Löhr, Ragas & Kalz (accepted)
  42. 42. STUDIE 2: STUDENT PERCEPTION OF SCALABLE PEER-FEEDBACK DESIGN IN MASSIVE OPEN ONLINE COURSES Bevindingen: • MOOC studenten hadden waren weinig bekend met peer- feedback in MOOCs • Na deelname in de peer-feedback training is de perceptie van studenten de volgende: – Usefulness increased *(M= 2.1 -> 2.7) – Preparedness increased *(M= 1.9 -> 2.3) – General attitude regarding peer-feedback increased *(M= 1.4 -> 2.7) *on a scale from 0 (low) – 3 (high) Kasch, Van Rosmalen, Löhr, Ragas & Kalz (accepted)
  43. 43. STUDIE 2: STUDENT PERCEPTION OF SCALABLE PEER-FEEDBACK DESIGN IN MASSIVE OPEN ONLINE COURSES Aanbevelingen voor beleid & praktijk: • Peer-feedback is een skill/leerdoel die studenten moeten ontwikkelen. Daarom zullen zij hier voorafgaand aan peer- feedback activiteiten in getraind moeten worden • Peer-feedback is een scalable design element, echter de kwaliteit van training en feedback moet bewaakt worden met behulp van een passend cursusontwerp
  44. 44. PHD D: ORGANIZATIONAL DEVELOPMENT AND EDUCATIONAL INNOVATION PhD B Motivation and intentions as key to drop-out PhD C Scaling of support, feedback and interaction PhD D Organizational development and educational innovation PhD A Self-regulated learning skill acquisition MACRO: Organizational Level MESO: Course level MICRO: Learners level drs. Martine Schophuizen Open Universiteit
  45. 45. MACRO research MICRO research MESO research MEASURE 1 MEASURE 2 MEASURE 3 MEASURE 4 ANALYSE ANALYSE total runtime surf project START MID- TERM END FOLLOW -UP runtime course PHD D: ORGANIZATIONAL DEVELOPMENT AND EDUCATIONAL INNOVATION
  46. 46. STUDIES ORGANIZATIONAL DEVELOPMENT AND EDUCATIONAL INNOVATION Studie 1a: Schophuizen, M., Kreijns, K., Stoyanov, S., & Kalz, M. (2018). Eliciting the challenges and opportunities organizations face when delivering open online education: a group-concept mapping study. The Internet and Higher Education. 36, 1-12. doi:10.1016/j.iheduc.2017.08.002 Studie 1b: GCM follow up study: Does project focus influence challenges and opportunities of open online education? A sub-group analysis of group-concept mapping data. (submitted EC-TEL) Studie 2: Theoretical paper: Through which lens can OOE projects be analysed? (in progress) Studie 3: Mixed method/case studies: How do institutions differ in adoption mechanisms and barriers and facilitators of OOE? (in progress) Studie 4: Theoretical study: How can open online educational innovation be described in the context of new commons? (in progress) Studie 5: To what extend is OOE a part of higher education institution strategy in The Netherlands? (in progress)
  47. 47. STUDIE 1a: ORGANIZATIONAL CHALLENGES AND OPPORTUNITIES & OPEN ONLINE EDUCATION
  48. 48. STUDIE 1a: ORGANIZATIONAL CHALLENGES AND OPPORTUNITIES & OPEN ONLINE EDUCATION
  49. 49. STUDIE 1a: ORGANIZATIONAL CHALLENGES AND OPPORTUNITIES & OPEN ONLINE EDUCATION
  50. 50. STUDIE 1a: ORGANIZATIONAL CHALLENGES AND OPPORTUNITIES & OPEN ONLINE EDUCATION Bevindingen: • Kansen voor open online onderwijs worden erkend door de OOE project leiders • Online teaching wordt ervaren als een grote uitdaging. Dit komt voornamelijk door een skills gap voor docenten en onderwijsontwikkelaars • Support mechanisms mist op verschillende niveaus van de organisatie: – Breder algemeen bewustzijn m.b.t. open online onderwijs mist – Organisatie strategie, beleid en commitment ontbreekt – Centrale ondersteuning (technisch en qua onderwijsontwerp) missen
  51. 51. STUDIE 1B: DOES PROJECT FOCUS INFLUENCE CHALLENGES AND OPPORTUNITIES OF OPEN ONLINE EDUCATION? OOE vs. OER
  52. 52. STUDIE 1B: DOES PROJECT FOCUS INFLUENCE CHALLENGES AND OPPORTUNITIES OF OPEN ONLINE EDUCATION? OOE vs. OER
  53. 53. IMPLICATIONS FOR POLICY • Meer ruimte voor experimenteren en onverwachte uitkomsten in “openess in education”. • Geen korte termijn focus op directe resultaten, maar een lange termijn commitment door de overheid en subsidiemogelijkheden (zien van resultaat kost tijd!). • Meer aandacht voor onderwijs en didactische aspecten van onderwijzen en online onderwijzen in digitale omgevingen. • Open is geen duidelijke waarde binnen het onderwijs! à Meer aandacht voor hetgeen “open” daadwerkelijk kan betekenen in verschillende onderwijscontexten. Denk aan verschillende definities en hoe deze specifiek kunnen bijdragen aan verbeteren van onderwijs.
  54. 54. IMPLICATIONS FOR POLICY • Ga verder dan alleen ambitie: Vorm een visie, stem af op strategie en beleid en vertaal het concreet naar de praktijk (top-down) • Creëer kansen binnen de organisatie om lokale initiatieven en experimenten kans op slagen te geven OOO te implementeren (top- down) • Maak gebruik van de kansen die OOO biedt, welke al erkend worden, en ben niet bang om te experimenteren (bottom-up) • Gebruik OOO om bestaand onderwijs de complementeren en zo de algemene kwaliteit van onderwijs te verbeteren. (top-down & bottom-up)
  55. 55. VRAGEN? Liesbeth Kester Marco Kalz Peter van Rosmalen Jeroen Janssen Karel Kreijns Anoushka van Leeuwen AIO A - Renee Jansen AIO B - Maartje Henderikx AIO C - Julia Kasch AIO D - Martine Schophuizen l.kester@uu.nl marco.kalz@ou.nl peter.vanrosmalen@ou.nl j.j.h.m.janssen@uu.nl karel.kreijns@ou.nl a.vanleeuwen@uu.nl r.s.jansen@uu.nl maartje.henderikx@ou.nl julia.kasch@ou.nl martine.schophuizen@ou.nl www.sooner.nu

×