Learning Analytics: van data naar didactiek- Jop Esmeijer- OWD13

999 views

Published on

Sessieronde 4 (15.05-15.50)
Sprekers : Jop Esmeijer (TNO)
Locatie : Leeuwen Room I + II
Omschrijving : Learning Analytics lijkt grote mogelijkheden te bieden om het onderwijs te verbeteren, maar het ontwikkelen van een goede learning analytics toepassing is niet eenvoudig.De combinatie van technologische uitdagingen, didactische en ethische issues en de vraag hoe dit op succesvolle, duurzame wijze in de dagelijkse onderwijspraktijk geïmplementeerd kan worden, vereist een multidisciplinaire aanpak.

In deze workshop zullen we, onder andere aan de hand van

ervaringen uit de praktijk, ingaan op de belangrijkste vragen die je jezelf moet stellen als je met learning analytics aan de slag wilt gaan; zowel wat betreft de ontwikkeling als implementatie.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
999
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Learning Analytics stelt ons in staat om dit te ondersteunen en te onderzoeken
  • Zodatbijvoorbeeld:Lerendeninzichtkrijgen in huneigenleerprocesDocentenoptimaalgepersonaliseerdonderwijskunnenaanbiedenBestuurders real time inzichtkrijgen in de rendementen van hunopleidingsinstituut
  • UvA
  • inBloom brings together student data, content and applications to support personalized learning.Focus:interoperabiliteit en Content Search Services in aanvulling op dashboards voorvoortgang studentHow does inBloom work?inBloom connects the multiple incompatible – and often outdated – systems school districts currently use to store student information and provides a secure, single-access point where teachers can access the student data they need to do their jobs more effectively. In many districts today, existing systems are incompatible with instructional tools because of inconsistent technical requirements. inBloom connects the many disparate systems and standardizes the connection between education tools and teachers. This allows districts to easily pilot and procure great instructional tools without spending unnecessary time and expense on making those tools work with outdated systems
  • Deze issues komenterug in het ontwerp en de implementatie van LA toepassingen.Alsereenaantal Learning Analytics spelers van betekeniszullenkomen, mogelijk met belangen in anderedomeinenzoalsleermiddelen, kaneronenigheidgaanontstaan over de standaarden die gebruiktworden. Erkaneenlandschap van verschillende tools ontstaan, die nieteenvoudig op elkaarzijnaantesluiten. Ditkanonderwijs op maat - waarbijlerenden, docenten en oudersafhankelijk van de leerlijn en de ontwikkelinggebruikmaken van open leermiddelen - in de wegstaan en zelfseenvorm van lock-in creërenvoor de gebruiker die beperktwordt in het aanbod van tools en leermiddelen. Het onderwijs is eenwereld op zich, en eenklaslokaalheefteeneigenecosysteem. Datsysteemwordtdeelsopengebroken door Learning Analytics, en datkandocenteneenonprettiggevoelgeven. Tegelijkertijdverandert Learning Analytics het onderwijssysteem en de onderwijscultuurwaarbijmeer de nadrukzalkomenteliggen op datagedrevenbesluitvorming. En daar zit nietiedereen op tewachten. Docentenzijn bang dathunautonomie en werkplezierwordtverminderdalsalleswatzijdoen met Learning Analytics tools ondereenvergrootglaswordtgelegd. Daarnaastvrezenzijeendatagedrevenafrekencultuurwaarinzijvoortdurendverantwoordingmoetenafleggen. Om met behulp van Learning Analytics onderwijs op maattekunnenbiedenmoetenerstandaardenkomen in de beschrijving van leeractiviteiten, leerniveaus, leermiddelen en toetsing, zodat het ‘systeem’ kanondersteunen in de optimaleinrichtinghiervan. Dezedatastandaarden – die als metadata aanbijvoorbeeldleermiddelengekoppelddienenteworden – zijnnognietaanwezig. Op dit moment wordenerallerlei Learning Analytics tools los van elkaarontwikkeld, zonderdaterrekeninggehoudenwordt met interoperabiliteit en gedeeldestandaarden.
  • Adaotiviteit: Kan Schooltaszodanigadaptiefwordengemaaktdat de leerlingen op optimalemanierkunnenleren en de (voor hen) meesteffectieveleerstrategieënkunnentoepassen? Kan learning analytics hieraanbijdragen, en zoja op welkemanier? Indien men op basis van de analyse van de gelogde data (met behulp van learninganalytics) in staat is om leerstrategieën van individuele leerlingen en de relatie met leerstijlen te identificeren, dan kan het leerprogramma vervolgens meer adaptief gemaakt worden aan de behoeften van individuele leerlingen. Enerzijds kan daarmee leermateriaal aangeboden worden dat aansluit bij de individuele leerstijl, maar anderzijds kan ook bewust gekozen worden voor een gevarieerder aanbod om ook andere leerstijlen te stimuleren. Dit zal uiteindelijk de effectiviteit van het leren kunnen verhogen (hogere scores op toetsresultaten), al dan niet in combinatie met een verhoogde efficiëntie (sneller leren, minder/andere begeleiding). In traditioneel onderwijs wordt doorgaans de les met relatief weinig ruimte voor verschillende leerstrategieën aangeboden. Nieuwe technologie biedt veel meer mogelijkheden voor adaptiviteit, waarvan wordt aangenomen dat dit leidt tot hogere effectiviteit.TriangulatieObservaties in de klasVragenlijstenaan de leerlingen (over leerstijlen en -strategieen)Data-analyses nav
  • Schooltasbiedtleerboeken, werkboeken, eenpersoonlijkschrift en prikkers die het mogelijkmakenominformatie, links, audio en video toe tevoegen en uittewisselen. Met z’nallen in de klas of rustigalleenthuis. Op dezemanierkoppeltSchooltas de vertrouwdelesmethodesaan de nieuwemogelijkheden van het digitaletijdperk. Schooltasmaaktdigitaallesgevenmogelijk. Schooltas is ervoor het basisonderwijs, voortgezetonderwijs en beroepsonderwijs.Schooltasblijft in beweging. Op basis van ervaringen van leerlingen en docentenontwikkeltSchooltaszich steeds verder.Nieuw in Schooltas is het digitaleWoordweb, dat je samen met de klasmaakt. Nógnieuwer is de functionaliteitwaarmee de docent via de iPadkanschrijven en tekenen in de boeken en werkschriften van de leerlingen. Handigvoortijdens de les. Maarook heel handigvoor het nakijkenachteraf.Wat is nogmeernieuw?>> Het persoonlijkprestatiescherm van de leerling. Met eenoverzicht van geplaatsteprikkers, gemaaktenotities en tekeningen, verzamelde ‘vindikleuks’ en de tijd die besteed is aanSchooltas.Erwordtvoorafeenbepaaldeperiodegekozen, bepaaldevakken (aardrijkskunde, Nederlands, en mogelijkooknatuurkunde), en twee representatieveklassen (br1v. a \AIVO en 2 VMBO). De scholenwordenzo divers mogelijkgekozen. De docent van de controlegroep en experimentelegroep is zomogelijkgelijkomniettevariëren in didactiek van de docent. Benodigdeaantallenzijnalsvolgt, voorallegroepen (experimentelevscontrolegroepen):. Data-analyses (learning analytics): 100 - 200 leerlingen. De data wordt in principeverzameld in de periodedat de leerlingenook de vragenlijstkrijgengepresenteerd, zodatergeenexternekoppelinggemaakthoefttewordentussendeze data en de vragenlijsten (zievolgende bullet).. Vragenlijsten: dezelfde 100 -200leerlingen van verschillendescholen in vergelijkbareklassen. De exactebenodigdeaantallenzijnafhankelijk van de diversiteittussenscholen/klassen en praktischehaalbaarheidv.w.b. organisatie op de scholen. Dezeworden in overleg met ThiemeMeulenhoffbepaald. .  Observaties: I - 2 lessen per school .  lnterviews: 1 - 2 docenten per school, enkeleleerlingen per klas.
  • Adaotiviteit: Kan Schooltaszodanigadaptiefwordengemaaktdat de leerlingen op optimalemanierkunnenleren en de (voor hen) meesteffectieveleerstrategieënkunnentoepassen? Kan learning analytics hieraanbijdragen, en zoja op welkemanier? Indien men op basis van de analyse van de gelogde data (met behulp van learninganalytics) in staat is om leerstrategieën van individuele leerlingen en de relatie met leerstijlen te identificeren, dan kan het leerprogramma vervolgens meer adaptief gemaakt worden aan de behoeften van individuele leerlingen. Enerzijds kan daarmee leermateriaal aangeboden worden dat aansluit bij de individuele leerstijl, maar anderzijds kan ook bewust gekozen worden voor een gevarieerder aanbod om ook andere leerstijlen te stimuleren. Dit zal uiteindelijk de effectiviteit van het leren kunnen verhogen (hogere scores op toetsresultaten), al dan niet in combinatie met een verhoogde efficiëntie (sneller leren, minder/andere begeleiding). In traditioneel onderwijs wordt doorgaans de les met relatief weinig ruimte voor verschillende leerstrategieën aangeboden. Nieuwe technologie biedt veel meer mogelijkheden voor adaptiviteit, waarvan wordt aangenomen dat dit leidt tot hogere effectiviteit.TriangulatieObservaties in de klasVragenlijstenaan de leerlingen (over leerstijlen en -strategieen)Data-analyses nav
  • This chicken-or-egg problem has been called the self-directed learning paradox (Corbalan, Van Merriënboer, & Kicken, 2010). It is difficult to take effective control when you have not yet developed SDL competences, but you cannot develop them when there are no opportunities to practice (Kinzie, 1990). A possible way out to this paradox is the notion of shared control, in which an external agent (computer, instructor) and the learner share control over the selection of learning tasks
  • Uit: Corbalan, G.,Esmeijer, J. Plas, I. van der, Penning, L. de (2013) Learning Analytics to support self-directed learning and learning transfer. TNO-report. TNO 2013 R11647 -Autonomie: watbepaalt het systeem?Zelfsturendleren:the SDL model identifies three elements that are essential for self-directed learning, that is to say, essential for learners to be able to take control over their own learning effectively:   (Self-)Assessment and reflection;   Formulation of learning needs and learning goals;   Identification and selection of learning tasks, materials and resources (incl. interaction with the environment). Instructional model, what to control:  Learning tasks. Tasks can vary in complexity level (from simple to complex), level of support (from work-out examples to conventional problems), or other task features that also vary in real life (Van Merriënboer, 1997). Tasks can also vary in the level of higher order skills that need to be applied (e.g., from reproduction to production; Blooms Taxonomy). Another difference in task types entails well-structured (i.e., only one possible solution possible) vs. ill-structured tasks (i.e., tasks with more than one possible solution possible), content, sequencing and pacing, and level of authenticity (e.g., a dummy, a model, a real job task).   Learning materials that are required to carry out the tasks (e.g., open educational resources, commercial, digital material, video, audio books, eBooks, hypermedia, textbook, lecture notes, animations, games, simulations).   Learning resources (incl. from the social and physical environment; e.g., feedback from the instructor, peers, parents, computer, etc and authentic tasks). according to the information in the gap analysis, the instructional model adapts the level of learner control over: (Self-)Assessment and reflection; Formulation of learning needs and learning goals; Identification and selection of learning tasks, materials and resources (incl. interaction with the environment).
  • Learning Analytics: van data naar didactiek- Jop Esmeijer- OWD13

    1. 1. Learning Analyics: van data naardidactiek 13 november 2013 JopEsmeijer
    2. 2. Dit is…?
    3. 3. Om tebeginnen… Grootste waarde van Learning Analytics zit niet in een efficiëntere invulling van de huidige onderwijspraktijk… …Maar is vervlochten met de discussies over hoe we onderwijs wel/niet in willen richten: Gepersonaliseerdleren, (in)formeel leren Een leven lang leren Nieuwe vaardigheden (Zelfsturende vaardigheden, 21stCenturySkills)
    4. 4. In dezepresentatie Wat is learning analytics? Het ontwerp van learning analytics toepassingen Eenvoorbeeldvan onderzoekbij TNO Richting de toekomst
    5. 5. I – Learning Analytics
    6. 6. Learning analytics Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs (LAK 2011) Ofwel… Het verzamelen, verwerken en presenteren van (geanalyseerde) data over de lerende en de leercontextom het leerprocesteondersteunen.
    7. 7. Voorbeeld: Course signals
    8. 8. Voorbeeld: SNAPP
    9. 9. Voorbeeld: De rekentuin
    10. 10. Voorbeeld: InBloom
    11. 11. Het aanbod Momenteel: Uitbreiding op LVS Focus ligtvaakop voortgang en risico‟svoorspellen (veelHogerOnderwijs) Quick wins: „makkelijke data‟ omteverzamelen Nogweinig (maarmeer): Aandachtvoordidactiekom het leerproceszelfteverbeteren Integratie inleermiddelenof overleermiddelenheen Dit is ookmoeilijker: Multi-disciplinair, juiste data, juistealgoritmes, juiste partners, implementatie
    12. 12. II – Ontwikkeling / Implementatie van Learning Analytics
    13. 13. Interface Data Capture Analytics Interface Output & V Use
    14. 14. Passive Interface Automated Preparation& Integration Data Capture Analytics Passivede cisionmaking Output & V Use Mediated Storage Data governance & security Active Interface Active decision -making
    15. 15. Stap 0: start met ‘Waarom’? Learning Analytics is geendoel, maareenmiddel Er is dusniet 1 vorm van Learning Analytics!
    16. 16. Passive Interface Automated Preparation& Integration Data Capture Analytics Passivede cisionmaking Output & V Use Mediated Storage Data governance & security Active Interface Active decision -making
    17. 17. Stap 0: start met ‘Waarom’? En verschillende stakeholders hebbenverschillendewensen en belangen: “Onderwijsverbeteren” (en waternodig is omdatterealiseren) betekentverschillendedingenvoorverschillende stakeholders
    18. 18. Hella van Rossum - scholier
    19. 19. Annemieke van Doorn – directeurmiddelbare school
    20. 20. Weimar Broerse - docent
    21. 21. Stakeholders en hunprimaire focus
    22. 22. Nietalleen „waarom‟, maarook het aggregatie-niveau Level of data aggregation National School Class Individual Micro Meso Macro
    23. 23. Level of data aggregation Policymaker National Schoolboard School Class Teacher Individual Learner Micro Meso Macro
    24. 24. Level of data aggregation Policymaker National Schoolboard School Producer of learning materials Producer of ELE and LTS Class Teacher Individual Learner Micro Meso Macro
    25. 25. Issues omrekeningmeetehouden Privacy Eigenaarschap van data, transparantie&controle Huidigeonderwijscultuur Autonomie Vertrouwen en bemoeienis Standaardisering&interoperabiliteit
    26. 26. III – Huidigonderzoek
    27. 27. Het herkennen van leerstrategieën Vraag: Kunnen we leerstrategieën en leerstijlen herkennen in de data die ahv vandedigitale lesmethode Schooltas van Thieme Meulenhoff verzameld wordt? (resultaten medio 2014)
    28. 28. Het herkennen van leerstrategieën Vraag: Kunnen we leerstrategieën en leerstijlen herkennen in de data die ahv vandedigitale lesmethode Schooltas van Thieme Meulenhoff verzameld wordt? (resultaten medio 2014) Indien leerstrategieën herkend kunnen worden, kan het leerprogramma meer adaptief gemaakt worden: Leermateriaal aanbieden dat aansluit bij de individuele leerstijl Bewust een gevarieerd aanbod bieden om andere leerstijlen te stimuleren
    29. 29. Passive Interface Automated Preparation& Integration Data Capture v Analytics Passivede cisionmaking Output & V v Use Mediated Storage Data governance & security Active Interface Active decision -making
    30. 30. Project II – Learning Analytics &Zelfsturendleren Hoe kun je zelfsturendlerenondersteunen? Hoe kom je uit de “Zelfsturendleren-paradox” en faciliteer je „shared control‟? Hoe kun je „meta-vaardigheden‟ over verschillendevakkenheenstructureeloefenen en monitoren? Dus hoe combineer je zoweldomeinspecifiekekennis en vaardigheden, met dezevakoverstijgendevaardigheden?
    31. 31. Passive Interface Automated Preparation& Integration Data Capture Analytics Passivede cisionmaking Output & V Use Mediated Storage Data governance & security Active Interface Active decision -making
    32. 32. Vragenvoor de toekomst Data voordidactiek Gepersonaliseerd en adaptief Privacy Eigenaarschap van data, transparantie&controle Huidigeonderwijscultuur Autonomie Vertrouwen en bemoeienis Standaardisering&interoperabiliteit
    33. 33. Learning Analytics Grootste waarde zit niet in een efficiëntere invulling van de huidige onderwijspraktijk Maar is vervlochten met de discussies over hoe we onderwijs wel/niet in willen richten: Gepersonaliseerdleren, (in)formeel leren, leven lang leren Nieuwe vaardigheden (Zelfsturende vaardigheden, 21stCenturySkills) Learning Analytics stelt ons in staat om dit te ondersteunen. Dit vraagt om de samenwerking: Tussen verschillende disciplines Verschillende stakeholders
    34. 34. Tot slot…
    35. 35. The way ahead • Learning Analytics is eenspeerpunt van TNO-onderzoek • TNO werktgraagsamen met relevantepartijen. • Erzijnnogveeluitdagingen. • Watzijnúwvragen? • Hoe gaan we (samen) door? JopEsmeijer, TNO Informatiemaatschappij jop.esmeijer@tno.nl 08886 62174 @jopesmeijer
    36. 36. Tussen Hoop en Vrees Sterktes: Zwaktes Effectiviteit van het onderwijsverbeteren Kennis/expertise (ontwikkeling/gebruik) Inzicht Kennisover welke data nu relevant is Leerprestaties en voortgang Technologischebeperkingen Leerstrategieen en voorkeuren Het moetoptimaalwerken Gebruik van leermiddelen Hogeinitiëlekosten Voorbeleid Privacy-gevoelig Real-time inzichten en feedback Sterktechnologie- en data-gedreven Ondersteuningvoorlerenden en docent Focus op „harde‟ data Maatwerk Versnipperingtotaalbeeld Betrouwbaarheid Verzamelenalsdoel op zich Vergelijking is mogelijk Weinigruimtedwarsdenkers Motivatie door inzicht en feedback Menselijkemaat op de tocht Dwingt tot heldereleercontstructen Risico op labeling Verminderenschooluitval
    37. 37. Dank vooruwaandacht!

    ×