Presented at Bett 2016, members of the learning analytics community exchange (LACE) project presented insights into aspects schools should think about when using digital learning materials and tools that have LA capabilities.
Bett 2016 - Implementing learning analytics in your school
1. Implementing Learning Analytics
in Your School
Wietse van Bruggen, Project Manager, Kennisnet NL
w.vanbruggen@kennisnet.nl
Jan Hylén, Researcher, Skolverket SE
jan.hylen@skolverket.se
2. 2
2
CC-BY – You are free to:
copy, share, adapt, or re-mix;
photograph, film, or broadcast;
blog, live-blog, or post video of
this presentation provided that:
You attribute the work to its author and respect the rights and
licences associated with its components.
#laceproject
3. What is Learning Analytics?
• The measurement, collection, analysis and
reporting of data about learners and their
contexts, for purposes of understanding and
optimising learning and the environments in
which it occurs
– First International Conference on Learning Analytics And
Knowledge (LAK11), Banff, Alberta, Feb 27-Mar 1, 2011
3
4. What is Learning Analytics?
• “Collecting traces that learners leave behind and
using those traces to improve learning”
– Erik Duval
http://erikduval.wordpress.com/2012/01/30/learnin
g-analytics-and-educational-data-mining/
4
8. Tool selection
• Learning materials are becoming increasingly digital.
• With the move to digital materials, products will most likely all
have some form of learning analytics as a feature, even if not
explicitly sold as learning analytics.
• Whether a certain tool fits your schools needs depends on your
vision on personalized learning / education.
8
9. Tool selection
• Learning materials are becoming increasingly digital.
• With the move to digital materials, products will most likely all
have some form of learning analytics as a feature, even if not
explicitly sold as learning analytics.
• Whether a certain tool fits your schools needs depends on your
vision on personalized learning / education.
9
10. Tool selection
• Vision on learning
– Teacher-driven learning
• Learners are organized in groups depending on their age and level.
• Learning materials are matched to the level of the group
• Teacher directs the learning process of the group.
– Autonomous learning
• Learning materials are aimed at the needs of the individual learner (pace,
level, order)
• Learning is organized to work towards a pre-set goal.
• Teacher directs the learning process of the individual.
– Self-organized learning
• Learner itself directs the learning process (with assistance and coaching)
• Learner is responsible for their own learning process.
• Learner learns on their own level, their own pace, in their own style, from
their interests.
10Source: Four in Balance monitor 2013, Kennisnet
11. Tool selection
• Survey of tools in the Netherlands.
• All contain some form or learning analytics functionality,
dashboards, adaptivity etc.
• Most tools fit into the teacher-driven vision.
• Some tools fit into the autonomous learning model or would not
require extensive modification to be able to support it.
• Self-organized learning is the least supported model.
11
15. Example: The School in Zandvoort
• School is open all year.
• Learning is organized for each individual and not in fixed groups.
• Each individual learner has their own program, their own
timesheet.
• “We have to look carefully at digital learning tools and whether
they support our views on learning. Creators of digital learning
tools often say that their tool supports personalized learning, but
in the design of their tool they often work with the idea of groups
or learners or classes, and not the individual. A lot of products
therefor are not useful for us or can be hard to work with
because they don’t fully support our way or working.”
15
16. Privacy
• Privacy agreement on national level.
• Privacy agreement en model contract created
in collaboration with school representatives
and major suppliers of digital learning
materials, tools and systems.
• Have agreed to adhere and implement these
agreements.
• Agreements on how personal data
should be handled when using digital
learning tools/materials and digital testing.
16
17. Privacy
• Model contract that can be used by
schools and suppliers.
• For example:
– Limits the use of personal data to the goals for
which a school has given authorization.
– Supplier has to provide an overview of the
categories of personal data it will use and
process.
– Personal data obtained by suppliers cannot be
supplied to third parties unless explicitly
allowed by an educational institution.
17
20. An analytic team in the school
• 6-8 participants
• a coach as support
• a chair person
• the school manager
• mixed competences in the team
• meetings for 1,5 hour every 4th week
• ”Why are our pupils performing less well in Math
than the pupils in the neighbouring school”?
21. Conclusions from pilot study
• From gut feeling to data driven quality
improvements
• Key factors for success
Enough time
Group size important
Stick to the model
The group ”owns” the process
The coach has a key role
Prepare yourself before starting
24. Wietse van Bruggen, Kennisnet NL
Jan Hylén, Skolverket SE
This work was undertaken as part of the LACE Project, supported by the European Commission Seventh
Framework Programme, grant 619424.
These slides are provided under the Creative Commons Attribution Licence:
http://creativecommons.org/licenses/by/4.0/. Some images used may have different licence terms.
www.laceproject.eu
@laceproject
24
www.laceproject.eu
Editor's Notes
Please copy, adapt, photograph, video. Tell your friends!
• Bij leraargestuurd leren worden leerlingen in niveaugroepen ingedeeld en wordt de lesstof op het niveau van elke groep afgestemd. De leraar begeleidt het leerproces van de groep. Deze vorm heeft in het Nederlandse onderwijs momenteel de overhand; 80 procent van alle scholen werkt leraargestuurd.
• Bij zelfstandig leren is de leerbehoefte van een individuele leerling (tempo en volgorde) het uitgangspunt. Wel wordt naar een vastgesteld einddoel toegewerkt en heeft de leraar een sturende rol in het leerproces.
• Bij zelfgeorganiseerd leren krijgt iedere leerling de kans om te leren op zijn eigen niveau, in zijn eigen tempo en in zijn eigen stijl, vanuit de eigen interesse, passie en ambitie. Deze vorm van leren op maat start vanuit de lerende, die zelf verantwoordelijk is voor zijn eigen leerproces.
Projekt som följs av forskarna, framgångsrikt, 37 skolor i Holland
Följer en systematisk modell – utgår från problem som skolan tycker är angeläget, hypoteser, vilka data finns om detta, och man går sedan vidare och analyserar, och om hypotesen är rätt, till åtgärder
En analys av 57 hypoteser visar att de första hypoteserna ofta inte stämmer, men att man genom den systematiska metoden får bättre kunskap om sin verksamhet och kan formulera bättre hypoteser efter hand
Ofta ser man när man börjar externa orsaker till de problem man tar upp, men sedan börjar man tittat på orsaker i den egna verksamheten
Konstaterade effekter pilotstudier på fem skolor
Visar på effekter på lärares dataanvändning och kollegialt lärande, och också på att man åstadkommit förbättrade resultat på de områden man tittat på , färre går om år, bättre matematikresultat
Gärna extern coach
Deltagarna såg arbetssättet som en bra modell för att använda och analysera data på skolnivå och fick ökad förståelse för dataanvändning i det pedagogiska arbetet .
Skolledare och coacher överlag positiva.
Ett sätt att arbeta med kollegialt lärande - att lärare blir drivande i kvalitetsarbetet, utgår från deras problem, där det också ingår att de omsätter det de kommit fram till i förändringar i det egna arbetet. Det är ju ofta den svaga länken idag.
Inte nytt, bara systematiskt,
Att inte gå till lösningen med en gång utan att faktiskt analysera först
data for improvemnet. – kan vara både kvantitativa och kvalitativa
Metoden med analysgrupper är användbar för skolbaserat kvalitetsarbete, för att knyta samman dataanalys med skolutveckling och kollegialt lärande
Kan användas i olika typer av grupper och utgå från olika frågeställningar.
Viktiga faktorer för framgång:
Tillräcklig tid, lagom gruppstorlek,
Följ modellen, Lägg tid på de första stegen – don’t jump to conclusions!
gruppens ägarskap av problemen samt gruppens legitimitet, frivillighet.
Coachens roll är viktig. Viss kunskap om vilka data som finns, men också viktigt med stöd att hjälpa gruppen att följa metoden, leda gruppen framåt
Förberedelse innan start. Underskattade vi
Vi kommer nu att gå vidare och starta flera grupper i höst i Nacka