1. Anvendt IKT & Evaluering
Oplæg ved Videncenter for Anvendt IKT’s
PreBETT konference 20.01.2015
Dashwood House, London

2. Henrik Steen Jensen
 Pædagogisk it konsulent & bibliotekar
 CELF’s tværgående afdeling for Pædagogik &
Udvikling
 Case: Evalueringsarbejde på gymnasieafdeling
i forbindelse med indførslen af digital
aflevering og rettearbejde i 2012-13
Præsentation

3. Center for Erhvervsrettede uddannelser
Lolland Falster
 ca. 60 ungdomsuddannelser inkl. handels- og
teknisk gymnasium og en lang række kurser
 10.000 under uddannelse årligt
 3000 årselever
 440 ansatte
 68.000 m² under tag fordelt på 5 adresser
Hvad er CELF?

4.  Hvordan kan vi designe anvendelige
evalueringer af IKT-indsatser i
uddannelsessektoren?
Spørgsmålet

5.  Anvendt IKT case: digitalt rettearbejde
 Evalueringstyper
– Virkningsevaluering
 Erfaringer
– IKT som evaluand
– Case: Resultater
– IKT og didaktisk forestillingsevne
Agenda

6.  Omlægning af arbejdsgang og teknologi
– Printere, dueslag/klasserum, pen
– Fronter (+mail), Ephorus, Office, iPad, EasyCorrect
 Beslutnings- og implementeringsproces
 Strategipunkter og CELF-mål
– Antropologisk undersøgelse, printbesparelse, image
– ElevTrivselsUndersøgelse, karakterer, elevtal
 Intern evaluering
– Hverdagsevaluering vs. ‘forskningsbaseret’
Anvendt IKT case: digitalt rettearbejde

7.  ”… en systematisk retrospektiv vurdering af
gennemførsel, præstation og udfald af
offentlig virksomhed, som tiltænkes at spille
en rolle i handlingssituationer”
(Vedung 1991, iflg. Dahler-Larsen (2003). Selvevalueringens hvide sejl. Odense: Syddansk Universitetsforlag, s. 17)
Evaluering er …

8. Evalueringstyper
Bølger
Klassisk effektevaluering
Eksperimentel, kvasi-eksperimentel, statistisk. Sikker effekt
Responsiv evaluering
Interessenter, ‘black box’, implementering. Observatører, konstruktivister
Monitorering og evaluering
New Public Management. Fokus på resultater. Løbende overvågning.
Evidensbaseret evaluering
Eksperimentelt design som ‘golden standard’ for effektevaluering og evidens
+ Realistisk evaluering, cases samt meta-evaluering.

9.  At realitetsteste forestillinger om indsatsers
virkning: Hvad virker, for hvem, hvordan og
under hvilke omstændigheder?
 Køreplan
– Stille evalueringsspørgsmålet
– Finde kilder til programteorien
– Opstille programteorien
– Gøre programteorien klar til evaluering
– Vælge metoder
– Indsamle data
– Analysere, konkludere og evt. anbefale
Virkningsevaluering

10. Case: Evalueringsplan
Aktivitet april maj juni juli aug. sep. okt. nov. dec. jan.
Kvalificering af evalueringen (’Indsamle kildertil og opstille programteori’)
officielle dokumenter (strategi, pædagogisk grundlag, værdigrundlag, mv)
sparring med HHX-leder og pædagogisk it chef
diskussion ved HHX-afdelingsmøde
fokusgruppe interview med lærere
evalueringslitteratur +sparring med Claus Bo m.fl.
litteratur om feedback, organisation, forandringer, motivation, digitalisering mv.
Desktop: Eksisterende viden og data
Andre CELF undersøgelser (ETU, MTU, Antropologerne)
Eksterne undersøgelser af digitalt rettearbejde
Brugsstatistik fra fronter, prints?
fagkonsulenter & bekendtgørelser mv.
it-ledernetværk?
Elevundersøgelse
Fokusgruppe interviews med elever
Individuel test af spørgeskema
Spørgeskema til elever
Individuelt interview med direktør
Underviserundersøgelse & Design
Værktøjsdesign: informationssøgning, analytisk evaluering
Individuelle interviews & tænkehøjt-systemtest med lærere
Spørgeskema til lærere
(Fremtidsværksted med lærere?)
Efterbehandling
Sammenfatning af case
Eksamen
Afrapportering og feedback til skolen

11.  Programteorien = begrundede forestillinger
om, hvordan og hvorfor en indsats kan tænkes
at virke
– Context – Mechanism – Outcome
Virkningsevaluering

12. Eksempler på CMO-konfigurationer
Virksom mekanisme Moderator Output Outcome
Digital aflevering erstatter
papirafleveringer
Bliver digital aflevering
suppleret af elev eller
lærerprints?
Printer elever og lærere på
skolen eller andet steds?
Færre udskrifter på
skolens printere: mindre
papir, mindre toner,
mindre arbejde med at
bestille/påfylde
Billigere
uddannelse
Indkøb af og abonnement på it
hardware og software
Det tilgængelige udstyr slår
ikke til
Øgede omkostninger til
it hardware og software
Dyrere
uddannelse
It effektiviserer lærernes
rettearbejde
Rettearbejde kan i nogen grad
mekaniseres
Kortere tidsforbrug Effektiviseret
uddannelse
Lærerne har kompetencer til at
udnytte it
Digital aflevering og opbevaring
er lettere
Adgang til net og fronter virker
Eleverne erindrer fysisk
aflevering som
omkostningsfuld (besvær ved
printer, tungt at bære,
ufleksible afleveringstider,
rodet arkiv)
‘Billigere' elevtilværelse Øget
tilfredshed

13. Anvendelse:
 Afdæk evt. implementerings- og teorifejl
 Interesse for bieffekter
 Formativ evaluering => Forbedringsforslag
Virkningsevaluering

14.  Hvad evaluerer vi?
– IT-dogmet
– Koncept i indsatsen
– De konkrete IT-redskaber
– Organisationens implementering
– De berørte elever og læreres forudsætninger
– Skolens rammer
– …
IKT som evaluand

15.  Motivations- eller vedligeholdelsesfaktor?
– ”When our respondents reported feeling happy with
their jobs, they most frequently described factors
related to their tasks, to events that indicated to
them that they were successful in the performance
of their work, and to the possibility of professional
growth. Conversely, when feelings of unhappiness
were reported, they were not associated with the
job itself but with conditions that surround the
doing of the job”
– Herzberg, Mausner & Snyderman (1959). The motivation to
work. John Wiley/Transaction Publishers
IKT som evaluand

16. Udpluk fra en Ennova ETU

17.  Selv simple processer har mange lag, og
ændringer influerer på mange forhold:
Case: Resultater
• Tilgængelig opgaveformulering
• Dokumentation for aflevering
• Afleveringsfrist og overblik
over arbejdsbelastning
• Arkiv for tidligere rettelser
• Lærernes overblik over
manglende aflevering samt
tidligere opgaver
• Plagiattjek
• Intertekstuelle forbindelser
mellem elevopgaver
• Asynkronisitet og oplevelse af
mere tid
• Interaktion og anledning til
mundtlig feedback ved
tilbagelevering
• Skolens/vikarers adgang
• Afhængighed af netadgang
• Skærm- vs. papirlæsning
• Håndskrifts læselighed
• … m.fl.

18.  Afvejning af interesser?
– & evalueringen som kontrol eller læring?
 Skal skolen gøre det let for eleverne?
 Kan IT øge tilfredsheden?
 Bør mediet definere indsatsen?
Case: Resultater

19. ”Man kan bruge teknologien som løftestand for
forandringer. (…) Det er meget, meget fristende
for ildsjæle at forfalde til (…) Nu kan du sige: Vi
skal have computere og net ind i skolen og så
skal eleverne selv kunne researche og lave
projekter i grupper som de diskuterer på nettet.
Og nu har du ikke bare et synspunkt på
mennesker og pædagogik, du har selveste
fremtiden med dig. Vi skal være nummer ét til IT,
ikke sandt?”
 Grünbaum (2001). Tekno-fetichismen. Kbh.: Tiderne Skifter, s. 23
Tekno-fetichisme?

20. ”(…) myten er at alt bliver digitalt, hvis det
overhovedet kan lade sig gøre. Alle processer i
det menneskelige samfund som kan foregå via
en dims og et net, skal partout foregå på den
måde. Selv når vi ikke synes, det virker særlig
praktisk, eller særlig behageligt og godt, så tror vi
alligevel på at det nok bliver sådan. Om ikke
andet, så fordi der skal spares penge.”
 Grünbaum (2001). Tekno-fetichismen. Kbh.: Tiderne Skifter, s. 35
Tekno-fetichisme?

22. IKT og didaktisk forestillingsevne:
Ruben Puenteduras’ SAMR-model
Transformation
Redefinition It gør det muligt at gentænke opgaven
og skabe nyt
Modification It erstatter tidligere værktøj og gør det
muligt at ændre opgaven
Forbedring
Augmentation It erstatter tidligere værktøj og tilføjer
funktionelle forbedringer
Substitution It erstatter tidligere værktøj

23. IKT og didaktisk forestillingsevne
Skovsmose, O., & Borba, M. (2000). Research methodology and critical
mathematic education. Roskilde: Center for forskning i matematiklæring.