Presentation vid Linnéuniversitet 10/12-2018. Digital tentamen - är verksamhetsutveckling. Mats Brenner, för Projekt Digitalt tentamen II - SUNET Inkubator.

1. Digital tentamen – är
verksamhetsutveckling
Exempel på olika typer av lösningar för att komma igång med digital salstentamen.
Presentation vid Linnéuniversitetet 10 och 11/12 i Växjö –
Mats Brenner, Projekt digital tentamen II – SUNET Inkubator

2. Fördelarna–
digitaltentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad tentamen är bl a att
bedömning/rättning kan ske snabbare (30-70%) och bättre med högre kvalitet
utförd, då det blir enklare när studenternas svar är digitala – då framförallt
genom:
 Att använda digitala bedömningsmallar
 Att fler lärare är med och granskar/gör bedömning med rättningsprotokoll
(Moderation)
 Att studenternas svar är och lärarnas bedömning är anonym
 Att lärarna kan sitta var som helst för att göra sin rättning/bedömning
 Att lärarna enklare och flexiblare kan kommentera i dokument, markera på
bilder m m som feedback till studenter

3. Flerfördelar än
nackdelar…rdelar
lärare/examinator
 Översiktligt och enkelt med fler representationsformer
 Tidsbesparande, mindre arbetstid behövs emot manuellt för
rätta/bedöma
 Enklare bedöma, hitta de som gjort samma fel och därmed få en
bättre och mer likvärdig bedömning
 Sparar tid i utformning och poängsättning
 Kan ha flera examinatorer
 Kan ha negativa poäng, ge extra poäng
 Använda plausibla svar och goda distraktorer
 Kan ha mallar för tenta (antal frågor, typ av frågor,
begränsar/standardiserar)
 Kan använda 3:djeparts applikationer – streaming av
programvara för autentisk tenta
 Spara och återanvända frågor i frågebank
 Enklare utvärdera frågor och frågetyper
 Plagiatkontroll går genomföra
 Prestationerna bättre – läsbart, omdisponerad text, kan infoga
bilder/skisser
 Anpassning för studenter med funktionsvariationer förbättras

4. ProjektDigital
tentamenII
projekt– Digital
tentamenII
Rapporten Datoriserad
tentamen (170 sidor) – som
ger en översikt hur
digitalisering av
arbetsprocesserna kan
genomföras från ax till
limpa av den traditionella
papperstentamen med
salsskrivning.
Webbplats: http://bit.ly/2zmN4y6

5. Kritiskadesign-
principer–
digitalisering
 Underhållsmässighet: Om lösningen kan anpassas eller återanvändas för
att möta mer än ett behov/möta flera behov.
 Kompatibilitet: Om lösningen kan dela information med andra lösningar så att
användare kan dra fördel.
 Effektivitet: Om lösningen driver kostnads- och tidsbesparingar.
 Maintainability: Whether the solution can be adapted or reused to meet more
than one need.
 Compatibility: Whether the solution can share information with other
solutions such that users can benefit.
 Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL:
https://encoura.org/helping-institution-realize-vision-five-edtech-companies-watch/ och
http://pubs.opengroup.org/architecture/togaf8-doc/arch/chap29.html

6. Dekritiska
faktorernavid
införandet
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för
akademisk personal
Förmåga att demonstrera fördelarna av upplevelse för
student, lärare och administrativ personal
Evidensbaserat beslutsfattande och en kontinuerlig
förbättringscykel

7. Effektivitet
Verksamhets-
utveckling
 Målet är att bespara manuellt administrativt arbete och
utveckla formerna för kunskapsprövning och kvalitet i
examination – detta ger effektivitet.
Inputs
• What we invest … e. g. infrastrucure/integrations (LTI, LIS)
• Staff time, Tech expertice, Systems, Training, User Group
Outputs
• Less time on tasks for teachers
• Better student experiences
Outcomes
• Lower indirect costs and costs per exam
• Better quality och flexible forms of exams

8. Erfarenheter och
verktyg på
projektets
webbplats
 Analys av viktigaste behoven och
verksamhetskritiska faktorer

9. Flerafärdiga
systemlösningar
finns

10. VadkanLMS
Moodle?
Third-party question types
Se: https://docs.moodle.org/35/en/Third-party_question_types

11. BYODelleregen
dator
 Här måste beslutas om studenterna ska använda
sina egna datorer eller använda lärosätets
datorer.

12. Nyaroller
Roller och behörighet i system och
systemförvaltning - access, säkerhet,
kvalitetsarbete, versionshantering -
spårbarhet i hela arbetsprocessen.
Lärare/Examinatorer
Tentavärdar/Tentavakter
Administratörer/Tentamensbokning
IKT-pedagoger
Studenter

13. Tentalokalen
El
Wifi
Avskärmning - Möblering

14. GöteborgsuniversitetochChalmers
Nya anpassade lokaler. Lånedatorer.
Samtida digital-/papperstenta. Inspera Assessment.
Högre krav på tentavakterna

16. ÖrebroochKarlstad
Byggt om och byggt till nya anpassade lokaler
WISEflow med FLOWlock. Lånedatorer.
Högre krav på tentavärdarna

17. Sophiahemmet högskola
Alla tentor är nu digitala tentor
Pilot till genomförande 1 år.
Många lånedatorer i förhållande till studenter.

18. Stockholms universtiet -EXIA
En fast lokal, flera flexibla lokaler
Både BOYD och lokal med egen utrustning
Skalar upp – har ett stort/utspritt campus

19. Förstudie,Pilotestar ochUpphandlar
Mälardalens högskola – 3 system parallellt
Centrala projekt: Lunds- och Umeå universitet
Uppsala har just upphandlat klart – bygger om

20. Säkerhet-
Levelof
Assurance
MINSKA FUSK - PUBLICERINGFORM
MINSKA FUSK - EXAMINATIONSFORM
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm – ingen
internet
Övervaka dataskärm
Ej kunna backa
Avskärma

21. Säkerhet isystemlösningen
Säker webbläsare:
Respondus Lockdown Browser (Licens)
SEB (Open Source)

22. Helaarbets-
processen
digitaliseras
Förberedelse Tentamen Bedömning Efterarbete

23. Arbetsprocessen
digitaliseras –
rutiner ochregler
Stödsystem – bokning/anmälan, planering, tentamensspecifika,
IT-standarder, integreringar (krav på IT-arkitektur,
interoperabilitet)
Lokalanpassningar - ström, nät/WiFi och möblering
Anpassning funktionshindrade
Datorer - studenternas egna (BYOD), surfplattor/portabla eller i
datasalar
ID-hantering (anonymisering) och övervakning -
monitoring/proctoring
Överföring av data och arkivering – säker datalagring, rättssäker

24. Arbetsprocessen
digitaliseras –
management &
kvalitet
Provkonstruktion - frågetyper, frågebanker, Learning
Analytic, förbättringsarbete, immateriella rättigheter
(frågebanker), metadata för söka/beskriva frågorna i
kategori, ämnesområde, kunskapsnivå, sökord.
Testsituationen - autentisering, funktionshinder, säker
webbläsare/låsa skärm, ej kommunicera via internet,
övervakning/säkerhet, incidenthantering, intern IT-
kompetens.
Bedömning- och betygsättning via digitala
bedömningsmallar – Kriterier, bedömningsmallar
(Rubrics), utveckla feedback och referensramar för
kvalifikationer – kopplingen till lärandemål (Learning
Outcomes).
Resultathantering – feedback/besked till tentand,
Objektanalys (Learning Analytic) förbättringsarbete.
Arkivering – pdf-filer

25. FRÅGOROCH
TACK!
Mats Brenner, projektledning Projekt Digital tentamen II-
SUNET Inkubator
Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18 eller
070-350 02 33
Webbsidan/kontaktadresser: http://bit.ly/2zmN4y6
eller
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II