Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center Projekt Digital tentamen II – SUNET Inkubator För Kickoff-sem 2018-02-28 i Stockholm för ESF-projektet BOSS.

1. Digitala prov och tester –
för certifiering och validering
Projekt Digital tentamen II -
digital tentamen, kunskapsprov och kunskapsprövning
Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center
Projekt Digital tentamen II – SUNET Inkubator
För Kickoff-sem 2018-02-28 i Stockholm för ESF-projektet BOSS

2. Pröva och bedöma kompetenser med digitala verktyg

3. Kompetensförsörjningsfråga
Ledningssystem för kompetensförsörjning SS 62 40 70. Här har SIS med
definierats begreppet kompetens som ”förmåga och vilja att utföra en
uppgift genom att tillämpa kunskaper och färdigheter” där följande
innebörd har lagts bakom orden:
• Förmåga erfarenhet, förståelse och omdöme att omsätta kunskap och
färdigheter.
• Vilja attityd, engagemang, mod och ansvar.
• Kunskap fakta, metoder – att veta.
• Färdigheter kunna utföra i praktiken – att göra

4. Trender inom e-assessment och HR
REF: https://www.cut-e.com/fileadmin/user_upload/HR_Trends/Article_Ten_assessment_trends_.pdf

5. Trender och nya sätt examinera pröva, bedöma kunskaper och
färdigheter
REF: http://www.serolearn.com/
http://perigeantechnologies.com/

6. Använda fler representationsformer – fler frågetyper
Digital media (multimodal):
bilder,
video,
videoquiz,
podcast,
animeringar, simuleringar,
interaktiva element VR, AR eller 3:dje part programvara
Fördelar:
Ökade representationsformar för tentand visa sina kunskaper, förmågor och färdigheter
Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering
Möjligheter till automatisk rättning & feedback
Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet

7. Körkortsprovet och MZ Competence
• Är goda förebilder för e-validering/-certifiering
• Deras verksamhet baseras på gedigna erfarenheter och har
väl fungerande rutiner, arbetsprocesser och praxis

8. Nationellt projekt – Digital tentamen II
Projekt Digital tentamen II
genomförds under år 2017/2018
med finansiering från SUNET
Inkubator – webbsida med
dokumentation eller wiki.sunet.se
Rapporten Datoriserad tentamen
(2015) på 170 sidor – ger en översikt
hur digitalisering av arbets-
processerna kan genomföras från ax
till limpa av ffa den traditionella
papperstentamen med salsskrivning.
REF: https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

9. Arbetsprocessen digitaliseras – rutiner och regler
Förberedelse Tentamen Bedömning Efterarbete
Stödsystem – bokning/anmälan, planering, tentamensspecifika, IT-standarder
(krav på IT-arkitektur, interoperabilitet)
Lokalanpassningar - ström, nät/WiFi och möblering
Anpassning funktionshindrade
Datorer - studenternas egna (BYOD), surfplattor/portabla eller i datasalar
ID-hantering (anonymisering) och övervakning - monitoring/proctoring (GDPR)
Överföring av data och arkivering – säker datalagring, rättssäker (GDPR)

10. Arbetsprocessen digitaliseras – management/kvalitet
Förberedelse Tentamen Bedömning Efterarbete
Roller och behörighet i system och systemförvaltning - access, säkerhet, kvalitetsarbete, versionshantering -
spårbarhet i hela arbetsprocessen
Provkonstruktion - frågetyper, frågebanker, Learning Analytic, förbättringsarbete, immateriella rättigheter
(frågebanker), metadata för söka/beskriva frågorna i kategori, kunskapsnivå, sökord
Testsituationen - autentisering, funktionshinder, säker webbläsare/låsa skärm, ej kommunicera via internet,
övervakning/säkerhet, incidenthantering, intern IT-kompetens
Bedömning- och betygsättning via digitala bedömningsmallar – Kriterier, bedömningsmallar (Rubrics) och
referensramar för kvalifikationer – kopplingen till lärandemål (Learning Outcomes)
Resultathantering – feedback/besked till tentand, Objektanalys (Learning Analytic) förbättringsarbete.
Arkivering (notera: GDPR)

11. Flera färdiga systemlösningar finns

12. Automatisering som minskar manuell
administration i alla led: skapa – distribuera –
publicera – bedöma – ge feedback – arkivera –
revidera –sammanställa resultat – analysera -
förbättra
Tentand skriver snabbare
Texter läsa/bedömning går snabbare
Automatisk feedback på flertalet frågetyper
Fler representationsformer för prestation kan
bedömas - mer autentiskt

13. Fördelarna överväger
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig
bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar)
• Kan använda 3:djeparts applikationer
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer förbättras

14. Learning Analytics (Objektanalys) – för kvalitetssäkring
Faktabaserat beslutsunderlag digitalt.
Students profil och förkunskaper (adaptiv
indata, testade)
Prestationer (jmf med ev. tidigare)
Aktiviteter
Betyg, bedömningar, poäng
Närvaro (även mobilt)
Statistik
Diskrepans (avvikelser/skillnader)
Förbättra frågor till test/prov/tentor
Följa studentens studie-, användar- och
interaktionsmönster
Stödja svaga elever/studenter/kursdeltagare
Nyttja befintlig data som stöd för utveckla
läromedel och examinationsformer/prov
Analys av dataloggar – spårbarhet – GDPR

15. Hur hanteras fusk?

16. Minska möjligheterna till fusk
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm –
ingen internet
Övervaka
dataskärm
Ej kunna backa
Avskärma

17. Säkerhet – Level of Assurance (LoA)

18. Exempel: TeSLA
Webbplats: http://tesla-project.eu/ Video: https://vimeo.com/164100812

19. Funktionshinder och funktionsvariationer
Krav på testsituation och programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika representationsformer
• Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer, interaktiva
objekt

20. FRÅGOR OCH TACK!
Mats Brenner, projektledning Projekt Digital tentamen II - SUNET
Inkubator
Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33
Webbsidan/kontaktadresser:
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II
Rapporten Datoriserad tentamen:
https://wiki.sunet.se > Projekt Digital tentamen II