Presentation vid Inspirationsdag kring examinationer, vid Malmö universitet 8/3-2018.

1. Digitala examinationer -
utvecklingsmöjligheter för flertalet
examinationsformer
Mats Brenner, IKT-pedagog vid Högskolan i
Gävle – Learning Center 2018-03-08 MAH

2. Digital examination
- möjligheter och utmaningar
• Hur har andra gjort
• Learning Analytic
• Administration
• Att formulera frågor

3. Uppdraget – förbättra examinationer

4. Kvalitet, Access och Kostnader – en avvägningsfråga inom all
utbildning – även för utveckla examinationsformer
Kvalitet Access –
flexibla och
säkra
former
KostnadAkademisk Framtiden/mål

5. Syfte
• Lärande - studenten ökar sitt lärande i kurs (ipsativ
eller normen – synliggöra t ex med en e-portfölj)
• Ökad kompetens - läraren i sitt ständiga förbättrings-
arbete (ipsativt, gradera sig i förhållande till sig själv,
självprogression - där den svarande endast jämförs
med sig själv)
• Metoder med evidens – kursmål, bedömning och
skattning, examinationsvillkor, pedagogisk modell och
examinationsformer (både formativa och summativa)
• Digital- och informationskompetens – studenterna
kommer ut i arbetslivet (eller som lärare eller forskare)

6. Vilken kompetens
I Ledningssystem för kompetensförsörjning - SS 62 40 70 så
finns följande definition gällande begreppet kompetens:
SIS har definierats begreppet kompetens som ”förmåga och
vilja att utföra en uppgift genom att tillämpa kunskaper och
färdigheter” där följande innebörd har lagts bakom orden:
• Förmåga erfarenhet, förståelse och omdöme att omsätta kunskap och
färdigheter.
• Vilja attityd, engagemang, mod och ansvar.
• Kunskap fakta, metoder – att veta.
• Färdigheter kunna utföra i praktiken – att göra.

7. Hur ser kursupplägget ut…planerad metod förväntat utfall?
Planera och utveckla din kurs effektivare med:
1. Kursverkstaden kummel.slu.se
2. Kursutveckling kursutveckling.se
3. TALOE Webtool taloetool.up.pt
Bild: Nick8jun, Wikimedia Commons

8. Examination är ett lärtillfälle
Skolnivå:” Eleverna lär sig mycket mer om en stor del av tiden ägnas åt
prov”. Provmetoden ger inte samma behagliga känsla av kontroll, men den
får elevernas hjärnor att gå igång på ett helt annat sätt. Prov kanske inte är
så kul, men de etsar fast kunskapen i hjärnan. (DN 2015-01-23, Vetenskap
sid 23, Karin Bojs – Elever pluggar bäst med prov)
Lärosätesnivå: Assessment and feedback - Transforming assessment and
feedback in UK higher education with technology-enhanced solutions
REF: https://www.jisc.ac.uk/rd/projects/assessment-and-feedback
EU-projekt: TALOE: …help you decide which e-assessment strategies to
use… REF: http://taloetool.up.pt
Nationellt Sverige: Projekt Digital tentamen II – SUNET Inkubator
REF: https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

9. Blooms
Taxonomi
Aktiva Verb
Hur vi uttrycker oss explicit i studiehandledning och vid
uppgiften…

10. Bedömningsmallar (Rubrics)
Tydliga examinationskriterier, examinationsvillkor. Nu kan ni enkelt utbyta Rubrics –
helst direkt i din LMS/lärplattform - med varandra samt Bologna s k kurskrav:
https://hig.se/Ext/Sv/Biblioteket/Learning-Center/Pedagogiska-
verktyg/Bedomningsmallar-i-Blackboard---Kriterier-Rubrics.html

11. Rapport 2008:36 R från HSV: Rättssäker examination
”Datorbaserad tentamen
Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats som
prov där frågorna görs tillgängliga för studenterna via Internet och
studenterna redovisar sina svar via Internet eller via e-post.
Det är uppenbart att denna examinationsform är beroende av att de
tekniska förutsättningarna fungerar. I övrigt torde de
rättssäkerhetsfrågor som kan uppkomma vara desamma som för
examinationsformer som inte är datorbaserade. Myndigheten för
Sveriges nätuniversitet publicerade 2005 en rapport där
rättssäkerheten vid nätburen examination diskuterades (rapport
Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten var
att ”rättssäkerheten vid nätburen examination inte skiljer sig från
examination på campus.” ” (sid 89)

12. Examinations-
former
även som
nätbaserade
kursutveckling.se

13. Vanliga och
mindre
vanliga
examinations-
former

14. Digitaliseringen på lärosätena
1. Lärplattformar, LMS
2. Webb- och videokonferenssystem
3. Mediaportaler och appar
4. Pågång: Systemlösningar för digital tentamen
5. Få använder: Integreringar mellan beroendesystem (LIS, LTI
etc)
6. Diskuteras/Få använder: E-portföljer
7. Påbörjat: AR och VR samt spelbaserat lärande
• REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan slutet av 1990-talet med aktuell omvärldsanalys. Nätbaserat lärande, s k
blended learning, digital examination ökar i omfattning vid lärosätena.

15. Nationellt projekt – Digital tentamen II
Projekt Digital tentamen genomfördes
under år 2015. Under hösten 2017 och
2018 så fortsätter projektet Digital
tentamen II.
Rapporten Datoriserad tentamen (170
sidor) – som ger en översikt hur
digitalisering av arbetsprocesserna kan
genomföras från ax till limpa av den
traditionella papperstentamen med
salsskrivning.
Webbplats: http://bit.ly/2zmN4y6
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

16. Salstentan – en av flera
examinationsformer
Studenter och elever i Sverige är inte så vana
med summativa (High Stake) testsituationer.
Kortkortprovet, ja. Här finns en erfarenhet av
digitalt test/certifiering.
Men vi har inga inträdesprov (endast vid
konstnärliga utbildningar) eller t ex
examensprov som i Finland.
Test och provsituationer känns förstås ovant då
en inte gör de så ofta eller lärt sig studieteknik
för att fokusera på en större prestation under
längre tid, med tidspress. Högskoleprov är inte
avgörande för att söka till högre studier.
Lärarutbildningar har få eller inga
salsskrivningar som tentamen – mestadels
används hemtentor och gruppuppgifter.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9291

17. Sista pappersbastionen…
Högskolan i Gävle har 47%
distansstudenter och 17000 studenter -
därför endast ca 8000 papperstentor.
Örebro universitet 66000
papperstentor, med 17000 studenter.
Jmf med Högskolan i Skövde, ca 8000
studenter med 22000 papperstentor.
Göteborgs universitet (GU) med
Chalmers ca 1250000 papperstentor, ca
10000 digitala tentor 2017 enligt GU.
Linköping har minst 130000-140000
studenter som gör papperstentor (5000
tentor)
Större lärosäten som Uppsala och Lund
har över 100000 papperstentor vardera.
Totalt kan vi nog räkna med över
500000 papperstentor/år.
En del digitalisera!
Lärosätena ha alltför många papperstentor
fortfarande…

18. Salstentamen – fördelar och nackdelar
Fördelar
• Salsskrivningar är rättssäkra då det exempelvis minskar riskerna
för olika former av fusk.
• Formen är välbekant för de flesta studenter.
• Med genomtänkta strategier, uppgifter och
bedömningsgrunder kan djupinlärning stimuleras.
Nackdelar
• Salsskrivning kan vid ovarsamhet uppmuntra ytinlärning.
• Studenterna kan vara pressade av tidsbegränsningar och att
vara i form vid tillfället för salsskrivning
• Uppgifter som stimulerar djupinlärning kan ge hög
rättningsbörda för läraren.

19. Använda fler representationsformer – fler frågetyper
Digital media (multimodal):
bilder,
video,
videoquiz,
podcast,
animeringar, simuleringar,
interaktiva element VR, AR eller 3:dje part
programvara
Fördelar:
Ökade representationsformar för tentand visa sina kunskaper, förmågor och
färdigheter
Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering
Möjligheter till automatisk rättning & feedback
Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet

20. Frågetyper

21. Lärosäten inför nu datoriserad
tentamen
• Införs nu på bred front datoriserad tentamen, både med
studenternas egna datorer (BYOD) och med lärosätes
datorutrustning.
• Testverktyget i sina lärplattformar används, andra har
upphandlat speciellt anpassade systemlösningar för e-
exam/digitala tentamen.
• Studenter positiva
• Lärare, IKT-ped och pedagogiska utvecklare testar, kompetens-
utveckling kring frågetyper, lära sig systemlösning och arbeta in
rutiner med tentabokning. Tentavärdar behöver utbildas.

22. Fördelarna med datoriserad tentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad
tentamen är bl a att bedömning/rättning kan ske snabbare (30-
70%) och bättre med högre kvalitet utförd, då det blir enklare när
studenternas svar är digitala – då framförallt genom:
• Att använda digitala bedömningsmallar
• Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
• Att studenternas svar är och lärarnas bedömning är anonym
• Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
• Att lärarna enklare och flexiblare kan kommentera i dokument,
markera på bilder m m som feedback till studenter

23. Fördelar lärare/examinator
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig
bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar)
• Kan använda 3:djeparts applikationer
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer förbättras

24. Inkludering, Tillgänglighet, Access,
Likvärdighet…

25. Funktionshinder och
funktionsvariationer
Krav på testsituation och programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika representationsformer
• Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer,
interaktiva objekt

26. Arbetsprocessen digitaliseras
Förberedelse Tentamen Bedömning Efterarbete

27. Arbetsprocessen digitaliseras – rutiner och regler
Förberedelse Tentamen Bedömning Efterarbete
Stödsystem – bokning/anmälan, planering, tentamensspecifika, IT-standarder
(krav på IT-arkitektur, interoperabilitet)
Lokalanpassningar - ström, nät/WiFi och möblering
Anpassning funktionshindrade
Datorer - studenternas egna (BYOD), surfplattor/portabla eller i datasalar
ID-hantering (anonymisering) och övervakning - monitoring/proctoring (GDPR)
Överföring av data och arkivering – säker datalagring, rättssäker (GDPR)

28. Arbetsprocessen digitaliseras – management/kvalitet
Förberedelse Tentamen Bedömning Efterarbete
Roller och behörighet i system och systemförvaltning - access, säkerhet, kvalitetsarbete, versionshantering
- spårbarhet i hela arbetsprocessen
Provkonstruktion - frågetyper, frågebanker, Learning Analytic, förbättringsarbete, immateriella rättigheter
(frågebanker), metadata för söka/beskriva frågorna i kategori, kunskapsnivå, sökord
Testsituationen - autentisering, funktionshinder, säker webbläsare/låsa skärm, ej kommunicera via
internet, övervakning/säkerhet, incidenthantering, intern IT-kompetens
Bedömning- och betygsättning via digitala bedömningsmallar – Kriterier, bedömningsmallar (Rubrics) och
referensramar för kvalifikationer – kopplingen till lärandemål (Learning Outcomes)
Resultathantering – feedback/besked till tentand, Objektanalys (Learning Analytic) förbättringsarbete.
Arkivering (notera: GDPR)

29. Learning Analytics (Objektanalys) – för kvalitetssäkring

30. Nya examinationsformer - snabbare
analyser

31. Hur hanteras fusk?

32. Minska möjligheterna till fusk
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm –
ingen internet
Övervaka
dataskärm
Ej kunna backa
Avskärma

33. Säkerhet – Level of Assurance (LoA)

34. Öppen data –
låt studenterna
forska och
redovisa
Verktyg
OpenScholar (Harvard)
Content management verktyg
FoU i Sverige
Gratis dataprogram och IT-verktyg för forskare
Nesstar
Verktyg för webbpublicering av data (freeware)
Open Data Commons
Verktyg för att tillhandahålla och använda öppen data
Tableau Software verktyg för visualisering av data
REF:http://hig.se/Ext/Sv/Biblioteket/Soka/Internetresurser/Oppen-
offentlig-data.html

36. Projektarbete
Rollspel
Kollegial
bedömning
Seminarium
Grupp-
examinationer

37. Askultation
Praktikperioder
(VFU)
Studiebesök
Caseskrivande

38. Examinations-
portfölj
Fallstudie
Loggbok/dagb
ok/journal
Affisch-
utställning
Bokrecension
Minutpapper

39. Laboration
Flervalsfrågor
Praktiska prov
Ungefärliga
analogier
Salsskrivning
Muntlig
examination
Självskattning

40. Abstract
Undersöknings-
plan
Artikel i
Wikipedia
Självständiga
skriftliga arbeten
Examensarbete
Ex-jobb (för
org./företag)

41. Skapa frågor i en video - video quiz
Att lägga till interaktiva quiz i video (med flervalsfrågor) är ett bra sätt att hålla studenten engagerad och ett
effektivt sätt att låta betraktaren ”arbeta direkt” med presentationen av ämnet.
Men funktionen Analytic så kan du som lärare även se kursdeltagarnas användarmönster; se hur många som
sett videon, hur svarsfrekvenserna ser ut m.m.
• Du kan skapa obegränsat antal frågor i en video och flervalsfrågor
med 2 eller 3 svarsalternativ per fråga.
• Du kan som lärare ställa in så studenten kan hämta frågorna i en
PDF-fil (laddas upp på skärm) innan videofilmen startas och testet
därmed startas.
• Studenten kan få ”hintar” som hjälp till att välja rätt svar – med en
enkel inställning.
• Studenten kan även tillåtas att hoppa över frågor och återgå till dem
för att besvara dem senare.
• Studenten kan se videofilmen flera gånger och ta emot feedback,
korrekta svar och djupgående förklaringar när frågorna besvaras.

42. Tips för att skapa flervalsfrågor och
quiz i videofilmer
• Säkerställ att du blandat dina svarsalternativ.
• Se till att alla felaktiga svarsalternativ bör vara rimliga.
• Rekommenderas inte att använda "alla ovanstående" och
"inget av ovanstående" som felaktiga svarsalternativ.
• Säkra att frågan är meningsfull i sig och representerar ett
konkret problem.
• Försök hålla liknande längd på svaren. • Försök inte att
skapa ”knepiga” frågor, snarare tillåta konstruktivt lärande.
• Använd endast ett (1) rätt svar och se till att det framgår
varför andra inte är rätt alternativ.
• Rekommenderat sätta den sista frågan i slutet av videon,
för att hålla användaren engagerad genom hela
presentationen av ämnet (genom hela videofilmen).

43. FRÅGOR OCH TACK!
Mats Brenner, projektledning Projekt Digital
tentamen II- SUNET Inkubator
Kontakt: mats.brenner@hig.se , tfn: 026-64 82
18, 070-350 02 33
Webbsidan/kontaktadresser:
http://bit.ly/2zmN4y6
https://wiki.sunet.se/display/Inkubator/Digital+
Tentamen+II