Föreläsningen presenterad den 26/11-2014 på konferensen Digital examination i högskolan på plats i Sthlm och för VFK, Högskolan Väst (via Adobe Connect).

1. Datorbaserad tentamen
och säker onlinetenta
Mats Brenner, IKT-pedagog – Learning Center på
Högskolebiblioteket i Gävle.
2014-11-26

2. Tendens och riktning är
interaktivitet och mobilitet
Mobilt
MOOC OER Webinar
E-portfolio & e-CV
E-assessment & Badge
Video & Podcast
Förmedlande Dialog &
Interaktiviet
Active learning
Classroom (ALC)
På plats
Hyflex learning
Blended learning
Aktiva kontor
Open Access Öppen data

3. Digital Tentamen – projekt inom SUNET
Inkubator under 2015
Samverkan via SUNET Inbubator om Digital Tentamen.
Målet:
Att under 2015, skapa en grund för tekniska lösningar som kan
användas som startvärde av lärosäten som skall införa digital
tentamen.
Bakgrund:
Många lärosäten är i startgroparna med att införa eller närmare
undersöka digital tentamen t.ex. digitala salstentor. Projektet
kommer arbeta i nära samarbete med de lärosäten i Sverige som har
påbörjat ett arbete med digital tentamen, samt kommer även ta
tillvara erfarenheter som gjorts i bl.a. övriga norden.
Projektledningsuppdrag Digital tentamen:
Mats Brenner, Högskolan i Gävle

4. Digital Tentamen – Saker att fundera över…
Salstentor med dator
Salstent i datasal
Salstenta med egen dator (BYOD)… trad. tentasalar
Vad skall funka online och offline
Programvara med USB
Programvara som måste installeras
Webbaserad programvara
Skall fungera både på Campus och Distans
Enkelt lägga in frågorna och antal frågetyper
Skall klara olika filer och representationsformer
Enkelt att göra bedömningen
Enkelt meddela prestation, feedback/återkoppling och betyg
System som kan prata med LMS, LADOK et cetera (internoperabilitet)
Lagring, rutiner
Arkivering, rutiner (e-arkivering, tentamen är myndighetsutövning)

5. Kursupplägg och examinationskriterier…
Bild: Nick8jun, Wikimedia Commons
När gör man valideringstest, ett
quiz, en dugga, en onlinetenta?

6. Bedömningsmallar (Rubrics)
Rättvis och likvärdig bedömning
vid examination, anonym tenta
eller anonym kollegial bedömning
och betygsättning. Anonym
examination eller ”anonyma
tentor”
(Bologna s k kurskrav)
Använder man Bloom´s eller
SOLO-taxonomi…

7. Kompetens om examinationsformer

9. Examinationsformer vanliga och
mindre vanliga
REF: http://www.provainfact.se/publish/examination/9127-Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9126

10. Nätbaserade
examinations-former
–
kopplade till
lärverktyg
(i lärplattform)
eller
webbkonferens-verktyg

11. Stöd för examination - LoA
Utöver att fastställa att någon uppfyller lärandemålen,
behöver man också diskutera hur säker man är i den bedömningen.
Level of Assurance (LoA).
De två utmaningarna:
1. Säkerställa vem som det är som examineras
2. Personen kan det som är lärandemålen för kursen
Vem det är? Kan säkerställas via identitetshandlingar och
via nätet via inloggning t ex digitala legitimationer.
Men det finns flera metoder & verktyg för detta som inte alla känner till…

12. Problematiken- LoA
Skilja på LoA för känna igen personen och LoA för uppfyllande av kursmål.
Level of Assurance (LoA). Idealet: Hög LoA för både individen och lärandemål.
Exempel:
Låg LoA för inlämnaren men hög LoA för uppfyllande av kursmål.
Man vet inte vem det är man examinerar, men har ett gott
underlag för ge omdöme. Problem även vid grupparbete då
t ex en wiki är bättre använda, än 2-3 sidor wordfil (utan prestationshistorik).
Hög LoA för inlämnaren med låg LoA för uppfyllande av kursmål.
Man vet vem det är, men har t ex bara underlag från ett mycket begränsat
onlinetest för lärandemålet. Bättre då om man kan jmf individen utöver
denna tentamen med andra inlämningsuppgifter, laborationer och hur
Individen kommenterat andra inlämningar.
REF: Kap 7, boken Mer om nätbaserad utbildning – fördjupning och exempel (2001)

13. Kombinera synkront och asynkront- för högre LoA
Representationsformer, multimodalt, gestalningsformer…
Representationsform Synkront (nu/online) Asynkront
Text Textdokument, wiki
eller diskussionsforum
Bild/graf/tabell Skapa ett t ex ett
fiskbensdiagram på
whiteboard med
aspekter
Skapa en Mindmap
Ljud Muntlig examination Göra en Podcast
Film/video E-möte/Webinar Skärminspelning med
ljud

14. Indentifiera individen- för högre LoA
• I Sverige är examination myndighetsutövning
• Identitetskontroll
• Identifieringsgrad
• Höga identifieringsgraden
• Kamera (t ex webbkonf.system eller anpassande verktyg)
• Inloggnings med koder
• Säkra utskick av koder
• Sociala medier kan stöda
• Lämna in även andra representationsformer
• Lämna in både synkront och asynkront
• Frågan om studenter skall övervakas
• Avgöra vem som har gjort vad, problem vid
grupp- och projektarbeten

15. Funktion, frågetyperna och
representationsformerna styr
 Hur kan Du styra onlinetestet via tid, datum, tillgänglighet vid avklarad aktivitet (nivå,
datum, poäng eller procent etc. Kan du randomisera frågorna? Förbjuda s k
backtracking? Hämta ut testbanker på olika villkor, lägga metadata, svårighetsnivåer?
 Lärplattform med 17 frågetyper i onlinetestfunktionen?
 Finns s k objektanalys i systemet – d v s se vilka frågor som är svaga/ej får många rätt
svar.
 Finns peer assessment i lärplattformen?
 Finns t ex wiki med prestationshistorik vem som producerat vad i grupparbete -
gruppinlämningar?
 Hanterar diskussionsforum bedömning/betygsättning av diskussiontrådar,
diskussionsinlägg och anonyma inlägg.
 Finns möjlighet till inspelning av muntliga/video-inlägg/presentationer direkt i
lärplattformen för enkel bedömning.
 Kan man delegera bedömning så det är flera lärare som examinerar anonymt.
 Körs plagiatkontroll samtidigt med inlämnad dokumentfil/text eller är det en separat
arbetsprocess

16. Frågeverktyg - för onlinetest och quiz
• FiftySneakers.com http://www.fiftysneakers.com (helt webbaserat, kostnadsfri) –
och ett kollaborativ verktyg
• Webbaserat system som är open source för onlinetest/quiz som heter Onyx med god
standard: https://www.bps-system.de/cms/en/products/onyx-testsuite/
• Respondus, skapa test offline och exportera samt importera
http://respondus.com/products/respondus/index.shtml
• Tao Testing, Open Source, god standard http://www.taotesting.com/
• Svenska uppstickaren: DigiExam (…ingen IMS-standard)
• Danska WISEFlow (I Danmark har man tagit bort papperstentor)
• Norska Inspera Assessment
• Flera redan etablerade finns förstås som t ex QuestionMarks…
• Du har förmodligen ett Test/Quiz-verktyg i din lärplattform (LMS)
• iSpring Solutions går integrera med LMS och ha på egen dator.
http://www.ispringsolutions.com
• Google Docs för onlinetests/quiz, så kan du använda http://www.flubaroo.com/
hanterar resultatsammanställningar m m.
• Du kan även lägga in dina frågor i YouTube-filmer/videos och med Mozilla Popcorn
Maker så kan du editera och lägga till frågor eller hänvisningar direkt i videos och
till ljudfiler.

17. Säker onlinetenta på campus och distans - verktyg
Frysa studentens skärm så den inte kan göra annat än testet… och
övervaka/monitor (stödja proctor)…
 Lock Down Browser och Monitor, www.respondus.com
 Safe Exam Browser (SEB) http://www.safeexambrowser.org/about_overview_en.html
 Netop , Secure Remote Control & Classroom management http://www.netop.com/ eller
Netcontrol2 http://www.netcontrol2.com/
 LanSchool, Monitor student software http://www.lanschool.com/ (även Lite free softeware
licence)
 SMART Sync classroom management
http://smarttech.com/Solutions/Education+Solutions/Products+for+education/Software/SMART
+Sync
 DyKnow Monitor http://www.dyknow.com/educational-software-products/classroom-management/
monitor/
 Nueber UserMonitor http://www.neuber.com/usermonitor/
 AB Tutor http://www.abtutor.com/

18. Jmf mellan olika system för Digital Tentamen…
Ett påbörjat arbete…
Empiriska studier (tester)
även gjorda hos GU, på Island
och många är ju även i drift
sedan flera år…
HiG använder LMS Blackboard
och har även använt
Respondus för import…

19. Rapport 2008:36 R från HSV: Rättssäker examination
”Datorbaserad tentamen
Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats
som prov där frågorna görs tillgängliga för studenterna via Internet
och studenterna redovisar sina svar via Internet eller via e-post.
Det är uppenbart att denna examinationsform är beroende av att de
tekniska förutsättningarna fungerar. I övrigt torde de
rättssäkerhetsfrågor som kan uppkomma vara desamma som för
examinationsformer som inte är datorbaserade. Myndigheten för
Sveriges nätuniversitet publicerade 2005 en rapport där
rättssäkerheten vid nätburen examination diskuterades (rapport
Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten
var att ”rättssäkerheten vid nätburen examination inte skiljer sig
från examination på campus.” ” (sid 89)

20. Rapporter och webbenkäter – liten översikt
 Rapport 2013 från DU - Målanpassad och säker
examination
 Resultat från webbenkät, Nitus Teknikgrupp 2011 –
Framtidens tentor
 Enkät: Från UU till ITHU-lärosäten - Webbenkät om
tentasystem (hur genomförs duggor/prov/onlinetentor)
 Rapport från Nätuniversitetet 2005: Nätburen
examination
 Rapport 2008:36 R från HSV: Rättssäker examination –
Andra omarbetade upplagan
 Rapport från Linneuniversitetet Dnr: FAK 2011/632: Med
kvalitet i fokus – en rättsäker examination. En
vägledning till dig som examinator på grundnivå och
avancerad nivå

21. Onlinetenta – problematik…
• Att autenticering sker – att vi som
myndighetsutövare av examination vet att
student är den uppger sig vara vid
examinationstillfället.
• Att studenten har en ”låst” datorskärm och
inte kan surfa runt på webben eller
kommunicera t ex med mobiltelefon eller chatt
på den dator där onlinetentan skall utföras.
Det är bara onlinetentan med frågor som skall
synas/användas.
• Att tentavärd (proctor/övervakning) sker på ett
lämpligt sätt - så studenten inte kan fuska,
med information ifrån fusklappar et cetera.

22. Onlinetenta – problematik…
 Att lokalerna är lämpliga för onlinetenta,
utformning/bordsplacering och att eventuell stör-utrustning
för mobil kommunikation kan ske.
 Lokaler som är ”certifierade” för onlinetenta med
”rätt” utrustning.
 Framförallt tänker vi IKT-pedagoger oss mer Aktiva
lärosalar än ”tentasalar som är digitaliserade”. D v s
högsta möjliga säkerhet, att WiFi fungerar – att
studenterna kommer åt stödmaterial de får har med sig
för att göra onlinetentan, e-böcker et cetera.
Anpassning för funktionsnedsatta, hörslinga, lärverktyg.

23. Tenta med ljud – alternativ och verktyg
För den som behöver stöd för ljudrepresentation vid examinations-processen
eller tentamentillfället – finns flera alternativ. Skillnaden är
mellan att få stöd med verktyg som har koppling till t ex Internet
(online) mot att bara få stöd med verktyg som används helt offline –
det är en säkerhetsfråga som måste hanteras från fall till fall vid
examinationstillfället.
Flera av verktygen ovan är även
bra för läraren (inte bara
studenten), för att
förmedla/distribuera och
förstärka sitt budskap och sin
information –
instruktioner, läsanvisningar,
frågor, ge feedback etc. Inte bara
till studenter som har funktions-nedsättning
typ dyslexi. Om
studenterna får information och
budskapet förstärkt med flera
olika representationstyper så
minskar sannolikheten för
missförstånd, och budskapet
tydliggörs därmed (jmf lärstilar
eller ta till sig audivisuell
information etc).

24. Onlinetenta – problematik…
• Att rutiner finns när tekniska eller handhavande-fel
sker kring hantering av onlinetentan på dator eller
programvaran i lärplattformen.
• Att internutbildning sker av tentavärdar i hur
onlinetenta skall gå till.
• Att beställningsrutiner för schemaläggning av
lämplig lokal är anpassade för onlinetenta.
• Att information om beställd lokal och tillfället samt
hur onlinetentan skall genomföras kommuniceras till
IT-avdelning och Learning Center för IT-stöd.

25. Onlinetenta – problematik.
• Studenter med funktionshinder – skall ha likvärdig
möjlighet utföra onlinetenta.
• Att det finns möjlighet till anonym digital/t tenta och
testförfarande och till detta även anonymt examinations-förfarande
med anonym (kollegial) bedömning.
• Vad som skall arkiveras och lagras måste tydligöras –
speciellt på myndigheter
• Ofta ingen standard typ IMS QTI 2.1
• Kan testverktyg / lärplattformen leverera en Badge

26. Checklistor för skapa frågetyper
 Behöver du snabba tips & råd hur du väljer frågetyper när du skapa ditt
onlinetest eller quizfrågor, gå till Computor Assisted Assessment Centre.
 10 Golden Rules for Writing Multiple Choice Questions
http://www.carnet.hr/referalni/obrazovni/en/spzit/theory/mcqwrite
 10 Rules for Writing Multiple Choice Questions
http://theelearningcoach.com/elearning_design/rules-for-multiple-choice-
questions/
 Designing Multiple-choice Questions https://uwaterloo.ca/centre-for-teaching-
excellence/teaching-resources/teaching-tips/developing-assignments/
assignment-design/designing-multiple-choice-questions
 Techniques for Writing Multiple-Choice Items that Demand Critical
Thinking
http://tep.uoregon.edu/resources/assessment/multiplechoicequestions
/sometechniques.html

27. Standards, e-portfolio och för
validering/reell kompetens
• Standard för test IMS QTI 2.1 – metadatastandard och interoperabilitet –
import och export av data/frågor/tester (IMS Question & Test Interoperability™
Specification)IMS Question Test and Interoperability (QTI) v2.1 Spezifikation
http://www.imsglobal.org/question/
• Standard för e-portfolio: IMS Portfolio Standards
http://www.imsglobal.org/ep/ - innehållet och interoperabilitet)
• UNIQUE Learning Badges - diplom/prestations- och kompetenskvitto
http://www.learningbadges.eu/
• Meritförteckning med EuroPass på nätet och europeiskt färdighetspass.
Mer innehåll men mer svårbedömd
https://europass.cedefop.europa.eu/sv/home
• YouthPass https://www.youthpass.eu/en/youthpass/ (volontärarbete)

28. Kontaktadresser:
TACK!
Mats Brenner
Högskolan i Gävle – Learning Center
Högskolebiblioteket i Gävle
mats.brenner@hig.se
Tfn: 026-64 82 18, 070-350 02 33