DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införandeMats Brenner
DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande. Presentation på konferensen nu2018.se, 11/10-2018. Mats Brenner för Projekt Digital tentamen II - SUNET Inkubator
Presentation: Digital tentamen - är verksamhetsutvecklingMats Brenner
Presentation vid Högskolan i Skövde 2018-11-08. Mats Brenner, Projekt Digital tentamen II - SUNET Inkubator. Digital tentamen - är verksamhetsutveckling.
Digitala prov och examination - är verksamhetsutvecklingMats Brenner
Presentation kring Digitala prov och examination - är verksamhetsutveckling, vid Samverkansgruppen för högskoleingenjörsutbildning 10-11 april, 2019 - Karlstads universitet.
Presentation : Digital tentamen - är verksamhetsutvecklingMats Brenner
Presentation om Digital tentamen - är verksamhetsutveckling för lärosätet Mittuniversitetet den 29/11 i Sundsvall och 30/11 i Östersund. Mats Brenner - för Projekt Digital tentamen II - SUNET Inkubator
DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införandeMats Brenner
DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande. Presentation på konferensen nu2018.se, 11/10-2018. Mats Brenner för Projekt Digital tentamen II - SUNET Inkubator
Presentation: Digital tentamen - är verksamhetsutvecklingMats Brenner
Presentation vid Högskolan i Skövde 2018-11-08. Mats Brenner, Projekt Digital tentamen II - SUNET Inkubator. Digital tentamen - är verksamhetsutveckling.
Digitala prov och examination - är verksamhetsutvecklingMats Brenner
Presentation kring Digitala prov och examination - är verksamhetsutveckling, vid Samverkansgruppen för högskoleingenjörsutbildning 10-11 april, 2019 - Karlstads universitet.
Presentation : Digital tentamen - är verksamhetsutvecklingMats Brenner
Presentation om Digital tentamen - är verksamhetsutveckling för lärosätet Mittuniversitetet den 29/11 i Sundsvall och 30/11 i Östersund. Mats Brenner - för Projekt Digital tentamen II - SUNET Inkubator
Presentation: Digital tentamen är verksamhetsutvecklingMats Brenner
Presentation vid Linnéuniversitet 10/12-2018. Digital tentamen - är verksamhetsutveckling. Mats Brenner, för Projekt Digitalt tentamen II - SUNET Inkubator.
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612Mats Brenner
Presentation om Morgondagens digitala examinationer - Digitala examinationer - utvecklingsmöjlighet för flertalet examinationsformer. Projekt Digital tentamen II - SUNET Inkubator. Mats Brenner, projektledn.
Projekt Digital tentamen - SUNET-dagarna HT15 i UmeåMats Brenner
Presentation om Projekt Digital tentamen - SUNET Inkubator, vid SUNET-dagarna i Umeå, HT15. Presentatör: Mats Brenner, Högskolan i Gävle, Learning Center
Presentation 141126 om Digital TentamenMats Brenner
Föreläsningen presenterad den 26/11-2014 på konferensen Digital examination i högskolan på plats i Sthlm och för VFK, Högskolan Väst (via Adobe Connect).
Presentation, Digital tentamen på SUNET-dagarna 22/4Mats Brenner
Presentation av projektet Digitalt tentamen - SUNET Inkubator av Mats Brenner, läs mer om projektet på webbsida: https://portal.nordu.net/display/Inkubator/Digital+Tentamen
Presentation på INCLUDE-konferensen 171019Mats Brenner
Presentationen "Verktyg för ökad tillgänglighet vid lärosätena" tar upp det digitala perspektivet på tillgänglighet ffa för studenter med olika funktionsvarationer men även verktyg för lärare att förbättra respresentationsformer och format på sitt digitala undervisningsmaterial. Mats Brenner, Learning Center - vid Högskolan i Gävle.
SVERD webbseminarium om Digital tentamen och digitala prov 27/4 kl 15.00Mats Brenner
Mats Brenner, Högskolan Gävle presenterar och diskuterar vilka fördelar som finns med datoriserad tentamen och digitala prov. Vad behövs för planera och genomföra digitala test samt vad behöver förändras i verksamheten för att detta skall bli framgångsrikt.
Han delar också med sig av aktuell info om den SOU som nu även kommit kring digitala nationella prov för skolan.
Mats Brenner, CV http://mbrenner.weebly.com/ och på Slidesharehttp://www.slideshare.net/MatsBrenner
Projekt Digital tentamen (2015) SUNET Inkubator: http://www.korturl.com/digitaltentamen
SOU 2016:25 Likvärdigt, rättssäkert och effektivt – ett nytt nationellt system för kunskapsbedömning:http://www.regeringen.se/rattsdokument/statens-offentliga-utredningar/2016/03/sou-201625/
Moderator, V Ordförande, SVERD Ebba Ossiannilsson
Datoriserad tentamen - utvecklingsmöjligheter av salsskriving som examination...Mats Brenner
Presentation på ITHU & Swednet våkonferens 11-12 maj, 2017. Datoriserad tentamen - utvecklingsmöjligheter av salsskriving som examinationsform. Presentation 12 maj, 2017. Hos BTH.se i Karlskrona.
Presentation: Digital tentamen är verksamhetsutvecklingMats Brenner
Presentation vid Linnéuniversitet 10/12-2018. Digital tentamen - är verksamhetsutveckling. Mats Brenner, för Projekt Digitalt tentamen II - SUNET Inkubator.
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612Mats Brenner
Presentation om Morgondagens digitala examinationer - Digitala examinationer - utvecklingsmöjlighet för flertalet examinationsformer. Projekt Digital tentamen II - SUNET Inkubator. Mats Brenner, projektledn.
Projekt Digital tentamen - SUNET-dagarna HT15 i UmeåMats Brenner
Presentation om Projekt Digital tentamen - SUNET Inkubator, vid SUNET-dagarna i Umeå, HT15. Presentatör: Mats Brenner, Högskolan i Gävle, Learning Center
Presentation 141126 om Digital TentamenMats Brenner
Föreläsningen presenterad den 26/11-2014 på konferensen Digital examination i högskolan på plats i Sthlm och för VFK, Högskolan Väst (via Adobe Connect).
Presentation, Digital tentamen på SUNET-dagarna 22/4Mats Brenner
Presentation av projektet Digitalt tentamen - SUNET Inkubator av Mats Brenner, läs mer om projektet på webbsida: https://portal.nordu.net/display/Inkubator/Digital+Tentamen
Presentation på INCLUDE-konferensen 171019Mats Brenner
Presentationen "Verktyg för ökad tillgänglighet vid lärosätena" tar upp det digitala perspektivet på tillgänglighet ffa för studenter med olika funktionsvarationer men även verktyg för lärare att förbättra respresentationsformer och format på sitt digitala undervisningsmaterial. Mats Brenner, Learning Center - vid Högskolan i Gävle.
SVERD webbseminarium om Digital tentamen och digitala prov 27/4 kl 15.00Mats Brenner
Mats Brenner, Högskolan Gävle presenterar och diskuterar vilka fördelar som finns med datoriserad tentamen och digitala prov. Vad behövs för planera och genomföra digitala test samt vad behöver förändras i verksamheten för att detta skall bli framgångsrikt.
Han delar också med sig av aktuell info om den SOU som nu även kommit kring digitala nationella prov för skolan.
Mats Brenner, CV http://mbrenner.weebly.com/ och på Slidesharehttp://www.slideshare.net/MatsBrenner
Projekt Digital tentamen (2015) SUNET Inkubator: http://www.korturl.com/digitaltentamen
SOU 2016:25 Likvärdigt, rättssäkert och effektivt – ett nytt nationellt system för kunskapsbedömning:http://www.regeringen.se/rattsdokument/statens-offentliga-utredningar/2016/03/sou-201625/
Moderator, V Ordförande, SVERD Ebba Ossiannilsson
Datoriserad tentamen - utvecklingsmöjligheter av salsskriving som examination...Mats Brenner
Presentation på ITHU & Swednet våkonferens 11-12 maj, 2017. Datoriserad tentamen - utvecklingsmöjligheter av salsskriving som examinationsform. Presentation 12 maj, 2017. Hos BTH.se i Karlskrona.
Digitala nationella prov i skolan och datoriserad tentamen - hur hänger det i...Mats Brenner
Om hur vi kan förbättra examinationsformerna och fånga mer av kursdeltagarnas kunskapsläge. Frågor om varför vi nu kan minska papperstenan på lärosätena och varför lärarutbildare och lärarstudenter nu behöver lära sig hantera systemlösningar för digitala prov besvaras.
Rapport projekt elevskrivbord_skoldatatek_malmo_stad_nov_2009LotteCh
Pedagogiska centralen har via Specialpedagogiska skolmyndigheten fått projektmedel (2009)
för att inleda och bygga upp en övergripande verksamhet kring specialpedagogik och IT.
Två projekt har genomförts i Utbildningsförvaltningens regi under mars till december 2009:
· Eventuellt inrättande av ett centralt ”skoldatatek” vid Utbildningsförvaltningen för
Malmö kommuns gymnasieskolor.
· Alternativa verktyg för elever med specifika läs- och skrivnedsättningar/dyslexi.
Ledare för projekten har varit Annika Johansson på en halvtidstjänst.
Projekten har bedrivits parallellt och har koppling till varandra varför de båda redovisas
här tillsammans.
Utvecklingstrappan - hur får vi in de pedagogisk verktygenMats Brenner
Utvecklingstrappan – hur får vi in de
pedagogiska lärverktygen
Från idé till förvaltning.
Presentation: 2023-05-30, HPU UHR – Temacafé
Deltagare: Mats Brenner, KI – Cecilia Hellekant, KAU – Kent Stening, LNU –
med Jörg Pareigis, KAU och Lotta Fröjdfeldt, MDU (podcast) - Claire
Englund, UMU
AI och ChatGPT - AnvändarsperspektivetMats Brenner
Presentation Lärardagen, Karolinska Institutet 2023:
AI och ChatGPT - Användarsperspektivet
Presenterad av Andrew Maunder – IKT pedagog, UoL
PPT anpassad från Mats Brenner, Educational developer at UoL
Arbete och undervisning på distans - hur rättsäkert är det?Mats Brenner
Arbete och undervisning på distans –
hur rättssäkert är det?
Mats Brenner, Pedagogisk utvecklare vid Karolinska Institutet
Presentation 2021-12-01, Administratör i högskolan – konferens i Sthlm
Pedagogiska digitala lärverktyg - för utbildningsledare 2022-05-16Mats Brenner
Pedagogiska digitala lärverktyg
Presentation för utbildningsledarna inom PMI på Karolinska
Universitetssjukhuset, 2022-05-18, Mats Brenner – Pedagogisk utvecklare
vid KI, UoL.
Digital tillgänglighet - projekt WAMDIA.EUMats Brenner
Presentation för ITHU den 1 oktober, 2019. Projektet WAMDIA.EU avslutas under hösten 2019. Allt kursmaterial och självtester kommer publiceras som öppna lärresurser under licensformen Creative Commons.
Projekt NAVIGATE: https://www.navigateproject.eu/ and www.navigame.eu
Presentation of the EU-project NAVIGATE and Outputs of the project. Also web link to the games for the workshop in the end of the presentation.
Presentation at the conference ecdea.org, 8 of June 2018Mats Brenner
Presentation of the Project Digital Exam II - SUNET Inkubator - for 1st European Conference on digital Exams and Assessment (ECDEA 2018), 8:th of June 2018 in Gothenborg, Sweden
Projekt Digital tentamen II - SUNET Inkubator, våren 2018
Digital tentamen - blir förändrade arbetssätt
1. Digital tentamen
– blir förändrade arbetssätt
Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center
Projekt Digital tentamen II – SUNET Inkubator
2018-10-12
Tentamenskonferensen 2018 | KTH
Målet är att bespara manuellt administrativt arbete och utveckla
formerna för kunskapsprövning och öka kvalitet i examination.
2. Nya sätt examinera och kunskapspröva…
REF: http://www.serolearn.com/
http://perigeantechnologies.com/
E-Exams
E-assessment
Digital tentamen
Datoriserad tentamen
3. Nationellt projekt – Digital tentamen II
Projekt Digital tentamen
genomfördes under år 2015. Under
hösten 2017 och 2018 så fortsätter
projektet Digital tentamen II.
Rapporten Datoriserad tentamen
(170 sidor) – som ger en översikt hur
digitalisering av arbetsprocesserna
kan genomföras från ax till limpa av
den traditionella papperstentamen
med salsskrivning.
Webbplats: http://bit.ly/2zmN4y6 eller
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II
4. Webbplatsens innehåll
• Rapporten (2015) som är en HANDBOK – från ax till limpa
• Systemlösningar
• Webbinar (alla spelas in)
• Erfarenhetsrapporter, forskning, IT-standarder och exempel på rutiner
• Vanliga frågor
Hur går en digital tenta till egentligen - studentperspektiv?
Digital examination och hur de kan hanteras - lärare/examinationsperspektiv?
Vilka lärosäten har vilka systemlösningar för Digital tentamen?
Provsekretess vid e-examination?
Webbplats: http://bit.ly/2zmN4y6 eller https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II
5. Erfarenheter och verktyg på projektets webbplats
Analys av viktigaste behoven och verksamhetskritiska faktorer
6. Projekt Digital tentamen II – projektavslut
Aktiviteter under hösten 2018
• Informationsarbete och erfarenhetsspridning; På plats på landets
lärosäten, konferenser, webbinar, webbplats och inom ITHU
• Stöd kring integrering med LADOK3 och andra beroendesystem
• Underlag för eventuell gemensam systemlösning för datoriserad
tentamen, utifrån befintlig kravspecifikation (från projektet Digital
Tentamen, 2015).
7. Projekt Digital tentamen II – nu ökar takten
Uppdrag
Huvudmålet med projektet Digital Tentamen II är att skapa en fortsatt
grund för lösningar runt digital tentamen för samt vidareutveckla
samarbetet och erfarenhetsutbytet mellan lärosäten.
8. Digitaliseringen på lärosätena
1. Lärplattformar, LMS
2. Webb- och videokonferenssystem
3. Mediaportaler och appar
4. Pågång: Systemlösningar för digital tentamen
5. Fler kan använda: Integreringar mellan beroendesystem (LIS, LTI etc)
6. Diskuteras/Få använder: E-portföljer
7. Påbörjat: AR och VR samt spelbaserat lärande
8. Nya former för digital autentisering som iris, finger och
ansiktsskanning
9. Administrativa stödet har inte digitaliserats
1. Intresset och prioritet att investera i digitalisering och
förbättrade stöd-arbetsrutiner saknas. Nu låg digitaliseringsgrad.
2. Medvetenheten om stödverksamhetens arbetsverktyg saknas,
även jämförande översikt över alla lärosätenas rutiner saknas.
3. Kompetensutveckling och it-stöd kan förbättras.
4. Nya förändrade arbetssätt kan införs i och med digitalisering.
5. Nya roller för lärare, examinatorer och administrativ personal.
6. Studenter lär sig nya rutiner och regler, även förhållningssätt.
10. Kritiska designprinciper – digitalisering
• Underhållsmässighet: Om lösningen kan anpassas eller återanvändas för att möta mer än
ett behov/möta flera behov.
• Kompatibilitet: Om lösningen kan dela information med andra lösningar så att användare
kan dra fördel.
• Effektivitet: Om lösningen driver kostnads- och tidsbesparingar.
• Maintainability: Whether the solution can be adapted or reused to meet more than one
need.
• Compatibility: Whether the solution can share information with other solutions such that
users can benefit.
• Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL:
https://encoura.org/helping-institution-realize-vision-five-edtech-companies-watch/ och
http://pubs.opengroup.org/architecture/togaf8-doc/arch/chap29.html
11. Viktiga faktorer vid införandet
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för akademisk personal
Förmåga att demonstrera fördelarna av upplevelse för student, lärare
och administrativ personal
Evidensbaserat beslutsfattande och en kontinuerlig förbättringscykel
12. Vad vi investerar i tid och kompetens får vi tillbaka
– mål bespara manuellt administrativt arbete och utveckla
formerna för kunskapsprövning och öka kvalitet i examination
Inputs
• What we invest … e. g. infrastrucure/integrations (LTI, LIS)
• Staff time, Tech expertice, Systems, Training, User Group
Outputs
• Less time on tasks for teachers and administrators
• Better student experiences
Outcomes
• Lower indirect costs and costs per exam
• Better quality and more flexible forms of exams
13. Salstentamen – fördelar och nackdelar
Fördelar
• Salsskrivningar är rättssäkra då det exempelvis minskar riskerna för
olika former av fusk.
• Formen är välbekant för de flesta studenter.
• Med genomtänkta strategier, uppgifter och bedömningsgrunder
kan djupinlärning stimuleras.
Nackdelar
• Salsskrivning kan vid ovarsamhet uppmuntra ytinlärning.
• Studenterna kan vara pressade av tidsbegränsningar och att vara i
form vid tillfället för salsskrivning
• Uppgifter som stimulerar djupinlärning kan ge hög rättningsbörda
för läraren.
14. Salstentan – en av flera examinationsformer
Studenter och elever i Sverige är inte så vana
med summativa (High Stake) testsituationer.
Kortkortprovet, ja. Här finns en erfarenhet av
digitalt test/certifiering.
Men vi har inga inträdesprov (endast vid
konstnärliga utbildningar) eller t ex examensprov
som i Finland. Open Book e-exams ovanligt.
Test och provsituationer känns förstås ovant då
en inte gör de så ofta eller lärt sig studieteknik
för att fokusera på en större prestation under
längre tid, med tidspress. Högskoleprov är inte
avgörande för att söka till högre studier.
Lärarutbildningar har få eller inga salsskrivningar
som tentamen – mestadels används hemtentor
och gruppuppgifter.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9291
15. Sista pappersbastionen…
Högskolan i Gävle har 47%
distansstudenter och 17000 studenter -
därför endast ca 8000 papperstentor.
Örebro universitet 66000
papperstentor, med 17000 studenter.
Jmf med Högskolan i Skövde, ca 8000
studenter med 22000 papperstentor.
Göteborgs universitet (GU) med
Chalmers ca 125000 papperstentor, ca
10000 digitala tentor 2017 enligt GU.
Linköping har minst 130000-140000
tentander som gör papperstentor (5000
tentor)
Större lärosäten som Uppsala och Lund
har över 100000 papperstentor vardera.
Totalt kan vi nog räkna med över
500000 - 700000 papperstentor/år.
En del digitalisera!
Lärosätena ha alltför många papperstentor
fortfarande…
16. Status hos lärosätena?
• Förvaltningsläge: Sophiahemmet högskola, GU, KAU, JU, ORU, LU
(juridiska, medicinska), SU, HiG, UU nu senast klar med upphandling
klar/integrering/utrusta lokaler etc.
• På väg: Flera universitet har pilotprojekt, förstudier, projektgrupper eller
upphandling t ex MDH, LU, HB, UMU etc.
• Flera universitet har test licenser med leverantörer – har pilottestning.
• Universitet som inte startat: KTH, Luleå, Linnéuniversitetet, Linköpings
universitet, Södertörns högskola, Mittuniversitetet.
Se projektet webbplats för uppdatering > Frågor och svar
17. Lärosäten inför nu datoriserad tentamen
• Införs nu på bred front datoriserad tentamen, både med studenternas
egna datorer (BYOD) och med lärosätes datorutrustning.
• Testverktyget i sina lärplattformar används, andra har upphandlat
speciellt anpassade systemlösningar för e-exam/digitala tentamen.
• Lärare, IKT-ped och pedagogiska utvecklare testar, kompetens-
utveckling kring frågetyper, lär sig systemlösning och arbetar in nya
rutiner med tentabokning. Tentavärdar utbildas.
• IT-arkitekter involverade, integreringslösningar med LADOK3 bl a LIS
(enligt standard IMS-One Roster)
• Studenter är positiva
18. Skolorna inför digitala nationella prov och
förstudie görs kring digitalisering av HP-provet
• Redan nu i höst så påbörjas införande av digitala nationella prov på
skolorna. Lärosätena konstruerar dessa prov.
• Digitalisering av Högskoleprovet utreds. Projektet representerar
lärosätena inom SHUF.
• Förutsättningarna vid lärosätena blir avgörande för skolan
(lärarutbildningen, lärarstudenter, lärarutbildare) och HP-provet
(flexibla former – ger förändrade inträdeskrav)
19. Varför digital examination? Ett axplock.
• Studenter skriver stora mängder för hand – svårtydd textmassa. Studenten kan inte redigera. Efter 70 min skrivkramp. Möjlighet
förkorta examinationstiden.
• Studenten kan använda verktyg som de är vana vid – sin egen dator, ordbehandlare eller webbläsare.
• Rättningen för lärare eller grupp av lärare underlättas.
• Automatisk överföring till LADOK3 möjlig. Integrering med lärplattformar möjligt.
• Möjliggör nya former av examinationer, studenter kan kommentera filmklipp, kommentera direkt i pdf-dokument.
• Ytterligare stärka anonymiteten. Ökar rättssäkerheten.
• Eliminera transport av papper, risk för borttappad tenta minskar – ökar rättssäkerheten
• Utlämning av olika former av examinationer kan elimineras d v s utlämnandet av tentamina
(Provsekretess vid e-examination)
20. Använda fler representationsformer – fler frågetyper
Digital media (multimodal):
bilder,
video,
videoquiz,
podcast,
animeringar, simuleringar,
interaktiva element VR, AR eller 3:dje part programvara
Fördelar:
Ökade representationsformar för tentand visa sina kunskaper, förmågor och färdigheter
Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering
Möjligheter till automatisk rättning & feedback
Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet
21. Vad kan
SUNET:s
LMS
Canvas?
Webbinar 24/10, kl. 14:00
Använda Canvas för digital
tentamen
Produktägare vid SUNET, Minette
Henriksson berättar om
möjligheterna och
begränsningarna att
använda Canvas för digital
tentamen.
Plats:
http://connect.sunet.se/tentamen
Frågetyperna blir
flera och
kunskapsprövning
kan ske på fler
sätt och mer
specifikt. På tid,
mer autentiskt,
vid begränsningar
med digitalt stöd.
22. Fördelarna med datoriserad tentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad tentamen
är bl a att bedömning/rättning kan ske snabbare (30-70%) och bättre
med högre kvalitet utförd, då det blir enklare när studenternas svar
är digitala – då framförallt genom:
• Att använda digitala bedömningsmallar
• Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
• Att studenternas svar är och lärarnas bedömning är anonym
• Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
• Att lärarna enklare och flexiblare kan kommentera i dokument,
markera på bilder m m som feedback till studenter
23. Fördelar lärare/examinator
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig
bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar)
• Kan använda 3:djeparts applikationer – streaming av programvara för autentisk tenta
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer förbättras
24. Funktionshinder och funktionsvariationer
Krav på testsituation och programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika representationsformer
• Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer, interaktiva
objekt
25. Learning Analytics
Students profil och förkunskaper (testade)
Prestationer
Aktiviteter
Betyg, bedömningar, poäng
Närvaro (även mobilt)
Statistik
Diskrepans (avvikelser/skillnader)
Förbättra frågor till test/prov/tentor
Följa studentens studie-, användar- och
interaktionsmönster
Stödja svaga elever/studenter/kursdeltagare
Nyttja befintlig data som stöd för utveckla
läromedel och examinationsformer
35. Minska möjligheterna till fusk
Randomisera frågor med frågebank
En fråga åt gången
Låsa skärm –
ingen internet
Övervaka
dataskärm
Ej kunna backa
Avskärma
37. Har våra papperstentor validitet & reliabilitet?
• Standard error of measurement (SEM),
Analyzing individual questions (items).
Discriminator (incorrect options)
discrimination, Difficulty index,
Cronbach-alpha, Writing Good Multiple
Choice Test Questions,
• Multifactor evaluation (Learning
Analytic) - With Exam overview (i
realtid, faktabaserat
beslutsunderlagstyrka valet av
examinationsfrågorna)
• Pass marks, pass/fail, Grade, pass mark,
pass rate, discrimination
• Question preformance (Pearson’s %
item discrimination)
• Candidate performance, score
discrimination Avarage SD
• Difficulty vs Discrimination
• Excluded items
Reliability consistency,
reproducibility - a reliable test
(repeat the test with the same
results). Cronbach-alpha, measure
over 0.0 considered good
.90 and up excellent
.80-.89 good
.70-79 adequate
Below .70 lower or acceptable
Item discrimination is measured
in two different ways. 20% low
and 20% highest.
The range are +1 to -1.
Above 0.4 very good
Above 0.2 OK
Below 0.1 Little or no value
Below 0.0 Negative impact on
test, should be removed
Discriminator (incorrect options) discrimination
Measure how well the incorrect answers distract from the correct answer
If distractor is never or seldom chosen, then why have them
Rewriting distractor can improve a question
Difficulty index
Easy or difficult
Different from item discrimination
Q close to 100% correct don’t add not any value
Incorrect most are also poor question
20% (in 1 out of 5) means 80-40% is good, an indicator that the question has a problem
38. Kompetensutveckling Tentakonferens, NU2810.se & ecdea.org
E-assessment & E-exams
Frågor och Frågetyper – skapa, skriva och utvärdera
samt kvalitetssäkra
Utvecka stödjande rutiner och bättre säkerhet
Examinationsformer
Representationsformer
3:dje parts programvara
Autentiska
VR/AR
39. Varför har vissa inte kommit igång ännu?
Ledarskap från toppen
Institutionellt engagemang och investeringar
Robust och tillförlitlig infrastruktur
Effektivt och tillgängligt stöd & utveckling för akademisk personal
Förmåga att demonstrera fördelarna av upplevelse för student, lärare
och administrativ personal
Evidensbaserade beslutsfattande och en kontinuerlig förbättrings-
cykel
Organisationer som saknar beställarkompetens är inte ovanligt vid
digitalisering. Det är svårt att veta vad en inte vet, inte känner till!
40. Digital tentamen är…
Digital transformation & verksamhetsutveckling
• Ta position - börja pilottesta
• Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera)
• Gör det mesta av vågorna (vad som ändå kommer) – ha engagemang, nyttja andras
erfarenheter och gör investeringar
1. Mobilisering – skapa pilottester och skapa projektgrupp med IT-avdelning,
tentabokning, IKT-stödorganisationen och sprid erfarenheter från andra lärosäten
2. Koordination – samverka med alla nödvändiga intressenter för rutiner och
kompetensutveckling samt upphandla robust systemlösning
3. Acceleration – skala upp, integrera och ständiga förbättringar med datastöd
41. Rekommendationer
• Skapa inte egna systemlösningar – för kostsamt
• Börja med pilottester med intresserade lärare/examinatorer – vinn
tid och erfarenhet
• Samla alla intressenter – förankra
• Ledningsbeslut och dokument – bra, men får inte bli hyllvärmare
• Nyttja projektets resurser – besök andra lärosäten
42. Frågan om gemensam upphandling
Upphandling via SUNET
LIS Integrering
LADOK3
Intresset
Kravspecifikation
Disclaimer/ansvarsfriskrivning:
”Det finns absolut mycket att lära
av de som lyckats bra, men
förutsättningarna runt om i
landet kan vara så olika för alla
lärosäten och fakulteter ska
kunna göra lika. (Jmf. Införandet
och arbetsrutiner kring LADOK3).”
43. FRÅGOR OCH TACK!
Mats Brenner, projektledning Projekt Digital tentamen II- SUNET
Inkubator
Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33
Webbsidan/kontaktadresser: http://bit.ly/2zmN4y6
https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II