Meyvant Þórólfsson. 2011. Um samningu prófa

1. Námskeið Kennslumiðstöðvar Háskóla Íslands, nóvember 2011 – Meyvant Þórólfsson
Um samningu prófa
1
Huglægt mat – hlutlægt mat: Val prófatriða
A. Skriflegt próf með blöndu huglægra og hlutlægra prófatriða nýtist betur
en annað námsmat í fjölmörgum tilfellum, einkum þegar ná þarf til
margra hæfniþátta á stuttum tíma. Vönduð og fjölbreytt prófverkefni
ættu að tryggja réttmæti og áreiðanleika.
B. Til að tryggja réttmæti séu prófatriði samin og valin með hliðsjón af
markmiðum og inntaki námskeiðs:
Markmið > Hæfniviðmið (learning outcomes) > inntak, efni > nám og
kennsla (námsferlið) > námsmat (próf og annað eftir því hvert samhengið
er). Getur verið spurning um hugarfar: Prófa hvað nemandinn „kann“ eða
prófa hvað nemandinn „kann ekki“?
C. Hvað er metið í hverju prófatriði? (Þekking, minni, kunnátta, skilningur,
leikni, greining, gagnrýnin hugsun, skapandi hugsun, „problem solving“ ...)
D. Hver metur? Hverjir meta? Samkvæmt hvaða viðmiðum?
E. Vægi spurninga, fjöldi af hverri gerð, fyrirgjöf og niðurstöður. Á að nota
frádrátt vegna ágiskana?
F. Niðurstöður, ætti að taka mið af væntanlegri dreifingu einkunna?
G. Þyngd og greiningarhæfi prófatriða (Sjá nánar hér fyrir aftan)
H. Hvar fer námsmat fram? Aðstæður skipta máli.
Gerðir fjölvalsprófatrið (Selection-type; fixed choice)
A. Krossaspurningar (Multiple choice items) eru langmest notaða sniðið af
fjölvalsverkefnum í prófum. Haga má krossaspurningum þannig að þær
meti víðtæk hæfniviðmið (learning outcomes/LO). Með þeim má prófa
þekkingu (minni), skilning, beitingu og ýmiss konar túlkun og
úrlausnarhæfileika (problem solving skills). En það er bundið við að
próftaki skrifar ekki eitt einasta orð, heldur merkir við rétt svar eða
réttasta svarið. Aðrir svarmöguleikar teljast villusvör (distractors).
Svarmöguleikar eru jafnan 3, 4 eða 5, stundum fleiri. Ekki er mælst til að
réttir svarmöguleikar feli í sér fleiri en eitt rétt svar, þ.e. gert sé ráð fyrir
að nemendur merki ýmist við einn, tvo eða fleiri svarmöguleika.
Dæmigerð krossaspurning samanstendur af stofni (stem) og

2. Námskeið Kennslumiðstöðvar Háskóla Íslands, nóvember 2011 – Meyvant Þórólfsson
Um samningu prófa
2
svarmöguleikum (alternatives). Almennt er talið vandasamt að semja
krossaspurningar. Þættir sem þarf að huga að eru orðalag, málskilningur
próftaka, virkni allra svarmöguleika o.fl. (Sjá nánar á eftir). Dæmigerð
framsetning á krossaspurningu með fjórum svarmöguleikum:
Stofninn í krossaspurningu, settur fram sem spurning, ófullkláruð
fullyrðing eða „problem“ sem próftaki á að túlka og bregðast við; stundum
með mynd, töflu, grafi o.s.frv. Í svarmöguleikum er ýmist eitt óyggjandi
rétt svar eða nauðsynlegt að merkja við réttasta svarið.
a) ( ) Villusvar (distractor)
b) ( ) Réttasta svarið
c) ( ) Villusvar (distractor)
d) ( ) Villusvar (distractor)
B. Satt – ósatt spurningar (True-false items, Alternative-response). Geta
tekið á sig mismunandi myndir og merkingu eftir því hvert samhengið er,
en meginreglan að nemandi velur milli tveggja valkosta. Stundum fylgja
viðbótarverkefni, t.d. að nemanda sé ætlað að rökstyðja svar sitt eða
umorða fullyrðingar sem séu rangar þannig að þær verði sannar.
Heppilegt getur verið að setja fram safn af skyldum S/Ó spurningum
(cluster-type true-false format). Dæmi um framsetningu:
Hvaða fullyrðingar geta staðist (eru sannar) og hverjar ekki (eru
ósannar) um normaldreifingu og normalkúrfu? Merktu í viðeigandi reiti:
Satt Ósatt
Dreifing gagnanna er alltaf samhverf um meðaltalið (miðjuna)
Normalkúrfan er óendanleg í báðar áttir úr frá meðaltalinu
Því minna sem gildið er á σ (eða s) þeim mun flatari er kúrfan
Tvær normalkúrfur með mismunandi talnadreifingu geta aldrei
haft mismunandi meðaltöl
Staðalfrávikið gefur vísbendingar um hæð og breidd kúrfunnar
er
C. Pörunarverkefni (Matching items). Jafnan sett fram sem tveir samhliða
dálkar þar sem verkefnið felst í að tengja orð, tákn, myndir eða setningar
í vinstri dálki við orð, tákn, myndir eða setningar í hægri dálki. Jafnan gert
þannig að nemandi færi rétta tölu eða bókstaf í viðeigandi reit í vinstri
dálkinum. Til að tryggja áreiðanleika er ekki hafður sami fjöldi atriða í
dálkunum tveimur og tekið fram í fyrirmælum að hvert atriði eða „svar“ í

3. Námskeið Kennslumiðstöðvar Háskóla Íslands, nóvember 2011 – Meyvant Þórólfsson
Um samningu prófa
3
hægri dálki geti tengst einu eða fleiri atriðum í vinstri dálki eða jafnvel
engu þeirra. Ráðlagt að hafa atriðin ekki fleiri en 10, hafa þau innbyrðis
skyld (homogeneous) og raða þeim í „lógíska röð“, t.d. stafrófsröð eða
númeraröð eftir því hvert efnið er. Dæmi um framsetningu
pörunarverkefnis:
Í dálki A eru talin upp einkenni, tákn eða þ.u.l. Nemandi fær fyrirmæli um að skrá í
eyðuna viðeigandi bókstaf eða númer sem á við atriði í hægri dálki. Hvert atriði eða „svar“
í hægri dálki getur tengst einu eða fleiri atriðum í vinstri dálki eða jafnvel engu þeirra.
Dálkur A Dálkur B
____ Einkenni
____ Einkenni
____ Einkenni
____ Einkenni
____ Einkenni
A. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
B. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
C. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
D. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
E. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
F. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
G. Setning eða lýsing sem vísar til einkenna sem finnast í vinstri dálki
D. Túlkunarverkefni (Interpretive – Content dependent – Linked). Gefur
möguleika á að meta flóknari hæfniviðmið en krossaspurningar, rétt-
rangt spurningar og pörunarspurningar gera jafnan. Þetta spurningasnið
er oft notað með innfyllingaratriðum, þ.e. þar sem nemendur eiga að
svara með því að skrifa texta. Í túlkunarverkefnum fá nemendur efni
(introductory material), t.d. texta (gæti verið lýsing á ferli, klausa úr grein
...), töflu, skýringarmynd, tákn, graf, kort eða annars konar mynd.
Verkefnið felst svo í að túlka samhengi, merkingu eða upplýsingar sem
koma fram í kynningarefninu. Dæmi:
Lestu eftirfarandi lýsingu og svaraðu svo spurningum sem fylgja:
Verkefni geta verið krossaspurningar, rétt rangt, tengja eða merkja
inn á myndir
Texti úr fræðibók, t.d. um sólkerfið
og afstöðu sólar og jarðar eftir
mismunandi árstíðum á suðurhveli
og norðuhveli jarðar

4. Námskeið Kennslumiðstöðvar Háskóla Íslands, nóvember 2011 – Meyvant Þórólfsson
Um samningu prófa
4
Nokkur atriði til að gæta að
A. Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsþátt sbr.
hæfniviðmið (learning outcome). Hefur með réttmæti að gera.
B. Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar
skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika
að gera.
C. Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til
að forðast margræðni (ambiguity). Forðast orðaglamur. Hefur með
áreiðanleika að gera.
D. Ekki endurtaka sömu orð og orðasambönd í öllum svarmöguleikum,
heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt.
E. Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo
þær sjáist örugglega. Hefur með áreiðanleika að gera.
F. Ekki má orka tvímælis hvert er rétta svarið. En oft þarf að árétta að
nemendur eigin að merkja við réttasta svarið í hverju prófverkefni.
G. Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við
stofninn, ekki bara rétta (réttasta) svarið, t.d. hvað varðar einkenni, lengd
o.s.frv. Ekki mega leynast vísbendingar í spurningaforminu. Hafa má
breytilega lengd á réttu svörunum til að forðast vísbendingar.
H. Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða
hafna röngu svari. Gera villusvör (distracters) freistandi svarmöguleika.
I. Forðast að nota möguleikann „allt ofanritað er rétt“; gallaður af því nóg
er að sjá að tvö svör eru rétt eða að a.m.k. eitt er rangt. Sumir nemendur
eru að flýta sér og sjá að fyrsti möguleikinn er réttur og merkja við hann,
horfa svo ekki á hitt. Möguleikinn „Ekkert af þessu er rétt“ er varasamur.
Hann er ekki staðfesting á hvort nemandi veit eða veit ekki.
J. Hafa breytilega staðsetningu á rétta möguleikanum. Nota
handahófskennda aðferð.
K. Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða
svarmöguleikum.

5. Námskeið Kennslumiðstöðvar Háskóla Íslands, nóvember 2011 – Meyvant Þórólfsson
Um samningu prófa
5
L. Prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum
prófatriðum o.s.frv.
M.Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara
fyrir nemendur, auðveldar yfirferð.
N. Gætt sé að stafsetningu og greinarmerkjasetningu.
O. Hafa hugfast að krossaspurningar einar og sér duga ekki til að meta allt
sem skiptir máli. Það er því ólíklegt að þær tryggi hátt réttmæti, þótt
áreiðanleiki (stöðugleiki) sé hugsanlega mikill.
P. BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR TELJI PRÓFSEMJANDI
ÞESS ÞÖRF OG EF KUNNÁTTA OG AÐSTÆÐUR LEYFA ÞAÐ!
Að semja opnar spurningar
A. Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsþátt sbr.
hæfniviðmið (learning outcome). Hefur með réttmæti að gera.
B. Velja spurningagerð sem hæfir best því sem á að meta.
C. Prófum nokkrar opnar spurningar um myglusveppi. Byggjum á lesefni
sem við höfum:
- Stuttar spurningar (Short-answer item) um myglusveppi,
sveppaeitur og áhrif þess. Eða annað efni.
- Styttri ritgerðaspurningar (Restricted-response) sem reyna á
skilning, beitingu, greiningu ...
- Lengri ritgerðaspurningar (Extended-response) sem reyna á
gagnrýna hugsun, skapandi hugsun, skilning, beitingu, greiningu ...
D. Mikilvægt að reyna að tryggja réttmæti og áreiðanleika við prófgerð?
Hvernig?
Að meta gæði prófatriða
A. Þyngdarstig prófatriðis: Hve mörg % nemenda svara því rétt? Skiptum
nemendahópnum í þrennt. Skoðum úrlausnir efsta þriðjungs (t.d. 33 nemendur) og

6. Námskeið Kennslumiðstöðvar Háskóla Íslands, nóvember 2011 – Meyvant Þórólfsson
Um samningu prófa
6
neðsta þriðjungs (33 nemendur). Segjum að 22 úr efsta hópnum svari atriðinu rétt og
9 úr neðsta hópnum (22+9). Þá er þyngdarstigið 31/66 = 47%. Spurningin er þeim
mun erfiðari sem þessi tala er nær 0.
B. Greiningarhæfi (greinihæfni): Samanburður á fjölda sem svaraði rétt í hærri hópi
(þ.e. 33 efstu) og fjölda sem svaraði rétt í lægri hópi (33 lægstu). Notum sömu tölur,
þ.e. að 22 í hærri hópnum hafi svarað rétt og 9 úr lægri hópnum. Þá getum við
reiknað greiningarhæfi þannig:
(22-9)/33 = 13/33 = 0,39. Greiningarhæfi er mest þegar útkoman er 1,0. Þá er
þyngdarstigið 50%.
Heimildir (bæði við fjölvalsspurningar og opnar spurningar):
Burton, S.J., Sudweeks, R.R., Merrill, P.F. & Wood, B. (1991). How to prepare better multiple-choice
test items: Guidelines for university faculty. Brigham Young University Testing Servises. Finnst sem
pdf-skjal á Netinu.
Frary, R.B. (1988). Formula scoring for multiple-choice tests (Correction for guessing). Educational
Measurement: Issues and Practice, 7 (2), 33-38.
Gronlund, N.E. og Waugh, C.K. (2009). Assessment of student achievement (9. útgáfa). Upper Saddle
River: Pearson.
Haladyna, T.M, Downing, S.M & Rodriguez, M.C. (2002). A review of multiple-choice item-writing
guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-334. Finnst sem
pdf-skjal á Netinu.
Nitko, A.J. (2001). Educational assessment of students. New Jersey: Merrill Prentice Hall.
Miller, M.D., Linn, R.L. og Gronlund, N.E. (2008). Measurement and assessment in teaching (10.
útgáfa). Upper Saddle River: Merrill/Pearson.