Pisani test, MPR

1. Taradi - 1
PISANA PROVJERA ZNANJA
 Prof. dr. Milan Taradi
 E-mail: mtaradi@mef.hr

2. Taradi - 2
Moto

3. Taradi - 3
Plan nastavne jedinice
 1. dio
Pregled teorije pisanih testova
 2. dio
Prikaz praktične uporabe programa
za provođenje pisanih testova
 3. dio
Pitanja i rasprava

4. Taradi - 4
1. dio: Pregled teorije testova
 Uvod

Važnost procjene znanja

Završna procjena i samoprocjena znanja
 Pisani test
 Prednosti
 Nedostaci
 Vrednovanje testa kao mjernog instrumenta
 Item-analiza
 Računanje teškoće i diskriminativne vrijednosti pitanja
 Ocjenjivanje pristupnika pisanom testu
 Relativno
 Apsolutno
 Minimalna prolazna razina
 Način računanja i interpretacija
 Zaključak

5. Taradi - 5
Mjerenje
 Uspoređivanje mjerene veličine s
definiranom, jediničnom veličinom.
 Ispitivanje, pisano, usmeno ili
opažanjem je mjerenje.
 Svako mjerenje ima tri elementa:
 predmet mjerenja (objekt)
 instrument mjerenja
 tehnika mjerenja

6. Taradi - 6
Mjerenje znanja
 Elementi mjerenja znanja, vještina ili
stavova:
 predmet mjerenja – znanje, vještina, stav
 instrument mjerenja – nastavnik
 tehnika mjerenja – usmeno ili pisano
ispitivanje, opažanje i sl.

7. Taradi - 7
Test je mjerenje znanja
 Kad se težište i cilj nastave
premjeste na polaganje testa,
test više nije mjera znanja!

8. Taradi - 8
Dvije vrste mjerenja
 Izravno mjerenje – mjerne jedinice su
iste prirode kao objekt mjerenja (npr.
dužine mjerimo metrima)
 Nezravno mjerenje – mjerne jedinice
NISU iste prirode kao objekt mjerenja
(npr. tlak mjerimo mm stupca Hg)

9. Taradi - 9
Mjerenje znanja je neizravno
 Pogreške mjerenja su daleko veće u
neizravnom mjerenju.
 Nastavnik se pojavljuje u ulozi mjernog
instrumenta i mjeritelja!
 Svaki nastavnik ima svoje mjerilo i s njim
vrednuje znanje studenata.
 Subjektivnost nastavnika se može izbjeći
standardiziranim pisanim testom.

10. Taradi - 10
Ispitivanje je proces
 prikupljanja,
 interpretacije,
 bilježenja i
 uporabe
informacija o savladavanju
edukacijskih zadataka od strane
studenata (polaznika).

11. Taradi - 11
Odjel (Služba) za ispite
 MISIJA
 potpomognuti i unaprijediti napore za
poboljšanje učenja
 pospješiti edukaciju kroz ispitivanje
 ZADATAK
 pružati potporu korisnicima (obrada testa)
 koordinirati ispite na fakultetu
 unaprijediti procese ispitivanja

12. Taradi - 12
Sustav vrednovanja znanja
je dio nastavnog procesa
 Vrednovanje znanja je važnije od:
 nastavnih planova,
 programa i
 nastavnih metoda.
 Način i termini provođenja ispita jako
utječu na opći stav studenata prema
studiju. Ispiti moraju biti pravedni!

13. Taradi - 13
Važnost procjene
znanja
 Studenti uče ono što misle da će biti
pitani na ispitu, a ne ono zacrtano u
kurikulumu.
 Htjeli mi to ili ne, studenti će usvojiti ona
znanja i vještine i to na onoj razini, koju
smo mi odredili našim načinom
ispitivanja.
 “If you want to change student learning
then change the method of assessment.”
(Brown, Bull & Pendlebury ,1997)

14. Taradi - 14
Samoprocjena znanja
 Vrednovanje znanja, vještina i stavova
je dio nastavnog procesa i provodi se
kontinuirano!
 Cilj procjene znanja nije samo završna
ocjena, već aktivno mentoriranje
tijekom učenja.
 Anketa se može provoditi i online
tijekom nastave (Socrative).

15. Taradi - 15
Svrha
procjene
 Ispiti nisu prepreke koje
valja preskočiti do dobivanja
diplome, već:
 stjecanje kvalifikacije
 zaštita društva od nestučnjaka
 selekcija polaznika u postupku
napredovanja
 poticaj za učenje
 promjena načina učenja
 povratne informacije za
studenta
 povratne informacije za
nastavnika
 ocjena nastave i nastavnika
 odnosi studija i javnosti

16. Položaj ispita u nastavnom
procesu
 ishod učenja najprije definirati
 nastavne aktivnosti odabrati koji
vode ishodima
 ispit provjerava postignuti ishod
 konačna ocjena se dodijeli
studentima

17. Taradi - 17
Unaprijed odrediti u
skladu s ishodima
 što
 kada
 i kako vrednovati

18. Taradi - 18
Vrste procjene znanja
Vrste procjene
znanja
Testira se Način provjere
Tradicionalna provjera Znanje
Vještine
Stavovi
Standardni testovi
- normirani
- definirani kriteriji
Razredni ispiti
- test
- kviz
- esej
Portfolio Proces
Proizvod
Napredak
Definiranje cilja
Samoprocjena
Napredovanje i razvoj
Provjera djelovanjem Standardni postupci
Prijenos znanja
Izvođenje vještina
Praktične zadaće,
Suradnja, Kriteriji
Plan,
OSKI, Virtualni svijet

19. Taradi - 19
Izbor načina provjere znanja,
vještina ili stavova
 Za različite provjere
postoje primjereni
načini testiranja!
 Pisani testovi nisu
univerzalan način
testiranja za sve!
 Pojavom lake
komunikacije pisani
testovi su izgubili
mnoge prednosti.

20. Taradi - 20
Pisani testovi su najčešći
oblik ispitivanja znanja.
 Stvaranje dobrog testa je nastavniku jedan
od najvećih izazova!
 Pisana provjera može biti unutarnja (unutar
ustanove) ili vanjska (neovisna).
 U postindustrijsko doba pisani testovi sa
samo jednom MCQ vrstom pitanja postaju
nedovoljni i nepouzdani.
 Nemoguće je sačuvati tajnost baze pitanja!
 Studenti uče po pitanjima.

21. Taradi - 21
Jesmo li krivi mi, nastavnici?
 Učenje po bazi
pitanja pitanja
omogućuje
polaganje testa, ali
nije odraz znanja i
razumijevanja
gradiva!

22. Taradi - 22
Alternativno ispitivanje (1)
 usmeni ispit
 klinički zadatak
 laboratorijski zadatak
 portfolio
 igranje uloga
 izgradnja modela

23. Taradi - 23
Alternativno ispitivanje (2)
 prezentacija
 esej
 recenzija
 "klikeri"
 ispitivanje s autentičnim pristupom (što
učiniti u stvarnoj, životnoj situaciji)
 znanstveni članak

24. Taradi - 24
Dvije temeljne vrste pisanih
pitanja prema ocjenjivosti
 Objektivno ocjenjiva pitanja
 odgovori točno/netočno
 višestruki ponuđeni odgovori (MCQ)
 sparivanje pojmova
 kratko dopunjavanje
 Subjektivno ocjenjiva pitanja
 pisanje eseja (kratki ili dulji)
 rješavanje problema

25. Taradi - 25
Pisani testovi su samo jedan
oblik procjene znanja
 Oni dopunjuju druge oblike
provjere znanja i ne trebaju
biti jedini način ocjenjivanja
(usmeni, praktični).
 Treba se koristiti i drugim
oblicima pitanja (posebno
problemskim, simuliranjem
realnog života, virtualni
svjetovi, open book test).

26. Taradi - 26
Vrste pisanih procjena znanja
 Ispit (engl. exam) = završna procjena
znanja (engl. final summative assessment)
 Test (engl. test) = formativna procjena
znanja iz manjeg opseg gradiva (kolokvij,
pre- ili post- test, pilot test)
 Kviz (engl. quiz) = samoprocjena znanja
(engl. selfassessment, formative assessment)
 Anketa (engl. survey) = dijagnostička
procjena znanja, vještina i stavova skupine

27. Taradi - 27
1. Sumativno ispitivanje
 provodi se na kraju kolegija ili
tečaja
 daje konačni zbirni uspjeh
 uvjet je za formalno priznanje
usvojenog predviđenog znanja,
stavova i/ili vještina

28. Taradi - 28
2. Formativno ispitivanje
 Praćenje tijekom nastave
 omogućava studentima izmjeriti svoje
znanje i slabosti
 motivira studente na učenje
 daje informacije nastavnicima za
prilagođavanje daljnje nastave
 ne treba se ocjenjivati

29. Taradi - 29
3. Dijagnostičko ispitivanje
 Pretest
 pomaže nastavniku u planiranju
nastave
 anketom se procjenjuje razina
proksimalnog razvoja
 ne ocjenjuje se

30. Taradi - 30
Pisani test
 povezan s
obrazovnim ciljevima
(ishodima učenja)
 realan i praktičan
 sadržava važna i
korisna pitanja (ne
detalje!)
 sveobuhvatan u
odnosu na gradivo
 primjeren
očekivanom znanju
polaznika (50% do
60% polaznika zna
odgovor)

31. Taradi - 31
Pisani test
 ne smije biti
predugačak
 80 pitanja je
maksimalno bez
pauze
 predvidjeti
trajanje 1 min/1
pitanje MCQ
 potrebno vrijeme
je 3 x duže nego
što treba
nastavniku

32. Taradi - 32
Pisani test
 Pitanja moraju biti
precizna, jasna,
nedvosmislena,
provjerena,
kalibrirana,
baždarena.

33. Vrste MCQ pitanja
 jednostavna
 točno/netočno
 samo jedan točan odgovor
 složena
 više točnih odgovora
 sparivanje pojmova (parovi bez viška, ili s viškom
pojmova)
 dvije tvrdnje povezane s “jer” (uzročna povezanost)
 online dodatne mogućnosti
 adaptivni test u “letu” prilagođen korisniku
 ocjenjivanje pouzdanosti znanja

34. Taradi - 34
Preporuke za pisanje pitanja
 jasno napišite osnovno pitanje i u
njega uvrstite većinu riječi
 tekst pitanja treba biti pozitivan, bez
dvostruke negacije
 pitanje se odnosi na jedan problem
 pitanja se mogu različito bodovati
 treba izbjegavati negativne bodove

35. Taradi - 35
U pitanjima treba izbjegavati
 nepotrebne detalje
 testiranje vrlo finih razlika
 negacije: ne, nije, osim. Ako ipak
imate negacije pišite primjerice: ne ili
OSIM
 riječi: svi, svaki, uvijek, nikad i sl.
 dva suprotna distraktora
 doslovne rečenice iz udžbenika

36. Taradi - 36
Distraktori
 trebaju biti kratki i jednoznačni
 netočni distraktori trebaju biti slični točnom i iz
istog područja, ali dovoljno pogrešni
 točan distraktor treba varirti po položaju od
pitanja do pitanja
 duljina točnog distraktora treba varirati (obično je
najdulji točan!)
 treba izbjegavati: sve je točno kao i ništa nije
točno
 dobar distraktor je točan, ali nije odgovor na
pitanje

37. Taradi - 37
Prednosti pisanog testa
 do rezultata se dolazi brzo i lako
 objektivan, pouzdan, valjan
 brza povratna veza studentima,
nastavnicima i administraciji
 nedvosmisleno može mjeriti znanja i
više intelektualne procese
 ne favorizira pojedine dijelove
gradiva

38. Taradi - 38
Prednosti pisanog testa
 velik broj polaznika (test u Avganistanu)
Prednosti pisanog testa

39. Taradi - 39
Prednosti pisanog testa
 velik broj polaznika (Indija)

40. Taradi - 40
Prednosti pisanog testa
 do rezultata se dolazi brzo i lako
Ekonomičnost

41. Taradi - 41
Lako administriranje rezultata
 obvezno raditi kopije rezultata
 poštivati pravo na privatnost
 redovito ažurirati kopije baze
 čuvati kopije na odvojenim mjestima

42. Taradi - 42
Prednosti online
testiranja
 mogućnost multimedijskog sadržaja
 jednostavna, ekonomična provedba
 kompjutersko adaptivno testiranje
(nelinearan test) (CAT)
 test se slaže “u letu” za svakog studenta prema
njegovom znanju, odnosno odgovorima
 pouzdanija procjena
 precizniji rezultati i smanjena mogućnost varanja
 moguća procjena koliko je student
uvjeren da zna točan odgovor

43. Kompjutersko adaptivno testiranje
(nelinearan)
 Pouzdanije i pravednije, ali složenije!

44. Bodovanje sigurnosti u
odgovor (CBM)
 Pravo znanje je zapravo kad znamo
što doista znamo, a što ne znamo.
Razina sigurnosti
(Certainty level)
Niska
C=1
Srednja
C=2
Visoka
C=3
Neodgovoreno
Izabran točan odgovor 1 2 3 0
Izabran netočan
odgovor (kazna)
0 -2 -6 0
Niska razina uvjerenosti znači da je vjerojatnost da je to točno manja od 67%,
srednja razina je između 67 i 80%, a visoka iznad 80%.

45. Utjecaj razine uvjerenosti na rezultat
 Utjecaj uvjerenosti jako mijenja konačan rezultat!

46. Taradi - 46
Test online (Socrative)
 https://www.socrative.com
789000

47. Taradi - 47
Nedostaci pisanog testa (1)
 teško je očuvati tajnost pitanja
 baze pitanja treba dobro kriptirat i
redovno kopirat
 olakšano je varanje u odnosu na usmeni
 potiče površno"učenje za test" (napamet)
 uporaba različitih vrsta pitanja traži
posebne formulare za odgovor

48. Taradi - 48
Nedostaci pisanog testa (2)
 sastavljanje dobrih pitanja i stvaranje
banke je dugotrajno
 previše lako se upada u zamku ispitivanja
faktografije i detalja
 pitanja najčešće nude podsjetnice, a one
u praksi ne postoje
 postupak je skup i prekompliciran za mali
broj polaznika
 pretjerana uporaba testa dovodi do
zasićenja i stdenata i nastavnika

49. Bloomova (Andersonova)
taksonomija

50. Taradi - 50
Nedostaci pisanog testa
 ne vrednuje
vještine

51. Taradi - 51
Nedostaci pisanog
testa
 varanje je olakšano, a u nas gotovo društveno prihvaćeno

52. Taradi - 52
Nedostaci pisanog
testa
 suvremene tehnike varanja

53. Taradi - 53
Mjere za smanjenje varanja
 Sprečavanje prepisivanja

54. Taradi - 54
Mjere za smanjenje varanja
 Edukacija i osvješćivanje (potpisati pisani
podnesak)
 Neponavljanje pitanja (barem 3 - 4 godine)
 Više varijanta testa (A,B,C,D,E,F,G...)
 Fizičko nadgledanje (2 voditelja na do 30
polaznika)
 Statistička provjera sličnosti krivih odgovora
(uspoređivanje netočnih odgovora svaki sa
svakim, primjer Cheat Checker)
 Ometanje mobitela (kod nas nedozvoljeno
zakonom)

55. Taradi - 55
Mjere za smanjenje varanja
na testovima online
 Priprava individualiziranih testova
(kompjutersko adaptivno testiranje)
 Zaključavanje preglednika (nema odlazaka
na drugi URL, printanja, kopiranja,
pokretanja drugih programa)
 Nadgledanje ekrana (mogućnost središnjeg
gledanja ekrana svih polaznika u učionici)
 Udaljeno nadgledanje (web kamerom)
 Kompjutersko praćenje obrasca tipkanja (za
eseje)

56. Taradi - 56
Vrednovanje testa kao
mjernog instrumenta
 Valjanost – koliko doista mjeri ono što smo htjeli
mjeriti
 Ponovljivost – koliko je statističko povjerenje koje
možemo imati u rezultate (pouzdanost)
 Relevantnost - koji je stupanj suglasnosti između
pitanja u testu i nastavnih ciljeva
 Ekvivalentnost – koliko pitanja odgovaraju
sadržaju nastave
 Objektivnost (točnost) - kolika je suglasnost
stručnjaka o točnim odgovorima
 Diskriminativnost –u kojem stupanju test razdvaja
polaznike po manjem i većem znanju
 Izvedivost – koliko je jednostavan i praktičan za
studente, nastavnike i administraciju

57. Taradi - 57
Validnost i ponovljivost
Test
nije validan nije ponovljiv
nije validan
ponovljiv
i validanvalidan
nije ponovljiv
ponovljiv
. .. .
.
.
...... .

58. Taradi - 58
ANALIZA TESTOVA
 Klasična teorija testova – analizira
test kao cjelinu i rezultati se odnose
samo na taj test i tu skupinu polaznika
 Moderna teorija testova – teorija
odgovora na zadatke (Item Response
Theory) testovi su standardizirani,
ujednačeni i rezultat ne ovisi o skupini
Analiza

59. Taradi - 59
Analiza pisanog testa
(Item – analiza)
 Statističkim postupcima se, nakon
testa, određuje “statistička valjanost”
testa i svakog pojedinačnog pitanja
kao instrumenta za rangiranje
polaznika po iskazanom znanju.

60. Taradi - 60
Zašto analizirati test a
posteriori?
 Revizija razultata testa (analiza
prije objave rezultata!)
 Odrediti pouzdanost (ponovljivost)
testa
 Revizija pitanja u banci za buduće
testove
 Stjecanje iskustva za poboljšanja u
pisanju novih pitanja

61. Taradi - 61
Elementi item-analize
 Temeljna (deskriptivna) statistika
 najbolji i najlošiji uspjeh
 medijan, mod
 srednja vrijednost bodova
 standardna pogreška, devijacija
 Teškoća pojedinačnih pitanja (Tp)
 Diskriminacijska vrijednost pojedinačnih
pitanja (D, Biserijalna korelacija)
 Test ponovljivosti (Kuder-Richardsonova
formula, KR-20; KR-21; Cronbach’s Alfa,
Spearman-Brown formula)

62. Taradi - 62
Tok analize testa
 Određivanje bodova na testu za svakog
polaznika
 Rangiranje po rezultatima
 Određivanje skupine “boljih” (27% gornjih
(oko 1/3)) i “lošijih” (27% donjih)
 Izračunavanje teškoće pojedinačnih pitanja
 Izračunavanje diskriminacijske vrijednosti
pitanja
 Korekcija i objava konačnih rezultata
 Vrednovanje, te odbacivanje ili revizija
spornih pitanja u banci

63. Taradi - 63
Indeks teškoće pitanja
 Za svako se pitanje izračuna Tp
 Tp = (B + L)/N
 Legenda
 B = broj točnih odgovora u “boljoj” skupini
 L = broj točnih odgovora u “lošijoj” skupini
 N = broj sudenata u obje skupine zajedno

64. Taradi - 64
Interpretacija indeksa teškoće
svakog pitanja
 Viši indeks imaju lakša pitanja
(indeks lakoće je bolji termin :-)
 Raspon od 0,5 do 0,6 je preporučen.
 Raspon od 0,3 do 0,7 je prihvatljiv.
 Pitanja izvan prihvatljivog raspona
valja korigirati.

65. Taradi - 65
Indeks diskriminacijske
vrijednosti (D) svakog pitanja
 Za svako se pitanje izračuna D
 D = 2 (B - L)/N
 Legenda
 B = broj točnih odgovora u “boljoj” skupini
 L = broj točnih odgovora u “lošijoj” skupini
 N = broj sudenata u obje skupine zajedno

66. Taradi - 66
Interpretacija indeksa
diskriminacijske vrijednosti
 Viši indeks znači veću diskriminacijsku
vrijednost pitanja ("bolje pitanje").
 D > 0,35 ima izvrsno pitanje.
 0,34 > D > 0,25 je dobro.
 0,24 > D > 0,15 je potrebno revidirati.
 D < 0,14 je loše pitanje i treba ga
najvjerojatnije baciti.

67. Taradi - 67
Test ponovljivosti
 Broj bodova = broj zaslužen znanjem + dodatni
broj poklonjen zbog greške mjerenja
 Dio bodova za pravo znanje ovisi o studentu, a dio
bodova od greške je slučajan, nepredvidiv i
neovisan o onome što se mjeri.
 Greške mjerenja:
 odabir pitanja
 greške zbog unutarnje nekozistentnosti
 slučajno pogođeni odgovori
 Test ponovljivosti (Kuder-Richardsonova formula,
KR-20; KR-21; Cronbach’s Alfa, Spearman-Brown
formula)

68. Taradi - 68
Procjena pouzdanosti
(ponovljivosti)
 1. Usporedba rezultata testa i kasnije
ponovljenog istog testa u istoj skupini
 2. Usporedba dvaju jednakih testova u istoj
skupini, ali različitih verzija (npr. test A i
test B)

69. Taradi - 69
Procjena pouzdanosti
(ponovljivosti)
 3. Usporedba rezultata dviju
nasumično podijeljenih, jednako
velikih skupina pitanja (parna;
neparna - pitanja) (unutrašnja
konzistentnost)
 Kuder-Richardsonova formula; KR-20;
KR-21
 Cronbach’s Alfa
 Spearman-Brown formula

70. Taradi - 70
Kuder Richardson 20
 KR = (N/(N-1)) * ((V - SUM (pi qi))/V)
 N = broj pitanja u testu
 V = varianca bodova, ili (standardna
devijacija)2
 pi = udio točnih odgovora za pitanje i,
odnosno (broj točnih/ukupno odgovora)
 qi = udio netočnih odgovora za pitanje i,
odnosno (i - p)
 Preporučen KR20 je veći od 0,7.

71. Taradi - 71
Cronbach’s alpha
 formula
 n = broj pitanja
 Vi = varianca odgovora na svako
pitanje
 Vtest = ukupna varianca svih odgovora
u testu (najvažniji parametar)
 Vrijednosti ispod 0,6 su loše, od 0,6 do
0,7 prihvatljive, a više od 0,7 dobre





 Σ
−
−
=
Vtest
Vi
n
n
1
1
α

72. Taradi - 72
Čimbenici koju utječu na
ponovljivost
 broj pitanja u testu (veći
broj donosi i veću
ponovljivost)
 rasponi rezultata (što
veći raspon to je bolja
ponovljivost)
 pogađanje (veća
mogućnost pogađanja
smanjuje pouzdanost)
 okolišni čimbenici

73. Taradi - 73
Ocjenjivanje pristupnika na
pisanom testu
 Relativno - unaprijed se odredi koliki postotak
testiranih pristupnika prolazi na testu.
 Apsolutno – uspoređuju se rezultati testiranih
pristupnika s unaprijed dogovorenim
standardnim kriterijima.

74. Taradi - 74
Relativno ocjenjivanje
(normativna interpretacija)
 Polaznici se rangiraju po rezultatima,
izračuna se prosjek i standardna
pogreška mjerenja, pa se odredi
granica.
 Treba izbjegavati ovaj način, osim u
sustavima ispitivanja gdje je broj
izlazaka na ispit jako ograničen.

75. Taradi - 75
Ocjenjivanje prema unaprijed
određenim kriterijima
(kriterijska interpretacija)
 Primjerice
 5 (A) = 90% i više
 4 (B) = 80% do 89.99%
 3 (C) = 70% do 79.99%
 2 (D) = 60% do 69.99%
 1 (F) = 59.99% i manje

76. Taradi - 76
Prednosti i mane ocjenjivanja
prema utvrđenim kritreijima
 Prednosti:
 postojanje minimalnog praga za prolaz
 Mane:
 teško i subjektivno postavljanje granica
 nemogućnost usporedbe s drugim
ispitnim skupinama

77. Taradi - 77
Ocjenjivanje temeljeno na
normalnoj distribuciji
 Uvjet je da je n > 30
 Primjer:
 5 = gornjih 10% (z > +1.28)
 4 = sljedećih 20% (+0.53 < z < +1.28)
 3 = središnjih 40% (-0.53 < z < +0.53)
 2 = sljedećih 20% (-1.28 < z < -0.53)
 1 = donjih 10% (z < -1.28)
σ
XX −
=z

78. Taradi - 78
Normalna distribucija

79. Taradi - 79
Prednosti i mane ocjenjivanja
po normalnoj distribuciji
 Prednosti:
 omogućuje lako postavljanje granica
 prikazuje znanje studenta u odnosu na skupinu
 Mane:
 gornja i donja granica mogu ponekad biti vrlo blizu
 kod izvrsnih skupina neki neopravdano padaju ispit
 kod loših skupina neki neopravdano prolaze ili
dobivaju izvrsne ocjene

80. Taradi - 80
Usporedba ocjenjivanja na
temelju kriterija i distribucije
Kriteriji Distribucija

u skupinu unosi
atmosferu suradnje
 ne uzima u obzir
raspodjelu
 primjenjiva i za male
skupine
 teško je odrediti granice

u skupinu unosi
atmosferu kompeticije
 pretpostavlja standardnu
normalnu distribuciju
 u malim skupinama je
neprovediva
 pretpostavlja da su sve
ispitne skupine jednake

81. Taradi - 81
Ocjenjivanje kombinacijom
metode kriterija i distribucije
 proizvoljno se mijenjaju granice na
normalnoj krivulji distribucije
 jako subjektivni kriteriji
 primjenjivo samo na završnom,
sumativnom ocjenjivanju

82. Taradi - 82
Apsolutno ocjenjivanje
 Subjektivno – stalan postotak točnih
odgovora za prolaz (npr. 55%) na
ustaljenim, ujednačenim testovima
prema procjeni voditelja testova.
 Objektivno – teškoća cijelog testa se
procjenjuje prije testiranja na temelju
objektivnog ocjenjivanja težine svakog
pojedinačnog pitanja.

83. Taradi - 83
Objektivno apsolutno ocjenjivanje
 Teškoću svakog pitanja ocjenjuje
povjerenstvo od najmanje 3 nastavnika.
 Svaki član povjerenstva neovisno
određuje tzv. minimalnu prolaznu
razinu (MPR) za svako pitanje.
 Povjerenstvo usklađuje ocjene pitanja.
 Nakon sastavljanja testa, voditelj testa
određuje prosječnu minimalnu prolaznu
razinu za cijeli test i izračunava skalu
ocjenjivanja.

84. Taradi - 84
Minimalna prolazna razina
(MPR) pitanja za test
 Nastavnik se treba
uživjeti u ulogu
studenta koji zna
dovoljno (za ocjenu 2),
te procijeniti kako takav
student mora odgovoriti
na zadano pitanje.

85. Taradi - 85
Primjer određivanja MPR za
pitanje s 5 ponuđenih odgovora
Polaznik
mora znati
eliminirati n
odgovora
Bira nasumce
između (5 – n)
odgovora
MPR
pitanja
4 1 1/1 = 1,00
3 2 1/2 = 0,50
2 3 1/3 = 0,33
1 4 1/4 = 0,25
0 5 1/5 = 0,20

86. Povratna informacija nakon
testa
 Postispitna konferencija

87. Taradi - 87
PREDAH

88. Taradi - 88
ZAKLJUČAK 1. DIJELA
(teorija pisanih ispita)
 Sustav vrednovanje znanja je dio nastavnog
procesa i važniji od nastavnih planova,
programa i nastavnih metoda.
 Cilj procjene znanja nije samo završna ocjena,
već aktivno mentoriranje tijekom učenja.
 Apsolutno ocjenjivanje označava uspoređivanje
rezultata testiranih pristupnika s unaprijed
dogovorenim standardnim kriterijima.
 Nakon testa, a prije objave rezultata, treba
provesti item-analizu i korekciju rezultata, a
kasnije i pitanja u banci.

89. Taradi - 89
PISANA PROVJERA ZNANJA
BEZ OLOVKE I PAPIRA
2. dio
Prikaz praktične uporabe
programa za izradu pisanih
testova

90. Taradi - 90
Tehničke mogućnosti
provođenja
 Umreženo računalo
 LAN
 WAN
 Web
 Samostojeće računalo
 lokalno instaliran program
 donos na mediju (m. stick, CD, disketa)

91. Taradi - 91
Umrežena računala: LMS - Moodle
 http://moodle.org/

92. Taradi - 92
Primjer: web.mef.hr/moodle
 Ulaz u sustav e-obrazovanja Medicinskog fakulteta, Zagreb

93. Taradi - 93
Procjena znanja
 Ulaz u skupinu tečajeva:Procjena znanja

94. Taradi - 94
Primjer testova
 Testovi pripravljeni u programu Moodle

95. Taradi - 95
Prijedlog za pripremu testa
 1. ON LINE
 Izravno u programu Moodle

stvaranje baze pitanja

sastavljanje testa

definiranje uvjeta provođenja testa

sakupljanje rezultata, obrada, pohrana
 2. OFF LINE
 Sastavljanje off line

Hot Potatoes,

Word
 Unošenje u program Moodle

96. Taradi - 96
1. Stvaranje novog testa u Moodle
 Stvaranje novog testa

97. Taradi - 97
Punjenje baze i testa

98. Taradi - 98
Unos pitanja u bazu

99. Taradi - 99
Uređivanje testa

100. Taradi - 100
Prethodno pregledavanje testa

101. Taradi - 101
Definiranja uvjeta provođenja
 Mogućnosti izbora uvjeta za novi test, siguran preglednik

102. Taradi - 102
Ispravljanje on line u Moodle

103. Taradi - 103
Pregled rezultata testa

104. Taradi - 104
Item analiza

105. Taradi - 105
Pregled ocjena

106. Taradi - 106
2. Unos pitanja off line za mrežno
testiranje
a. Hot Potatoes
 Potpuno besplatan verzija 6.3.0.5
 http://hotpot.uvic.ca/

107. Taradi - 107
Unos pitanja

108. Taradi - 108
Iz Hot Potatoes u Moodle

109. Taradi - 109
Izgled testa uvezenog iz HP

110. Taradi - 110
b. Unos pitanja off line iz Worda

111. Taradi - 111
Iz Worda u Moodle!
 Unos pitanja pomoću predloška (template)

112. Taradi - 112
Komercijalni ParSYSTEM
 ParTEST, ParTEST Online, ParSCORE
 Dostupan svim nastavnicima našeg fakulteta

113. Taradi - 113
Referalni centar
 http://www.carnet.hr/referalni/obrazovni/spzit

114. Taradi - 114
ZAKLJUČAK 2. DIJELA
 Sustav Moodle je vrlo prikladan za provođenje on line
testova
 stvaranje i unos u bazu

izravno on line u Moodle

off line iz Hot Potetoes ili iz Worda u Moodle
 sastavljanje testova
 definiranje uvjeta provođenja
 isporuka više verzija ispremješanog testa
 povratna informacija polaznicima
 analiza rezultata
 ocjenjivanje
 sigurnost
 administracija

115. Taradi - 115
3. PITANJA I RASPRAVA
 Treba skočiti i plivati!

116. Taradi - 116
OPĆI ZAKLJUČAK