Doktori védésem prezentációja

1. ÁTTÉRÉS A TECHNOLÓGIA
ALAPÚ MÉRÉS-ÉRTÉKELÉSRE
PAPÍR ÉS SZÁMÍTÓGÉP ALAPÚ
MATEMATIKA TESZTELÉS
ÖSSZEHASONLÍTÓ
VIZSGÁLATA 1-6.
ÉVFOLYAMON
Hülber László
SZTE
Neveléstudományi
Doktori Iskola

2. IKT eszközök fokozódó
hangsúlya a pedagógiai
mérés-értékelésben
• Természetes következmény
• XXI. sz. képességek mérése –
XXI. sz.-i módszereket igényel (Csapó és mtsai,
2012)
• Európai Bizottság, az oktatás-politika is
kívánatosnak tartja (Bjerkestrand, 2009)
• Alulról a gyakorlat szintjéről is megjelennek az
igények (Csapó és mtsai, 2009)

3. Problémafelvetés
• A technológia mérésben való integrációja felvet
• validitásra
• mintára (méltányosságra)
• objektivitásra
• az alkalmazott technológiára
vonatkozó kérdéseket.
• Összefoglalóan a teszt közvetítő médium
befolyásoló hatását angolul mode effect vagy
media effect magyarul médiahatás kifejezéssel írjuk
le (Clariana és Wallace, 2002)

4. Médiahatás vizsgálatok
eredményei
• 30 éves múlt, kb. 300 tanulmány (Wang és Shin,
2009)
• érvényüket vesztik a régebbiek (Russsal és mtsai,
2003)
• nem zárulnak le, mivel a technika folyamatosan
változik
• ellentétes eredményeket mutatnak, a nem
egységesíthető jellemzők miatt (Wang és Shin,
2009)
• Egységes konklúzióként az azonos
reprezentációt lehet kiemelni
• Pommerich (2004) a helyzet megoldására saját,

5. Kutatás céljai
• 1-6. évfolyamos diákok online
tesztkörnyezetben való viselkedésének
feltérképezése,
• papír és számítógép alapú környezetben
nyújtott matematika teljesítmények
összehasonlítása,
• azon item paraméterek meghatározása,
amelyeknél jellemző a teljesítmények
valamilyen irányú eltérése, vagy azonossága,
• olyan részminták azonosítása, amelyek
tipikusan azonosan, illetve eltérően viselkednek
különböző tesztkörnyezetben.

6. Hipotézisek
• Általános irányú hipotézisek (H1-2)
• Megbízhatóságra (H1)
• Papír és számítógép alapú teszteredmények átlagos
különbségeire (H2)
vonatkozóak

7. Hipotézisek
• Az itemek tulajdonságaira vonatkozó
hipotézisek (H3-H6)
• A feladatok típusával (H3)
• A feladatok belső tartalmi jellemzőivel és a
megoldáshoz szükséges tudáselemekkel (H4)
• A feladatokhoz tartozó információkkal (H5)
• A feladat által igényelt válaszok jellemzőivel (H6)
kapcsolatban

8. Hipotézisek
• Mintára vonatkozó hipotézisek (H7-H12)
• Az életkor szerepével (H7)
• Diákok nemével (H8)
• Diákok lakhelyének földrajzi paramétereivel (H9)
• A tanulók szüleinek iskolai végzettségével (H10)
• A tanulók tanulmányi előmenetelével (H11)
• A tanulók informatikai képzésével (H12)
kapcsolatban

9. Kutatási stratégia
• Alapvető szerkezet:
• Független minták
• Korábbi papír alapú mérés (2010) összehasonlítása
számítógép alapú mérés (2012) eredményeivel
Évfolyam
Számítógép-alapú
adatfelvétel
Papír-ceruza alapú adatfelvétel
1 3048 7924
2 3459 7017
3 3702 6366
4 4179 6749
5 4502 6809
6 3825 5706
Összesen: 22715 40571
1. táblázat. A kutatás évfolyamonkénti mintaelemszámai

10. Mérések jellemzői
• Önkéntes alapú részvétel
• 45 perc
• Háttéradatokat felmérő kérdőív (Csapó)
• Számítógépen
• Egy hónap állt rendelkezésre
• Minimális konfigurációs szint ismertetése,
ellenőriztetése
• Jegyzetpapírok biztosítása

11. Mérőeszközök
• Papír alapon 30, számítógép alapon 10
tesztváltozat évfolyamonként
• Minden tesztváltozat három klaszterből épült
fel. Egy klaszter 3-4 darab 4-5 itemes
Tesztváltozat 1. klaszter 2. klaszter 3. klaszter
1 évf./1 M1C3 M1C7 M1A6
1 évf./2 M1B6 M1C3 M1C7
1 évf./3 M1D3 M1B6 M1C3
1 évf./4 M1C1 M1D3 M1B6
1 évf./5 M1B4 M1C1 M1D3
1 évf./6 M1B5 M1B4 M1C1
1 évf./7 M1C2 M1B5 M1B4
1 évf./8 M1A4 M1C2 M1B5
1 évf./9 M1A6 M1A4 M1C2
1 évf./10 M1C7 M1A6 M1A4
3. ábra Az egyes tesztváltozatok összekapcsolási módja számítógép alapon

12. Számítógép alapú mérőeszköz
• Tesztszerkesztési elvek
• Csak az azonos reprezentálható papír alapú itemek
kerültek online bemérésre
• Kiegyenlített számban szerepeltek nyílt és zártvégű
feladatok
• A megvalósítható főbb altípusokból is elegendő
item állt rendelkezésre
• Magas számban szerepeltek grafikus elemeket
tartalmazó itemek (447)
Zárt végű itemek Nyílt végű itemek
Altípusok N Altípusok N
Választás 314
Kiegészítés 167
Hozzárendelés 62
Rendezés 48 Teljes válasz 288
Összesen 424 Összesen 455
2. táblázat. A tesztváltozatok feladattípusonkénti elemszáma (Hülber és Molnár, 2013)

13. 4. ábra
Egy feladat papír alapú reprezentációja
5. ábra
Ugyanazon feladat számítógép alapú
reprezentációja

14. Eljárások
• Mintaillesztés
• Az illesztés algoritmusnál alkalmazott változók
prioritási sorrendje: évfolyam, nem, régió,
településtípus, anya iskolai végzettsége, apa iskolai
végzettsége, tanulmányi átlag (egészre kerekítve).
Évfolyam
Figyelembe vett
paraméterek száma
Mintaillesztési mutató
(%)
1 6 91
2 6 88
3 7 77
4 7 79
5 7 82
6 7 76
3. táblázat. Mintaillesztés hatásfokának mértéke évfolyamonkénti bontásban

15. Eljárások
• Rasch-modell alkalmazása
• Különböző tesztváltozatok indokolják
• Két dimenziós változat (CBA, PP)
• ACER ConQuest program
• Itemnehézségi értékek (estimate value)

16. Eljárások
• Az itemek viselkedését leíró paraméterrendszer

17. A kutatás eredményei
• A tesztek megbízhatóságára vonatkozó
eredmények (H1)
Számítógép alapú adatfelvétel Papír alapú adatfelvétel
Évf.
Cronbach-α
értékek
átlaga
Legkisebb
Cronbach-α
érték
Személy-
szeparációs
reliabilitás
Cronbach-α
értékek
átlaga
Legkisebb
Cronbach-α
érték
Személy-
szeparációs
reliabilitás
1 0,94 0,93 0,91 0,88 0,87 0,88
2 0,93 0,91 0,89 0,87 0,85 0,85
3 0,89 0,80 0,91 0,85 0,80 0,85
4 0,91 0,84 0,88 0,86 0,82 0,84
5 0,87 0,81 0,85 0,83 0,81 0,82
6 0,91 0,88 0,89 0,86 0,84 0,82
4. táblázat. A tesztváltozatok megbízhatósági mutatói (Hülber és Molnár, 2013)

18. A kutatás eredményei
• Papír és számítógép alapú eredmények
összehasonlítása (H2)
Évfolyam
PP-CB itemnehézségi értékek
r t (p)
1 0,70 1,14 (0,26)
2 0,72 0,90 (0,37)
3 0,69 1,05 (0,30)
4 0,77 0,18 (0,86)
5 0,85 0,03 (0,97)
6 0,92 0,15 (0,90)
4. táblázat. A papíron és a számítógépen kiközvetített itemek átlagos nehézségi értékei közötti
kapcsolat (Hülber és Molnár, 2013)

19. A kutatás eredményei
• Az információ feldolgozásához tartozó változók
menti különbségek (H5)
• információk elrendezése, a táblázat alkalmazása nem
befolyásolta a különbségeket
• Grafikus elemeket tartalmazó itemek első évfolyamon
számítógépen bizonyultak könnyebbnek (|t|=2,01,
p<0,05)
Évfolyam
r_karakterszám_ nehézségi index
z (p)
CB PP
1 0,48** 0,56** 0,94 (0,35)
2 0,26** 0,24** 0,18 (0,43)
3 0,28** 0,20* 0,69 (0,49)
4 n.s. n.s. -
5 n.s. n.s. -
6 n.s. n.s. -
5. táblázat. A feladatnehézségi értékek és a feladatmegoldáshoz szükséges szövegmennyiség közötti
összefüggés erőssége számítógép és papír alapon (Hülber és Molnár, 2013)

20. A kutatás eredményei
• A feladatmegoldáshoz tartozó paraméterek
szerinti eredmények (H4)
• A feladat megoldásához szükséges pszichikus
struktúra és a feladatok kontextusa nem
befolyásolta a különbségeket
• A tartalmi elemeket tekintve,
a statisztikai tartalmú feladatok megoldása
szignifikánsan nehezebbnek bizonyult
számítógépes környezetben, mint papíron (|t|=2,06,
p<0,05)

21. A kutatás eredményei
• A feladatmegoldó tevékenységhez fűződő
paraméterek menti eredmények (H3, H6)
• a feladattípusát tekintve egyedül az alternatív
választásnál jelentkeztek különbségek
Évfolyam N t p
1 56 4,16 <0,01
2 16 2,67 <0,05
3 66 4,16 <0,01
4 70 -0,64 0,52
5 64 0,19 0,85
6 50 1,15 0,26
6. táblázat. Alternatív választás típusú feladatok papíron és számítógép alapon mért
itemnehézségi értékek átlagainak összevetése (Hülber és Molnár, 2013)

22. A kutatás eredményei
• A feladatmegoldó tevékenységhez fűződő
paraméterek menti eredmények (H3, H6)
• Harmadik évfolyamtól megjelenő
billentyűkombinációt igényelő szimbólumok
bevitele jelentett hátrányt számítógépen (|t|=5,15,
p<0,01)
Évfolyam
r_válaszkarakterszám_nehézségi index
z (p)
CB PP
1. 0,42* 0,34* 0,76 (0,45)
2. 0,30* 0,39* 0,86 (0,39)
3. 0,23* 0,12 0,33 (0,33)
4. 0,23* 0,17 0,54 (0,59)
5. n.s. n.s. -
6. n.s. n.s. -
7. táblázat. Feladatnehézségi értékek és a feladatra adott válasz terjedelme közötti korrelációs összefüggés
számítógép és papír alapon (Hülber és Molnár, 2013)
Megjegyzés: * p<0,05 szinten szignifikáns, n.s. nem szignifikáns.

23. A kutatás eredményei
• Az itemparaméterekre vonatkozó további
vizsgálatok eredményei (H3-H6)

24. • összehasonlítottuk a papír és a számítógép
alapon szignifikánsan különböző
itemnehézségi értékkel rendelkező (N=195)
itemek tulajdonságait a médiahatást nem
mutató itemek (N=685) tulajdonságaival.
• kombinatorikai tartalmú (26%), magasabb
szintű műveleteket (33%), permutálást (27%)
igénylő, teljes válasz típusú (34%) feladatok
papír alapon szignifikánsan könnyebbnek
bizonyultak
• Tesztmédiumtól leginkább függetlennek a
kiegészítés típusú (1%) feladatok mutatkoztak

25. A kutatás eredményei
• A minta tulajdonságaira vonatkozó
eredmények
• Az életkor meghatározó szerepe (H7)
1.évf. 3.évf 6.évf
x=11 x=20 x=14
CBA PP CBA PP CBA PP

26. A kutatás eredményei
• A diákok nemére vonatkozó eredmények (H8)
7. táblázat. A médiahatás nemek szerinti különbségei
évfolyamonkénti összehasonlításban
Évfolya
m
fiúk PP-CB
itemnehézségi
értékek
t (p)
lányok PP-CB
itemnehézségi
értékek
t (p)
NCB NPP NCB NPP
1 1574 1091 1,74 (0,08) 1461 1157 2,11 (0,04)*
2 1673 1617 1,81 (0,07) 1616 1568 1,15 (0,14)
3 1820 1787 1,32 (0,18) 1819 1804 0,83 (0,41)
4 2027 1964 0,47 (0,64) 2015 1944 0,55 (0,58)
5 2201 2042 0,56 (0,57) 2146 2166 0,47 (0,64)
6 1900 1786 0,63 (0,53) 1787 1801 0,70 (0,48)
Megjegyzés: * p<0,05 szinten szignifikáns

27. A kutatás eredményei
• Szülők iskolai végzettsége szerinti eredmények
(H10)
• Felsőbb évfolyamokon, más végzettség esetén nem
jelentkezett különbség
Anya legmagasabb
iskolai végzettsége
Évfolyam
1 2 3
főiskola
NCB 313 399 594
NPP 249 409 574
t 4,3** 2,93** 2,84*
egyetem
NCB 211 378 522
NPP 189 382 500
t 4,79** 3,45** 2,93*
Apa legmagasabb
iskolai végzettsége
Évfolyam
1 2 3
főiskola
NCB 313 399 594
NPP 249 409 574
t 3,64** 2,5** n.s.
egyetem
NCB 211 378 522
NPP 189 382 500
t 3,41** 3,49** 2,63*
Megjegyzés: * p<0,05,
** p<0,01 szinten
szignifikáns;
n.s. nem szignifikáns.

28. A kutatás eredményei
• Diákok lakhelyének földrajzi paramétereivel
kapcsolatos eredmények (H9)
• Az eltérésekben nincs mintázat
• A diákok tanulmányi eredményeivel
kapcsolatos eredmények (H11)
• Nincs kapcsolat
• A tanulók informatika képzése menti
eredmények (H12)
• Egyenletlen a mintaeloszlás
• Ahol nem (3-4. osztály), ott nincs eltérés

29. A kutatás eredményei
• A tesztelést követő felügyelőktől,
rendszergazdáktól begyűjtött kérdőívek
eredményei
Válaszkategóriák fi
Az előkészítési munkálatok
A mérés előkészítése nem okozott problémát 12
A tanulók számítógép használati jártasságához kapcsolódó tapasztalatok
Az alsó tagozatos tanulóknak nehézséget jelentett a mérési azonosítók bevitele 10
Az első, második osztályosok nehezen kezelik a számítógépet, állandó segítséget
igényeltek
18
Nem találták a jeleket a klaviatúrán, gondot okozott billentyűkombinációk használata 30
Problémák adódtak a görgetéssel 15
A tanulók teszteléshez fűződő attitűdje
Motiváltak, érdeklődőek voltak a diákok 34
A tanulók online tesztelés közben mutatott megoldási stratégiája
Nem használták a jegyzetpapírokat 10
Javaslatok
Konkrétabb jelölés arra vonatkozóan, hogy hány feladatot oldott meg a tanuló, mennyi
az összfeladatszám, és mennyi ideje van még hátra
12
10. táblázat. A tesztelést követő mérésben résztvevők által kitöltött kérdőív eredménye

30. A kutatás eredményeinek
értelmezése
• Az online tesztek belső konzisztenciája és a
Rasch-modell személyszeparációs indexei
minden évfolyamon, minden tesztváltozat
esetében megfelelő volt
• A korrelációs értékek különbségeinek
megfelelően, mind a minta, mind az itemeknél
jelentkező különbségek elsődlegesen és
jelentékenyen az első három évfolyam esetén
fordultak elő

31. A kutatás eredményeinek
értelmezése
• Első három évfolyamon az alternatív
választípusnál a diákok online jobban
teljesítenek
• bátrabban mernek próbálkozni, tippelni a
válaszokra ebben a tesztkörnyezetben (Johnson és
Green, 2006)
• 15%-kal több válasz született számítógépen
• kizárólag ennek a feladattípusnak az alkalmazása,
feltehetőleg nem tenné lehetővé az eredmények
összehasonlítását

32. A kutatás eredményeinek
értelmezése
• A kombinatorikai tartalmú feladatoknál,
• hatodik évfolyamon a statisztika tartalommal
bíró feladatoknál és
• a magasabb szintű gondolkodási műveleteket
igénylő feladatok a diákok papíron teljesítenek
jobban
• Nem használtak jegyzetpapírt
• Feltehetőleg fejben próbálták megoldani a
feladatokat (Johnson és Green, 2006)
• Nincs kialakult megoldási stratégiájuk online
feladatmegoldásban

33. A kutatás eredményeinek
értelmezése
• A grafikus elemeket használó itemek
számítógép alapon első évfolyamon
eredményesebbek
• számítógépen való szebb megjeleníthetőség,
élethűbb ábrázolás feltehetőleg nagyobb figyelmet
vált ki, több időt szánnak a diákok a feldolgozásukra
(Richardson és mtsai, 2002)
• nagyobb a feladatmegoldási motiváció
• szemben akár a fekete-fehérben kinyomtatott papír
alapú verzióval

34. A kutatás eredményeinek
értelmezése
• A nyíltvégű feladatok azonosan nehéznek
bizonyultak mindkét médiumon
• Statisztikailag azonosak az itemnehézségi értékek
• De nem tudjuk azonos időt is vett-e igénybe a
válaszok begépelése
• Ezért lehet nem az itemek, hanem a teszt szintjén
jelentkezik a feladattípus hatása

35. A kutatás eredményeinek
értelmezése
• Az életkor szerepe
• Számítógépes gyakorlottsággal állhat
összefüggésben
(Applegate,1993; Choi és Tinkler, 2002; Ito és Sykes, 2004;
Barnes, 2010)
• El kell érnie egy minimális szintet, aminek további
fejlettsége viszont már nem okoz különbségeket

36. A kutatás eredményeinek
értelmezése
• első évfolyamon a lányok számítógépen
szignifikánsan rosszabbul teljesítenek
• fiúk gyakorlottabbak
• jobban mernek tippelni (Johnson és Green, 2006)
• fontosabb nekik a számítógépen való jó teljesítés
(Halldórsson, McKelvie és Björnsson , 2009)

37. A kutatás eredményeinek
értelmezése
• A felsőfokú végzettséggel rendelkező szülők
gyerekeinél jelentkeztek különbségek az első
három évfolyamon, a papír alapú eredmények
javára
• a jobb teljesítményű tanulóknál nagyobb a
megfelelési kényszer, a jó teljesítés iránti motiváció,
így nagyobb zavart kelthet, hogy a megszokott,
bevált megoldási stratégiák, mechanizmusok nem
alkalmazhatóak, érzékenyebben reagálnak a
tesztmédium megváltozására.
(Bennett és mtsai, 2008)

38. Javaslatok
• A tanulók technológiai jártasságához kapcsolódó
problémák kezelésére
• Tutorial program, példafeladat megoldása
• Javaslat a médiahatás előrejelzésére vonatkozóan
• Kontextuális adatok gyűjtése alapján
• Javaslat a technológiához kapcsolódó problémák
kezelésére
• hardver, szoftver (rendszer) diagnosztikai eszközök
használata
• Javaslat az infrastruktúrához kapcsolódó
paraméterek kezelésére
• A gép adatainak a megoldásokkal együtt történő
tárolása
• Minősítési rendszer bevezetése

39. Javaslatok
• Javaslat a rajzolást igénylő feladattípusok számítógépes
megvalósítására
• Feladatok átalakítása -> nem összevethetőek
• Digitális ceruza használata
• Javaslat a diákok online tesztelésére való áttérésének
segítéséhez
• Attraktív feladatütemező eszköz használata
• Javaslat a speciális karakterek beillesztésére,
karakterformázások elvégzésére
• dedikált gombok, ikonok elhelyezése
• Tutorial
• Javaslat a tesztelés megszakadására vonatkozóan
• Akcióterv készítése
• Javaslat a tesztszerkesztésre vonatkozóan
• Sablonok használata

40. Összegzés
• Megbízhatóan alkalmazható a matematika
online tesztelés általános iskolában is
• Összehasonlításnál az első három évfolyam tanulói
igényelnek körültekintést
• Feladattípus tekintetében a papír alapú
teszteléshez hasonlatosan a változatos
feladattípusok alkalmazása ajánlott
• A diákoknak tapasztalatot kell szerezniük az
online tesztelésben, hogy kialakulhassanak az
elektronikus feladatmegoldó stratégiáik

41. Limitáció
• Matematika műveltségterület
• Eltérő minta
• Eltérő mintaelemszám eloszlás évfolyamonként
különböző paraméterek mentén
• Technikai paraméterek vizsgálatának hiánya

42. Köszönöm a figyelmet!
Hülber László
hulber.laszlo@gmail.com