Teljesítményképes tudás műhelymunka sorozat. EDUCATIO NKFT

1. KOMPETENCIA MÉRÉSEK
ELEMZÉSEK
Kern Zoltán
www.slideshare.net/kernz
Kern.zoltan@educatio.hu
06-30-3392530, 06-30-959-2810

2. 1. A tanulói teljesítmény az iskolai
munka összetett minősítése.
2. Pillanatfelvétel egy hosszabb
folyamat következményeiről.
2

3. AZ ADATFELDOLGOZÁS ÉS ÉRTELMEZÉS
•Az egymást követő évek mérési eredményei tanulói szinten
követhetők .
• A tanulói mérési azonosítója változatlan marad.
•A közös, évfolyamfüggetlen skála kialakításának feltétele az is,
hogy az egyes évfolyamok tesztjei közös feladatokat is
tartalmazzanak.
•A 2008. évi 6. évfolyamos tanulók átlageredményét 1500,
szórását pedig 200 pontra állították be. Minden más évfolyam és
minden későbbi mérés eredményét ugyanerre a skálára helyezték,
így a tanulók, tanulócsoportok eredménye egyszerűen
összehasonlítható, valamint a fejlődés mértéke is akár egy-egy
tanulóra, akár tanulócsoportokra egyszerűen kivonással
kiszámítható.

4. HELYZETKÉP
 Csak az értelmes, megértett, átélt tudást
lehet felidézni.
 A kompetencia pszichikus folyamat, az
értelmi képességek szerveződésével a
középpontban: a képességek és
készségek rendszerré szerveződését
jelenti. Benne nem az iskolai
kontextusban megtanultak
reprodukálásáról van szó.

5. HELYZETKÉP
 „Az általános iskola befejezéséig nem vagy
csak hiányosan… fejlődnek ki a tanulókban a
továbbtanuláshoz, illetve különféle szakmák
elsajátításához, valamint az élethosszig tartó
tanuláshoz szükséges alapkompetenciák, mint
például az olvasás szövegértés,az érvelő-bizonyító
és az elemző szövegalkotás, a
gyakorlatközeli, életszerű helyzetekben
alkalmazható matematikai eszköztudás,

6. KÉRDÉSEK
• Az értékelés eredményeképpen létrejövő információk pedagógiai
felhasználása
• A minősítő/ellenőrző és a támogató/fejlesztő funkciók kívánatos aránya
• Kidolgozni azokat a konkrét megoldásokat, fejlesztési utakat,
módszereket és technikákat, amelyek a kevésbé sikeres tanuló vagy
intézmény támogatását célozzák
• Mi történik akkor, ha egy tanulóról vagy egy adott intézményről kiderül,
hogy a fejlesztő tevékenység alacsony eredményességgel zajlik

7. Kompetenciakomponensek
készségek
számlálás, számolás, mennyiségi
következtetés, becslés, mérés,
mértékegység-váltás,
szövegesfeladat-megoldás
a matematikai
kompetencia
gondolkodási
képességek
rendszerezés,
kombinativitás,
deduktív következtetés,
induktív következtetés,
valószínűségi
következtetés,
érvelés, bizonyítás
kommunikációs
képességek
relációszókincs,
térlátás, térbeli viszonyok
ábrázolása, prezentáció,
szövegértés,
szövegértelmezés
tudásszerző
képességek
problémaérzékenység, probléma-reprezentáció,
eredetiség, kreativitás,
problémamegoldás, metakogníció
tanulási
képességek
figyelem, rész-egész észlelés,
emlékezet, feladattartás,
feladat-megoldási sebesség

8. Hagyományos Jelenkori
Elsősorban a tanulói
teljesítményre irányuló tanári
tevékenység
Szerepe:
 termékközpontú
 kimeneti mérés
 minősítés
 szelekció
 pályaorientáció
Az oktatás minden szintjére
kiterjedő (tanulóra, tanárra,
intézményre, rendszerre,
programra) visszacsatolás
Szerepe (a hagyományos
mellett):
 folyamatközpontú
 fejlesztés
 tanulássegítés
 tanulói önreflexió és
önértékelés
 hatékonyságnövelés
MÉRÉS-ÉRTÉKELÉS

9. Teljesítmény-különbségek az iskolák között és az iskolákon belül
80
60
40
20
0
-20
-40
-60
-80
-100
OECD
Magyarország
Ausztria
Csehország
Korea
Finnország
Svédország
iskolák közötti
iskolán belüli

10. Iskolán belüli elemzés
PUBLIKUS ADATOK
ÉRTELMEZÉS
osztály szintű elemzés
iskolai elemzés
fenntartói elemzés
Iskola, osztály, csoport szintű összehasonlító
elemzések a teljes körű adatok alapján

11. KOMPETENCIAMÉRÉSEK elemzése
•Felhasználói jogosultságok kiosztása
•www.oktatas.hu
•Fenntartói jelentés
•Intézményi jelentés
•Telephelyi jelentés
•FIT elemző szoftver
•6.8.10. évfolyam másodelemzése
•Intézmények átszervezése, megszűnése esetén a
teendők.
11

12. A Telephelyi jelentés
• A telephely eredménye a többi telephelyhez viszonyítva
– Standardizált átlagos képességek
– A képességeloszlások főbb jellemzői
– A képesség a családi háttér függvényében
– A diákok eloszlása a képességskálán és a képességszinteken
• Az eredmények összevetése az előző évek eredményeivel
• A telephely osztályainak összehasonlítása
– Az osztályok képességeloszlásának jellemzői
– A diákok eloszlása a képességskálán
• A telephely épületének állapota és tanulói összetétele
– A telephely épületének állapota
– A telephely speciális tantermei
– A telephely tanulói összetétele és a tanulási nehézségekkel küzdő diákok jelenléte a
telephelyen iskolatípusonként
– A fegyelem- és a motivációindex értéke a telephelyen iskolatípusonként
– Továbbtanulási arány a telephelyen iskolatípusonként

13. Az Iskolai jelentés ábrái
• Az iskola eredménye a többi iskolához viszonyítva
– Az iskolák átlagos eredménye
– A képességeloszlások főbb jellemzői
– A diákok eloszlása a képességskálán és a képességszinteken
• Az iskola telephelyeinek összehasonlítása
– Az iskola telephelyeinek átlagos eredménye
– Az iskola telephelyeinek főbb eloszlásjellemzői
– A képesség a családi háttér függvényében
– Az iskola tanulóinak eloszlása a képességskálán telephelyenként

14. A Fenntartói jelentés ábrái
• A fenntartó eredménye a többi fenntartóhoz viszonyítva
– A fenntartók átlagos eredménye
– A képességeloszlások főbb jellemzői
– A diákok eloszlása a képességskálán és a képességszinteken
• A fenntartó iskoláinak összehasonlítása
– A fenntartó iskoláinak átlagos eredménye
– A fenntartó iskoláinak főbb eloszlásjellemzői
– A fenntartó egyes iskoláiban tanuló diákok eloszlása a képességskálán
• A fenntartó telephelyeinek állapota és tanulói összetétele
– A fenntartó telephelyeinek állapota
– A fenntartó telephelyeinek speciális tantermei
– A tanulók összetétele és tanulási nehézségekkel küzdő
diákok jelenléte a fenntartó telephelyein
– A fegyelem- és a motivációindex értéke a fenntartó telephelyein

15. KOMPETENCIAMÉRÉSEK ELEMZÉSE
Fogalmak az elemzéshez:
Átlag
Percentilis
Kvartilis
Hozzáadott pedagógiai érték
Hozott érték index
Családi háttér index
Képességszintek
Szignifikáns változás
15

16. KOMPETENCIAMÉRÉSEK ELEMZÉSE
Fogalmak az elemzéshez:
Viszonyítási csoportok átlag eredmények
alapján
Képesség eloszlási skála
Minimum és maximum pontok meghatározása
Trendvizsgálat eredmények változása
Különböző tanulócsoportok eloszlása a
képességskálán
Tanulási környezet jellemzői: fegyelem,
motiváció, továbbtanulási arányok
16

17. KÉPESSÉGSZINTEK - szövegértés
• 7.szint 1911 pont
• 6. szint 1771 pont
• 5. szint 1631 pont
• 4.szint 1491 pont 8. 10. évfolyam
minimum
• 3. szint 1361 pont 6. évfolyam minimum szintje
2.szint 1211 pont
• 1 szint 1071 pont
17

18. KÉPESSÉGSZINTEK - matematika
• 7.szint 1984 pont
• 6. szint 1848 pont
• 5. szint 1712 pont
• 4.szint 1576 pont 8. 10. évfolyam
minimum
• 3. szint 1440 pont 6. évfolyam minimum szintje
• 2.szint 1307 pont
• 1 szint 1168 pont
18

19. 19

20. FOGALMAK
KÖSZÖNÖM
A FIGYELMET!
Eszköztudás – Képesség jellegű tudás; a tudásnak az a formája, amely más
ismeretek elsajátítását, további tanulását teszi lehetővé. Eszköztudásnak
minősül lényegében minden olyan, különböző helyzetekben aktiválható
képesség, mint az olvasni tudás, számolni tudás, problémamegoldás.
Index – Több változó aggregálásával keletkező változó, összevont mutató.
Olyan számadat, amelynek segítségével egyszerűen és összesítve
jellemezhetők az összegyűjtött adatok.
Képességskála –Számegyenes, amelyen a tanulók és az itemek elhelyezhetők a
teszt itemeire adott válaszok alapján.

21. FOGALMAK
Percentilis – A változó eloszlásának jellemzésére szolgáló mutatók. A
k. ~ az az érték, amelynél a változó által felvett értékek k %-a kisebb,
(100-k)%-a pedig nagyobb; k 0 és 100 közötti egész szám.
KÖSZÖNÖM
A FIGYELMET!
Szignifikáns – Statisztikailag jelentős mértékű eltérés vagy hatás,
amely nagy valószínűséggel nem a véletlen ingadozásnak tudható be.
Hozzáadott pedagógiai érték – A tanulók teljesítményének eltérése
a szocioökonómiai hátterük alapján becsült értéktől.
Konfidencia-intervallum -Becslési intervallum, amely az ismeretlen paraméter
értékét előre megadott valószínűséggel (konfidenciaszint) tartalmazza. A
leggyakrabban alkalmazott konfidenciaszint-értékek a 90%, 95% vagy 99%. Az
OKM 2006 FIT- jelentésben 90%- os ~-ot alkalmaztak, tehát például az
átlaghoz tartozó ~ 90%-os valószínűséggel tartalmazza az adott diákcsoport
ismeretlen, átlagos képességét.

22. Képességszintek - matematika
1. szint
→Ismerős, főként matematikai szituációban, gyakran kontextus nélküli helyzetben
feltett matematikai kérdések megválaszolása
→ Egyértelmű, jól körülírt és minden szükséges információt tartalmazó feladatok
megoldása
→ Közvetlen utasításokat követve rutinszerű eljárások végrehajtása
2.szint
→ A legalapvetőbb, közismert matematikai fogalmak és eljárások ismerete
→ Egyetlen információforrásból a szükséges információk megszerzése
→ Egyszerű, jól begyakorolt algoritmusok, képletek, eljárások és megoldási
technikák alkalmazása
3.szint
→ Egyszerű problémamegoldási stratégiák kiválasztása és alkalmazása
→ Egyértelműen leírt matematikai eljárások elvégzése

23. Képességszintek - matematika
4. szint
→Összetettebb vagy kevésbé ismerős, újszerű szituációjú, több lépéses feladatok
megoldása
→Értelmezés és gondolatmenet röviden leírása
5.szint
→ újszerű szituációban megjelenő többlépéses, önálló stratégia kidolgozását
igénylő, különböző módon megjelenített összefüggéseket tartalmazó feladatok
megoldása
→Értelmezés és gondolatmenet megalkotása és megfogalmazása
6.szint
→Újszerű, komolyabb értelmezést igénylő többlépéses feladatok megoldása
→Széles körű és jó színvonalú gondolkodási és érvelési képességek, készségek
7.szint
→Többszörösen összetett szituációban
→Új megoldási módok és stratégiák megalkotása

24. Képességszintek - szövegértés
1. szint
→A szövegben kiemelt vagy többször előforduló információ visszakeresése
→A szövegben explicite megfogalmazott fő gondolatmenet vagy téma felismerése,
alkalmi szókapcsolat jelentésének felismerése
2.szint
→ A szöveg információi és a mindennapi élet közötti egyszerű kapcsolat felismerése
→ Egy szövegrész témájának, a hagyományos történetmesélési eszközöknek és a
meggyőzés szándékának felismerése
3.szint
→ A szövegben explicite megfogalmazott, több feltételnek megfelelő információk
visszakeresése
→ A szereplők közötti viszony magyarázata, a szereplők motivációinak felismerése;
egyszerű következtetés levonása

25. Képességszintek - szövegértés
4. szint
→A szövegben elszórt, explicite megfogalmazott információk azonosítása,
összekapcsolása, rendezése; félrevezető információ kiszűrése
→A szereplők szándékai közötti különbség felismerése, a szereplők motivációinak
magyarázata
5.szint
→ A szövegben elszórt, explicite megfogalmazott információk azonosítása,
összekapcsolása, rendezése; félrevezető információ kiszűrése adott szempont
alapján
→Egy szereplő szándékaira vagy állapotára utaló nyelvi és tartalmi jelek azonosítása
6.szint
→A szövegben mélyen beágyazott információk azonosítása és összekapcsolása
→A szöveg egységei közötti tartalmi megfelelés felismerése
7.szint
→a szöveg típusától, témájától, terjedelmétől függetlenül; közvélekedéssel
ellentétes, az elvárttal szembehelyezkedő információk visszakeresése

26. Publikus adatok

27. Publikus adatok – telephelyi összefoglaló

28. Publikus adatok – alapszintet el nem érő tanulók

29. Átlag és konfidencia

30. Percentilis

31. Képességeloszlás

32. Képességpontok összehasonlítása -
fejlődés

33. Tanulók egyéni fejlődése

34. Viszonyítás

35. FELADAT
Adott intézményre vonatkozó globális megállapítások, és
elsődleges elemzést követő kijelentések megfogalmazása.

36. HOZZÁADOTT PEDAGÓGIAI ÉRTÉK
 Egy-egy iskola vagy egy-egy pedagógus működésének,
munkájának tulajdonítható változások, a pedagógiai
hozzáadott érték vizsgálata .
 Az eredményvizsgálatok ne csak a kibocsátott tanulók
teljesítményeit, hanem az iskolába bekerülők személyes és
környezeti adottságait, ezen kívül a pedagógiai munka
személyi és tárgyi feltételeit is vegyék figyelembe .
 Gyakorlati megvalósítás eszközei még ma sem tekinthetők
megfelelően kidolgozottnak .
36

37. A HOZZÁADOTT ÉRTÉK ÖSSZETEVŐI AZ ISKOLÁBAN
Hol és milyen körülmények között jön létre a tanulói
teljesítmény. A bemenetkor meglévő források
milyen mechanizmusokon keresztül alakulnak át
ismeretekké, képességekké, attitűdökké?
A szociokulturális környezet, mint adottság forrás.
37

38. A HOZZÁADOTT ÉRTÉK ÖSSZETEVŐI AZ ISKOLÁBAN
A magasabb szociokulturális szintű rétegből érkező
tanulók többet hasznosítanak az iskola oktatási és
nevelési adottságaiból.
 a tanuló szociokulturális helyzete.
 a társadalmi helyzettől nem teljesen
független tanulói életút, attitűd.
 tanári reagálás az előbbiekre.
tanári testület szervezeti kohéziója.
38

39. A HOZOTTÉRTÉK - INDEX SZEREPE
• Az indexek a változók összevonásával készülnek.
• Alacsony index érték(1) – közepes index érték (2)–
magas index érték(3).
• HER (otthoni tanulási források indexe): könyvek
száma, tanulást segítő eszközök, szülők iskolai
végzettsége.
• Magas HER index: legalább 100 könyv, számítógép,
íróasztal, szótár megléte, egyik szülő felsőfokú
végzettségű.
39

40. 40
Hozott Érték Index (HÉI)
Az iskola tanulóinak tanulási teljesítményét
leginkább befolyásoló szocio-kulturális és szocio-ökonomiai
tényezőkből képzett index.
Összetevői (súlyarányaikkal):
1. Szülők iskolai végzettsége (45%)
2. Tanulást segítő eszközök:
otthoni könyvek száma (30%)
saját könyvek száma (10%)
3. Otthon felszereltsége:
számítógép (10%)
gépkocsi ( 5%)

41. HOZZÁADOTT PEDAGÓGIAI ÉRTÉK SZÁMÍTÁSA (HPÉ)
• HPÉ=HÉI alapján várt és becsült eredmény közti
különbség.
• A várt teljesítménytől való eltérés azt jelenti, hogy
az iskola diákjai jobb vagy rosszabb eredményt
értek el a teszten, mint azt az ország egy „tipikus”
iskolája tette volna hasonló háttérrel rendelkező
diákok esetében.
41

42. 42
A Hozzáadott Pedagógiai Érték (HPÉ)
HOZZÁADOTT
PEDAGÓGIAI
ÉRTÉK
Definíciója:
Az iskola tanulói által képviselt un. hozott érték
alapján becsült teljesítmény (Tb) és az iskola
tanulói által ténylegesen elért teljesítmény(Tt)
különbsége (Vári Péter, 2004).
HPÉ= Tt - Tb
Számítása:

43. Hozzáadott érték

44. FELADAT
Tegyenek megállapításokat a hozzáadott pedagógiai értékre
vonatkozóan a publikus elemzési adatok felhasználásával!

45. AKCIÓTERV KÉSZÍTÉS
A jelenlegi
elemzése
Jövőbeni igények
prognosztizálása
Akcióterv az eltérések
meg-szüntetésére
Folyamata:

46. INTÉZKEDÉSI TERVEK FORMAI KÖVETELMÉNYEI
• A cél eléréséhez vezető cselekvéssor
• Szükséges erőforrások
• Időtartam
• Felelősök
• Elvárt eredmény
• Eredmények mérésének, értékelésének módja

47. A tanulói teljesítményt meghatározó tényezők komplex
rendszere
tanulói sajátosságok
kognitív képességek
motiváció
családi háttér
tanulási stratégiák
attitűdök,érzések,
élmények
stb...
tanári sajátosságok
módszertani
megoldások
fejlesztő értékelés
tanulók
megismerése
stb...
iskolai sajátosságok
tankönyv és
taneszköz
munkaközösségek
szervezése
minőségbiztosítás
továbbképzések
szakmai kontroll
intézményi
kommunikáció
rendkívül összetett komplex rendszer - nincs receptszerű,
egyszerű és egy alkalomra szóló megoldás

49. HÁRÍTÁS

50. A folyamatos fejlesztés lépései és eszközei
Lépés Leírás Eszköz
1 A probléma megkeresése
Pareto diagram, hisztogram,
szabályozási görbe
2 Az okok feltárása Ok-okozati diagram
3
A legfontosabb tényezők
megkeresése
Pareto diagram,
pontdiagram
4
Javító lépések
kidolgozása 5W2H
5
Javítási lépések
végrehajtása
6 Eredmények ellenőrzése
Pareto diagram, hisztogram,
szabályozási görbe
7
Ugyanazon probléma
felmerülésének
megelőzése

51. AKCIÓTERV, FEJLESZTÉSI TERV KRITIKUS PONTJAI
• A szisztematikus megközelítéssel elkerülhető:
a fontos adatok összegyűjtésének elmulasztása
a csoport hatáskörén kivül eső problémák kezelése
a nem megfelelően azonosított, illetve a nem megfelelően
konkretizált problémák
a rosszul feltárt ok-okozati láncolat, melynek következtében a
tünetek ugyan megszüntethetők, de mivel a valódi ok feltáratlan
maradt a probléma újból meg fog jelenni

52. Pareto-elv és -elemzés
200
100
100
75
50
25
a b c d e f g okok
Okok arányai:
80% - 20%

53. Ok-okozatdiagram i (halszálka diagram, Ishikawa
diagram)
Módszer Anyag
Eszköz Személy
Hatás,
probléma

54. MIÉRT?HOGYAN?
• 5W + 1H
OKOZAT
4. MIÉRT?
2. MIÉRT?
5. MIÉRT?
3. MIÉRT?
5W + 1H
1. MIÉRT?

55. Fejlesztési sablonok

56. Feladat
• Azonnali intézkedések listája.
• Hosszabb távú fejlesztés irányai.

57. KÖSZÖNÖM
A FIGYELMET!