Pedagogiai ertekeles kutatas1
Upcoming SlideShare
Loading in...5
×
 

Pedagogiai ertekeles kutatas1

on

  • 1,174 views

 

Statistics

Views

Total Views
1,174
Views on SlideShare
1,174
Embed Views
0

Actions

Likes
0
Downloads
11
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Pedagogiai ertekeles kutatas1 Pedagogiai ertekeles kutatas1 Presentation Transcript

  • Pedagógiaiértékelés tervezése T. Parázsó Lenke Eszterházy Károly Főiskola http://okt.ektf.hu/ lenke@ektf.hu
  • Tartalom1. Értékelés az iskolák rendszerében2. Ellenőrzés, értékelés, mérés3. Értékelés és minőségbiztosítás4. Értékelés, tartalom tudásszintmérés5. Feladattípusok és értékelés6. Kutatás-módszertani kérdések7. Statisztikai alapfogalmak 2
  • 1. ÉrtékelésAz értékelés –megerősítési, visszacsatolási folyamat, amelysorán nemcsak a tanulók tevékenységét értékelhetjük, hanem azegész tanítási-tanulási folyamatot, annak hatékonyságát; beleértvea folyamat összes tényezőjétkövetkeztetések: A tanulóra nézve, amely során azt vizsgáljuk, hogy mennyire felel meg a vele szemben támasztott követelményeknek, kritériumoknak. Ez a tanulóra irányuló visszacsatolási kör. A tanulási folyamatra vonatkoztatott visszacsatolás a tanulócsoportok és az iskola teljesítményére. Milyen mértékben és minőségben sikerült a folyamat irányítása, szabályozása? Megfelelőek-e a médiumok, az információközvetítés, a tanulásszervezés és kapcsolattartás módja és milyenek a tanulási környezet szubjektív és tárgyi feltételei? A cél- és követelmények és tartalomvizsgálat szempontjából területi, országos, illetve nemzetközi szintre vonatkoztatott visszacsatolás (rangsorok, összehasonlítva a kapott eredmények az országos és nemzetközi standardokkal). 3
  • Az értékelés funkciók és szintekAz értékelés alapfunkciója az informálás.Az információ hasznosulása Külső felhasználás révén: az oktatási folyamaton kívül lévők használják fel tájékozódásra, diagnózisra, döntéselőkészítésre. Visszacsatolás, folyamatot szabályoz. Az információk alapján kívülről avatkozhatnak be a rendszer működésébe. Szabályozott rendszer ◦ Érzékeli saját belső állapotát ◦ A változásról kapott információ alapján beavatkozik saját működésébe Visszacsatolás lehet ◦ Pozitív: elindult változást erősít (fejlődés) ◦ Negatív: elindult változást csökkent Oktatáspolitikusok, kutató használják a kapott eredményeket. 4
  • 2. Az értékelés szintjeiAz oktatás rendszere a társadalom alrendszere,amelyet a problémák és törvényszerűségek határoznakmeg.Az értékelés szintjei:  Mikroszint  Mezoszint  Makroszint 5
  • Mikroszint Helyszín a „műhely”, az osztályterem a közvetlen tanár-diák interakció szintje. Értékelési szint: az osztálytermi munka értékelése, a tanulók teljesítménye. Az információ legkisebb egysége a tanuló (egyéni teljesítménye)Mezoszint• Helyszín a „műhely”, az intézmény, az iskola.• Értékelési szint: az iskola munkájának a teljesítménye. A tanulócsoportok, osztályok munkája kerül értékelésre. Nem jelenik meg a tanulók személyenkénti teljesítménye.• Az információ legkisebb egysége a tanulócsoport teljesítménye. 6
  • Makroszint Helyszín a „műhely”, oktatási rendszer egészének a szintje. Értékelési szint: az oktatás és alrendszerei (általános, közép, szakiskola stb.) működése munkája kerül elemzésre. Az információ legkisebb egysége az intézmény, iskola 7
  • Az értékelés funkciók és szintek alkalmazása Mikroszinten: az információ a diák tanulási folyamatában hasznosul (tanár, diák). Mezoszinten: a csoport teljesítmény informálja a tanárt a munkájáról. Hasznosulása nemcsak a mért tanulócsoportban, hanem a tanár további munkájában jelentkezik. Makroszint: diagnózis, döntéselőkészítés. Visszacsatolás lassúbb folyamat, hiszen a rendszer egészét/részét érinti. 8
  • 3. Lisszaboni célok2000. Európa Tanács stratégiai tervet fogadott el Lisszabonban,melynek értelmében az Európai Uniónak 2010-re a világlegversenyképesebb és legdinamikusabban fejlődő tudás alapútársadalmává kell válnia.Ebben a folyamatban az oktatásra és a képzésre kulcsszerephárulA tagállamok feladata, hogy saját fejlesztési céljaikkal összhangbancselekvési tervet dolgozzanak ki, konkrét lépéseket tegyenek aTanács által elfogadott célkitűzések megvalósítása érdekében (2010-igmegvalósítandó munkaprogram)Az EU-s oktatási és képzési rendszerek minőségének éshatékonyságának javítása A tanárok és oktatók oktatásának és képzésének fejlesztése. A tudás alapú társadalom által megkívánt ismeretek fejlesztése. Az IKT-hoz való hozzáférés biztosítása mindenki számára. A toborzás növelése a (természet)tudományok és műszaki tanulmányok területén. Az erőforrások optimális kihasználása.bővebben 9
  • Értékelés és minőségbiztosításMinőségelemek (Dr Setényi János: A Minőség kora. Bevezetés az iskolai minőségbiztosításba) ◦ Az a minőség, amelyet az oktatástól központilag várnak el (Nemzeti alaptanterv, központilag rögzíti az országos szintű elvárásokat) ◦ Az iskola saját minőségi elvárása( az intézmény maga alakítja ki a helyi igényeket figyelem bevéve, a saját értékrendszerét, céljait szem előtt tartva)A biztosított minőségben fontos (Setényi): ◦ A vevői igények megjelenése ◦ A munka belső értékelése ◦ Az eredmények dokumentációja ◦ A visszacsatolásMinőségügyi technikai eljárások ISO, nem terjed ki mindenkire, nem vevőközpontú, merev TQM modell, megelőző jellegű. A hangsúly a hibákból tanulva előzzük meg azok újbóli megismétlődésétMódszerek ◦ esettanulmány ◦ problémacentrikus összehasonlítás ◦ fejlődésvizsgálatok ◦ folyamatelemzések 10
  • 4. Ellenőrzés, mérés, értékelésAz ellenőrzés általában megelőzi az értékelést, annak szükséges előfeltétele. (tanárellenőrizheti a házi feladat elkészültét, de minőségét már értékeli). Az ellenőrzés során a teljesítményképes tudáselemek alapján történik a tanulói tudásszint ellenőrzése. A valós élet helyzeteit szimulált környezetbe helyezve a tanulás irrelevans. Az adott területek, különböző útvonalakon bejárhatóak. A képzettársítást erősítve, kialakítják a tartalom és a folyamatok több kapcsolódási pontjait. Így megvalósulhat a tudásreprezentáció és a tudáskomponensek többszörös összekapcsolódása.Mérés az értékelési folyamat azon fázisa, amelyben valamilyen mérőeszközsegítségével adatokat gyűjtünk. Az adatokat pedig szűkebb körű értékeléskeretében kvantitatív és kvalitatív módon dolgozzuk fel.Az értékelést gyakran használják szűkebb és tágabb értelemben, sőt amérés és az ellenőrzés fogalmának szinonimájaként említik, pedig nem az.Az adatok szisztematikus gyűjtése és értelmezése, amely a folyamatrészeként értékítélethez vezet, mégpedig cselekvési kitekintéssel. Azértékelés magában foglalja az értékítéletet, amely mérhető attribútumok,jellemzők és jelenségek révén szerzett bizonyítékokon alapul. 11
  • Az értékelés 8 szintjeA visszajelzések segítségével a nevelés és az oktatás minden szintjénlehetőség nyílik az eredményesség alapján történő befolyásolásra,szabályozásra.Ebben a megközelítésben az értékelés már nemcsak nevelési ésoktatási módszer, hanem az intézményes nevelésbe beépült„rendszerszabályozó elem”, amely az értékelés bemeneti és kimenetiszintjén egyaránt megjelenik (Báthory, 1987). 12
  • Értékelési típusok összehasonlítása 13
  • 4. Tartalom-művelet Mit mér a feladat?A tanítási-tanulási folyamat tervezését Báthory Zoltán kétdimenzióskognitív követelményrendszerre alapozva dolgozta ki.Táblázata tartalmazza az egyes tartalomelemekhez kapcsolódócélkitűzéseket, vagyis hogy „mit, milyen szinten kell megtanítani ésmegtanulnia a tanulónak”. 14
  • Fogalmak logikai struktúrája A fogalmak logikai struktúrába a fogalmak közötti kapcsolatot grafikusan jelöljük (tények, fogalmak, összefüggések kapcsolatát biztosítja). A tananyag összeállítása során definiálni kell a fogalmakat, jelölni kell a kimeneti követelményeket és egy gráfszerű elrendezésben ki kell alakítani a köztük lévő logikai kapcsolatokat. A fogalomtérkép elkészítése segíti a mérési folyamat megbízhatóságát. A mérés során azt kell visszaellenőrizni és azon az értelmi szinten, ami a követelményben szerepel.(Forrás: http://www.sulinet.hu/sdt_kepzes/SDT_kk_08_t.pdf http://dragon.klte.hu/~nevtud/Tanarkepzes/meres/4_fejezet.pdf) 15
  • TananyagelemzésAz ismeret logikai struktúráját lépésekre bontja: A tematikus egységeket témákra kell tagolni Minden témához fogalmakat kell rendelni Minden fogalomhoz az odatartozó tényeket fel kell sorolniA GRAF a tananyag és az egyes részek (tények, fogalmak,összefüggések) kapcsolatainak vizuális megjelenítéseA gráf biztosítja, hogy a számonkérés során a tudáselemekarányosan fedjék le a témakört, valamint több feladatvariánsesetén azok egyenértékűek legyenek. 16
  • Dr Buda András In: http://dragon.klte.hu/~nevtud/Tanarkepzes/meres/4_fejezet.pdf 17
  • A gráf alkalmazásával biztosítható, hogy a számonkérés során ◦ a tudáselemek arányosan fedjék le a témaköröket ◦ több teszt készítése során, azok egyenértékűségefe Képalkotás elvel képkomponálás Keresőrendszerv Parallaxis hibaé ………te Fényeről Képalkotás elve Zárszerkezetké Blendes normálz nagylátószögű Objektív teleí zoomt Mélységélesség Élességellenőrzésé …….s 18
  • Fogalom gráfMinta 19
  • Feladatok és értelmi szintekIsmeret  Nevezze meg  Definiálja  Jellemzői  Sorolja felMegértés  Osztályozza  Értelmezze és értelmi szintek  Hasonlítsa össze  Állítsa sorrendbe  Magyarázza  CsoportosítsaAlkalmazás  Állítsa össze  Becsülje meg az eredményt  Alkalmazza ismereteitpélda 20
  • 5. Feladattípusok _www.tanszertar.hu_http://mikrosuli.hu/oktato-pendriveokSzerkezet szerint  Zárt feladatok esetében a zárt jelző egyértelműen a feladat szerkezetére utalt, hiszen megadott válaszvariánsok közül kellett a feladatkijelölésnek megfelelően egy vagy több jó vagy rossz választ a tanulónak megjelölni.  A nyílt végű feladatok tulajdonképpen nyílt kérdések. Rákérdezhetünk egy-egy szóra, fogalomra, összefüggésre, törvények ismeretére. Esszé-jellegű kifejtést kérhető egy-egy témáról. A nyílt feladatoknál a tanulóknak önállóan, a válaszlehetőségek ismerete nélkül kell megalkotniuk a feleletet, ezért a tanulói tevékenység szempontjából feleletalkotásos feladatoknak tekintendők.  A kiegészítéses feladatokat részben zártnak, részben nyíltnak tekinthetjük. Formailag gazdag feladatcsoport, mert magába foglalja például az egy-egy szóval, jellel történő kiegészítésen túl a hiányosan megjelenített, összefüggő szöveg teljes kiegészítését, a hiányos táblázatok kitöltését. 21
  • Feleletválasztásos feladatFeleletválasztásoso a kérdéshez, feladathoz megadott válaszlehetőségek közül kell kiválasztani, megjelölni a jó vagy rossz válaszokat,o párosítani kell adatsorokat, rangsorolni, időrendi vagy egyéb logikai feltétel szerint kell sorba állítani megadott válaszokat,o ok-okozati összefüggéseket, kapcsolatokat kell felismerni.Alternatív feladatok (igen–nem; igaz–hamis)A kérdezést leegyszerűsítő, az értelmi műveletek közül csakaz emlékezetet mozgósító feladattípus. Önmagában sohaalkalmazzuk, hanem egy témához 10-15 megállapításbólsorozatot alkotunk, és ezek igazságára kérdezünk rá. Pl. A vetítésre szánt prezentációkban a szöveg igazításánál mindig sorkizárást kell alkalmazni. (H-hamis) A hipermédia struktúra lehetőséget nyújt a médiaelemek nonlineáris elérésére. (I-igaz) 22
  • Egyszerű választás (szoros értelemben vettfeleletválasztásosA feleletválasztásos feladatok legegyszerűbb változata. Egykérdő vagy állító mondatból és több válaszvariánsból áll. Aválaszok közül mindig csak egyet kell kiválasztani.A közlésre szánt elektronikus képeknél mennyi ideig kellkivetíteni a tartalmat?a) Rövidebb ideig, mintha azt hangosan olvasnánk el.b) Hosszabb ideig, mintha azt némán olvasnánk.c) Legalább annyi ideig, mintha azt hangosan olvasnánk fel.d) Legalább annyi ideig, mintha azt némán olvasnánk. el.e) Minden esetben a program kezelőjére kell bízni a vetítés időtartamát.Jó válasz: c 23
  • Két vagy többválasztásosNégy-öt válaszvariáns közül kettőt vagy többet kellmegjelölni. Ugyanazon dolog több jellemzőjére lehetilyen módon rákérdezni.Pl:Az alábbi filozófusok közül kik voltak a milétosziiskola képviselői? a) Thalész b) Püthagorász c) Anaximandrosz d) Herakleitosz e) AnaximenészHelyes válasz: a, c, e 24
  • Összetett feleletválasztásosA szoros értelemben vett feladatból származtatjuk, olyan módon, hogy afeladat tövében több állítást fogalmazunk meg, és ezek igazságárakérdezünk rá a válaszvariánsokban.Pl:Etilalkoholt a levegőn elégetve a reakció egyik terméke víz lesz. Gondolkozzon az alábbiállításokon, figyelembe véve az előbbi két tényt.Állítások:I. A szén az etán egyik alkotóeleme.II. A hidrogén az etán egyik alkotóelemeIII. Az oxigén az etán egyik alkotóelemeA fenti két tényből mely állítás vagy állítások igazságára lehet következtetni?A. I., II. és III.B. Csak III.C. II és III.D. Csak I..E. I és IIHelyes válasz E, mivel bizonyíték csak az I. és II. állításra van a III-ra nincs az oxigénszármazhat a levegőből. 25
  • Asszociációs és sorba rendezéses feladatokA feladattípus lényege az egymás mellé rendelés, párosításvagy sorba állítás művelete.Két egymással valamilyen szempontból összefüggő sor elemeiközött kell a kapcsolatot felfedezni.Például fogalmak és ítéletek, képek és nevek, művek és alkotók,eszközök és jellemzők közötti kapcsolatok ismeretét vizsgálhatjuk. Helyes megoldás: a-3; b-8; c-10; d-1; e-2, f-4; g-9; h-5; i-7; j-6. 26
  • Relációelemzéses feladatokA relációelemzéses feladatok segítségével ok-okozatiösszefüggések ismeretét és megértését vizsgálhatjuk.Azon feleletválasztásos feladatok tartoznak ide, amelyekben egyállítás és egy indoklás van és mindkettő igaz vagy hamis voltát,továbbá a kettő közötti kapcsolatot kell felismerni.A válaszvariánsokhoz tartozó logikai ítéleteket egy táblázatbafoglalják. A tanulóknak az adott válaszvariáns betűjelét kell a feladatmellé írni. Az egyik legnehezebb feladattípus, mert nem elégséges a tényanyag egyszerű felidézése, hanem a közöttük lévő logikai kapcsolat meglétét vagy hiányát is fel kell fedezni a tanulónak.A kétcsoportos kísérlet kontrollcsoportos kísérletnek is nevezhetjük, mivel a kétcsoportoskísérletben a függő változó hatását két csoport teljesítményét összehasonlítvatanulmányozzuk.Válasz: II A 27
  • Feleletalkotásos feladatok jellemzői és típusaiA feleletalkotásos feladatok esetén a tanulónak önállóan kellszavakat, mondatokat, jeleket, rajzokat, szerkezeti elemeket,stb adott felületre beírni vagy egy nyílt kérdésre válaszátkifejteni. Ide tartoznak a kiegészítéses feladatok és a nyíltkérdések.Kiegészítéses feladatok (önálló, felkínált lehetőségből választani)Szerkezet szempontjából részben zártnak, részben nyíltnaktekinthetők. Formailag nagyon gazdag feladatcsoport,melynek bizonyos típusait digitális környezetben is jólalkalmazható.Egyszerű kiegészítésről beszélünk akkor, amikor egy-egyhiányzó betűt, számot, szót, jelet, szimbólumot, stb kell aválaszadásnál pótolni. 28
  • Példa: angol múlt idő gyakorlásáraShe ………to the cinema yesterday. (go)Kiegészítés több szóval, mondattal. Egy vagy többmondatban, összefüggő szövegrészbe kell a hiányzószavakat beírni.A helyes válasz lehet egy vagy több.Egészítse ki az alábbi kipontozott helyeken a hiányzókifejezéseket:A helytelen válaszokat elterelő, hibás válaszokat ……….nevezzük. 29
  • Kiegészítés különböző jelekkel, rajzzalHiányos ábra kiegészítése, diagram feliratának vagy a diagramnakaz elkészítése, adott képen látható ábrák megadott szempontokalapján történő összekötése stb tartozik ebbe a csoportba.Táblázat kitöltéseSzöveges és rajzos táblázatok, grafikonok kiegészítését, hiányzókifejezések beírását kell elvégezni a tanulónak.A kiegészítéses feladatok egy része számítógéppel jól értékelhető,ha az adatbázisba berakhatók a kérdésre adható válaszokmegoldásai. Ennek feltétele a véges számú megoldás. Abban azesetben, ha a kiegészítésnél kreatív válaszokat várunk, akiértékelést nem bízhatjuk a számítógépre. 30
  • Nyílt feladatokA nyílt kérdéseknek pedagógiai szempontból többalapvető funkciója van: Kreatív válaszokat várunk a tanulótól. Olyan ismereteket kérünk számon, amelyekre a tanulónak önállóan kell felelnie, Tág értelemben nyílt kérdésnek tekintendők a hosszabb kifejtést igénylő esszé jellegű dolgozatok. A nyílt kérdések értékelése csak emberi – tanári segítséggel lehetséges. 31
  • Komplex feladatok: portfóliók és projektmunkák értékelése A portfólió jelentése: a tanuló korábbi tanulmányai során készült munkáiból megadott szempontok szerint összeválogat egy gyűjteményt, és azt a megfelelő módon, bemutatásra adja. Lehetőséget nyújt arra, hogy ne csupán egy véletlenszerűen kiragadott vizsgamunka alapján valósuljon meg az értékelés, hanem több munkán keresztül. A tanárnak lehetőséget biztosít, hogy dokumentálja e kognitív tudáskonstruáló tevékenységnek a különböző fejlődési fázisait. A portfólió azaz a tanuló munkáinak gyűjtése, rendszerezése szolgálhat értékelési és tanulási célokat egyaránt. Az összegyűjtött munkákból értékelhetővé válik a tanuló fejlődése, az a folyamat, ahogyan beépülnek gondolkodásába a megszerzett ismeretek, ahogy fokozatosan fejlődnek különböző kompetenciái, készségei– Az új tudások megszerzését szolgáló, azt dokumentáló – produktumainak rendszerezését is.A portfólió értékelése problémamegoldó képesség, vizuális kommunikációs képesség, kreativitás, tartalmi komplexitás, közlés, kifejezés, alkotás technikája, összkép. 32
  • A változó Az egyed vagy a rendszer mérhető tulajdonságai, jellemzői. A változók logikai kapcsolatban álló attribútumokból (kategóriák, értékek) épülnek fel. Megkülönböztetünk függő és független változókat. ◦ A függő változót minden esetben a független változó határozza meg, ok és okozat kapcsolat áll fenn közöttük. 33
  • A változók típusai_1 Nominális skála: olyan szimbólumok, számok, melyek csak az azonosítást szolgálják. A valós számok egy tulajdonsága sem jellemzi, vagyis még sorba sem rendezhetőek (pl. nemek, beosztás, lakóhely, vallás…) ◦ Szabály a számozások során, hogy nem kaphatnak azonos számot különböző objektumok, de különböző számot azonos objektumok sem. ◦ A statisztikai eljárás során számítható: Az objektum darabszáma Az osztályokban lévő dolgok száma (gyakoriságok) Rangsorban való állítás (médián, kvantilisek, rangkorrelációs együttható). Pl. a tanulók teljesítményéhez pontszám rendelhető. 34
  • A változók típusai_2 Ordinális skála: olyan szimbólumok, számok, amelyek alkalmassá teszik a vizsgált egyedek közötti sorrendiség felállítását, mely lehet az egynemű adatok rendezésének alapja is. A változó értékeinek különbsége nem értelmezhető. (pl. iskolai végzettség, attitűd skála értéke, a termékek minősítés értékei, osztályzatok…) 35
  • A változók típusai_4Arányskála: az egyedek ismérveit numerikusan kifejezőszámérték. A változó értékei sorba rendezhetőek, különbségükés arányuk is értelmezhető (pl. testmagasság, súly…)A felsorolt skálatípusok növekvő mennyiségű információthordoznak az alábbi sorrendben:Nominális  ordinális  intervallum  arányMegjegyzés:A különböző skálatípusok feldolgozása más statisztikai módszerrel történik.A magasabb szintű skálatípusok adatai alacsonyabb szintűbe konvertálható, deadatveszteséggel 36
  • Kutatási hipotézisek 1.A kísérlet, felmérés, vagyis a kutatómunkamegkezdése előtt a kutató kialakít egy feltételezéstarról, hogy mit vár el a kutatástól. Nélküle a kutatásösztönös, próbálkozás jellegűvé válhat.A hipotézisben a vizsgálat eredményével kapcsolatoskövetkeztetések elfogadhatóságát illetvetarthatatlanságát fogalmazzuk meg.Hipotézis - a kutatási problémára adottfeltételezett válasz, azaz a kutatófeltételezéseit kifejező kijelentés, aproblémában szereplő változókra, azokkapcsolatára vonatkozóan.(A jól megfogalmazott hipotézisek a kutatás vezérfonalátalkotják). 37
  • Hipotézisek csoportosítása a megfogalmazásuk alapján Null-hipotézis: - azt feltételezzük, hogy nincs összefüggés a változók között. (pl. a családi, szakmai kapcsolatok nem hatnak a frissdiplomás elhelyezkedésére). Alternatív irány nélküli hipotézis: az összefüggést feltételezzük, de annak irányát nem adjuk meg. Alternatív irányt is kifejező hipotézis: megjelöljük a változók feltételezett kapcsolatának irányát. (pl. a családi, szakmai kapcsolatok döntő módon befolyásolják a frissdiplomás elhelyezkedését). 38
  • A hipotézissel szembeni követelmények Rendelkezzen magyarázó erővel, legyen világos, egyértelmű. A változók kapcsolatát pontosan írja le. A hipotézis legyen igazolható vagy elvethető. Igényeljen megvalósítható módszereket eljárásokat. Támaszkodjon a már meglévő ismeretekre. Adjon választ a kiinduló problémára 39
  • A kutatás tudományosságánakfeltételei, etikai kérdései 1. a. A kutatás résztvevőivel szembe: • A résztvevők minimális kockázata. • résztvevő személyeket érintő előnyök haladják meg a hátrányokat. • A résztvevő személyek biztonságának óvása (anonimitás, személyiség óvása, rejtett kamera kérdése…). • Előzetesen egyeztetett egyetértés alapján történhet a felmérés. • A résztvevő személyekkel való jó kapcsolat kialakítása és a felmérés idejének optimalizálása. 40
  • A kutatás tudományosságánakfeltételei, etikai kérdései 2. b) A tudóstársadalommal szembe: • Szellemi termékek eltulajdonítása pl. idézet hivatkozás nélkül. • Kutatási adatok torzítása szándékosan vagy nem megfelelő szakmai ismeret miatt. • Hipotézisek utólagos megfogalmazása. • Káros adatok elhallgatása. (az egyén negatív befolyásolása). • A felmérési adatok tudatos félremagyarázása előre megfontolt céllal. 41
  • Kutatási stratégiák1.) Deduktív (analitikus) kutatási stratégia2.) Induktív (empirizmus) kutatási stratégia 42
  • Kutatási stratégiák_induktív a. Induktív: az empirizmusból kiindulva fogalmazzuk meg a tapasztalatokat. ◦ Típusai:  Leíró kutatási stratégia ( meglévő helyzet leírása – milyen tanulási nehézséget tapasztalunk…)  Feltáró kutatási stratégia ( különböző változók egymáshoz való viszonyának elemzése, az eltérő típusú információhordozók hogyan hatnak az a pályaorientációra…)  Kísérleti kutatási stratégia: a független változókat a kísérlet céljának megfelelően tudatosan változtatják.uk. 43 43
  • Vizsgálati módszerek A vizsgálat többféle kutatási módszert jelent, melyek közös vonása, hogy valakiknek a megkérdezésével kíván ismereteket szerezni.Fajtái:◦ A kérdőív (összegyűjthető információk rendszere, a kérdőív készítésének folyamata, adatok feldolgozása)◦ Az interjú (fajtái, alkalmazott kérdéstípusok. Az interjú előkészítése, lebonyolítása)◦ Attitűdvizsgálat ( szerepe, attitűdök feltárásának módszerei, érdeklődésvizsgálat)◦ Szociometria (közvetlen megfigyelés, szociometriai kérdőívek, szociometriai tesztek) 44 44
  • Kutatási stratégiák_induktív a. Induktív: az empirizmusból kiindulva fogalmazzuk meg a tapasztalatokat. ◦ Típusai:  Leíró kutatási stratégia ( meglévő helyzet leírása – milyen tanulási nehézséget tapasztalunk…)  Feltáró kutatási stratégia ( különböző változók egymáshoz való viszonyának elemzése, az eltérő típusú információhordozók hogyan hatnak az a pályaorientációra…)  Kísérleti kutatási stratégia: a független változókat a kísérlet céljának megfelelően tudatosan változtatják.uk. 45 45
  • Vizsgálati módszerek A vizsgálat többféle kutatási módszert jelent, melyek közös vonása, hogy valakiknek a megkérdezésével kíván ismereteket szerezni.Fajtái:◦ A kérdőív (összegyűjthető információk rendszere, a kérdőív készítésének folyamata, adatok feldolgozása)◦ Az interjú (fajtái, alkalmazott kérdéstípusok. Az interjú előkészítése, lebonyolítása)◦ Attitűdvizsgálat ( szerepe, attitűdök feltárásának módszerei, érdeklődésvizsgálat)◦ Szociometria (közvetlen megfigyelés, szociometriai kérdőívek, szociometriai tesztek) 46 46
  • A kutatás eredményeinek összefoglalása tanulmányban A kutatás célja és rövid áttekintése A szakirodalom áttekintése Ne plagizáljunk!Ha nyomtatásban megjelent műre hivatkozunk: •A szövegben valamely hivatkozási módszer használata (Harvard vagy számozásos) •Bibliográfiában a részletesen az adatok 47 47
  • A tanulmány felépítéseA kutatás terve és végrehajtása ◦ Ha pl. kérdőíves felvételt alkalmaztunk, szerepeltessük a következőket:  A vizsgált populáció  A mintavételi módszer  A minta nagysága  Az adatgyűjtés módszere  A válaszolási arány  Az adatfeldolgozás és az adatelemzés módszerei◦ Bármely kutatási módszert is hasonló részletességgel kell leírni. 48 48
  • A tanulmány felépítéseElemzés és értelmezés ◦ Legyen logikus és áttekinthető ◦ Utalás az adott elemzés értelmére céljaira. ◦ Az adatok ismertetése. ◦ Tekintsük át a legfontosabb eredményeket.. ◦ Mutassunk rá ezek jelentőségére ◦ Az eredmények értelmezése. ◦ Kitekintés, gondolatok a jövő feladataira, kutatási irányaira. 49 49
  • Az adatelemzés leírásaoA szövegesen elemezni kell az összefüggéseket, adatokkalalátámasztva. (részletes adatok a függelékben)o Biztosítani kell, hogy a tanulmányt elemző kutatók az eredményeket kontrollálhassák.o A vizsgálat, kísérlet során alkalmazott módszer ismertetése, mely a megismételhetőség biztosítéka.o A táblázatok elhelyezése (szövegben vagy függelékben) Általános szabály: 1. Megmondjuk mi célból mutatjuk be a táblázatot 2. Közöljük a táblázatot 3. Bemutatjuk és értelmezzükoAzolvasó tisztelete, ne vezessük félre „kozmetikázott”magyarázattal!  minden befolyásolt körülmény bemutatása  kutató rámutat a levont következtetések hiányosságaira és bizonytalanságairaoFontos a stílus, de a legfontosabb a logika, tisztaság és őszinteség. 50 50
  • FüggelékA függelék, olyan adatokat tartalmaz, melyek: o Konkrét információkkal támasztják alá a szövegben leírtakat. o Adatokat közlő, vagy az összegyűjtött adatok elemzését összefoglaló, nyomtatásban meg nem jelent dokumentumok.BibliográfiaHivatkozások jegyzéke: (közvetlen kapcsolat a szövegben idézett gondolat és a mű bibliográfiai adatai között) o„név-év” (Harvard) módszer esetén a hivatkozás jegyzék a dolgozat végén, és a bibliográfia tételei szerzői betűrendben o Számozásos módszer esetén a hivatkozások jegyzéke a lábjegyzetbe vagy a végjegyzetbe kerül, a tételek növekvő számsorrendben. 51 51
  • Bibliográfia_2Felhasznált irodalom bibliográfiája (nincs közvetlenkapcsolat) lehet: o Felhasznált irodalom jegyzéke: • Olvasott művek adatai o Irodalomjegyzék vagy bibliográfia • Vagy a téma teljes szakirodalmát mutatja be • Vagy csak az olvasott művekről tájékoztat o Ajánlott irodalom • Azon irodalmak adatai, melyek a téma bővebb tanulmányozásához szükségesek. 52 52
  • A statisztikai módszerek típusaiA kutatásokban alkalmazott tipikus módszerek:1. Leíró statisztika:Ez a módszer a numerikus (számszerű) információkösszegyűjtését, az információk összegzését, jellemzésétszolgáló módszereket szolgálja.Területei: – Adatgyűjtés – Adatok ábrázolása – Adatok csoportosítása, osztályozása – Az adatokkal végett egyszerűbb aritmetikai műveletek – Eredmények megjelenítése 53 53
  • A statisztikai módszerek típusai_22. A következtetéses statisztika: ajelenségekre, folyamatokra levont következtetések nemcsak a közvetlen vizsgálatokon alapulnak. Ezeket akövetkeztetéseket a matematikai statisztika és avalószínűség számítás alapján kapjuk.A következtetéseket a reprezentatív mintánvégzett vizsgálatok alapján a populációra vonjukle. 54 54
  • A módszer választáshoz útmutatás  Függ: ◦ A kutatási kérdéstől ◦ Kísérleti elrendezéstől ◦ A mérés skálájától (nominális, intervallum stb.) ◦ Az elemszámtól  Van-e különbség? ◦ 1 csoport ◦ 2 csoport ◦ 3, vagy több csoport  Van-e összefüggés?  Mennyi a független változók száma.2012.10.26. 55 55
  • Valószínűségi változókAz adatok eloszlásáról statisztika kiszámításávalkapunk pontos képet:  Számtani közép vagy átlag  Médián  Módusz  Variancia  Szórás ( a variancia négyzetgyöke)(Ezt nem csupán a grafikon alapján szemlélhetjük, hanem ellenőrizhető az egymintás Kolmogorov-Smirnov teszt vagy a Shapiro-Wilk (n≤50) teszt alapján) 56
  • Középérték számításokSzámtani átlagAz átlag egy adott diszkrét adatsor jellemző adata,mely az adathalmaz közepén helyezkedik el.Minta átlaga: a számhalmaz átlaga, más szóval- számtani közepe –, az a szám, amelytől azadatok eltéréseinek összege zérus.Az n elemű minta - x1, x2, … xn – átlaga: n x1  x2  ...  xn x n x  n 1 n n 57
  • Középérték számítások_2Módusz:Az adatsorok osztályokba való sorolása esetén alegnagyobb gyakoriságú osztály közepét értjük alatta.Alkalmazása: az ordinális és a nominálisváltozókból álló minta esetén is lehetséges.Jellemzői: ◦ leíró, jósló szerepe van, mivel a tipikus értékre (tipikus eredmény, vélemény) mutat rá. ◦ alkalmas az eloszlás gyors jellemzésére is, abban az esetben, ha a mintának egy módusza van 58
  • Középérték számítások_3MédiánMédián: a nagyság szerint rendezett, vagyis rangsorbaállított számhalmaz középső értéke.  páratlan számsorok esetén, vagy a két középső érték számtani adatokra nem értelmezhető, de az ordinális adatok esetén igen átlaga,  páros számsorok esetén (a nominális )  A vizsgált mintát két azonos részre bontja, rámutat a minta közepére.A szimmetrikus görbék esetén az átlag és a móduszegybeesnek, míg a balra illetve jobbra ferdülő görbék esetén amédián, az átlag és a módusz között veszi fel az értéket.Alkalmazása a nominális skála kivételével minden esetbenlehetséges. A vizsgált minta középmezőnyének jellemzésérealkalmas. 59
  • Középérték számítások_4 átlag médián móduszskálaNominális nem nem igenordinális nem igen igenintervallum nem igen igenarányskála igen igen igen 60
  • Gyakorisági sorokAz adatok értéktartományát intervallumokra osztva,az adatokat be kell sorolni. Ügyelni kell arra, hogy azintervallumok alsó és felső határa ne fedje egymást.Az intervallum: a minta legnagyobb éslegkisebb eleme által határolt tartománya.A gyakorisági eloszlást az adott csoportok és ahozzájuk rendelhető gyakoriságok alkotják 61
  • Gyakorisági sorok_2Az eljárás menete:1. Első lépésként az értéktartományt egyenlő intervallumú csoportokra kell osztani.2. A csoportok száma a minta nagyságától függően min10 és max.20 legyen (az adatok maximális és minimális értékeinek intervalluma határozza meg). Ha túl nagy intervallum számot választunk, pontatlan értékmeghatározást okozhat.3. A csoport intervallumok általában, a minta függvényében 2, 3, 5, 10.. 62
  • Gyakorisági sorok_3GyakoriságA gyakoriság egy olyan mutató, amely jellemzi,hogy egy-egy csoportba hány adat tartozik.A gyakorisági eloszlás egy olyan statisztikaimutató, mely arra mutat, hogy a minta elemeihogyan oszlanak meg a különböző csoportokközött.A mintára vonatkozóeredményt abszolútgyakorisági elosztásnak nevezzük.Jele: fa 63
  • Gyakorisági sorok_4Relatív gyakoriságA relatív gyakoriság a csoport abszolútgyakoriság értékének a minta elemszámáhozszázalékosan viszonyított értéke. f a  100 f%  nA relatív gyakoriság alapján válik lehetővé, hogykülönböző, akár eltérő elemszámú mintátvessünk össze. 64
  • Kereszttáblák- Chi-négyzet A kereszttáblákat két változó összefüggésének vizsgálatához használjuk.  Alkalmazása során azt a hipotézist ellenőrizzük, hogy a sor és oszlopváltozók függetlenek-e.  Nem jól használható, ha bármelyik cellában a peremeloszlások alapján várható érték (expected value) kisebb 1-nél, vagy a cellák több mint 20%-ban ez az érték kisebb mint 5.2012.10.26. 65 65
  • A korrelációs együttható jellemzői◦ Független változók esetében a korrelációs együttható értéke 0,◦ A függvénykapcsolatban lévő (nem sztochasztikus) változók esetében a korrelációs együttható értéke 1. 66
  • Korrelációs együtthatóKorrelációs együttható értéke és a változókközötti kapcsolat ◦ 0,9 – 1 rendkívül szoros ◦ 0,75 – 0,9 szoros ◦ 0,5 – 0,75 érzékelhető ◦ 0,25 – 0,5 laza ◦ 0,0 – 0,25 nincs kapcsolat 67
  • Megállapítás Annak bizonyítása, hogy a vizsgálat során megfigyelt különbség egy általunk meghatározott valószínűségi szinten is kimutatható-e. Amennyiben ez a különbség igazolhatóan nem a véletlen műve, lényeges szignifikáns különbségnek nevezzük.2012.10.26. 68 68
  • Egymintás T-próba Az egymintás t-próbát akkor kell alkalmazni, ha a mérési eredmények ugyanazon személyek különböző felméréséből származnak, vagyis önkontrolos felmérések során. z t   n s Ahol:„ z - számtani középértékét „s” - különbségértékek szórása2012.10.26. 69 69
  • Egymintás T-próba_2 A vizsgálat során a számított t-értéket össze kell hasonlítani a t táblázat értékével: Ha t’ > t táblázat a különbség nem a véletlen műve, Ha t’ < t táblázat a különbség a véletlen műve2012.10.26. 70 70
  • T-próba értelmezése A szoftverek többsége tartalmazza a t értékét, azonban nem a tkritikus értéket adja, hanem a mintából számolt t értéktől jobbra eső, t-eloszlás alatti területet, melyet p-nek nevezünk. „p” - elnevezései lehetnek: Prob-value, Signif of t, Sig.Level, stb. „p”- annak valószínűsége, hogy egy másik kiszámolt t legalább olyan messze van 0-tól, mint a most megfigyelt t, ha H0 igaz.2012.10.26. 71 71
  • Döntés a „p” alapján_2 „p” < 0,01 nagyon erős a Ho elleni bizonyíték 0,01 ≤ „p” < 0,05 mérsékelt a Ho elleni bizonyíték 0,05 ≤ „p” < 0,10 szuggesztív a Ho elleni bizonyíték 0,10 ≤ „p” kicsi, vagy nem reális a Ho elleni bizonyíték2012.10.26. 72 72
  • A kétmintás t-próba A kétmintás t-próbát akkor alkalmazzuk, ha arra keresünk választ, hogy a két egymástól függetlenül vett minta származhat-e azonos átlagú populációból. A kétmintás t-próba azonban csak akkor végezhető el, ha a két csoport variancia értékei között nincs „nagy” különbség, melyre az F- próba vizsgálat ad választ a variancianégyzetek hányadosának elemzésével. Ha Fszámolt<Ftáblázat akkor a vizsgálatban résztvevő minták varianciája nem különbözik egymástól lényegesen és a vizsgálatot a kétmintás t-próbával kell folytatni2012.10.26. 73 73
  • A kétmintás t-próba A kétmintás t-próba számolás menetének számszerűsítése a következő összefüggés alapján történik: xy t   n m  ( x  xi ) 2   ( y  y ) 2 nm i 1 i 1  nm2 nm A szignifikanciavizsgálat szabadságfoka szf = n+m-2. A kapott eredmény alapján értékelhetjük a vizsgált minták által elért teljesítményt2012.10.26. 74 74
  • A kétmintás t-próba_2 A kétmintás t-próba azonban csak akkor végezhető el, ha a két csoport variancia értékei között nincs „nagy” különbség Erre az F-próba vizsgálat ad választ a variancianégyzetek hányadosának elemzésével.2012.10.26. 75 75
  • Az F-próba Az F-próba a variancia négyzetek hányadosa. Képlete: s12 F 2 s2 A fenti képlettel kontrollcsoportos vizsgálat során egy n1 és n2 elemű minta esetében alkalmazható a hipotézis igazolására, melynek szórásértékei s1 és s2 ahol, s1 > s2.2012.10.26. 76 76
  • Az F-próba_2 A számított F értéket a táblázat értékeivel összevetve, a következő lehetőségekkel kell számolnunk:  Ha Fszámolt>Ftáblázat, akkor a vizsgálatban résztvevő minták varianciája lényegesen különbözik egymástól, a kétmintás t- próba elvégzésére nincs lehetőség. Ebben az esetben más módszert kell keresni, pl. a Welch-próbát. (hasonló mint a kétmintás t-próba, de nem követeli meg a varianciák egyenlőségét)  Ha Fszámolt<Ftáblázat, akkor a vizsgálatban résztvevő minták varianciája nem különbözik egymástól lényegesen és a vizsgálatot a kétmintás t-próbával kell folytatni.2012.10.26. 77 77
  • Az eredmény általánosíthatóságaa populációra A feltételezett összefüggés általánosításához az szükséges, hogy a korrelációs együttható abszolút értéke nagyobb legyen, mint a 95%-os valószínűségi szinthez (adott szabadságfokon) tartozó érték. Abban az estben, ha 99% vagy 99,9%-os értéken végezzük az összevetést, a elemzett kapcsolat még nagyobb valószínűséggel általánosítható. 78
  • VariaanciaalízisA kétmintás t-próba általánosításának tekinthető.Variancia-analízisnek nevezzük azt a statisztikaieljárást, mely több egydimenziós minta ugyanazonváltozója közötti különbség szignifikancia szintjénekösszehasonlítását teszi lehetővé. 79 79
  • Az eredmények ábrázolása Histogram Egyéni eredmény REL 9 6 6 12 15 18 5 24 5 Missing 4 Frequency 4 Frequency 3 3 2 2 1 1 Mean = 12,9 Std. Dev. = 5,515 Mean = 12,9 0 N = 20 Std. Dev. = 5,515 0 5 10 15 20 25 30 0 N = 20 REL 0 5 10 15 20 25 30 RELCél: az eredmények áttekinthetőbbé és szemléletesebbé tétele 80
  • Gyakorisági poligon (görbe) A gyakorisági sor osztályközepek alapján szerkesztett vonaldiagramja 81
  • Hisztogram_1A hisztogram a rendezett minta intervallumaiba eső elemek számát ábrázolja.  a hasábok szélessége – a változó tartománya  A hasábok magassága – gyakoriságAz oszlopok száma, ha:  Túl sok – túlrészletezett  Túl kevés elnagyolt 82
  • Hisztogram_2 Szimmetrikus, normál Szimmetrikus, csúcsos 83
  • Hisztogram_3 bimodális 84
  • Hisztogram_4 Balra ferdülő hisztogram 85
  • Hisztogram_5 Jobbra ferdülő hisztogram 86
  • Boxplot grafikonA boxplot: mennyiségi ismérv szerinti eloszlást a kvartiliseken keresztülérzékelteti.A xmin és xmax értéket összekötő szakaszra épül az alsó és a felső kvartilisekáltal közbezárt doboz. A középső vonal a medián.A boxplot rámutat:•mennyire sűrűsödnek a megfigyelések a középső 50%-os intervellumban•Mennyire ferde az eloszlás 87
  • A középértékek elhelyezkedése a különböző gyakorisági eloszlásokbanAz eloszlás szimmetriájának mérésére szolgál az un.ferdeség vagy eltoltság – skewness, értékei:egy mérőszám, mely arra ad választ, hogy a szóródás a centrumtóljobbra vagy balra lapul-e, ill. sűrűségfüggvényt jelez.A ferdeség - Skewness o Ha (-), balra ferdül a kiugrás o (+), jobbra o (0), szimetrikusLapultság - Kurtois  0 o csúcsos, leptokurtic o lapos, platykurtic  0 88
  • Csúcsossági értékek A csúcsossági értékek arra mutatnak, hogy az eloszlás közepe mennyire emelkedik ki.  Platikurtikus – lapos :   0  Leptokurtikus eloszlás – csúcsos:  > 0 89
  • Különböző szórású normális eloszlások(szórások átlaga = 0) Csúcsosság: az értékek milyen mértékben tömörülnek az átlag körül 90
  • KlaszteranalízisA klaszteranalízis a megfigyelések (vagy a változók)osztályozásának dimenziócsökkentő módszere. ◦ A diszkriminancia analízissel szemben itt nincsenek előre megadott osztályok, a feladatunk éppen ezeknek a létrehozása. ◦ A klasztertendencia vizsgálat célja annak eldöntése, hogy az adatok mutatnak-e hajlamosságot a természetes csoportosulásra. Ha az adataink hasonlóságot mérő mátrix elemei ordinális skálán mért értékek, akkor a véletlen gráfelmélet nyújt matematikai eszközt a csoportosulási tendenciák megállapítására.A klaszterezés az objektumok osztályba sorolását jelenti, vagyis azobjektumok halmazának (X) részhalmazokra való felbontását. 91
  • Irodalom1. Varga Lajos (2002): Kvantitatív módszerek a pedagógiai kutatásban. BMF BGK kari jegyzet.2. Varga Lajos (szerk., 2006): Kutatás-módszertan I. Bevezetés a pedagógiai induktív kutatás módszereibe és útmutató a szakdolgozat elkészítéséhez. BME, Bp.3. Schmercz István - Varga Lajos (2008): Kutatás-módszertan II. Bevezetés a pedagógiai deduktív és szociálpszichológiai kutatás módszereibe. BME, Bp.4. Falus Iván - Ollé János (2000): Statisztikai módszerek pedagógusok számára. Okker K., Bp.5. Falus Iván - Ollé János (2008): Az empirikus kutatások gyakorlata. Nemzeti Tankönyvkiadó, Budapest6. Falus Iván (szerk., 2002): Bevezetés a pedagógiai kutatás módszereibe. Műszaki K., Bp.7. Fercsik János (1982): Pedagometria. OOK, Veszprém 92
  • Irodalom8. Ágoston–Nagy–Orosz: Méréses módszerek a pedagógiában. Tankönyvkiadó. Bp., 19749. Antal Péter: Térbeli gondolkodás és elektronikus tananyagfejlesztés. EKF10. Antal Péter, T. Parázsó Lenke: Az on-line tananyagok szerepe a készségek, képességek elsajátításában EKF11. Bálya Dávid: Az informatika kihívása a teszt-technológiában, BME TIO 199712. Báthory Zoltán: Tanulók, iskolák – különbségek. Budapest, Tankönyvkiadó, 1992, pp.146–148.13. Báthory, Zoltán: Feladatlapok szerkesztése, adatok értékelése. OOK Budapest 197614. Báthory, Zoltán:Tanítás és tanulás. Tk.Bp.198415. Csapó, Benő (szerk): Az iskolai tudás. Osiris Kiadó Bp. 1998.16. Elek Elemérné dr és T. Parázsó Lenke: Az tanári mesterség információ- és kommunikációtechnikai alapelemei; online tankönyv 11. fejezet 2005. 93
  • Irodalom17. Falus Iván – Kimmel Magdolna: A portfólió. Gondolat Kiadói Kör, ELTE BTK Neveléstudományi Intézet, Budapest, 2003.18. http://www.om.hu/main.php?folderID=104819. Komenczi Bertalan: Orbis sensualium pictus. In: Iskolakultúra, 1997. 1. sz. Melléklet p.M3-M15. p.10.20. Lovett, M. C (1992) Learning by problem solving versus by examples: The benefits of generating and receiving information. In.: Proceeding of the Fourteenth Annual Conference of the Cognitive Science Society Hillsdale. New Jersey: Erlbaum, pp.956–961.21. M. Nádasi Mária: Projektoktatás. Gondolat Kiadói Kör, Budapest, 2003. (Oktatás-módszertani kiskönyvtár.)22. Nagy Tamás: Mérésmetodikai alapok. On-line: http://zeus.szif.hu/ejegyzet/ejegyzet/meresmet/23. Psychological Foundations of Design for CBI. In: http://www.artsei- ccwin.concordia.ca/educationTetec660/mod 4b. html 1999. 10. 06.24. Pedagógiai Lexikon. http://www.pedagogia-online.hu/modules.php?name=PedLex&p=record&rid=833825. Dr Setényi j János : A minőség kora. . Bevezetés az iskolai minőségbiztositásba. Raabe, Bp 1999 ISBN 963919427126. Vári Péter: Médiumkiválasztás.Veszprém, OOK, 1983, pp.3-16.27. www.tanszertar.hu28. http://mikrosuli.hu/oktato-pendriveok29. http://www.mikrosuli.hu/digitalis-tabla-szoftverek17. Horváth György (2004): A kérdőíves módszer. Műszaki K. Bp.18. Babbie, Earl (2003; 6. átd. kiad.): A társadalomtudományi kutatás gyakorlata. Balassi K., Bp. 2003 9419. Lengyelné Molnár Tünde, Tóvári Judit: Kutatásmódszertan . –Eger: Líceum kiadó, 2001.