Király Zsolt: A MarkMyProfessor jelenség
- 1. A MarkMyProfessor JELENSÉG KIRÁLYZSOLT, ELTE ANGOL NYELVPEDAGÓGIA TANSZÉK (kiraly.zsolt@ btk.elte.hu)
- 2. Mi végre azegész? Van-e értelme? Komolyan kell/lehet-e venni vagy elintézhető egy kézlegyintéssel? • A MarkMyProfessor jelentősége • A hallgatói visszajelzésről általában • A MarkMyProfessor a fentiek fényében
- 3. • A KÖVETELMÉNYEKTELJESÍTHETŐSÉGE • A TÁRGY HASZNOSSÁGA • SEGÍTŐKÉSZSÉG • FELKÉSZÜLTSÉG • ELŐADÁSMÓD • (SZEXI) A MarkMyProfessor KRITÉRIUMAI
- 4. AZ OKTATÓI MUNKAFŐBB ASPEKTUSAI • KUTATÓI TEVÉKENYSÉG • OKTATÓI TEVÉKENYSÉG • TUDOMÁNY- ÉS OKTATÁSSZERVEZÉSI TEVÉKENYSÉG
- 5. Miért éppen ezta csoportot választotta? A magyar tanár hallgatói (N=28) Az anyanyelvű tanár hallgatói (N=17) 1. Azért, mert ez illett bele az órarendembe. 8 (3)* 3 (1)* 2. Azt hallottam, hogy a tanár kiváló. 26 14 3. Utánanéztem a tanárnak a MarkMyProfessor.com weboldalon. 14 9 4. Teljesen véletlenül. – – 5. Mert anyanyelvű tanárhoz akartam menni. – 13 (2)* 6. Bármely más okból (Kérem, részletezze.) 3 – *(x) Azon hallgatók száma, akik kizárólag ezt a választ jelölték be.) OKOK, AMELYEK MIATT A HALLGATÓK AZ ADOTT CSOPORTOT/TANÁRT VÁLASZTANAK
- 6. • A hallgatóknem képesek következetes ítéleteteket alkotni. • A hallgatói értékelés nem egyéb, mint népszerűségi verseny. • A hallgatói értékelés megbízhatatlan és hiteltelen. • A hallgatói értékelésben nagy szerepet játszik az, hogy milyen napszakban van az óra. • A hallgatók csak néhány évvel a végzés után tudnak komoly véleményt alkotni a tanár munkájáról. • A hallgatók a könnyű kurzusokat szeretik. • A hallgatói vélemények nem segítenek az oktatás színvonalának emelésében. • A hallgatói értékelés fontosságának hangsúlyozása érdemjegy-inflációhoz vezet. Benton and Cashin (2012, p.29):
- 7. • A hallgatóknincsenek abban a helyzetben, hogy meg tudják ítélni, hogy mi szükséges és mi nem. • A hallgatók lehetnek elfogultak és igazságtalanok. • A hallgatók az értékelést az igazságtalannak vélt tanári visszajelzések miatti bosszúra használhatják fel. • A hallgatók gyakran faragatlanul fejezik ki véleményüket. • A hallgatók hajlamosak a felületes véleményalkotásra. • Az ilyen tanári értékelések nem reprezentatív mintán alapulnak. • A legtöbb on-line értékelési rendszer könnyen manipulálható rosszidulatú és féltékeny kollégák által is. • A névtelenség a gyávaság szinonímája. • A megadott kritériumok vagy lényegtelenek vagy legjobb esetben leegyszerűsítőek. • A megadott kritériumok nem alkalmasak egy adott kurzus vagy tantárgy értékelésére. • A rendszer nyilvános, akárki betekinthet az eredményekbe, és ez nem fair.
- 8. A HALLGATÓI VISSZAJELZÉSEKCÉLJAI • diagnosztikus visszajelzés a tanároknak a tanítás hatékonyságáról; • a tanítás hatékonyságának vizsgálata adminisztratív döntések meghozatalához; • információ a hallgatók számára a kurzus és tanárválasztáshoz; • a tanítással kapcsolatos kutatási célokra. Marsh and Dunkin (1992)
- 9. A VISSZAJELZÉSI RENDSZER MINŐSÉGÉNEKVIZSGÁLATA 1. HASZNÁLHATÓSÁG/PRAKTIKUSSÁG 2. MEGBÍZHATÓSÁG • konzisztencia (csoporton belül) • stabilitás (időben) • értékelők közötti megbízhatóság
- 10. 3. ÉRVÉNYESSÉG (VALIDITÁS) Tartalmi,elméleti és elfogadhatósági/látszat érvényesség A legfontosabb a kritériumok … • megfelelősége, érthetősége, szakszerűsége; • relevanciája a mérendő kritériumot illetően; • elegendően széles köre. Egyéb, külön vizsgálható érvényességi változók: • Válaszadók száma • Hallgatói elfogultságok változói: koruk, nemük, szintjük, tanulmányi átlaguk, személyiségük; • Tanári változók: koruk, tanítási gyakorlatuk, nemük, bőrszínük, személyiségvonásaik, rangjuk, előadói képességeik; • Kurzus változók: a kurzus szintje, csoportméret, a tantárgy jellege, munkaterhelés, nehézség; • Az adminisztratív eljárásokból adódó változók:, névvel, név nélkül, kötelező-e kitölteni, a visszajelzés deklarált célja, helyben, on-line, idegenek is hozzáférnek-e stb.
- 11. NÉHÁNY ÉRDEKESSÉG AZIRODALOMBÓL • Erős a korreláció az önértékeléssel, a régebben végzettek és a jelenlegi diákok értékelésével, a szakképzett megfigyelői értékeléssel és a kollégák nem megfigyelésen alapuló értékelésével, de gyenge a nem szakképzett kollégák általi megfigyeléssel. Egyáltalán nincs korreláció a kutatói teljesítmény és a tanítás hallgatói értékelése között. (Lawall, 1998) • Erős a korreláció a magyarázatok világossága, a válaszok hallgatóktól való elvárása, személyes érdeklődés a hallgatók mint és tanulmányi előmenetele iránt kritériumoknál, valamint a hallgatók eredményei és az értékelés között (.80 fölött). (Benton and Cashin, 2012) • Nincs számottevő korreláció az oktatói változók tekintetében (kor, nem stb.) , kivéve egy nagyon kicsi az idősebb tanárok esetében, és hogy a nők/adott bőrszínűek jobb értékelést adnak a hasonló tanároknak. Benton and Cashin, 2012). • A hallgatói változóknál a fenti nemek/bőrszín szerinti eseteken kívül csak a motiváció mutat összefüggést az értékeléssel. (Benton and Cashin, 2012) • A kurzus változói (pl. kurzus szintje) közül nemigen volt olyan, amely ne függött volna össze a tanítás hatékonyságával, tehát a közhiedelemmel ellentétben ennek nincs különösebb szerepe. (Benton and Cashin, 2012)
- 12. KULCSTERÜLETEK (Marsh, 1982;Lawall, 1998) • A kurzus szervezettsége és tervezettsége; • Világos magyarázatok, jó kommunikáció; • Tanár-diák viszony, jó munkalégkör; • A kurzus nehézsége, munkaterhelés; • Osztályzás és vizsgák; • A hallgatók által érzékelt fejlődés/tanulás. MarkMyProfessor • A követelmények teljesíthetősége • A tárgy hasznossága • Segítőkészség • Felkészültség • Előadásmód
- 13. A MarkMyProfessor • EGYÉRTELMŰENPRAKTIKUS • MEGLEPŐEN MEGBÍZHATÓ (konzisztens, stabil és még értékelők között is megbízható) • SÚLYOS ÉRVÉNYESSÉGI PROBLÉMÁKKAL TERHELT (kritériumok, kurzus és adminisztrációs változók) o Nem informatív diagnosztikai szempontból (valamit tud/nem tud, de azt nem lehet tudni, hogy mit); o A hallgatók percepcióit tükrözi; o Kellő önreflexióval hasznos lehet; o Semmiképpen nem szabad túl komolyan venni; o Tilos hivatalos értékelésre használni!
- 14. EGY JÓ RENDSZERBEN •világos döntést kell hozni a célokkal kapcsolatban; • egy már bevált értékelő rendszert kell választani; • minél több hallgató értékelje az adott tanárt; • a szöveges értékeléseket moderálni kell, ki kell zárni az értékelésre nem jogosultakat, de biztosítani kell a névtelenséget; • az adatokat óvatosan és fenntartásokkal kell értelmezni, és nem szabad pusztán ezen eszköz alapján „hivatalos”, minősítő jellegű konzekvenciákat levonni.