Geert Driessen (2012) Presessional testing and learning

Het ITS maakt deel uit
van de Radboud
Universiteit Nijmegen
evaluatie, monitoring, tevr
effectonderzoek en datave
wijs arbeid
g data zorg
d onderwijs
e zekerheid
wetenschap
org welzijn
d mobiliteit
ijn beleids-
Pre-sessional testing and learning
Een onderzoekspilot gericht op het verbeteren
van de taalvaardigheid Engels
van startende Avans Hogeschool-studenten
Geert Driessen
Oktober 2012

ii
Projectnummer: 34001023
 2012 ITS, Radboud Universiteit Nijmegen
Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave
worden verveelvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke
andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen, zonder de voorafgaande
schriftelijke toestemming van het ITS van de Radboud Universiteit Nijmegen.
No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other
means without written permission from the publisher.

iii
Inhoud
1 Inleiding 1
1.1 Vraagstelling 1
1.2 Opzet pilot 2
1.3 Tussentijdse ervaringen en bijstellingen 2
1.4 Tussentijdse uitval studenten 3
1.5 Opzet rapportage 4
2 Het niveau volgens de Oxford OPT en volgens de docenten vergeleken 5
2.1 Inleiding 5
2.2 Nameting Oxford OPT totaal – docentenoordeel Speaking 6
2.3 Nameting Oxford OPT totaal – docentenoordeel Writing 7
2.4 Nameting Oxford OPT totaal – docentenoordeel Speaking en Writing 7
2.5 Nameting Oxford OPT Usage – docentenoordeel Writing 9
2.6 Voormeting Oxford OPT totaal – docentenoordeel Writing 9
2.7 Nameting Oxford OPT totaal en docentenoordeel Listening en Writing 10
2.8 Conclusies 12
3 Het aandeel studenten met een instapniveau lager dan B1 13
3.1 Inleiding 13
3.2 Gemiddelde niveau drie tests 14
3.3 Oxford OPT totaal niveau 16
3.4 Oxford OPT totaal niveau met correctiefactor 17
3.5 Oxford OPT totaal niveau nader gedifferentieerd 18
3.6 Oxford OPT totaal niveau nader gedifferentieerd met correctiefactor 19
3.7 Samenvattend 19
4 De Oxford OPT 21
4.1 Inleiding 21
4.2 De taalvaardigheid volgens de Oxford OPT bij de voor- en nameting 21
4.3 De Oxford OPT bij de nameting naar achtergrondkenmerken 23
4.4 De ontwikkeling van de taalvaardigheid 25
4.5 Ontwikkeling taalvaardigheid naar achtergrondkenmerken 26

iv
5 De docentenoordelen 33
5.1 Inleiding 33
5.2 De ontwikkeling van de taalvaardigheid 34
5.3 Samenhangen eindexamencijfers en docentenoordelen 37
6 De ITAV Placement Test 39
6.1 Inleiding 39
6.2 Verdelingskenmerken van de ITAV Placement Test 40
6.3 De ITAV Placement Test naar achtergrondkenmerken 40
6.4 Samenhangen tussen de ITAV Placement Test en de Oxford OPT en
docentenbeoordelingen 43
7 Effecten van de taaltrainingsprogramma’s 47
7.1 Deelname programma’s 47
7.2 Deelname naar achtergrondkenmerken 48
7.3 Taalvaardigheid naar deelname programma 51
8 De evaluatie van de tests en programma’s door de studenten 55
8.1 Inleiding 55
8.2 De evaluatie van de tests 55
8.3 De evaluatie van de programma’s 60
9 Samenvatting en conclusies 63
9.1 Probleemstelling 63
9.2 Opzet onderzoekspilot 63
9.3 Het niveau volgens de Oxford OPT en volgens de docenten 64
9.4 Het aandeel studenten met een (te) laag instapniveau 65
9.5 De Oxford OPT 66
9.6 De docentenoordelen 66
9.7 De ITAV Placement Test 67
9.8 Effecten van taaltrainingsprogramma’s 68
9.9 Het oordeel van de studenten over de tests en programma’s 70
Bijlage

1
1 Inleiding
1.1 Vraagstelling
Avans Hogeschool wil studenten via het curriculum Engels opleiden van niveau B1
naar niveau B2 van het ERK (Europees Referentie Kader). De eindterm voor het vak
Engels voor havo is B1, die voor mbo A2. De beginniveaus van de studenten ver-
schillen aanzienlijk en zijn niet altijd adequaat. De vakgroepdocenten Engels van
Avans Hogeschool schatten dat bijna de helft van de instromende eerstejaarsstudenten
niet het gewenste instapniveau B1 (op alle vier de taalmodaliteiten) heeft. Een grote
groep studenten zou daarom gedurende het eerste jaar, buiten het normale curriculum
Engels, dienen te werken aan het verkrijgen van het benodigde instapniveau Engels
(‘pre-sessional learning’), zonder dat daar verder een docent bij betrokken is.
In september 2011 heeft Avans Hogeschool het ITS van de Radboud Universiteit
Nijmegen benaderd in verband met de evaluatie van een onderzoekspilot. De twee
onderzoeksvragen die daar aan ten grondslag liggen luiden:
 Hoe kan het beste het instapniveau Engels van Avans-studenten worden vastge-
steld?
 Welke e-learning methode is het meest geschikt om studenten die dat nodig hebben
te ondersteunen bij het alsnog bereiken van het vereiste instapniveau Engels?
De onderzoekspilot dient Avans Hogeschool te ondersteunen bij het zo goed mogelijk
opzetten van een extra curriculum Engels voor studenten gedurende het eerste studie-
jaar, zodat deze allemaal met ten minste niveau B1 kunnen starten aan het tweede jaar
wanneer het curriculum Engels start. Daartoe dient allereerst nagegaan te worden
welke instrumenten (‘e-testing’) ingezet kunnen worden bij het op betrouwbare en
valide wijze bepalen van welke studenten extra training nodig hebben en welke niet.
Vervolgens moet worden onderzocht welke e-learning methode bij deze extra curricu-
luminzet het meest efficiënt en effectief is.

2
1.2 Opzet pilot
De door Avans Hogeschool opgezette pilot heeft het karakter van een experimenteel
design, met de volgende specificaties:1
 Ca. 400 studenten maken aan het begin van het studiejaar ieder drie online niveau-
bepalingstests (nl. de LinguaTV Placement Test, de Garnet I-Test en de Oxford
Online Placement Test).
 De ca. 200 laagstscorende studenten volgen ieder, volgens random toewijzing op
studentniveau, één van de twee docentloze leermethodes (nl. de LinguaTV Langu-
age Training en de Campus Language Training).
 Ca. 400 studenten (minus de studenten die gedurende het propedeuse jaar zijn
afgevallen) maken aan het eind van het studiejaar nogmaals de niveaubepalings-
tests. Nagegaan wordt wat de leerwinst is en in hoeverre die te maken heeft met de
gevolgde leermethode en de intensiteit waarmee de studenten daaraan hebben ge-
werkt.
 Ca. 40 studenten (een random selectie) nemen ter validatie van de online testresul-
taten tevens deel aan een taalniveau assessment door Avans docenten. Dit assess-
ment vindt plaats aan het begin en aan het eind van het studiejaar bij zoveel moge-
lijk dezelfde studenten, dit ter vergroting van het inzicht in de validiteit van
enerzijds de beginniveau-bepaling en anderzijds de effectiviteit van de docentloze
instructie.
Het ITS heeft met deze specificaties als vertrekpunt een pretest-posttest control group
design uitgewerkt.2
1.3 Tussentijdse ervaringen en bijstellingen
Op basis van de bij de beginmeting verzamelde gegevens heeft het ITS twee rappor-
tages vervaardigd. Het eerste had tot doel te komen tot een verantwoorde selectie van
de laagstscorende studenten die zouden worden verzocht deel te nemen aan een van
de beide leermethodes. De tweede betrof een beschrijving van de taalvaardigheid van
de studenten bij de voormeting (resultaten op de drie tests, onderlinge samenhangen
tussen de drie tests, en de resultaten op de tests uitgesplitst naar een aantal
1 N. de Bruin, J. den Engelsman & B. Goffin (2011). Onderzoeksvoorstel Pilot pre-sessional learning
Engels Avans Hogeschool. Aanvraag voor financiering pilot intake tests en docentloos bijspijkeren tot
kansrijk instapniveau Engels. S.l.: Avans Hogeschool.
2 Zie T. Mooij, D. Fettelaar & G. Driessen (2011). Pre-sessional testing en learning: Een onderzoekspilot.
Offerte. Nijmegen: ITS.

3
kenmerken van de studenten, zoals vooropleiding en huidige opleiding/studie-
richting).3
Naar aanleiding van bij de eerste fase van de pilot opgedane ervaringen en de resulta-
ten van de analyses, heeft Avans Hogeschool enkele wijzingen aangebracht in het
oorspronkelijke onderzoeksdesign. Daarvoor waren verschillende redenen. Allereerst
bleek dat de drie tests niet allemaal even geschikt waren voor het gestelde doel (zie
bijlage). Ze bestreken niet adequaat genoeg de gewenste taaldomeinen, voldeden niet
qua niveau of vertoonden in afname-technisch opzicht tekortkomingen. Twee van de
tests bleken bovendien in de praktijk afname-technisch dusdanig instabiel en bewer-
kelijk te zijn, dat zij een enorme belasting met zich meebrachten, voor zowel studen-
ten als organisatie. Uiteindelijk is de beslissing genomen om bij de nameting twee
tests (de Garnet I-Test en LinguaTV Placement Test) te laten vervallen. Besloten is de
Oxford Online Placement Test (voortaan: de Oxford OPT) als minst slechte optie te
handhaven. Gedurende de fase tussen de eerste en de tweede testafnamerondes heeft
Avans Hogeschool nog verder gezocht naar geschikte online ERK placement tests,
maar dat leverde niet zoveel op. De zoektocht naar alternatieven leidde er wel toe dat
voor de nameting nog een cloze-test is toegevoegd, de ITAV Placement Test. Dit type
test bleek volgens de literatuur hoog te scoren qua validiteit..
1.4 Tussentijdse uitval studenten
Voordat we verder gaan met de inhoudelijke rapportage, willen we nog kort ingaan
op de steekproeven van studenten die aan de pilot hebben deelgenomen. Tussen de
voor- en nameting is er sprake van uitval. Voor een juiste interpretatie van de bevin-
dingen is het van belang te weten of het selectieve uitval betreft. Zijn het misschien
de slechtere studenten die zijn uitgevallen? Als dat zo is zou dat tot een vertekening
van de resultaten kunnen leiden.
Aan de voormeting hebben 427 studenten deelgenomen, aan de nameting (en daarmee
aan beide metingen) 311 studenten, ofwel 73%. We hebben de groep studenten die
aan de nameting heeft deelgenomen vergeleken met de groep die dat niet heeft ge-
daan. Dat is gebeurd op alle achtergrondkenmerken van de studenten (zoals oplei-
ding, vooropleiding, sekse) en op alle taalkenmerken (testscores, niveaus, beoordelin-
gen). Er is nagegaan of er op deze in totaal 36 kenmerken tussen beide groepen
3 G. Driessen & S. Oomens (2011). Toelichting selectie laagstscorende AMD-studenten. Nijmegen: ITS.
G. Driessen (2012). De taalvaardigheid Engels van Avans-studenten bij de intake. Nijmegen: ITS. (Zie
Bijlage)

4
significante (p <0,05) en relevante (eta >0,15) verschillen zijn.4
Deze analyses lieten
zien dat er slechts op één van de kenmerken een verschil bestond, te weten de oplei-
ding, Bij IV had 66% van de studenten aan de nameting deelgenomen, bij P&A ging
het om 78%, bij TBK om 89%, en bij WTB om 67%. (Relevant hierbij is dat de TBK-
groep de kleinste is met 55 studenten.) Het verschil is in statistische termen echter vrij
gering: de eta bedraagt niet meer dan 0,19. Er is daarmee geen grond om te veronder-
stellen dat de groep studenten die niet meer aan de nameting heeft deelgenomen een
specifieke groep is en dat de uiteindelijke onderzoeksbevindingen met betrekking tot
de taalvaardigheid en de ontwikkelingen daarin beïnvloed worden door die niet-
deelname.
1.5 Opzet rapportage
In de onderhavige rapportage staat de beantwoording van de hierboven geformuleerde
tweede onderzoeksvraag centraal: wat is de meest effectieve leermethode? Dat bete-
kent dat de analyses vooral gericht zijn op de resultaten van de nameting, de ontwik-
keling tussen de voor- en nameting, en de relatie met de leermethode en achtergrond-
kenmerken van de studenten. Daarnaast wordt ingegaan op een aantal andere vragen
die in de beide eerdere rapportages nog niet aan de orde zijn gesteld en vragen die in
de loop van de uitvoering van de pilot bij Avans Hogeschool zijn opgekomen. Tenge-
volge van de tussentijds gewijzigde opzet en aanvullende vragen is de navolgende
rapportage wat minder ‘strak’ dan oorspronkelijk gepland. Er is vooral gekozen voor
een insteek waarin de verschillende toetsen hoofdstuksgewijs behandeld worden. In
het slothoofdstuk staat dan de vraag naar de meest geschikte e-learning methode
centraal.
4 De p-waarde zegt iets over de waarschijnlijkheid (‘probability’) dat het gevonden resultaat op toeval
berust. Bij een p-waarde van 1,00 kunnen we aannemen dat het resultaat op toeval berust, bij een waarde
van 0,00 dat het reëel is. Vaak hanteert men p = 0,05 als grens van statistische significantie. Als de p-
waarde kleiner of gelijk is aan 0,05, dan is de kans dat het gevonden resultaat aan het toeval is te wijten
maximaal 5%; dit noemt men ‘statistisch significant’. Als een resultaat statistisch significant is, betekent
dit echter niet automatisch dat het ook relevant, i.c. in de praktijk van belang is. Daarom vermeldt men
aanvullend vaak nog een samenhangsmaat, zoals de correlatiecoëfficiënt eta. Volgens Cohen (1988) en
Hopkins (2002) is een correlatie kleiner dan 0,10 triviaal, van 0,10-0,30 klein, van 0,30–0,50 matig, van
0,50–0,70 sterk, van 0,70–0,90 zeer sterk. Bij 0,00 is er totaal geen samenhang, bij 1,00 is er volledige
overlap.
J. Cohen (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum.
W. Hopkins (2002). A scale of magnitudes for effect statistics. http://sportsci.org/resources/stats/-
effectmag.html.

5
2 Het niveau volgens de Oxford OPT en volgens de
docenten vergeleken
2.1 Inleiding
De Oxford OPT is in wezen gericht op de receptieve taalkennis en –vaardigheid. Aan-
gezien de productieve taalvaardigheid moeilijker is dan de receptieve, geeft de Ox-
ford OPT daarom mogelijk een te positief beeld van het algehele niveau. Mede om
die reden heeft er in de pilot ook een beoordeling door docenten plaatsgevonden
gericht op de productieve taalvaardigheid, bij de voormeting qua Writing en bij de
nameting qua Speaking en Writing. De taken die de studenten voorgelegd kregen zijn
door Avans Hogeschool ontworpen. Voor Writing ging het om drie hoofdvragen (bv.
over hun woonplaats, vakantie), die de studenten in een serie volledige zinnen moes-
ten beantwoorden. Er was één A2-vraag, één B1-vraag en één B2-vraag. Het resultaat
werd door drie docenten onafhankelijk van elkaar in termen van ERK-niveaus beoor-
deeld met betrekking tot Woordgebruik, Grammatica, Spelling en Coherentie. Bij
Speaking konden de studenten kiezen uit één of meer items uit de categorieën Perso-
nal (bv. films), Opinion (bv. sekseverschillen) en Topical (bv. politieke voorkeur).
Hiermee werd Speaking gedrag op respectievelijk A2-, B1- en B2-niveau opgeroe-
pen. Ook dit werd beoordeeld in termen van ERK-niveaus ten aanzien van Range,
Accuracy, Fluency, Interaction, en Coherence. (Zie verder ook hoofdstuk 5.)
Om na te gaan hoe zich beide niveaubepalingen tot elkaar verhouden, is geprobeerd
een correctiefactor te berekenen. Daarvoor is het noodzakelijk de factor tijd (i.c.
ontwikkeling) te neutraliseren: er mogen alleen vergelijkingen worden gemaakt bin-
nen de voormeting en binnen de nameting. Hierna worden de testresultaten5
vergele-
ken met de docentenoordelen, voor de test als geheel en de onderscheiden onderdelen.
5 De studenten worden door het computerprogramma op basis van hun testscores ingedeeld in één van de
ERK-niveaus. Nu is er natuurlijk altijd wel enige onzekerheid bij het vaststellen van de taalvaardigheid en
het op basis daarvan bepalen van het niveau. Met name speelt dit bij grensgevallen (i.c. –scores). De bij
de Oxford OPT gehanteerde omzettingstabel is er daarnaast sprake van een overlap bij de score ranges.
Bijvoorbeeld A2: 20-40; B1: 40-60. Onduidelijk is in dit geval bij welk niveau de score 40 hoort. In onze
data zien we dit gebrek aan eenduidigheid terug: sommige studenten met de score 40 zijn ingedeeld bij
A2, anderen bij B1.
A. Pollitt (z.j.). The Oxford Online Placement Test. The meaning of OOPT scores. Op 10/10/11 gedown-
load van www.oxfordenglishtesting.com/uploadedFiles/Buy_tests/oopt_meaning.pdf.

6
2.2 Nameting Oxford OPT totaal – docentenoordeel Speaking
Allereerst is nagegaan hoe het bij meting 2 met de Oxford OPT bepaalde totaal ni-
veau zich verhoudt tot het door de docenten bij die meting bepaalde Speaking niveau.
De niveaus zijn op de gebruikelijke manier gekwantificeerd (A1=1 … C2=6; bij de
docenten komen ook tussenniveaus voor). Door het niveau volgens de docenten af te
trekken van het niveau volgens de Oxford OPT krijgen we een indruk van de moge-
lijke ‘overwaardering’. In onderstaande tabellen staan achtereenvolgens de verdeling
en kengetallen.6
Tabel 2.1 – Oxford OPT niveau totaal minus docentenoordeel niveau Speaking (na-
meting)
verschilscore aantallen % cumulatieve %
-2,00 1 2,1 2,1
-0,33 1 2,1 4,2
0,00 4 8,3 12,5
0,33 4 8,3 20,8
0,67 5 10,4 31,3
1,00 13 27,1 58,3
1,33 2 4,2 62,5
1,67 5 10,4 72,9
2,00 12 25,0 97,9
2,67 1 2,1 100,0
N 48 100,0
gem.= 1,10; SD = 0,85
Het blijkt dat slechts 2 studenten bij de docenten een hoger niveau halen dan bij de
Oxford OPT. Voor 8,3% is het niveau identiek, 27,1% scoort precies één niveau
hoger volgens de Oxford OPT en 25% precies twee niveaus. In totaal wordt 87,5%
van de studenten door de Oxford OPT hoger ingeschaald dan door de docenten. Ge-
middeld ligt het niveau bij de Oxford OPT als geheel ruim één niveau (1,10) hoger
dan bij de docentenoordelen qua Speaking.
J. Purpura (z.j.). The Oxford Online Placement Test: What does it measure and how? Language focus:
Use of English and listening ability. Op 10/10/11 gedownload van http://fds.oup.com/www.oup.com/elt/-
oet/ift/oopt_measure.pdf.
6 In de tabellen worden de volgende afkortingen gebruikt: gem. = gemiddelde; N = aantal studenten; SD =
standaarddeviatie (geeft een indruk van de verschillen tussen studenten).

7
2.3 Nameting Oxford OPT totaal – docentenoordeel Writing
In onderstaande tabel staat de vergelijking van de Oxford OPT totaal met de beoorde-
ling door de docenten wat betreft Writing.
Tabel 2.2 – Oxford OPT niveau totaal minus docentenoordeel niveau Writing (name-
ting)
-1,67 1 2,0 2,0
-0,33 2 4,1 6,1
0,00 5 10,2 16,3
0,33 4 8,2 24,5
0,67 9 18,4 42,9
1,00 9 18,4 61,2
1,33 2 4,1 65,3
1,67 7 14,3 79,6
2,00 9 18,4 98,0
2,67 1 2,0 100,0
N 49 100,0
gem. = 1,00; SD = 0,84
Ook hier zijn de resultaten in grote lijnen vergelijkbaar: gemiddeld scoren de studen-
ten op de Oxford OPT als geheel één niveau hoger dan op de docentenbeoordeling
qua Writing.
2.4 Nameting Oxford OPT totaal – docentenoordeel Speaking en Writing
De docentbeoordelingen betreffen twee onderdelen, namelijk Speaking en Writing.
Voor de Oxford OPT als geheel zijn de scores op de onderdelen gemiddeld7
. Naar
analogie daarvan hebben we dat ook met de docentenbeoordelingen Speaking en
Writing gedaan. En vervolgens hebben we de vergelijking Oxford totaal en gemid-
delde docentenbeoordeling gemaakt. De resultaten daarvan volgen hierna.
7 A. Pollitt (z.j.). O.c. p. 9.

8
Tabel 2.3 – Oxford OPT niveau totaal minus gemiddeld docentenoordeel niveau
Speaking en Writing (nameting)
-1,835 1 2,2 2,2
-0,165 2 4,4 6,7
0,000 1 2,2 8,9
0,165 1 2,2 11,1
0,170 1 2,2 13,3
0,330 2 4,4 17,8
0,335 2 4,4 22,2
0,500 2 4,4 26,7
0,665 1 2,2 28,9
0,835 6 13,3 42,2
1,000 6 13,3 55,6
1,165 1 2,2 57,8
1,335 1 2,2 60,0
1,500 1 2,2 62,2
1,665 2 4,4 66,7
1,670 2 4,4 71,1
1,835 4 8,9 80,0
2,000 7 15,6 95,6
2,170 1 2,2 97,8
2,335 1 2,2 100,0
N 45 100,0
gem. = 1,08; SD = 0,83
Ook hier zien we dat er gemiddeld genomen één niveau verschil is tussen de Oxford
OPT en de docentenbeoordeling.

9
2.5 Nameting Oxford OPT Usage – docentenoordeel Writing
Tabel 2.4 – Oxford OPT niveau Usage minus docentenoordeel niveau Writing (name-
ting)
-1,67 1 2,0 2,0
-1,00 1 2,0 4,1
-0,33 2 4,1 8,2
0,00 4 8,2 16,3
0,33 4 8,2 24,5
0,67 8 16,3 40,8
1,00 9 18,4 59,2
1,33 1 0,2 61,2
1,67 8 16,3 77,6
2,00 9 18,4 95,9
2,33 1 2,0 98,0
2,67 1 2,0 100,0
N 49 100,0
gem. = 1,02; SD = 0,90
Ook bij een vergelijking op het niveau van deelvaardigheden bedraagt het gemiddelde
verschil één niveau.
2.6 Voormeting Oxford OPT totaal – docentenoordeel Writing
Als laatste hebben we de vergelijking Oxford totaal met de docentenbeoordeling
Writing gemaakt, maar nu voor de voormeting. De resultaten staan in onderstaande
tabellen. (Waarbij we moeten bedenken dat de studenten die bij de eerste meting door
de docenten zijn beoordeeld voor een belangrijk deel anderen zijn dan die bij de
tweede meting zijn beoordeeld.)

10
Tabel 2.5 - Oxford OPT niveau totaal minus docentenoordeel niveau Writing (voor-
meting)
-0,33 1 2,1 2,1
0,00 7 14,9 17,0
0,33 2 4,3 21,3
0,67 3 6,4 27,7
1,00 13 27,7 55,3
1,33 6 12,8 68,1
1,67 6 12,8 80,9
2,00 6 12,8 93,6
2,33 2 4,3 97,9
3,67 1 2,1 100,0
N 47 100,0
gem. = 1,14; SD = 0,79
Ook hier bedraagt het gemiddelde verschil (ruim) één niveau.
2.7 Nameting Oxford OPT totaal en docentenoordeel Listening en Writing
Om het plaatje compleet te maken hebben we voor de nameting ook nog de samen-
hang tussen de Oxford OPT totaalscore en de docentenbeoordelingen Speaking en
Writing berekend. De resultaten staan in onderstaande tabel; het betreft de gemiddel-
de scores op de Oxford OPT per niveau.

11
Tabel 2.6 – Gemiddelde scores Oxford OPT totaal per docentenoordeel Speaking en
Writing (nameting)
Oxford score
docentenoordeel gem. SD N
Speaking
1,00 A1 51,50 6,36 2
1,67 A2- 41,00 1
2,00 A2 55,57 7,87 7
2,33 A2+ 64,00 15,55 9
2,67 B1- 50,00 4,36 3
3,00 B1 73,44 20,52 16
3,33 B1+ 73,33 9,45 3
3,67 B2- 76,00 12,73 2
4,00 B2 81,40 10,97 5
totaal 66,94 17,58 48
Writing
1,00 A1 48,00 7,55 3
2,00 A2 59,33 14,10 6
2,33 A2+ 67,20 9,83 5
2,67 B1- 37,33 18,50 3
3,00 B1 70,77 15,41 13
3,33 B1+ 72,38 12,16 13
3,67 B2- 81,33 12,99 3
4,00 B2 75,00 1
4,33 B2+ 99,00 1
4,67 C1- 84,00 1
totaal 67,57 16,93 49
eta = 0,59, resp. 0,69
In zijn algemeenheid stijgt met de score op de Oxford OPT ook het niveau volgens de
docenten. Het verband is niet geheel rechtlijnig; bij Speaking zou bijvoorbeeld bij
B1- een score verwacht worden die tussen 64,00 en 73,44 in zou liggen. De geringe
aantallen studenten en de verregaande differentiatie in niveaus spelen daarbij onge-
twijfeld een rol. De samenhangen zijn met eta’s van 0,59 en 0,69 vrij sterk.8
8 In hoeverre er sprake is van een afwijking van het rechtlijnige verband kan worden afgeleid uit het
verschil tussen eta en de Pearson correlatiecoëfficiënt r. Dat verschil bedraagt respectievelijk 0,51 en
0,52.

12
2.8 Conclusies
De Oxford OPT schat het niveau van de studenten systematisch hoger in dan de do-
centen. Er zijn goede redenen om aan te nemen dat dat te maken heeft met het feit dat
de Oxford OPT voornamelijk de receptieve taalmodaliteiten meet en de docenten de
productieve. Uit alle gemaakte vergelijkingen blijkt dat de Oxford OPT Overall Score
de studenten gemiddeld circa één heel niveau hoger inschat dan de docenten. Aange-
zien de deelschalen van alle in de eerste ronde gebruikte testen uiteenlopende en niet
sterk met elkaar correlerende waardes leken op te leveren (zelfs wanneer het op het
oog om dezelfde vaardigheid zou moeten gaan, zoals Listening), noch in voldoende
mate bleken te correleren met de bijbehorende Schoolexamenscores (zie bijlage) is
ervoor gekozen om nog slechts naar Overall scores te kijken. Bij maximaal 8% van
de studenten ligt het niveau volgens de docenten hoger, maar dat betreft niet meer dan
4 studenten. Wanneer er om een beter beeld te krijgen van de productieve taalvaar-
digheid een correctiefactor op de Oxford OPT zou worden toegepast van (afgerond)
minus één niveau, zou maximaal een kwart van de studenten een niveau krijgen dat
bij de Oxford OPT lager ligt dan bij de docenten (in de tabellen 2.2 en 2.4 de 24,5%
van de studenten met een score t/m 0,33).

13
3 Het aandeel studenten met een instapniveau lager dan B1
3.1 Inleiding
Een onderwerp dat in de eerdere rapportages nog niet volledig aan de orde was ge-
komen betreft de vraag hoeveel procent van de studenten een bepaald niveau heeft bij
de voormeting (c.q. het instapniveau). Een antwoord op deze vraag is van belang om
een inschatting te kunnen maken van het aantal studenten dat na het pilot-jaar een
bijscholingstraject zou moeten gaan volgen.
Hierna wordt een overzicht gepresenteerd van de cumulatieve verdelingen van de
studenten over de ERK-niveaus. De betreffende tabellen laten zien hoeveel procent
van de studenten minimaal een bepaald niveau heeft. Dat gebeurt achtereenvolgens
voor:
 het gemiddelde niveau van de drie tests die bij de voormeting zijn afgenomen, te
weten de Oxford OPT, Garnet I-Test en LinguaTV Placement Test 9
;
 het niveau van de Oxford OPT als geheel;
 het niveau van de Oxford OPT als geheel waarop een correctiefactor van -1 is
toegepast (ter correctie van het verschil receptieve versus productieve taalvaardig-
heid);
 het niveau van de Oxford OPT als geheel, maar nu met een nadere differentiatie
waarbij de niveaus niet telkens een range kennen van 20, maar van 10 scorepun-
ten.
In de tabellen staan de verdelingen voor alle studenten samen, uitgesplitst naar voor-
opleiding, uitgesplitst naar opleiding, en uitgesplitst naar opleiding en vervolgens
naar vooropleiding (uit deze laatste combinatie kan ook de uitsplitsing naar voorop-
leiding en vervolgens opleiding worden afgeleid).
9 G. Driessen (2012). De taalvaardigheid Engels van Avans-studenten bij de intake. Nijmegen: ITS.

14
3.2 Gemiddelde niveau drie tests
Tabel 3.1 – Gemiddelde niveau drie tests (Oxford OPT, Garnet I-Test en LinguaTV
Placement Test) per vooropleiding, per opleiding en voor alle studenten (cumulatieve
%)
vooropleiding opleiding totaal
niveau havo mbo vwo IV P&A TBK WTB
1,33 1,1 0,8 0,2
2,00 A2 1,1 6,5 2,0 3,8 1,9 2,3 2,6
2,33 2,9 21,5 6,0 9,0 5,7 6,8 7,1
2,50 3,6 22,6 7,3 10,5 7,5 8,2
2,67 16,8 38,7 16,6 27,8 17,0 21,6 21,2
3,00 B1 35,8 63,4 14,3 33,8 53,4 39,6 37,5 41,4
3,33 58,0 78,5 21,4 53,6 71,4 60,4 56,8 60,7
3,50 59,9 79,6 55,0 66,0 59,1 62,4
3,67 78,5 90,3 39,3 74,2 86,5 71,7 79,5 78,8
4,00 B2 93,1 96,8 64,3 89,4 96,2 88,7 92,0 92,0
4,33 98,2 98,9 85,7 96,7 100,0 96,2 95,5 97,4
4,50 89,3 98,1 96,6 97,9
4,67 98,9 96,4 98,0 98,9 98,8
5,00 C1 100,0 100,0 100,0 100,0 100,0 100,0 100,0
N 274 93 28 151 133 53 88 425

15
Tabel 3.2 – Gemiddelde niveau drie tests, per opleiding per vooropleiding (cumula-
tieve %)
IV P&A
niveau havo mbo vwo havo mbo vwo
1,33 2,6
2,00 A2 0,9 2,5 7,9
2,33 2,8 19,0 3,8 23,7
2,50 3,7 23,8
2,67 13,8 33,3 22,8 39,5
3,00 B1 28,4 57,1 10,0 46,8 68,4 33,3
3,33 50,5 71,4 20,0 65,8 84,2
3,50 51,4 76,2
3,67 73,4 90,5 30,0 86,1 92,1 50,0
4,00 B2 90,8 60,0 97,5 100,0
4,33 97,2 95,2 90,0 100,0 100,0
4,50
4,67 99,1
5,00 C1 100,0 100,0 100,0
N 109 21 10 79 38 6
TBK WTB
1,33
2,00 A2 10,0 8,3
2,33 30,0 4,2 16,7
2,50 2,6 50,0
2,67 10,5 70,0 18,8 37,5
3,00 B1 34,2 80,0 25,0 35,4 58,3
3,33 60,5 60,4 75,0 12,5
3,50 68,4 62,5
3,67 71,1 90,0 50,0 83,3 87,5 37,5
4,00 B2 89,5 100,0 93,8 100,0 62,5
4,33 97,4 100,0 97,9
4,50 75,0
4,67 100,0
5,00 C1 100,0 100,0
N 38 10 4 48 24 8

16
3.3 Oxford OPT totaal niveau
Tabel 3.3 – Oxford OPT totaal niveau per vooropleiding, opleiding en voor alle stu-
denten (cumulatieve %)
niveau vooropleiding opleiding totaal
havo mbo vwo IV P&A TBK WTB
1 A1 1,1 0,8 0,2
2 A2 0,7 11,2 2,1 4,8 1,9 2,3 3,0
3 B1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6
4 B2 75,7 88,8 51,9 69,5 82,4 82,7 73,6 76,0
5 C1 96,6 98,9 96,3 95,0 99,2 96,2 97,7 97,0
6 C2 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
N 267 89 27 141 125 52 87 405
Tabel 3.4 – Oxford OPT totaal niveau per opleiding per vooropleiding (cumulatieve
%)
IV P&A
1 A1 2,8
2 A2 1,0 10,5 1,3 13,9
3 B1 19,0 47,4 33,3 41,7 20,0
4 B2 67,6 89,5 50,0 82,1 88,9 40,0
5 C1 95,2 94,7 90,0 98,7 100,0 100,0
6 C2 100,0 100,0 100,0 100,0
N 105 19 10 78 36 5
TBK WTB
1 A1
2 A2 10,0 8,3
3 B1 32,4 60,0 25,5 37,5 25,0
4 B2 81,1 90,0 100,0 78,7 87,5 37,5
5 C1 94,6 100,0 97,9 100,0 100,0
6 C2 100,0 100,0
N 37 10 4 47 24 8

17
3.4 Oxford OPT totaal niveau met correctiefactor
Tabel 3.5 – Oxford OPT totaal niveau met correctiefactor van -1, per vooropleiding,
per opleiding en voor alle studenten (cumulatieve %)
0 <A1 1,1 0,8 0,2
1 A1 0,7 11,2 2,1 4,8 1,9 2,3 3,0
2 A2 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6
3 B1 75,7 88,8 51,9 69,5 82,4 82,7 73,6 76,0
4 B2 96,6 98,9 96,3 95,0 99,2 96,2 97,7 97,0
5 C1 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
6 C2
N 267 89 27 141 125 52 87 405
Tabel 3.6 – Oxford OPT totaal niveau met correctiefactor van -1, per opleiding per
vooropleiding (cumulatieve %)
IV P&A
0 <A1 2,8
1 A1 1,0 10,5 1,3 13,9
2 A2 19,0 47,4 33,3 41,7 20,0
3 B1 67,6 89,5 50,0 82,1 88,9 40,0
4 B2 95,2 94,7 90,0 98,7 100,0 100,0
5 C1 100,0 100,0 100,0 100,0
6 C2
N 105 19 10 78 36 5
TBK WTB
0 <A1
1 A1 10,0 8,3
2 A2 32,4 60,0 25,5 37,5 25,0
3 B1 81,1 90,0 100,0 78,7 87,5 37,5
4 B2 94,6 100,0 97,9 100,0 100,0
5 C1 100,0 100,0
6 C2
N 37 10 4 47 24 8

18
3.5 Oxford OPT totaal niveau nader gedifferentieerd
De Oxford OPT kent bij de onderhavige data een scorebereik van 4 tot en met 110 en
onderscheidt zes niveaus. Deze niveaus omvatten steeds 20 scorepunten, dus bijvoor-
beeld A1 betreft de studenten met de scores binnen de range 1-20. Omdat die range
vrij grof is, is een gedifferentieerdere indeling geconstrueerd met telkens 10 score-
punten in plaats van 20. Er was slechts één student met de score 4; de volgende had
de score 31. Daarom is de eerste categorie t/m 40. De Oxford OPT classificeert de
scorepunten niet eenduidig: soms wordt een student met bijvoorbeeld de score 40 bij
niveau A2 geteld, soms bij niveau B1. Hier is er in dergelijke gevallen, i.c. bij grens-
waarden, voor gekozen die student bij A2 te zetten. Aldus zijn acht categorieën ge-
vormd.
Tabel 3.7 – Oxford OPT totaal niveau gedifferentieerd naar categorieën met 10 sco-
repunten, per vooropleiding, opleiding en voor alle studenten (cumulatieve %)
A2 0-40 1,1 11,2 2,1 4,8 1,9 3,4 3,2
B1 41-50 10,9 23,6 12,1 16,0 13,5 11,5 13,3
B1 51-60 26,2 43,8 14,8 21,3 35,2 36,5 27,6 28,9
B2 61-70 50,9 68,5 25,9 46,8 59,2 55,8 49,4 52,3
B2 71-80 76,4 88,8 51,9 70,2 83,2 82,7 75,9 77,0
C1 81-90 89,9 92,1 92,6 87,2 93,6 92,3 92,0 90,9
C1 91-100 97,4 98,9 96,3 95,0 99,2 98,1 98,9 97,5
C2 101-110 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
N 267 89 27 141 125 52 87 405

19
Tabel 3.8 – Oxford OPT totaal niveau gedifferentieerd naar categorieën met 10 sco-
repunten, per opleiding per vooropleiding (cumulatieve %)
IV P&A
A2 0-40 1,0 10,5 1,3 13,9
B1 41-50 8,6 36,8 14,1 19,4
B1 51-60 19,0 47,4 33,3 41,7 20,0
B2 61-70 46,7 68,4 10,0 56,4 72,2
B2 71-80 68,6 89,5 50,0 82,1 88,9 40,0
C1 81-90 86,7 80,0 92,3 94,4 100,0
C1 91-100 95,2 94,7 90,0 98,7 100,0
C2 101-110 100,0 100,0 100,0 100,0
N 105 19 10 78 36 5
TBK WTB
A2 0-40 10,0
B1 41-50 10,8 30,0 10,6 16,7
B1 51-60 32,4 60,0 25,0 25,5 37,5 25,0
B2 61-70 48,6 80,0 75,0 53,2 58,3
B2 71-80 81,1 90,0 100,0 80,9 87,5 37,5
C1 81-90 91,9 91,5 91,7 100,0
C1 91-100 97,3 100,0 100,0 100,0
C2 101-110 100,0
N 37 10 4 47 24 8
3.6 Oxford OPT totaal niveau nader gedifferentieerd met correctiefactor
Hiervoor hebben we de Oxford OPT gecorrigeerd met een factor van -1. Het is ook
mogelijk om de gedifferentieerde Oxford OPT indeling te corrigeren met een factor
-1. In feite betekent dit dat de percentages ten opzichte van de niveau-aanduidingen
één rij omhoog schuiven. Het resultaat komt dan weer overeen met de tabellen 4.5 en
4.6 (Oxford OPT totaal niveau met correctiefactor). We zien er daarom vanaf deze
tabellen nog een keer te presenteren.
3.7 Samenvattend
In onderstaande tabel worden de resultaten van de verschillende indicatoren samen-
gevat. In de tabel staat het percentage studenten dat bij de voormeting niet het B1
niveau heeft gehaald. Achtereenvolgens betreft het: het gemiddelde niveau van de

20
drie tests; het Oxford OPT totaal niveau; het Oxford OPT totaal niveau met de correc-
tiefactor van -1; het Oxford OPT totaal niveau nader gedifferentieerd naar 10 score-
punten per niveau, dus B1 t/m 50 punten; het Oxford OPT totaal niveau nader gedif-
ferentieerd naar 10 scorepunten per niveau met de correctiefactor van -1.
Tabel 3.9 – Percentage studenten dat bij de voormeting volgens de verschillende indi-
catoren niet voldoet aan het B1 criterium, per vooropleiding, per opleiding en voor
alle studenten
gemiddelde 3 tests 16,8 38,7 - 16,6 27,8 17,0 21,6 21,2
Oxford totaal 0,7 11,2 - 2,1 4,8 1,9 2,3 3,0
Oxford totaal -1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6
Oxford totaal 50 10,9 23,6 - 12,1 16,0 13,5 11,5 13,3
Oxford totaal 50 -1 26,2 43,8 11,1 21,3 35,2 34,6 27,6 28,6
Het overzicht laat zien dat er flinke verschillen bestaan tussen de indicatoren. Wan-
neer de keuze wordt bepaald door de score op de Oxford OPT, bedraagt het totaal
aantal kandidaten voor een bijscholingstraject slechts 3%. Wanneer er echter vanuit
wordt gegaan dat de Oxford OPT onvoldoende de productieve vaardigheden meet en
er een correctiefactor van -1 moet worden toegepast, dan stijgt het aandeel kandidaten
met ruim 25%-punten. Wanneer wordt uitgegaan van het tussenniveau B1 (dus t/m
score 50), dan wordt het percentage op basis van het gecorrigeerde Oxford OPT ni-
veau ongeveer gehalveerd. Het hanteren van het gemiddelde niveau van de drie tests
lijkt in de praktijk geen optie, omdat Avans Hogeschool inmiddels besloten heeft de
Garnet I-Test en LinguaTV Placement Test te laten vervallen bij het nieuwe studie-
jaar. Omdat de drie tests samen hier een gevarieerd beeld geven van de taalvaardig-
heid, geeft het gemiddelde daarvan waarschijnlijk wel de optimaal mogelijke indica-
tie van het niveau en daarmee van het aandeel studenten dat extra training behoeft.
Als die lijn wordt gevolgd, dan betekent dat dat het gecorrigeerde Oxford OPT niveau
de meest geschikte indicator zou zijn.

21
4 De Oxford OPT
4.1 Inleiding
Bij de voormeting hebben 405 studenten de Oxford OPT gemaakt, bij de nameting
291. Van al deze studenten zijn de toetsscores bekend. Daarnaast zijn van 405, res-
pectievelijk 288 studenten de taalvaardigheidniveaus beschikbaar. Van 287 studenten
zijn zowel de voor- als nametingscores beschikbaar en van 284 ook de niveaus.
We zijn nagegaan of er met betrekking tot de Oxford OPT tussen voor- en nameting
sprake is geweest van selectieve uitval onder de studenten, Daarvoor hebben we voor
de groep studenten die bij de voormeting de Oxford OPT heeft gemaakt een vergelij-
king gemaakt tussen de studenten die vervolgens bij de nameting die toets wel heeft
gemaakt met de studenten die die toets niet meer hebben gemaakt. Dat is gedaan voor
alle achtergrondkenmerken en alle taalkenmerken (vgl. hoofdstuk 1). Gecontroleerd
is of er op deze 36 kenmerken significante (p <0,05) en relevante (eta >0,15) ver-
schillen zijn tussen beide groepen.
Uit de analyseresultaten bleek dat er alleen qua opleiding verschillen waren: bij IV
had 67% van de studenten ook bij de nameting de Oxford OPT gemaakt, bij P&A
ging het om 72%, bij TBK om 90%, en bij WTB om 64%. Dit verschil is in statisti-
sche termen echter vrij gering: de eta bedroeg niet meer dan 0,18. Deze bevindingen
komen overeen met die in hoofdstuk 2 zijn gepresenteerd. Bedacht dient te worden
dat de TBK-groep betrekkelijk klein is (N=55). De conclusie luidt dan ook dat er geen
sprake is van selectieve uitval bij de nameting van de Oxford OPT.
4.2 De taalvaardigheid volgens de Oxford OPT bij de voor- en nameting
In onderstaande tabel staan allereerst de kengetallen voor de Oxford OPT testscores.
Het betreft alle studenten die aan de voor- en/of nameting hebben deelgenomen.

22
Tabel 4.1 – Kengetallen Oxford OPT scores voormeting en nameting
voormeting nameting
totaal Usage Listening totaal Usage Listening
N 405 405 405 291 291 291
gem. 68,90 66,61 71,20 66,74 65,24 68,30
SD 15,94 17,73 17,96 17,05 18,55 19,68
minimum 4 7 1 0 0 0
maximum 110 107 119 102 111 118
Opvallend, maar niet helemaal onverwacht, is het gegeven dat de gemiddelde scores
bij de nameting lager liggen dan bij de voormeting. De tabel laat ook zien dat Liste-
ning wat beter is gemaakt dan Usage, maar dat de achteruitgang voor Listening (qua
punten) ook groter is. Gemiddeld genomen zijn de studenten er dus op achteruitge-
gaan wat hun taalvaardigheid betreft. Elders in deze rapportage hebben we geconsta-
teerd dat de groep studenten die niet meer aan de nameting heeft deelgenomen niet
selectief is (dus qua taal- en achtergrondkenmerken vergelijkbaar is met de studenten
die wel aan de nameting hebben deelgenomen). Er is daarmee dus geen aanleiding te
veronderstellen dat deze achteruitgang niet voor de hele groep studenten zou gelden.
Dat er sprake is van een terugval heeft waarschijnlijk te maken met het feit dat het
merendeel van de studenten in de tussenliggende periode geen actieve instructie heeft
gehad in Engels. Toch geeft de tabel waarschijnlijk een geflatteerd beeld te zien van
wat normaliter verwacht kan worden qua terugval in taalvaardigheidniveau. Immers,
een deel van de studenten, heeft als onderdeel van het experiment, gedurende het
studiejaar (via zelfstudie) wél onderwijs gevolgd.
In de volgende tabel staan vergelijkbare gegevens voor het volgens de Oxford OPT
bereikte niveau. Omdat die niveaus zijn afgeleid van de scores, liggen de bevindingen
op één lijn. Het gemiddelde niveau zit tegen B2 aan (=4).
Tabel 4.2 – Kengetallen Oxford OPT niveaus voormeting en nameting
voormeting nameting
N 405 405 405 288 288 288
gem. 3,95 3,84 4,03 3,89 3,78 3,91
SD 0,85 0,93 0,97 0,82 0,92 0,96
minimum 1,00 1,00 0,50 1,00 1,00 0,50
maximum 6,00 6,00 6,50 6,00 6,00 6,00

23
4.3 De Oxford OPT bij de nameting naar achtergrondkenmerken
Voordat we ingaan op de resultaten met betrekking tot de ontwikkeling van de taal-
vaardigheid tussen voor- en nameting presenteren we eerst nog de gemiddelden op de
Oxford OPT bij de nameting, uitgesplitst naar de achtergrondkenmerken van de stu-
denten; eerst de scores, daarna de niveaus.
Tabel 4.3 – De Oxford OPT scores bij de nameting naar opleiding, vooropleiding en
profiel, sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddel-
den)
opleiding vooropleiding profiel
IV 68,66 havo 67,89 CM 70,49
P&A 65,08 mbo 59,35 EM 69,37
TBK 68,75 vwo 74,12 NG 66,81
WTB 64,50 NT 67,30
totaal 66,74 totaal 66,44 totaal 68,59
eta 0,13 eta 0,25 eta 0,08
sekse dyslexie aantal talen welke talen
man 68,20 ja 63,00 1 58,23 Ned 57,67
vrouw 62,95 nee 66,98 2 70,09 Ned Eng 70,79
3 65,31 Ned Eng Dui 65,53
≥4 63,28 anders 62,88
totaal 66,94 totaal 66,44 totaal 66,44 totaal 66,44
eta 0,14 eta 0,08 eta 0,23 eta 0,26

24
Tabel 4.4 – De Oxford OPT niveaus bij de nameting naar opleiding, vooropleiding en
profiel, sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddel-
den)
IV 3,90 havo 3,93 CM 4,02
P&A 3,75 mbo 3,49 EM 4,01
TBK 3,96 vwo 4,44 NG 3,92
WTB 3,87 NT 3,96
eta 0,12 eta 0,30 eta 0,05
man 3,98 ja 3,84 1 3,43 Ned 3,39
vrouw 3,65 nee 3,88 2 4,09 Ned Eng 4,14
3 3,79 Ned Eng Dui 3,78
≥4 3,67 anders 3,69
eta 0,18 eta 0,02 eta 0,27 eta 0,31
Tabel 4.3 maakt duidelijk dat de verschillen naar opleiding niet heel erg groot zijn:
WTB scoort het laagst, IV en TBK het hoogst. De verschillen naar vooropleiding zijn
wel beduidend, met name het verschil tussen mbo en vwo. Naar profiel zijn de ver-
schillen vrij gering. Mannen scoren wat hoger dan vrouwen en kinderen met dyslexie
wat lager dan kinderen zonder dyslexie. Bij de twee vragen naar het aantal talen dat
de studenten zeggen redelijk te beheersen en welke talen dat dan zijn, valt op dat de
studenten die zeggen twee talen te beheersen het hoogst scoren; dat zijn tegelijkertijd
voornamelijk de studenten die zeggen het Nederlands en Engels redelijk te beheersen.
De gegevens in Tabel 4.4 met de niveaus zijn in grote lijnen vergelijkbaar met die in
Tabel 4.3 met de scores.
In de vorige twee tabellen is één achtergrondkenmerk nog niet opgenomen, namelijk
de eindcijfers die de studenten in de vooropleiding hebben behaald op elk van de
vaardigheden (Schrijven, Luisteren, Spreken, Lezen). In de volgende tabel staan de
samenhangen in de vorm van correlatiecoëfficiënten tussen de Oxford OPT bij de
nameting en deze eindcijfers.

25
Tabel 4.5 – Samenhangen scores en niveaus Oxford OPT bij de nameting en eind-
examencijfers middelbare school (correlaties)
Oxford eindcijfers
totaal Schrijf-
vaardigheid
Luister-
vaardigheid
Spreek-
vaardigheid
Lees-
vaardigheid
scores 0,34 0,35 0,29 0,22 0,26
niveaus 0,38 0,42 0,40 0,25 0,31
De correlaties tussen de eindcijfers en Oxford OPT scores zijn klein tot matig, rond
de 0,30. De samenhang met de Schrijfvaardigheid is het hoogst, die met de Leesvaar-
digheid het laagst. Bij de samenhangen met de niveaus, die grover zijn dan de scores,
zijn de correlaties wat hoger.
4.4 De ontwikkeling van de taalvaardigheid
Een belangrijke vraag is hoeveel de studenten er nu op vooruit (of achteruit!) zijn
gegaan in de tussenliggende periode? Hiervoor hebben we al de resultaten gepresen-
teerd voor alle studenten die aan de voormeting hebben deelgenomen en alle studen-
ten die aan de nameting hebben deelgenomen. In de analyses die zijn uitgevoerd om
de ontwikkeling in kaart te brengen zijn alleen de gegevens gebruikt van de studenten
die aan beide metingen hebben deelgenomen. De ontwikkeling is hier bepaald op
basis van verschilscores, dat wil zeggen de resultaten bij de nameting minus die bij de
voormeting. In onderstaande tabel staan de resultaten voor zowel de toetsscores als
niveaus.
Tabel 4.6 – Kengetallen ontwikkeling Oxford OPT scores en niveaus (verschilscores
nameting - voormeting)
scores niveaus
N 287 287 287 284 284 284
gem. -1,99 -0,90 -3,01 -0,04 -0,03 -0,13
SD 13,77 15,05 19,71 0,70 0,77 1,00
minimum -88 -87 -89 -3,00 -3,00 -4,00
maximum 38 31 75 2,00 2,00 3,00

26
Er zijn 287 studenten die aan beide metingen hebben deelgenomen en waarvoor de
toetsscores bekend zijn; van 284 studenten zijn de niveaus bekend. De beide tabellen
laten zien dat, voor de studenten die aan beide testafnames hebben meegedaan, zowel
de scores als niveaus wat zijn teruggelopen, het meeste voor Listening.
Gaat het hier om een sterke achteruitgang? Om dat na te gaan zijn in onderstaande
tabel voor zowel de voor- als nameting de gemiddelde totaalscores van de Oxford
OPT per niveau weergegeven (van alle studenten die de toets hebben gemaakt).
Tabel 4.7 – Gemiddelde totaalscores Oxford OPT per niveau, voormeting en name-
ting
voormeting nameting
gem. SD N gem. SD N
1 A1 4,00 1 16,00 1
2 A2 35,27 2,80 11 32,45 6,11 11
3 B1 51,78 5,53 104 51,31 5,08 74
4 B2 70,03 5,53 192 69,91 5,52 138
5 C1 87,58 5,14 85 87,13 5,51 62
6 C2 103,25 3,52 12 101,00 1,41 2
totaal 68,90 15,94 405 67,44 15,70 288
Het verschil per niveau bedraagt steeds tussen de 15 en 20 punten, gemiddeld geno-
men voor zowel voor- als nameting gaat het om 17 punten. Als nu de gemiddelde
achteruitgang van bijna 2 punten (-1,99; zie Tabel 4.6) daartegen wordt afgezet, gaat
het om een kleine achteruitgang, namelijk van ruim een tiende niveau. Maar dat
neemt niet weg dat de studenten er gemiddeld genomen op achteruit zijn gegaan.
4.5 Ontwikkeling taalvaardigheid naar achtergrondkenmerken
Zijn er verschillen in de ontwikkeling van de taalvaardigheid die te maken hebben
specifieke kenmerken van de studenten, bijvoorbeeld hun vooropleiding of huidige
opleiding (i.c. studierichting)? We kunnen de beantwoording van deze vraag op ver-
schillende manieren benaderen. De meest simpele is gewoon de verschilscores (of-
wel: nameting minus voormeting; de leerwinst) berekenen en dan nagaan of er daarbij
verschillen zijn tussen bijvoorbeeld studenten op de vier opleidingen. Dat kan met
behulp van de statistische techniek variantie-analyse. Punt is dat daarbij geen reke-
ning wordt gehouden met verschillen in het beginniveau. In principe is het zo dat

27
studenten die bij de beginmeting een lage score hebben de meeste mogelijkheden
hebben te groeien; zij hebben ook niet zo gauw last van een ‘plafond’10
. Om met
verschillen in beginniveau rekening te houden, kan daarom soms beter covariantie-
analyse worden toegepast. Met deze techniek wordt de invloed van dat beginniveau
verdisconteerd bij de schatting van eindniveau. Het resultaat is dat alle studenten als
het ware op hetzelfde beginniveau worden gezet en de netto-groei wordt berekend.
Variantie-analyse met verschilscores kan tot andere resultaten leiden dan covariantie-
analyse met voor- en nametingscores. Beide benaderingen verschillen en vullen el-
kaar aan. Bij analyse van verschilscores gaat het om verandering en is de vraag aan de
orde of het ene programma tot meer vooruitgang leidt dan het andere. Bij covariantie-
analyse gaat het om de toestand op een bepaald moment en draait het om de vraag of
het ene programma tot betere resultaten leidt nadat rekening is gehouden met aan-
vangsverschillen.11
In een eerdere rapportage is al toegelicht hoe de achtergrondkenmerken tot stand zijn
gekomen12
; we zullen daar daarom nu niet meer op ingaan. Hierna volgen de tabellen
wat betreft opleiding, vooropleiding en profiel voor zowel de Oxford OPT scores als
niveaus.
Tabel 4.8 – Oxford OPT scores naar opleiding; verschilscores nameting – voorme-
ting en ongecorrigeerde scores nameting en voor voormeting gecorrigeerde scores
opleiding
verschilscore
nameting -
voormeting
nameting afwijking t.o.v.
gemiddelde
zonder correctie
nameting gecor-
rigeerd voor
voormeting
afwijking t.o.v.
gemiddelde na
correctie
1 IV -3,65 68,65 1,95 66,02 -0,68
2 P&A -1,30 65,03 -1,67 66,75 0,05
3 TBK 1,30 68,62 1,91 69,62 2,92
4 WTB -3,07 64,50 -2,20 65,31 -1,39
totaal -1,99 66,70
eta 0,13 0,11 0,08
10 Vgl. B. Tabachnick & L. Fidell (2001). Using multivariate statistics. Boston: Allyn and Bacon. p.303.
Overigens speelt dit ‘ceiling effect’ bij de Oxford in principe niet, omdat dit een adaptieve test is waarbij
items in de volledige range A1 – C2 beschikbaar zijn.
11 Tabachnick & Fidell (2001). O.c.
R. Veenstra (1999). Leerlingen-klassen-scholen. Prestaties en vorderingen van leerlingen in het voortge-
zet onderwijs. Amsterdam: Thela Thesis.
12 G. Driessen (2012). De taalvaardigheid Engels van Avans-studenten bij de intake. Nijmegen: ITS.

28
In de kolom ‘verschilscore’ zien we dat de hele groep studenten er 1,99 punt op ach-
teruit is gegaan. Dat is dezelfde score als in Tabel 4.3 is vermeld. De IV-studenten
zijn er met -3,65 het meest op achteruit gegaan; TBK is er als enige opleiding op
vooruitgegaan, met 1,30. Uit de eta coëfficiënt onder in de tabel valt af te leiden dat
de verschillen tussen de opleidingen niet erg groot zijn. In de kolom ‘nameting’ staan
de gemiddelde ruwe scores op de Oxford OPT bij de nameting. Hier zien we dat de
IV- en TBK-studenten het hoogst scoren en de WTB-studenten het laagst. In de ko-
lom ‘verschillen zonder correctie’ staan de precieze verschillen van elk van de vier
opleidingen ten opzichte van de totaalgemiddelde (van 66,70). In de daarop volgende
kolom staan de gemiddelde scores nadat rekening is gehouden met verschillen tussen
de opleidingen bij de voormeting. Hoe groot die verschillen zijn zien we in de laatste
kolom. Nu zien we dat ten opzichte van de ongecorrigeerde scores een verschuiving
heeft plaatsgevonden. De IV-studenten doen het nu ruim 2,5 punt slechter, (1,95 +
0,68) de P&A-studenten ruim 1,5 beter (1,67 + 0,05). Hoewel er dus nog steeds spra-
ke is van verschillen, is de relevantie daarvan echter zeer beperkt. Eerder hebben we
in Tabel 4.7 laten zien dat het verschil tussen elk van de niveaus rond de 15 à 20
punten bedraagt. Dat betekent dus dat 1,5 punt verschil ongeveer een tiende niveau
impliceert.
In onderstaande tabel staan vergelijkbare gegevens, maar nu niet met de scores maar
niveaus. De resultaten zijn daardoor wat grover.
Tabel 4.9 – Oxford OPT niveaus naar opleiding; verschilscores nameting – voorme-
ting en ongecorrigeerde niveaus nameting en voor voormeting gecorrigeerde niveaus
opleiding
verschilscore
nameting -
voormeting
gemiddelde
zonder correctie
nameting gecor-
rigeerd voor
voormeting
afwijking t.o.v.
gemiddelde na
correctie
IV -0,16 3,99 0,11 3,84 -0,04
P&A -0,03 3,74 -0,14 3,84 -0,04
TBK 0,13 3,96 0,07 4,02 0,14
WTB 0,00 3,87 -0,01 3,91 0,02
totaal -0,04 3,88
eta 0,14 0,13 0,08
In de volgende twee tabellen staan de resultaten met betrekking tot de vooropleiding.
(De scores voor de totale groep die in deze tabellen staan, kunnen enigszins afwijken
van die in de vorige tabel met de uitsplitsing naar opleiding. Dat komt omdat niet van

29
alle studenten de vooropleiding bekend is. Iets soortgelijks geldt de hierna volgende
tabellen met de gegevens voor het profiel.)
Tabel 4.10 – Oxford OPT scores, respectievelijk niveaus naar vooropleiding; ver-
schilscores nameting – voormeting en ongecorrigeerde scores nameting en voor
voormeting gecorrigeerde scores
vooropleiding
verschilscore
nameting -
voormeting
gemiddelde
zonder correctie
nameting gecor-
rigeerd voor
voormeting
afwijking t.o.v.
gemiddelde na
correctie
scores
havo -2,20 67,84 1,42 66,83 0,41
mbo -2,43 59,35 -7,07 64,02 -2,40
vwo -0,91 74,70 8,28 69,85 3,43
totaal -2,15 66,42
eta 0,03 0,25 0,09
niveaus
havo -0,07 3,93 0,06 3,89 0,01
mbo -0,06 3,49 -0,38 3,71 -0,16
vwo 0,14 4,46 0,59 4,22 0,35
totaal -0,05 3,88
eta 0,08 0,31 0,15
Uit de tabel met Oxford OPT scores blijkt dat de mbo-studenten er het meest op ach-
teruit zijn gegaan, de vwo-studenten het minst. Bij de nameting scoren de vwo-
studenten het hoogst, de mbo-studenten het laagst. Het verschil tussen beide catego-
rieën bedraagt ruim 15 punten, dus één niveau. (Dit zien we ook in de tabel met Ox-
ford OPT niveaus: 4,46 – 3,49) Als we de nameting corrigeren voor de voormeting,
dan zien we dat de verschillen tussen de drie vooropleidingen grotendeels verdwijnen.
(De eta neemt ook af van 0,25 naar 0,09.) Nadat rekening is gehouden met verschil-
len bij de voormeting bedraagt het verschil tussen mbo en vwo nog slechts ruim 5,5
punt.
Deze paragraaf afsluitend presenteren we in de volgende tabellen de resultaten met
betrekking tot het profiel van de studenten op de middelbare school.

30
Tabel 4.11 – Oxford OPT scores, respectievelijk niveaus naar profiel; verschilscores
nameting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting
gecorrigeerde niveaus
profiel
verschilscore
nameting -
voormeting
gemiddelde
zonder correctie
nameting gecor-
rigeerd voor
voormeting
afwijking t.o.v.
gemiddelde na
correctie
scores
CM 1,36 70,79 2,20 71,60 3,01
EM -2,66 69,37 0,79 68,45 -0,13
NG -4,85 66,50 -2,09 66,04 -2,55
NT -1,90 67,30 -1,29 68,26 -0,33
totaal -2,06 68,58
eta 0,12 0,08 0,09
niveaus
CM 0,09 4,03 0,05 4,09 0,10
EM -0,08 4,01 0,03 3,98 -0,01
NG -0,16 3,92 -0,07 3,89 -0,09
NT -0,03 3,96 -0,03 3,98 -0,00
totaal -0,05 3,99
eta 0,10 0,05 0,07
De tabel met de Oxford OPT scores maakt duidelijk dat de studenten met het CM-
profiel erop vooruit zijn gegaan; de studenten met een NG-profiel zijn er het meest op
achteruit gegaan. Bij de nameting zijn de verschillen niet zo groot. Als gecorrigeerd
wordt voor voormeting, verandert er niet zoveel. De bevindingen met betrekking tot
Oxford niveaus zijn vergelijkbaar.
Bovenstaande analyses zijn tevens verricht op de andere achtergrondkenmerken van
de studenten, te weten sekse, dyslexie, welke talen beheerst de student redelijk, en
hoeveel talen beheerst de student redelijk. Er is daarbij gecontroleerd of de eta co-
ëfficiënt ten minste voldeed aan het criterium van 0,15. Dit leidde voor de in totaal 16
analyses tot de volgende bevindingen.
Mannen scoren bij de nameting iets hoger qua niveau dan vrouwen (3,98 vs. 3,65; eta
= 0,18).
Bij de vraag naar welke talen redelijk worden beheerst zijn er verschillen qua scores
op de nameting. De scores op elk van de onderscheiden categorieën zijn: Ned: 57,67;
Ned, Eng: 70,80; Ned, Eng, Dui: 65,42; anders: 62,93 (eta = 0,26). En dat geldt even-
eens voor de niveaus: Ned: 3,39; Ned, Eng: 4,14; Ned, Eng, Dui: 3,78; anders: 3,68
(eta = 0,31).

31
Iets vergelijkbaars geldt voor de gerelateerde vraag naar het aantal talen dat redelijk
wordt beheerst. Met betrekking tot de scores op de nameting: aantal talen 1: 58,23; 2:
70,09; 3: 65,25; 4 of meer: 63,28 (eta = 0, 23). Met betrekking tot de niveaus: welke
talen: Ned: 3,43 Ned, Eng: 4,09; Ned, Eng, Dui: 3,79; anders: 3,67 (eta = 0,28).
Afsluitend zijn ook nog de samenhangen bepaald tussen de eindexamencijfers en de
leerwinst op de Oxford OPT.13
De betreffende correlaties staan in Tabel 4.12.
Tabel 4.12 – Samenhangen verschilscores Oxford OPT scores, respectievelijk niveaus
met eindexamencijfers middelbare school (correlaties)
Oxford eindexamencijfers
totaal Schrijven Luisteren Spreken Lezen
scores -0,19 -0,11 -0,15 -0,19 -0,24
niveaus -0,15 -0,03 -0,11 -0,19 -0,21
De samenhangen zijn hooguit zwak; de sterkste samenhang is er met Lezen, de zwak-
ste met Schrijven. De samenhangen zijn bovendien allemaal negatief. Met andere
woorden: de hoogte van het eindexamencijfer zegt heel weinig over de leerwinst en
voor zover dat wel het geval is, gaat een hoger cijfer gepaard met minder vooruit-
gang.
13 Aangetekend dient te worden dat van ruim 350 studenten het totaal eindcijfer beschikbaar is, terwijl van
circa 215 studenten ook nog de deelcijfers bekend zijn. Van praktisch alle studenten met mbo als voorop-
leiding ontbreken de deelcijfers. Verschillen in de achtergronden van beide groepen kunnen mogelijk van
invloed zijn op verschillen in de hoogte van de correlaties.

33
5 De docentenoordelen
5.1 Inleiding
Volgens de opzet van de pilot zouden er circa 40 studenten random geselecteerd
worden om door docenten te worden beoordeeld. Het doel was om zo een indruk te
verkrijgen van de productieve taalvaardigheid, die bij de afgenomen online tests te
weinig aan bod kwam. Met behulp van deze gegevens zou meer inzicht kunnen wor-
den verkregen in de validiteit van de tests.
Bij de voormeting zijn de studenten beoordeeld op Writing, bij de nameting ook op
Speaking. De Avans docenten hebben opdrachten ontwikkeld op het niveau A2, B1
en B2. Een voorbeeld voor Writing A2 is: ‘Where do you live? Describe your
town/city? What do you like/hate about it? (5-10 lines). De opdrachten zijn door drie
docenten beoordeeld qua Woordgebruik, Grammatica, Spelling, en Coherentie. Een
voorbeeld voor Speaking A2 is: “What was the latest film/concert/music/book/tv-
programme you particularly enjoyed? What did you like about it? Ook deze opdrach-
ten werden door de docenten beoordeeld, in dit geval met betrekking tot Range, Ac-
curacy, Fluency, Interaction, and Coherence. De beoordelingen vonden plaats in
termen van de ERK-niveaus, waarbij ook tussenniveaus (bv. A2+, B1-) konden wor-
den gebruikt.
Uiteindelijk zijn er circa 50 studenten beoordeeld, bij de voormeting alleen op Wri-
ting en bij de nameting op Writing en Speaking. Teneinde na te gaan in hoeverre de
beoordeelde studenten een random selectie vormden, is de groep die wél is beoor-
deeld vergeleken met de groep die níet is beoordeeld. Dat is gebeurd op alle achter-
grondkenmerken en taalkenmerken (vgl. hoofdstuk 1). Daarbij is nagegaan of er op
deze in totaal 36 kenmerken tussen beide groepen significante (p <0,05) en relevante
(eta >0,15) verschillen zijn. Dat bleek voor geen enkel kenmerk het geval te zijn. Met
andere woorden, de beoordeelde studenten lijken inderdaad een random trekking te
zijn.
Op basis van de beoordeling van Writing bij de nameting is de interrater betrouw-
baarheid bepaald. Daarvoor waren van een groep van 41 studenten de niveaus, zoals
beoordeeld door drie verschillende docenten, beschikbaar. De docenten hebben de
beoordelingen onafhankelijk van elkaar gemaakt. Twee van de drie docenten gebruik-
ten 11 niveaus, de derde 7. De gemiddelden van de eerste twee docenten waren onge-

34
veer gelijk, die van de derde was wat lager. Terwijl de correlaties tussen de oordelen
van de docenten sterk waren (0,75, 0,82, 0,88), waren de Kappa’s (als maat voor de
interrater betrouwbaarheid of overeenstemming) laag tot zeer laag (0,24, 0,08, -
0,73).14
De reden voor deze zeer lage betrouwbaarheid is waarschijnlijk dat er erg veel
categorieën (i.c. ERK-niveaus) zijn gebruikt in relatie tot de relatief geringe aantallen
studenten, waardoor de kans dat een student door de ene beoordelaar net iets anders is
beoordeeld dan door de andere zeer groot is. Ook speelt waarschijnlijk mee dat één
docent minder niveaus heeft gebruikt dan de andere twee. Op grond van de drie sco-
res is één score bepaald, het gemiddelde van de drie (omdat doorgaans ten minste
twee docenten dezelfde score hebben, wordt dat meestal die score).
De gemiddelde afstand tussen het hoogste en het laagste oordeel per student dat door
de docenten werd gegeven bedroeg 0,48 ERK-niveau. Aangezien studenten slechts 5
tot 10 regels hadden geschreven per niveau-vraag, en er slechts van drie niveaus één
vraag was om te beantwoorden, valt deze spreiding in docentoordelen niet groot te
noemen. In de vergelijkingen met de Oxford OPT testscores is het gemiddelde van de
drie docentscores gehanteerd.
5.2 De ontwikkeling van de taalvaardigheid
De oordelen zijn gegeven in de vorm van niveaus, waarbij een sterke differentiatie is
aangehouden. In onderstaande tabel staan de kengetallen.
Tabel 5.1 – Kengetallen docentenoordelen niveaus voor- en nameting
voormeting nameting
Writing Speaking Writing
N 50 51 52
gem. 2,92 2,84 2,76
SD 0,61 0,79 0,72
minimum 1,33 1,00 1,00
maximum 4,33 4,67 4,00
14 Kappa kan als volgt worden geïnterpreteerd: <0,20 ‘poor’, 0,21-0,40 ‘fair’, 0,41-0,60 ‘moderate’, 0,61-
0,80 ‘good’, 0,81-1,00 ‘very good’ (Altman, 1991).
D. Altman (1991). Practical statistics for medical research. London: Chapman and Hall.

35
Het gemiddelde niveau ligt volgens de docenten onder B1 (=3). De tabel laat zien dat,
wanneer we de hele groep studenten nemen die aan de voormeting en/of nameting
heeft deelgenomen, het niveau voor Writing tussen de voor- en nameting is afgeno-
men. Wanneer we ons beperken tot de studenten die zowel aan de voor- als nameting
hebben deelgenomen, resteert er nog een groep van 34 studenten. De verschilscore
(nameting minus voormeting) bedraagt voor deze beperktere groep 0,06.
Eerder hebben we de resultaten gepresenteerd van variantie- en covariantie-analyses
met de Oxford OPT scores en niveaus. Het doel daarvan was nagaan of er verschillen
zijn die te maken hebben achtergrondkenmerken van de studenten. Hierna worden de
resultaten gepresenteerd van dezelfde analyses van de docentenoordelen op het ge-
beid van Writing. Daarbij past een stevig voorbehoud: de aantallen studenten zijn
voor sommige categorieën vrij klein. Om het gewicht van de bevindingen op hun
waarde te kunnen schatten, worden de aantallen daarom ook steeds apart vermeld.
Tabel 5.2 – Docentenoordeel Writing niveaus naar opleiding; verschilscores name-
ting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting gecorri-
geerde niveaus
opleiding
N verschilscore
nameting -
voormeting
nameting afwijking
t.o.v. gemid-
delde zonder
correctie
nameting
gecorrigeerd
voor voorme-
ting
afwijking
t.o.v. gemid-
delde na
correctie
IV 15 0,04 3,00 -0,00 2,99 -0,01
P&A 14 0,07 3,38 0,38 3,17 0,17
TBK 2 0,50 2,17 -0,83 2,90 -0,09
WTB 3 -0,22 1,78 -1,22 2,32 -0,68
totaal 34 0,06 3,00
eta 0,29 0,71 0,34

36
Tabel 5.3 – Docentenoordeel Writing niveaus naar vooropleiding; verschilscores
nameting – voormeting en ongecorrigeerde niveaus nameting en voor voormeting
gecorrigeerde niveaus
vooropleiding
N verschilscore
nameting -
voormeting
nameting afwijking
t.o.v. gemid-
delde zonder
correctie
nameting
gecorrigeerd
voor voorme-
ting
afwijking
t.o.v. gemid-
delde na
correctie
havo 19 0,07 2,93 -0,12 2,97 -0,08
mbo 7 0,05 2,90 -0,14 2,94 -0,10
vwo 3 0,67 4,11 1,07 3,79 0,74
totaal 29 0,13 3,04
eta 0,42 0,60 0,42
Tabel 5.4 – Docentenoordeel Writing niveaus naar profiel; verschilscores nameting –
voormeting en ongecorrigeerde niveaus nameting en voor voormeting gecorrigeerde
niveaus
profiel
N verschilscore
nameting -
voormeting
nameting afwijking
t.o.v. gemid-
delde zonder
correctie
nameting
gecorrigeerd
voor voorme-
ting
afwijking
t.o.v. gemid-
delde na
correctie
CM 2 0,00 3,00 -0,09 2,96 -0,13
EM 12 0,25 3,28 0,19 3,21 0,12
NG 2 -0,17 3,67 0,58 3,00 -0,09
NT 6 0,11 2,55 -0,54 2,92 -0,17
totaal 22 0,15 3,10
eta 0,29 0,54 0,20
Ten aanzien van de opleiding blijkt dat TBK er qua leerwinst het meest vooruit is
gegaan; WTB is er op achteruit gegaan. Wat betreft de vooropleiding zijn de studen-
ten met vwo er het meeste op vooruit gegaan. Als het gaat om het profiel op de mid-
delbare school blijkt dat EM er het meest op vooruit is gegaan; NG is erop achteruit
gegaan. Wanneer we naar de resultaten op de nameting kijken, ontstaat deels een iets
ander beeld. De IV- en P&A-studenten worden bij de nameting relatief hoog beoor-
deeld en van die twee groepen de P&A-studenten het hoogst. Qua vooropleiding
scoren de havo- en mbo-studenten ongeveer gelijk op de nameting. Als het gaat om
het profiel op de middelbare school worden de NT-studenten het laagst beoordeeld.

37
5.3 Samenhangen eindexamencijfers en docentenoordelen
In onderstaande tabel staan de samenhangen tussen de eindexamencijfers op de mid-
delbare school met de docentenoordelen, voor zowel de voor- als nameting als ook de
verschilscores
Tabel 5.5 – Samenhangen eindexamencijfers middelbare school met de docentenoor-
delen (correlaties)
docentenoordeel eindexamencijfers
totaal Schrijven Luisteren Spreken Lezen
Writing voormeting 0,25 0,64 0,12 0,55 0,37
Speaking nameting 0,33 0,40 0,28 0,47 0,48
Writing nameting 0,15 0,61 0,27 0,40 0,30
Writing verschilscores -0,25 0,27 0,18 0,35 0,07
De samenhangen met de eindexamencijfers totaal zijn zwak. De sterkste samenhang
voor zowel voor- als nameting is er tussen Writing en Schrijven, wat natuurlijk niet
onverwacht is. Er bestaat een overlap van tegen de 40% (nl. 0,64 x 0,64) tussen de
beide soorten metingen. De samenhangen met Luisteren zijn het zwakst. Wellicht wel
opmerkelijk is dat de samenhang tussen Speaking en Spreken niet sterker is en dat de
samenhang tussen Writing op de voormeting en Spreken nog sterker is. Opvallend is
ook de negatieve samenhang tussen de verschilscores en het totaal eindcijfer: hoe
hoger het eindcijfer, hoe minder vooruitgang. Dat de correlaties met de deelcijfers
positief zijn en die met het totaalcijfer negatief heeft, zoals eerder ook al opgemerkt,
mogelijk te maken met het feit dat van de studenten met mbo als vooropleiding een
geen deelcijfers beschikbaar zijn.
5.4 Samenhangen Oxford OPT met correctiefactor en docentenoordelen
In Tabel 5.6 zijn we nagegaan wat de concrete samenhang is tussen de niveaus vol-
gens de Oxford OPT met de correctiefactor van -1 en de niveaus volgens de docenten.
Via deze kruistabel krijgen we inzicht in de overlap van beide indelingen.

38
Tabel 5.6 – Samenhangen Oxford OPT met correctiefactor van -1 en docentenoorde-
len niveaus (aantallen)
Oxford docentenoordeel Writing
A1 A2 A2+ B1- B1 B1+ B2- B2 B2+ C1- totaal
A1 1 0 0 0 0 0 0 0 0 0 1
A2 3 4 1 0 4 1 0 0 0 0 13
B1 0 2 2 4 6 6 2 0 0 0 22
B2 0 0 2 0 4 5 0 1 1 1 14
C1 0 0 0 0 0 1 1 0 0 0 2
totaal 4 6 5 4 14 13 3 1 1 1 52
Oxford docentenoordeel Speaking
A1 A2- A2 A2+ B1- B1 B1+ B2- B2 totaal
A1 1 0 0 0 0 0 0 0 0 1
A2 1 1 5 4 0 2 1 0 0 14
B1 0 0 3 3 3 5 3 2 2 21
B2 0 0 0 2 0 7 1 0 3 13
C1 0 0 0 0 0 2 0 0 0 2
totaal 2 1 8 9 3 16 5 2 5 51
De tabel laat zien dat er erg veel combinaties mogelijk zijn, wat met name komt door
de vele tussenniveaus bij de docentoordelen. De kans dat beide soorten oordelen (van
de test en van de docenten) niet helemaal overeenstemmen is dan ook bijzonder groot.
In zijn algemeenheid kan echter wel worden geconcludeerd dat het niveau volgens de
Oxford met een correctiefactor van -1 evident hoger ligt dan dat volgens de docenten.

39
6 De ITAV Placement Test
6.1 Inleiding
De ITAV Placement Test is een cloze-test voor de Nederlandse situatie op basis van
de Maple T.A. ontwikkeld door het Instituut voor Talen en Academische Vaardighe-
den (ITAV) van de TU Delft. De test wordt daar gebruikt om de studenten op het
juiste niveau in een cursus te laten instromen. Hierdoor is het een typisch ‘low-stakes’
test. De test wordt in Delft ook niet ingezet om verdere uitspraken te kunnen doen
over het algemene niveau Engels.
De ITAV Placement Test is alleen bij de nameting afgenomen. Van 292 studenten
zijn de scores beschikbaar; dat is 68%. Van niet al die studenten is ook het niveau
beschikbaar. Dat komt omdat het ITAV bij scores lager dan 40 niet differentieert en
bij de niveau-indeling pas start bij scores van 40 ofwel niveau B1. Dit betekent dus
dat de gerapporteerde niveaus een overschatting vormen van het niveau van de hele
groep. 80 studenten hebben een score lager dan 40; het aantal studenten waarvan het
niveau beschikbaar is bedraagt 215 (50%).
Om te controleren of er sprake is van selectieve deelname, is de groep studenten met
een score (292) vergeleken met de groep zonder score (135). Dat is – zoals eerder in
hoofdstuk 1 toegelicht – gebeurd op alle achtergrondkenmerken (zoals opleiding,
vooropleiding, sekse) en alle taalkenmerken (testscores, niveaus, beoordelingen)
voortkomend uit de voormeting. Daarbij is nagegaan of er op deze in totaal 36 ken-
merken tussen beide groepen significante (p <0,05) en relevante (eta >0,15) verschil-
len zijn.
Deze analyse liet, net als de eerder gepresenteerde overall analyse waarbij is nage-
gaan of er verschillen zijn tussen degenen die al-dan-niet aan de nameting hebben
deelgenomen, zien dat er slechts op één kenmerk een verschil bestond, te weten de
opleiding: IV: 63% deelname ITAV Placement Test; P&A: 70%; TBK: 86%; WTB:
65%. (N.B. Aantal studenten bij TBK is 47.) Dit verschil is in statistische termen
echter vrij gering: eta = 0,15. Er is daarmee dus geen grond om te veronderstellen dat
de groep studenten die de ITAV Placement Test niet heeft gemaakt een specifieke
groep vormt.

40
6.2 Verdelingskenmerken van de ITAV Placement Test
In de volgende tabel staan de kengetallen van ITAV Placement Test, zowel qua score
(= % goed; incl. scores <40) als niveau.
Tabel 6.1 – Kengetallen ITAV Placement Test scores en niveaus
scores niveaus
N 292 212
gem. 50,51 3,50
SD 16,55 0,56
minimum 0 3
maximum 92 5
Gemiddeld genomen ligt de score net boven de 50, dat wil zeggen de helft van wat in
principe te halen valt (namelijk 100%). De hier voorkomende niveaus zijn B1=3,
B2=4 en C1=5. Het gemiddelde niveau is 3,50, dus tussen B1 en B2 in.
6.3 De ITAV Placement Test naar achtergrondkenmerken
In onderstaande tabellen staan de gemiddelden uitgesplitst naar de achtergrondken-
merken van de studenten; eerst de scores, daarna de niveaus.

41
Tabel 6.2 – ITAV Placement Test scores naar opleiding, vooropleiding en profiel,
sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddelden)
IV 55,05 havo 52,48 CM 51,17
P&A 44,78 mbo 41,88 EM 53,51
TBK 52,74 vwo 60,52 NG 55,15
WTB 50,44 NT 53,58
eta 0,26 eta 0,33 eta 0,07
man 53,16 ja 49,58 1 43,61 Ned 42,76
vrouw 43,84 nee 50,77 2 54,44 Ned Eng 55,36
3 49,18 Ned Eng Dui 50,16
≥4 45,82 anders 44,47
eta 0,25 eta 0,03 eta 0,24 eta 0,29
Tabel 6.3 – ITAV Placement Test niveaus naar opleiding, vooropleiding en profiel,
sekse, dyslexie, beheersing aantal talen en beheersing welke talen (gemiddelden)
IV 3,61 havo 3,53 CM 3,68
P&A 3,36 mbo 3,24 EM 3,52
TBK 3,54 vwo 3,68 NG 3,50
WTB 3,45 NT 3,54
eta 0,18 eta 0,22 eta 0,10
man 3,56 ja 3,34 1 3,32 Ned 3,32
vrouw 3,29 nee 3,52 2 3,52 Ned Eng 3,54
3 3,49 Ned Eng Dui 3,51
≥4 3,55 anders 3,42
eta 0,21 eta 0,11 eta 0,11 eta 0,12
Uit Tabel 6.2 blijkt dat er qua scores redelijk grote verschillen zijn naar opleiding.
Dat heeft vooral te maken met de lage scores van de P&A-studenten. Het verschil met
de hoogstscorende opleiding, IV, bedraagt ruim 10%-punten. De verschillen naar

42
vooropleiding zijn nog groter. De mbo-studenten scoren bijna 20%-punten lager dan
de vwo-studenten. Tussen de profielen zijn de verschillen beperkt. Opvallend zijn de
verschillen naar sekse: mannen scoren 10%-punten hoger dan vrouwen. Er zijn geen
verschillen tussen studenten die dyslectisch zijn en studenten die dat niet zijn. Bij de
twee vragen naar het aantal talen dat de studenten zeggen redelijk te beheersen en
welke dat dan zijn valt op dat de studenten die zeggen twee talen te beheersen het
hoogst scoren; dat zijn tegelijkertijd voornamelijk de studenten die zeggen het Neder-
lands en Engels redelijk te beheersen.
Bij Tabel 6.3 met de niveaus in plaats van scores zien we in grote lijnen een verge-
lijkbaar beeld. Verschillen hebben te maken met het feit dat bij de niveaus de laagst-
scorende studenten (<40% goed) niet zijn meegenomen.
In de vorige twee tabellen hebben we één achtergrondkenmerk nog niet betrokken,
namelijk de eindcijfers die de studenten in de vooropleiding hebben behaald op elk
van de vaardigheden (Schrijven, Luisteren, Spreken, Lezen). In de volgende tabel
staan de samenhangen in de vorm van correlatiecoëfficiënten tussen de ITAV Place-
ment Test en deze eindcijfers.
Tabel 6.4 – Samenhangen scores en niveaus ITAV Placement Test en eindcijfers
(correlaties)
ITAV eindcijfers
totaal Schrijf-
vaardigheid
Luister-
vaardigheid
Spreek-
vaardigheid
Lees-
vaardigheid
scores 0,41 0,41 0,36 0,39 0,40
niveaus 0,41 0,36 0,24 0,31 0,41
De correlaties tussen de eindcijfers en ITAV Placement Test scores zijn matig sterk,
rond de 0,40. Zoals verwacht, is de samenhang met de Luistervaardigheid iets lager,
te weten 0,36. Bij de correlaties met de niveaus is er iets meer variatie, De sterkste
samenhang is er met de Leesvaardigheid (0,41), de zwakste met de Luistervaardig-
heid (0,24).

43
6.4 Samenhangen tussen de ITAV Placement Test en de Oxford OPT en docen-
tenbeoordelingen
In de volgende tabel staan de samenhangen weergegeven tussen de ITAV Placement
Test en de Oxford OPT, zowel voor de scores als niveaus.
Tabel 6.5 – Samenhangen scores en niveaus ITAV Placement Test en Oxford OPT
(nameting; correlaties)
ITAV Oxford
totaal Usage Listening
scores 0,48 0,51 0,35
niveaus 0,37 0,41 0,23
De correlaties tussen de ITAV Placement Test en Oxford OPT scores zijn minder
sterk dan wellicht verwacht zou worden.15
Kennelijk meten beide tests voor een be-
langrijk deel verschillende vaardigheden. De samenhang met Usage scores is het
sterkst. De correlaties tussen de niveaus zijn nog zwakker dan die met de scores.
De samenhangen tussen de niveaus kan nog op een andere manier tot uitdrukking
worden gebracht. In onderstaande kruistabel is weergegeven wat de overlap is tussen
de niveaus van de ITAV Placement Test en de Oxford OPT.
15 P.M. Een correlatie kleiner dan 0,10 wordt doorgaans als triviaal beschouwd, van 0,10 - 0,30 klein, van
0,30 – 0,50 matig, van 0,50 – 0,70 sterk, van 0,70 – 0,90 zeer sterk. Bij 0,00 is er totaal geen samenhang,
bij 1,00 is er volledige overlap.

44
Tabel 6.6 – Samenhangen ITAV Placement Test niveaus en Oxford OPT niveaus
(aantallen)
ITAV Oxford totaal
A0 A2 B1 B2 C1 C2 totaal
B1 1 32 64 14 0 111
B2 3 4 44 37 2 90
C1 0 0 2 4 0 6
totaal 4 36 110 55 2 207
ITAV Oxford Usage
B1 5 36 58 12 0 111
B2 2 10 42 33 3 90
C1 0 0 2 2 2 6
totaal 7 46 102 47 5 207
ITAV Oxford Listening
B1 0 5 30 54 19 3 111
B2 1 3 6 46 27 7 90
C1 0 0 0 4 2 0 6
totaal 1 8 36 104 48 10 207
In het bovenste paneel van de tabel, wat betrekking heeft op de Oxford OPT als ge-
heel, zien we bijvoorbeeld dat 32 van de 207 studenten het niveau B1 heeft op zowel
de ITAV Placement Test als de Oxford OPT; 44 hebben op beide tests B2 en 4 C1. In
totaal is er dus overeenstemming voor 80 van de 207 studenten, ofwel ongeveer 40%.
In totaal 117 (ruim 55%) van de gevallen is het Oxford OPT niveau hoger dan het
ITAV Placement Test niveau en in 10 gevallen (5%) scoort de ITAV Placement Test
hoger.
In de navolgende tabel staan de samenhangen tussen de ITAV Placement Test en de
docentenoordelen van de nameting. Bij deze correlaties dient bedacht te worden dat
ze betrekking hebben op slechts 48 en 47, respectievelijk 31 en 32 studenten.

45
Tabel 6.7 – Samenhangen ITAV Placement Test scores en niveaus met de docenten-
oordelen (nameting; correlaties)
ITAV docentenoordeel
Writing Speaking
scores 0,61 0,65
niveaus 0,52 0,60
De samenhangen met de docentenoordelen liggen duidelijk hoger dan met de Oxford
OPT.
Ook hier zijn we via een kruistabel nagegaan hoe groot de overlap is qua niveau
tussen de ITAV Placement Test en docentenoordelen. De resultaten staan in onder-
staande tabel.
Tabel 6.8 – Samenhangen ITAV Placement Test niveaus en docentenoordelen niveaus
(aantallen)
ITAV docentenoordeel Writing
A1 A2 A2+ B1 B1+ B2- B2 C1- totaal
B1 1 4 1 6 6 0 0 0 18
B2 0 0 0 4 4 3 1 1 13
totaal 1 4 1 10 10 3 1 1 31
ITAV docentenoordeel Speaking
A2- A2 A2+ B1- B1 B1+ B2- B2 totaal
B1 1 5 4 2 5 1 0 1 19
B2 0 0 0 0 7 1 2 3 13
totaal 1 5 4 2 12 2 2 4 32
Als we zeer strikt te werk gaan (alleen bv. B1 x B1), dan is er in ongeveer een kwart
van de gevallen overeenstemming tussen de ITAV Placement Test en de docenten.
Als we de tabel minder strikt benaderen (bv. B1 x B1- en B1 en B1+), dan is er in
ruim 50%, respectievelijk 41% van de gevallen van overlap. Dan is er ook in ruim
45%, respectievelijk 55% van de gevallen sprake van een hogere waardering door de
ITAV Placement Test dan door de docenten.

47
7 Effecten van de taaltrainingsprogramma’s
7.1 Deelname programma’s
Om, als daartoe aanleiding bestaat, hun niveau Engels op peil te brengen, konden de
bij de voormeting laagstscorende studenten gedurende het studiejaar een van twee
zelfstudieprogramma’s volgen, namelijk Campus Language Training (CLT) of Lin-
guaTV (LTV). Degenen die daar gebruik van maakten, kregen daarvoor ter stimule-
ring compensatie in de vorm van vrijstelling voor een ander studie-onderdeel. Het
programma hield steeds bij wanneer een student inlogde en hoe lang hij ingelogd
bleef. De geregistreerde inlogtijd (in uren, minuten en seconden) biedt geen garantie
dat de student ook daadwerkelijk actief bezig is geweest. Echter, wanneer er geduren-
de een bepaald aantal minuten geen actie werd ondernomen, werd de student automa-
tisch uitgelogd. Althans, dit was de bedoeling, maar achteraf bleek dat dat door tech-
nische onvolkomenheden van LinguaTV niet goed gefunctioneerd heeft en dat alle
door LinguaTV geregistreerde tijden onbetrouwbaar en daarmee onbruikbaar zijn.
Voor de andere methode, CLT, speelde dat probleem niet. Om toch een indicatie te
krijgen van het aantal uren dat de studenten met LTV hebben gewerkt, is hen ge-
vraagd daarvan een schatting te maken.
De eerste sessie voor studenten betrof een instructie in het gebruik van het program-
ma en duurde circa 30 minuten. Dat betekent dat de studenten met een inlogtijd van
maximaal 30 minuten alleen die instructie hebben gevolgd en daarna niet verder zijn
gegaan met het eigenlijke programma. Daarnaast is er nog een groep studenten die
daarna nog wel een beperkte tijd ingelogd is geweest, maar die toch geen serieus
werk hebben gemaakt van oefenen. Avans Hogeschool gaat er vanuit dat alle studen-
ten die minder dan 2 uur inlogtijd hebben beschouwd kunnen worden als niet-
deelnemers.
Voor de CLT waren er van in totaal 76 studenten inlogscores beschikbaar, dat wil
zeggen van hen was de tijd geregistreerd. Echter, 58% van deze studenten is minder
dan 2 uur ingelogd geweest. Van de resterende 32 studenten bedraagt de gemiddelde
inlogtijd 1080 minuten (18 uur), met een maximum van 86 uur. In verband met de
geringe aantallen zijn daar twee categorieën van gevormd: 2–12 uur, en 12 uur of
meer. Wat betreft LTV waren er van 58 studenten scores beschikbaar. Bijna 21% van
hen had echter minder dan 2 uur met het programma gewerkt. De resterende 46 stu-
denten hadden er gemiddeld 1619 minuten (27 uur) aan besteed, met een maximum

48
van 100 uur. Gemiddeld is er dus veel meer tijd met LTV gewerkt dan met CLT, en
ook het maximum aantal uren ligt bij LTV veel hoger. Mogelijk dat het verschil te
maken heeft met de registratie door het programma, dan wel de inschatting achteraf
door de studenten zelf. Daarentegen heeft ongeveer de helft van de LTV studenten bij
deze inschatting gebruik gemaakt van een logboek dat ze tijdens het werken met de
leermethode hadden bijgehouden.
7.2 Deelname naar achtergrondkenmerken
Voor deelname aan een programma waren op basis van de resultaten bij de voorme-
ting de studenten met de laagste scores geselecteerd. In onderstaande tabel kan wor-
den afgelezen hoe de verdelingen zijn van de geselecteerde studenten (hier: degenen
met een score qua inlogtijd, dus incl. < 2 uur) met betrekking tot de niveaus en scores
op de Oxford OPT bij de voormeting.
Tabel 7.1 – Oxford OPT niveaus en scores (voormeting) naar selectie voor program-
ma
niveaus score
A1 A2 B1 B2 C1 C2 N
(=100%)
gem. gem.
geen 0% 2% 9% 54% 30% 4% 272 4,25 74,50
CLT 0% 5% 59% 33% 3% 0% 76 3,33 58,26
LTV 0% 2% 61% 35% 2% 0% 57 3,37 56,40
totaal 0% 3% 26% 47% 21% 3% 405 3,95 68,90
eta 0,54 0,50 0,50
Op de eerste plaats blijkt dat in totaal slechts 3% van de studenten onder het streefni-
veau B1 zit, althans volgens de Oxford (zie ook hoofdstuk 4). Ook zijn er tussen
beide programma’s praktisch geen verschillen qua Oxford OPT niveaus en scores. Er
zijn wel flinke verschillen met de studenten die niet aan een programma hebben deel-
genomen. Circa 65% van de studenten met inlogtijd op een programma heeft maxi-
maal B1, terwijl dat voor de overige studenten ongeveer 10% is. Anderzijds zit min-
der dan 3% van de studenten met een inlog-score op niveau C, terwijl dat bij de
overige studenten 34% is. Gemiddeld genomen zitten de niet-geselecteerde studenten
één niveau lager dan de geselecteerde studenten. Ook bij de Oxford OPT scores zien
we deze verschillen terug: ongeveer 17 punten, wat overeenkomt met één niveau.

49
Bij bovenstaande past een belangrijk voorbehoud: eerder hebben we er op gewezen
dat de Oxford OPT waarschijnlijk een te hoog niveau indiceert (zie hoofdstuk 4). Als
we daar rekening mee zouden houden en een correctie van één niveau zouden hante-
ren (dus t/m B1 i.p.v. tot B1), dan zit nog circa 35% van de geselecteerde studenten
boven het streefniveau.
De aantallen studenten in Tabel 7.1 hebben betrekking op álle studenten met een
inlogscore. Wanneer de studenten met minder dan 2 uur inlogtijd worden verwijderd,
is het uiteindelijke te analyseren aantal vrij gering. In Tabel 7.2 staat de verdeling van
deze studenten.
Tabel 7.2 – Oxford niveaus en scores (voormeting) naar deelname programma (≥ 2
uur)
niveaus score
A1 A2 B1 B2 C1 C2 N
(=100%)
gem. gem.
geen 0% 2% 16% 52% 25% 4% 328 4,11 72,02
CLT 0% 9% 63% 25% 3% 0% 32 3,22 56,03
LTV 0% 2% 69% 27% 2% 0% 45 3,29 55,38
totaal 0% 3% 26% 47% 21% 3% 405 3,95 68,90
eta 0,45 0,40 0,40
De tabel laat nogmaals zien dat de aantallen studenten die ook daadwerkelijk aan een
programma hebben deelgenomen relatief gering zijn. Dit heeft vooral consequenties
voor de mogelijkheden om verfijnde analyses te verrichten. We zien ook dat deze
groep iets lager scoort dan de totale groep met inlogtijd (zie Tabel 7.1).
Het aantal studenten dat met een van beide methodes heeft geoefend is relatief be-
perkt, en ook zijn de verdelingen van de inlogscores verre van ideaal. Met deze voor-
behouden in ons achterhoofd hebben we toch een poging gedaan om inzicht te krijgen
in de samenhang tussen de inlogtijd per methode en enkele achtergrondkenmerken. In
de volgende tabel hebben we de inlogtijd (in uren) uitgesplitst naar opleiding, voorop-
leiding, profiel, eindexamencijfer en het niveau van de Oxford PT bij de voormeting.

50
Tabel 7.3 – Gemiddeld aantal uren deelname CLT naar achtergrondkenmerken
opleiding gem. N vooropl. gem. n profiel gem. N
IV 24 10 havo 26 18 CM 9 4
P&A 20 14 mbo 9 13 EM 38 10
TBK 6 2 vwo 2 1 NG 11 3
WTB 7 6 NT 10 2
eindcijfer gem. N Oxford gem. n
4 5 1 A2 6 3
5 17 5 B1 16 20
6 20 16 B2 18 8
7 11 6 C1 86 1
Tabel 7.4 – Gemiddeld aantal uren deelname LTV naar achtergrondkenmerken
opleiding gem. N vooropl. gem. N profiel gem. N
IV 38 15 havo 30 30 CM 43 6
P&A 30 17 mbo 24 14 EM 34 10
TBK 11 9 vwo 10 1 NG 39 3
WTB 13 5 NT 15 12
eindcijfer gem. N Oxford gem. N
4 3 2 A2 2 1
5 38 7 B1 30 31
6 25 26 B2 22 12
7 25 7 C1 8 1
8 60 1
De tabellen laten zien dat er duidelijke verschillen zijn in het aantal uren dat de stu-
denten hebben geoefend. Voor sommige achtergrondkenmerken is de trend voor
deelname aan CLT vergelijkbaar aan die voor deelname aan LTV, voor andere ken-
merken niet. Zo hebben qua opleiding IV en P&A het meeste aantal uren geoefend
(terwijl deze beide opleidingen qua instapniveau niet ongunstiger scoren dan de ande-
re opleidingen; vgl. Tabel 3.9), zowel bij CLT als LTV. Anderzijds scoren bij CLT de
studenten met instapniveau B2 het hoogst, terwijl dat bij LTV B1 is.

51
7.3 Taalvaardigheid naar deelname programma
De centrale vraag van deze pilot luidt met welk programma de studenten het beste
kunnen oefenen om hun te lage instapniveau op peil te brengen. In Tabel 7.5 hebben
we de resultaten van enkele analyses samengebracht. In deze tabel staan voor de
Oxford OPT de verschilscores (dus de leerwinst) van de scores en niveaus.16
Deze
scores zijn uitgesplitst naar deelname aan een programma. Er is daarbij een vijfdeling
aangehouden: studenten die niet geselecteerd zijn of wel geselecteerd zijn maar min-
der dan 2 uur ingelogd zijn geweest; studenten die aan CLT hebben deelgenomen en
tussen de 2 en 12 uur ingelogd zijn geweest, dan wel 12 uur of meer waren ingelogd;
studenten die hebben aangegeven tussen de 2 en 12 uur met LTV te hebben gewerkt
en studenten die zeggen dat 12 uur of meer te hebben gedaan. In de onderste rij staan
de gegevens voor de totale steekproef. In de tabel staan de gemiddelden en aantallen
studenten waarop ze betrekking hebben vermeld. Voor de totale steekproef bovendien
nog de standaarddeviaties. (De gegevens voor de totale steekproef hebben we ook al
in eerdere hoofdstukken gepresenteerd.)
Tabel 7.5 – Verschilscores Oxford OPT scores en niveaus naar deelname programma
deelname
programma
Oxford
scores
verschilscores
Oxford
niveaus
verschilscores
niet of <2u gem. -2,65 -0,08
N 212 209
CLT 2-12u gem. -1,75 0,00
N 20 20
CLT ≥12u gem. -0,27 0,09
N 11 11
LTV 2-12u gem. 1,13 0,06
N 16 16
LTV ≥12u gem. 0,36 0,07
N 28 28
totaal gem. -1,99 -0,04
SD 13,77 0,70
N 287 284
16 In principe is het mogelijk ook verschilscores voor de docentenoordelen Writing te analyseren. De aantal-
len studenten zijn echter zo klein dat we daar uiteindelijk vanaf hebben gezien.

52
Uit de tabel volgt dat de hele steekproef er gedurende het eerste studiejaar wat betreft
de scores op de Oxford OPT 1,99 punten op achteruit is gegaan; dat is – zoals we
eerder al constateerden - minder dan een tiende niveau. Niettemin, het is een terugval.
De groep studenten die niet is uitgenodigd voor deelname aan een programma of
minder dan 2 uur ingelogd is geweest kent de grootste terugval (-2,65). Binnen de
groep die heeft deelgenomen aan de CLT zien we dat de studenten met minder dan 12
uur inlogtijd minder terugval kent, en de studenten met 12 uur of meer inlogtijd nog
weer minder terugval (-1,75, resp. -0,27). Met andere woorden deelname aan CLT
heeft de terugval iets weten te beperken, waarbij een grotere tijdsinvestering gepaard
gaat met minder terugval. De studenten die met LTV hebben gewerkt kennen geen
terugval, maar een geringe leerwinst. Voor de studenten met 2 tot 12 uur oefentijd
bedraagt die ruim 1 punt, en voor studenten met 12 uur of meer eenderde punt. De
gegevens die betrekking hebben op de Oxford OPT niveaus vertonen een vergelijk-
baar patroon, alhoewel de onderliggende cijfers veel grover zijn.
Bij wijze van exploratie is ook nog nagegaan hoe de studenten die relatief veel uren
in een programma hebben gestoken hebben gescoord. Dat is gebeurd voor de studen-
ten die meer dan 40 uur hebben geoefend. Deze groep is vrij klein en daarom zijn
beide programma’s hier samengevoegd. Het betrof in totaal 12 studenten met qua
scores een gemiddelde leerwinst van -2,33 (en -0,17 niveau) op de Oxford OPT.
Nadere beschouwing van deze groep bracht echter aan het licht dat die één zoge-
noemde ‘outlier’ bevat, een student die met een score van -63 extreem laag scoorde
(in vergelijking tot de andere studenten in deze kleine groep) en daarom het gemid-
delde onevenredig beïnvloed. Wanneer deze student buiten beschouwing wordt gela-
ten, bedraagt de gemiddelde leerwinst van de resterende 11 studenten 3,18 (en 0,09
niveau), dus meer dan die van de andere categorieën.
Als we alleen geïnteresseerd zijn in de mogelijke leerwinst van de studenten op de
Oxford OPT dan luidt op basis van de testscores in Tabel 7.5 de conclusie dat de LTV
het beste uit de bus komt en ook met een ‘positieve’ leerwinst eindigt. Vergeleken
met de studenten die helemaal niets hebben gedaan bedraagt het verschil met de stu-
denten die tussen de 2 en 12 hebben geoefend een kleine 4 punten (1,13 - (-) 2,65),
dus ongeveer een kwart niveau. Voor de onderlinge vergelijking van het effect van
CLT- en LTV-deelname luidt hiermee de conclusie dat het effect vrij klein is, maar
dat als Avans Hogeschool wil voorkomen dat studenten qua Engelse taalvaardigheid
terugvallen of wil bewerkstelligen dat de studenten erop vooruitgaan men het beste
LTV kan inzetten. Voor deze conclusie baseren we ons op het gegeven dat de ken-
merken van degenen die geselecteerd zijn voor een programma en daar uiteindelijk
ook mee aan de slag zijn gegaan vergelijkbaar zijn (zie Tabel 7.1 en 7.2). Als we
echter ook nog een vergelijking willen maken met de studenten die niet of minder dan
2 uur aan een programma hebben deelgenomen is er het punt dat er wél verschillen

53
zijn in achtergrondkenmerken, met name wat betreft instapniveau, waardoor de ver-
gelijking strikt genomen niet helemaal zuiver is. In een analyse zou daarom voor deze
aanvangsverschillen gecontroleerd moeten worden. De resultaten van een dergelijke
analyse waarin gecorrigeerd is voor verschillen in de scores op de voormeting staan
in Tabel 7.6.
Tabel 7.6 – Oxford OPT scores naar deelname programma; ongecorrigeerde scores
nameting en voor voormeting gecorrigeerde scores
deelname
programma
gemiddelde zonder
correctie
nameting
gecorrigeerd voor
voormeting
afwijking t.o.v.
gemiddelde na
correctie
niet of <2u 70,53 3,83 67,48 0,78
CLT 2-12u 53,75 -12,95 62,72 -3,98
CLT ≥12u 58,91 -7,79 65,38 -1,32
LTV 2-12u 56,06 -10,64 65,42 -1,28
LTV ≥12u 56,07 -10,63 64,90 -1,80
totaal 66,70
eta 0,38 0,08
Uit de tabel volgt dat er op de nameting in eerste instantie grote verschillen zijn tus-
sen de deelname-categorieën. De studenten die niet hebben deelgenomen aan een
programma scoren bijna 4 punten boven het gemiddelde van alle studenten; de stu-
denten die tussen de 2 en 12 uur aan CLT hebben deelgenomen zitten er 13 punten
onder. Wanneer echter rekening wordt gehouden met verschillen in instapniveau,
wordt de afstand tussen de categorieën substantieel gereduceerd. Voor de studenten
die niet hebben deelgenomen aan een programma betekent dit dat ze nog steeds een
(zeer) kleine voorsprong hebben. Van de studenten die wel hebben deelgenomen
presteren de studenten met 2-12 uur LTV en 12 uur of meer CLT het minst slecht.17
17 In Tabel 7.4 hebben we een relatie gelegd tussen de leerwinst van de studenten op de Oxford OPT en de
deelname aan een zelfstudieprogramma. Bij wijze van verkenning zijn we ook nagegaan wat de kenmer-
ken zijn van studenten die enige vooruitgang hebben geboekt (voor deze talige en achtergrondkenmerken
zie paragraaf 1.5). We willen daarbij aantekenen dat bij deze ‘omgekeerde volgorde’ exercitie in metho-
dologisch opzicht vraagtekens kunnen worden geplaatst. We hebben verschillende opties geprobeerd,
waarbij we steeds twee groepen van studenten hebben vergeleken, bijvoorbeeld de studenten met een
vooruitgang van 8 punten of meer versus studenten met minder dan 8 punten vooruitgang (= een half ni-
veau). Welke indeling we ook namen, de aantallen in de groep studenten met de meeste vooruitgang wa-
ren dermate gering dat we het niet verantwoord achten hiermee verder te gaan.

55
8 De evaluatie van de tests en programma’s door de studenten
8.1 Inleiding
Om een indruk te verkrijgen van hoe de studenten het maken van de tests en het wer-
ken met de beide programma’s hebben ervaren, is hen gevraagd een online vragenlijst
in te vullen. De studenten hebben de tests meteen na het maken daarvan beoordeeld.
Voor de LinguaTV Placement Test, de Garnet I-Test en de Oxford OPT was dit na de
voormeting, en voor de ITAV Placement Test na de nameting. De beide programma’s
zijn eveneens na de nameting beoordeeld.
8.2 De evaluatie van de tests
Een eerste vraag met betrekking tot hun ervaringen luidde: Wat vond je van de in-
structies bij de verschillende testafnames? Ze konden kiezen uit vijf antwoordcatego-
rieën: (1) zeer onduidelijk, (2) onduidelijk, (3) neutraal, (4) duidelijk, en (5) zeer
duidelijk. In Tabel 8.1 staan de reacties. Allereerst het percentage studenten dat elk
van de vijf antwoorden koos, en vervolgens de gemiddelde score (op basis van de
scores 1 ... 5). Deze gegevens zijn uitgesplitst naar methode en vervolgens opleiding.

56
Tabel 8.1 – Wat vond je van de instructies bij de verschillende testopgaves?18
test opleiding zeer
onduidelijk
onduidelijk neutraal duidelijk zeer
duidelijk
N gem.
Lingua AMB 6% 17% 31% 40% 5% 272 3,19
AI&I 1% 15% 22% 49% 11% 136 3,48
totaal 408 3,33
Garnet AMB 3% 17% 25% 45% 9% 269 3,38
AI&I 2% 10% 27% 51% 9% 134 3,55
totaal 403 3,46
Oxford AMB 3% 13% 25% 49% 12% 269 3,54
AI&I 2% 4% 24% 57% 13% 137 3,75
totaal 403 3,65
ITAV AMB 9% 21% 31% 36% 2% 127 2,97
AI&I 7% 21% 40% 26% 7% 58 3,05
totaal 185 3,01
Het oordeel van de studenten over de instructie ligt op een enkele uitzondering na
steeds iets boven ‘neutraal’ richting ‘duidelijk’. Daarbij is AI&I steeds wat positiever
dan AMB. Het meest positief is men over de Oxford OPT, het minst over de ITAV
Placement Test.
Bij de tweede vraag ging het erom of de studenten het invullen van de antwoorden
prettig vonden. De antwoorden staan in Tabel 8.2; ze schommelen rond het oordeel
‘neutraal’. Ook hier scoort de Oxford OPT het gunstigst en da ITAV Placement Test
het minst gunstig.
18 Tengevolge van afrondingen en doordat er in een enkel geval niet alle studenten alle vragen hebben
beantwoord kan het in deze en volgende tabellen voorkomen dat de percentages niet tot 100 optellen.

57
Tabel 8.2 – Het invullen van de antwoorden was:
test opleiding zeer
onaan-
genaam
onaan-
genaam
neutraal aangenaam zeer
aangenaam
N gem.
Lingua AMB 9% 27% 28% 32% 3% 272 2,92
AI&I 10% 24% 31% 31% 1% 136 2,82
totaal 408 2,87
Garnet AMB 2% 17% 31% 46% 3% 269 3,31
AI&I 4% 16% 27% 48% 5% 134 3,34
totaal 403 3,32
Oxford AMB 0% 13% 32% 50% 4% 269 3,45
AI&I 0% 8% 34% 47% 10% 137 3,60
totaal 406 3,52
ITAV AMB 17% 35% 23% 25% 0% 127 2,56
AI&I 17% 36% 22% 19% 2% 58 2,41
totaal 185 2,49
Bij de derde vraag ging het om de duur van de testafname. De antwoordcategorieën
voor de drie eerste tests wijken daarbij af van die van de laatste. Er zijn flinke ver-
schillen wat betreft de tijd dat de studenten met de tests bezig zijn geweest. Bij de
LinguaTV Placement Test betrof het gemiddeld zo’n 50 minuten, bij de Garnet I-Test
80 minuten, bij de Oxford OPT 55 minuten, en bij de ITAV Placement Test (geschat)
30 minuten.
Tabel 8.3 – Hoe lang heb je over de test gedaan?
test opleiding <30 min. <1 uur <1.30 uur <2 uur >2 uur N gem.
Lingua AMB 40% 56% 4% 0% 0% 272 1,64
AI&I 35% 60% 4% 1% 0% 136 1,71
totaal 408 1,68
Garnet AMB 3% 38% 54% 6% 0% 269 2,62
AI&I 0% 43% 52% 3% 1% 134 2,59
totaal 403 2,60
Oxford AMB 26% 70% 5% 0% 0% 269 1,79
AI&I 15% 78% 7% 0% 0% 137 1,93
totaal 406 1,86
test opleiding <15 min. 15-25 min. >25 min. N gem.
ITAV AMB 9% 41% 49% 127 2,38
AI&I 9% 53% 34% 58 2,19
totaal 185 2,28

58
Een volgende vraag ging over de lengte van de test; zie Tabel 8.4. De gemiddelde
scores liggen steeds vanaf ‘neutraal’ richting ‘aangenaam’. Het gunstigst oordelen de
studenten over de Garnet I-Test, het ongunstigst over de ITAV Placement Test. Dit
laatste bevreemdt enigszins, want uit Tabel 8.3 weten we dat deze test het kortst
duurde van de vier afgenomen tests.
Tabel 8.4 – Wat vond je van de lengte van de test?
test opleiding zeer
onaan-
genaam
onaan-
genaam
neutraal aangenaam zeer
aangenaam
N gem.
Lingua AMB 1% 13% 27% 49% 8% 272 3,41
AI&I 1% 8% 30% 49% 8% 136 3,46
totaal 408 3,43
Garnet AMB 4% 29% 36% 29% 2% 269 2,95
AI&I 4% 17% 39% 39% 1% 134 3,17
totaal 403 3,06
Oxford AMB 3% 16% 42% 34% 3% 269 3,15
AI&I 0% 18% 41% 35% 7% 137 3,31
totaal 406 3,23
ITAV AMB 9% 16% 35% 38% 2% 127 3,06
AI&I 5% 12% 45% 36% 2% 58 3,17
totaal 185 3,12
De volgende vraag ging over de ervaren moeilijkheid van de tests. In Tabel 8.5 staan
de oordelen. In z’n algemeenheid liggen de reacties rond ‘het ging wel’, maar er zijn
daarbij wel verschillen. Men vond de Garnet I-Test het moeilijkst en de ITAV Place-
ment Test het gemakkelijkst.

59
Tabel 8.5 – Hoe moeilijk vond je de test?
test opleiding erg
moeilijk
moeilijk ging
wel
makkelijk erg
makkelijk
N gem.
Lingua AMB 7% 29% 55% 8% 0% 272 2,64
AI&I 7% 35% 50% 8% 0% 136 2,60
totaal 408 2,62
Garnet AMB 0% 7% 58% 27% 8% 269 3,35
AI&I 1% 7% 62% 27% 4% 134 3,26
totaal 403 3,31
Oxford AMB 2% 24% 56% 16% 2% 269 2,91
AI&I 2% 22% 60% 15% 1% 137 2,91
totaal 406 2,91
ITAV AMB 14% 39% 38% 7% 2% 127 2,43
AI&I 16% 41% 36% 5% 2% 58 2,36
totaal 185 2,39
Bij de zesde vraag moesten de studenten aangeven in hoeverre met de test hun niveau
Engels echt werd vastgesteld. Uit Tabel 8.6 blijkt dat bij de Oxford OPT en de Lin-
guaTV Placement Test het oordeel rond ‘redelijk’ ligt. Over de ITAV Placement Test
is men minder positief; daar oordeelt men gemiddeld iets boven ‘klein beetje’.
Tabel 8.6 – De mate waarin, volgens jou, de net gemaakte test je niveau Engels echt
meet:
test opleiding helemaal
niet
klein
beetje
redelijk goed heel
goed
N gem.
Lingua AMB 6% 31% 39% 20% 4% 272 2,84
AI&I 4% 27% 41% 23% 4% 136 2,95
totaal 408 2,90
Garnet AMB 7% 33% 40% 19% 1% 269 2,74
AI&I 10% 26% 38% 25% 0% 134 2,75
totaal 403 2,75
Oxford AMB 2% 24% 47% 25% 2% 269 3,01
AI&I 1% 23% 44% 29% 2% 137 3,07
totaal 406 3,04
ITAV AMB 21% 43% 26% 8% 2% 127 2,28
AI&I 21% 36% 34% 9% 0% 58 2,31
totaal 185 2,29

60
Als laatste vraag konden de studenten een algemeen oordeel geven over hun ervaring
als gebruikers. De antwoorden worden in Tabel 8.7 samengevat. Voor de drie eerste
tests liggen de reacties tussen ‘niet goed/niet slecht’ en ‘redelijke toets’ in. Het posi-
tiefst is men over de Oxford, het minst positief over de ITAV Placement Test.
Tabel 8.7 – Algemeen oordeel gebruikerservaring:
test opleiding waarde-
loos
niet zo
best
niet goed /
niet slecht
redelijke
toets
goede
toets
N gem.
Lingua AMB 5% 20% 28% 40% 7% 272 3,21
AI&I 6% 19% 28% 42% 5% 136 3,21
totaal 408 3,21
Garnet AMB 6% 18% 25% 46% 6% 269 3,28
AI&I 2% 20% 21% 45% 12% 134 3,44
totaal 403 3,36
Oxford AMB 2% 12% 19% 59% 8% 269 3,58
AI&I 0% 7% 28% 50% 14% 137 3,71
totaal 406 3,64
ITAV AMB 19% 28% 27% 24% 2% 127 2,62
AI&I 10% 33% 36% 21% 0% 58 2,67
totaal 185 2,65
We hebben geprobeerd de antwoorden op deze zeven vragen samen te vatten tot een
totaaloordeel. Daartoe hebben we per vraag rangordescores (1 – 4) toegekend aan de
gemiddelden op elk van de vier tests en deze gesommeerd. Hoe lager de totaalscore,
hoe positiever het totaaloordeel. Bedacht moet worden dat dit een grove benadering
betreft. De Oxford OPT wordt met 11 punten overduidelijk als beste beoordeeld, op
afstand ex aequo met 18 punten gevolgd door de LinguaTV Placement Test en de
Garnet I-Test. De ITAV Placement Test wordt met 23 punten duidelijk het minst
positief beoordeeld.
8.3 De evaluatie van de programma’s
De studenten hebben ook enkele vragen beantwoord over hun ervaringen met het
door hen gebruikte programma. Een eerste vraag luidde: Hoe prettig vond je de leer-
methode om mee te werken? Ze konden kiezen uit vijf antwoordcategorieën: (1) zeer
onprettig, (2) onprettig, (3) neutraal, (4) prettig, en (5) zeer prettig. In Tabel 8.8 staan
de reacties. Allereerst het percentage studenten dat elk van de vijf antwoorden koos,

61
en vervolgens de gemiddelde score (op basis van de scores 1 ... 5). Deze gegevens
zijn uitgesplitst naar methode en vervolgens opleiding.
Tabel 8.8 – Hoe prettig vond je de leermethode om mee te werken?
methode opleiding zeer
onprettig
onprettig neutraal prettig zeer
prettig
N gem.
CLT AMB 32% 18% 32% 18% 0% 28 2,22
AI&I 20% 50% 30% 0% 0% 10 2,10
totaal 38 2,16
LTV AMB 33% 22% 33% 11% 0% 18 2,36
AI&I 35% 25% 35% 5% 0% 20 2,10
totaal 38 2,23
Opvallend is dat de studenten niet echt positief over de leermethode oordelen.
Niemand vond de methode zeer prettig om mee te werken, en slechts enkelen vonden
het prettig. En dat geldt voor beide methodes en opleidingen. De gemiddelde scores
liggen iets boven de 2, wat staat voor ‘onprettig’. Er zijn geen noemenswaardige
verschillen tussen de beide programma’s en opleidingsclusters.
Een tweede vraag luidde: Hoeveel Engels heb je ervan geleerd? De antwoordcatego-
rieën waren: (1) niks, (2) weinig, (3) gaat wel, (4) best veel, en (5) super veel. In
Tabel 8.9 staan de resultaten.
Tabel 8.9 – Hoeveel Engels heb je ervan geleerd?
methode opleiding niks weinig gaat wel best veel super veel N gem.
CLT AMB 35% 29% 35% 0% 0% 17 2,00
AI&I 15% 45% 40% 0% 0% 20 2,25
totaal 37 2,13
LTV AMB 40% 16% 36% 8% 0% 25 2,12
AI&I 0% 60% 40% 0% 0% 10 2,40
totaal 35 2,26
Ook over de hoeveelheid Engels die de studenten met de leermethode geleerd hebben
zijn ze niet echt positief. Gemiddeld genomen ‘weinig’; men is iets positiever over
LTV dan CLT, en AI&I is wat positiever dan AMB.

Geert Driessen (2012) Presessional testing and learning

Geert Driessen (2012) Presessional testing and learning

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (12)

Similar to Geert Driessen (2012) Presessional testing and learning

Similar to Geert Driessen (2012) Presessional testing and learning (20)

More from Driessen Research

More from Driessen Research (20)

Geert Driessen (2012) Presessional testing and learning