Lopen we in de juiste richting voor de eindtermen?

LOPEN WE IN DE JUISTE RICHTING

VOOR DE EINDTERMEN?

Toetsing van taalvaardigheid in analytisch perspectief:
een leerlingvolgsysteem voor de lagere school
in opbouw

Marleen Colpin

De belangrijkste reden waarom er in het onderwijs wordt getoetst, is om leerlingen te evalueren. Men wil weten wat hun niveau is ten opzichte van de doelstellingen en ten opzichte van andere kinderen van dezelfde leeftijd. Maken ze vorderingen ten opzichte van vorige toetsen? Tegelijkertijd wordt ook het effect van het onderwijs geëvalueerd.

Welke toetsen ga je gebruiken als je onderwijsdoelstelling is 'leerlingen taalvaardig maken, hen leren taal op een goede manier te gebruiken in communicatieve situaties', en je de opbouw daarvan ook wilt volgen? In deze bijdrage gaan we na wat er dan precies moet worden getoetst en hoe dat kan gebeuren.

1 VOORBEELDEN VAN TOETSEN

We bekijken aan de hand van een aantal voorbeelden hoe eindterm 4.2 voor de basisschool kan worden getoetst.

Voor de eindterm 4.2 wordt van de leerlingen verwacht dat zij datgene wat zij willen meedelen of vragen, aan de lezer duidelijk kunnen maken (verwerkingsniveau = beschrijven).

De leerlingen kunnen:

4.2 een oproep, een uitnodiging, een instructie richten aan leeftijdgenoten.

Voorbeeld 1 is een dictee. De leerlingen krijgen in totaal 34 zinnen voorgelezen. Na elke zin wordt één woord herhaald. Dat moeten de leerlingen opschrijven. Dat ze de woorden aangeboden krijgen in zinscontext, kan hen helpen om ze juist te schrijven.

64   Marleen Colpin

VOORBEELD 1

Uit: Schaal Vorderingen in Spellingvaardigheid 2

Voorbeeld 2 is een creatieve schrijfopdracht. De leerlingen moeten hier doen wat er in de eindterm staat, namelijk een oproep richten aan een leeftijdgenoot.

VOORBEELD 2

Vandaag is het dinsdag. Vanmorgen zeiden ze in het weerbericht dat het zaterdag stralend zomerweer zal zijn. Daarom besloten je ouders een tuinfeest te organiseren. Jij en je broertje mogen daarvoor elk vijf kinderen uitnodigen.

Vijf kinderen, dat is dus niet je hele klas, zoals bij je verjaardagsfeestje. Je weet wel wie je wil vragen, maar je moet ervoor zorgen dat de anderen het niet te weten komen. Anders zijn ze misschien jaloers.

Daarom ga je een briefje schrijven naar de vijf kinderen die je wil uitnodigen. Schrijf het briefje!

LOPEN WE IN DE JUISTE RICHTING VOOR DE EINDTERMEN ?   65

Bij voorbeeld 3 moeten de leerlingen bij een geschreven oproep, dus de tekstsoort waarvan in de eindterm sprake is, vragen beantwoorden. Daartoe moeten ze de tekst kritisch lezen.

VOORBEELD 3

Tekst 3: Mededeling

Wat je moet weten over de schrijfopdracht.

De tekst die hieronder staat, komt van een aanplakbord op een camping. Er zitten een paar fouten in.

1 MEDEDELING

2 Dinsdagavond 26 juli wordt er op dé speelwel een gekostumeerde

3 volleybalwedstrijd gehouden. Iedereen die wil meespelen, wordt

4 verzocht zich leuk te verkleden. Men kan zich opgeven bij de

5 kampbeheerder in het kantoor bij de ingang. DOE DAT ZO SPOEDIG

6 MOGELIJK!!

7 Voor deze gekostumeerde wedstrijd moet iedere speler verkleed

8 zijn. Wie er het leukst uitzag, krijgt een prijs. En denk er om

9 ... dat het een mooie prijs zal zijn! We rekenen op veel publiek.

10 KOMT ALLEN! 0, ja: Ook de spelers van de winnende ploeg ontvangen

11 een prijs.

12 Tot dinsdagavond,

13 DE KAMPLEIDING

Opgave 26 vraagt je na te gaan of de woorden en zinnen in de tekst geschreven zijn zoals het hoort.

26   Lees: Wie ... prijs. (r. 8)

Wat had de kampleiding het beste kunnen doen met deze zin?

A Zo laten staan.

• Vervangen door: Wie er het leukst had uitgezien, krijgt een prijs. C Vervangen door: Wie er het leukst heeft uitgezien, krijgt een prijs.

• Vervangen door: Wie er het leukst uitziet, krijgt een prijs.

Opgave 27 vraagt je na te gaan of de manier waarop de tekst geschreven is, voldoende rekening houdt met de lezers en met het doel van de tekst.

27 De kampleiding zegt aan het eind van de mededeling dat de spelers van de winnende ploeg een prijs krijgen.

Op welke plaats had de kampleiding dat beter kunnen zeggen?

A Achter: ... gehouden. (r. 3)

• Achter: ... ingang. Ir. 5)

C Achter: ... MOGELIJK!!!!! Ir. 6)

• Achter: ... zijn! Ir. 9)

Uit: Didactische Toetsen Schrijfvaardigheid

66   Marleen Colpin

Voorbeeld 4 is weer een creatieve schrijfopdracht.

VOORBEELD 4

Jij woont in Leuven. Volgende zaterdag is er een grote fietstocht in Leuven. Je hebt met je vriend Gert afgesproken dat jullie daaraan gaan meedoen. Gert woont in Gent. Dat is nogal ver weg. Hij komt met de trein naar Leuven. Hij zal zaterdagmorgen om 9 u 45 in het station van Leuven aankomen.

Maar hij kan zaterdagavond na de fietstocht niet meer terug naar huis gaan. Bij jou kan hij ook niet blijven slapen. Hij zal in de jeugdherberg gaan slapen. Dat hebben jullie allemaal al afgesproken.

Jij gaat nu een brief schrijven naar Gert om nog een paar dingen uit te leggen en af te spreken.

Dat zijn de volgende dingen:

•   Gert moet eerst naar de jeugdherberg gaan om zijn slaapzak en zijn pyjama af te zetten. Die kan hij immers op de fiets niet gebruiken.

•   Dan moet Gert naar het park gaan om zich in te schrijven voor de fietstocht. Hij kan daar ook een fiets lenen voor de hele dag. Daarvoor moet hij wel zijn identiteitskaart meebrengen.

•   Vanuit het park moet hij naar de Parkpoort gaan. Daar vertrekt de fietstocht om 11 u 30.

Schrijf nu de brief naar Gert waarin je hem vertelt wat hij moet doen en hoe hij de verschillende plaatsen in Leuven kan bereiken. Om de weg uit te leggen, kun je gebruik maken van het plan van Leuven dat je in een atlas hebt gevonden. De weg is aangeduid met een stippellijn. Maar let wel op: Gert heeft geen plan. Je moet dus heel duidelijk uitleggen hoe hij moet lopen.

[plan is toegevoegd]

Zijn dit goede toetsen bij eindterm 4.2? Om een antwoord te geven op die vraag, brengen we de voorbeeldtoetsen in een aantal categorieën onder.

2 CATEGORIEËN VAN TOETSEN 2.1 Directe en indirecte toetsen

Directe toetsen zijn toetsen waarin je de leerlingen datgene laat doen waarover uitspraken moeten worden gedaan. Een niet-talig voorbeeld daarvan is het rij-

LOPEN WE IN DE JUISTE RICHTING VOOR DE EINDTERMEN ?   67

examen. Je laat mensen met de auto rijden, om te kunnen zeggen of ze dat kunnen of niet. Bij een indirecte toets wordt de leerlingen gevraagd iets te doen wat als een indicator wordt beschouwd voor datgene waarover men uitspraken wil doen. Een theoretische proef om kennis van de verkeersregels te meten zou een indirecte toets voor rijvaardigheid kunnen zijn. Men neemt dan aan dat iemands kennis van de verkeersregels een goede indicator is voor hoe hij met de auto kan rijden. De voorbeeldtoetsen 1 en 3 zijn indirecte, en 2 en 4 directe toetsen. Bij deze laatste twee wordt immers gevraagd om effectief een oproep, uitnodiging of instructie te schrijven.

Wie toets 1 beschouwt als een goede indirecte toets voor de eindterm 4.2, gaat uit van de veronderstelde correlatie tussen 'goed creatief kunnen schrijven' en 'juist schrijven'. Natuurlijk is het niet zo dat je juist moet kunnen schrijven om goed te schrijven, maar er is wel vastgesteld dat kinderen die goed kunnen schrijven, meestal ook juister schrijven dan andere. Iemand die de toets voor deze eindterm gebruikt, zou als volgt kunnen redeneren: 'Ik beperk mij tot het toetsen van spellingvaardigheid, want dat vertelt mij ook of mijn leerlingen een dergelijke tekst zouden kunnen schrijven.'

Toets 3 is minder indirect, omdat er hier toch met een 'echte' tekst wordt gewerkt. De band met de eindterm is directer. Toch blijft het een indirecte toets, aangezien leerlingen niet moeten schrijven, maar reviseren, wat maar één onderdeel is van het schrijfproces. Wie deze toets als een goede toets voor eindterm 4.2 beschouwt, gaat ervan uit dat 'kunnen reviseren' een indicator is voor hoe kinderen kunnen schrijven.

Belangrijk is in dit opzicht het begrip validiteit. Van een toets wordt gezegd dat hij valide is als hij meet wat hij beoogt te meten. Dat is evidenter bij directe dan bij indirecte toetsen. Bij een directe toets is de band tussen datgene wat je beoogt te meten en datgene wat je meet, direct en is de validiteit dus verzekerd. Bij een indirecte toets moet die band eerst nog aangetoond worden. Een toets moet uiteraard valide zijn, en dus krijgen directe toetsen de voorkeur.

2.2 Objectief scoorbare toetsen en toetsen waarvan de beoordeling op het eerste gezicht eerder subjectief lijkt

Toets 1 en 3 zijn objectief te scoren. Om het even wie kan deze toets scoren en iedereen zal tot hetzelfde resultaat komen, want het is duidelijk wat goed is en wat fout. Toets 2 en 4 lijken in dat opzicht veel problematischer. Het is duidelijk dat voor het scoren van deze toetsen inzicht in het schrijfproces vereist is en dat het bij voorkeur zoveel mogelijk door één persoon kan gebeuren. Immers, als verschillende personen deze toetsen scoren, zullen zij wellicht verschillende criteria hanteren en dus ook tot verschillende resultaten komen. Eén persoon kan het objectiever doen, maar ook dan blijft het wellicht een moeilijke zaak.

68   Marleen Colpin

De onderstaande scoringswijzer, of verbetersleutel, die bij toets 4 hoort, werpt echter een ander licht op de zaak.

VERBETERSLEUTEL TOETS 4

Voor zes dingen wordt bekeken of:

•   informatie aanwezig = 1

•   informatie aanwezig en communicatief adequaat = 2

•   informatie aanwezig en goed ingepast in structuur = 2

informatie aanwezig, communicatief adequaat en goed ingepast in structuur = 3

informatie niet aanwezig = 0

1   zeggen dat hij zijn identiteitskaart moet meebrengen

2   zeggen dat hij zijn spullen moet gaan afzetten in de jeugdherberg

3   uitleggen hoe hij van het station naar de jeugdherberg kan gaan

4 uitleggen hoe hij van de jeugdherberg naar het park kan gaan

5 uitleggen hoe hij van het park naar de Parkpoort kan gaan

6   zeggen dat de fietstocht om 11 u 30 begint

Deze lijst van elementen, waar bij het scoren van de toets op gelet kan worden, komt eigenlijk neer op drie criteria:

•   is de gevraagde informatie aanwezig?

is ze op een communicatief adequate manier uitgedrukt?

•   is ze goed ingepast in de structuur?

Samen vormen deze drie criteria het antwoord op de vraag: waaraan moet de tekst voldoen om een goede oproep of instructie voor een leeftijdgenoot te zijn?

Het eerste criterium is telkens doorslaggevend. Als de informatie niet aanwezig is, wordt er op de andere punten niet meer gelet. Immers, de vraag of iets al dan niet goed geschreven is, wordt pas belangrijk als 'het' er staat. 'Informatie' is opgedeeld in zes stukjes, die duidelijk overeenkomen met wat in de opdracht is gevraagd. Met andere woorden, om een dergelijke verbetersleutel te kunnen hanteren, moet de opdracht ook duidelijk genoeg gestructureerd zijn.

Bij toets 2 is niet duidelijk genoeg gespecificeerd wat er precies in het briefje moet komen, met uitzondering van het zeer algemene gegeven 'uitnodigen voor een tuinfeest'. Bij die toets zal het dan ook niet mogelijk zijn om een dergelijke verbetersleutel op te stellen. De opdracht zou explicieter en meer gestructureerd moeten worden geformuleerd.

LOPEN WE IN DE JUISTE RICHTING VOOR DE EINDTERMEN ?   69

Het tweede criterium (informatie op een communicatief adequate manier uitgedrukt?) is hier zeer algemeen weergegeven, maar moet natuurlijk nog nader worden gespecificeerd. In dit geval kan men stellen dat de info begrijpelijk moet zijn voor een leeftijdgenoot, en dus een welwillend persoon. Voor een brief aan een onbekende volwassene zouden we hier ook vormelijke criteria kunnen laten meespelen.

Het derde criterium heeft betrekking op de structuur, op de plaats van de onderdelen in het geheel van de brief. Er is geen vaste volgorde vooropgesteld, het moet gewoon logisch zijn. Bijvoorbeeld: je zou de brief kunnen beginnen met te zeggen dat je zeker je identiteitskaart niet mag vergeten, maar dat kan ook in een PS komen.

Dit derde criterium gaat echter al verder dan eindterm 4.2. We zitten hier al op een hoger verwerkingsniveau (structureren). Maar doordat er naar verschillende punten gekeken wordt, kan dit ook bij de scoring betrokken worden. Immers, van leerlingen die voor het eerste en het tweede criterium goed scoren, kan men zeggen dat ze de eindterm halen. Leerlingen die dat ook voor het derde criterium doen, gaan verder. En aangezien de eindtermen minimumdoelstellingen zijn voor alle leerlingen, lijkt het interessant om ook verder te kijken. Uiteraard moet de drempel die men bij deze toets hanteert, met andere woorden wat als voldoende wordt beschouwd, daaraan aangepast zijn.

Het blijkt dus ook mogelijk te zijn om dergelijke directe toetsen, creatieve schrijfopdrachten, op een vrij objectieve wijze te scoren. Maar al bij al blijft het een omslachtige zaak. Zouden we dan niet beter sowieso altijd indirect toetsen, omdat dat in de meeste gevallen toch makkelijker objectief te scoren is?

Indirect toetsen houdt echter een mogelijk gevaar in, namelijk het `teaching to the test'-effect. Wanneer een leerkracht bijvoorbeeld spellingvaardigheid als een goede indicator beschouwt voor schrijfvaardigheid in het algemeen, en bijgevolg gebruik maakt van indirecte toetsen, zou hij er voor zijn onderwijs mee kunnen volstaan om leerlingen goed te leren spellen. Als hij dan op basis van de toetsresultaten nog uitspraken doet over de schrijfvaardigheid van de leerlingen in het algemeen, dan is die leerkracht uiteraard verkeerd bezig.

Hetzelfde kan gebeuren wanneer technische leesvaardigheid wordt beschouwd als een goede indicator voor begrijpende leesvaardigheid, of woordenschatkennis als een goede indicator voor tekstbegrip, en men bijgevolg gebruik maakt van technische lees- en woordenschattoetsen. Ook dan zou men in de fout kunnen vervallen om zijn onderwijs tot deze aspecten te beperken. In dat geval heeft het gebruik van indirecte toetsen een negatief effect op het onderwijs.

70   Marleen Colpin

2.3 Curriculumonafhankelijke en curriculumafhankelijke toetsen

Vanwege het boven beschreven gevaar kan men dus het best gebruik maken van toetsen die vaardigheden als geheel toetsen (= direct toetsen) en geen onderdelen of onderliggende vaardigheden ervan. Bovendien kunnen die toetsen ook het best curriculumonafhankelijk zijn. Dat zijn toetsen die niet direct aansluiten bij de gebruikte methode en dus niet het `teaching to the test'-effect inhouden. Die toetsen meten, onafhankelijk van de methode, de taalvaardigheid van de leerlingen. Die opbouw moet de doelstelling van elke vorm van onderwijs zijn.

Toen bleek dat deze directe, curriculumonafhankelijke en objectief scoorbare toetsen niet voorhanden waren, besloten we op het Steunpunt NT2 (KU Leuven) een Leerlingvolgsysteem taalvaardigheid voor de lagere school te ontwikkelen. In september 1995 werd ermee gestart. Gedurende het eerste schooljaar werd een dertigtal toetsen ontwikkeld, waarvan voorbeeld 4 er één is. Dit is een toets voor schrijfvaardigheid, maar er zijn ook toetsen voor spreken, lezen en luisteren. De bedoeling is om te komen tot een geheel van toetsen voor de vier vaardigheden, wellicht één toets per vaardigheid per trimester, waarmee de evolutie in de taalvaardigheid van de leerlingen van het tweede tot en met het zesde leerjaar in grote lijnen kan worden gevolgd. Daartussen is er natuurlijk nog meer dan voldoende ruimte voor toetsen die leerkrachten zelf maken.

3 HOE ZIET EEN TOETS ER CONCREET UIT?

Een toets is een taak: de leerlingen moeten iets doen waarbij taal moet begrepen of gebruikt worden om het tot een goed einde te brengen. De leerlingen moeten met natuurlijke, relevante teksten dingen doen die relevant zijn in het licht van de eindtermen. Dat moeten ook vertrouwde dingen zijn, soorten taken die ze al eens uitgevoerd hebben. Anders kan het toetsformaat voor de leerling een belemmering vormen om de toets goed uit te voeren, om te tonen wat hij aan taalvaardigheid in petto heeft. Een toets mag, in tegenstelling tot een onderwijstaak waarmee je leereffect wil bereiken, geen kloof bevatten. Met een toets wil je immers weten wat de leerlingen al kunnen. De toetstaak mag dus geen nieuwe elementen bevatten.

Maar wanneer is dat het geval? Met andere woorden, hoe kunnen we bepalen wat we op een bepaald ogenblik van een leerling mogen verwachten? Hoe bepalen we wat de moeilijkheidsgraad is van een toets? Dat is niet zo eenvoudig te zeggen: bij curriculumonafhankelijk toetsen laat men niet door de gebruikte methode of wat er in de klas pas behandeld is, bepalen wat de leerlingen op een bepaald moment moeten kunnen. Er wordt los van de methode getoetst of de leerlingen op weg zijn om voldoende taalvaardig te worden, en

LOPEN WE IN DE JUISTE RICHTING VOOR DE EINDTERMEN ?   71

in lager-onderwijstermen betekent dat: of ze op weg zijn om de eindtermen te halen.

De eindtermen zijn eigenlijk het enige vaststaande, objectieve criterium om te bepalen wat kinderen op een bepaald moment, het einde van het zesde leerjaar, moeten kunnen. In alle andere leerjaren moet er 'in de richting van' de eindtermen onderwezen en dus ook getoetst worden. Daarvoor zijn toetsen nodig die een lager niveau vragen dan dat van de eindtermen, maar het moet telkens wel heel duidelijk zijn waar het naartoe gaat. Bijvoorbeeld: iets laten doen op een lager verwerkingsniveau, of met een makkelijker tekstsoort of voor een bekender publiek (volgens de stappen die in de eindtermen onderscheiden worden), of een combinatie van deze dingen. De toetsen vragen geleidelijk een hoger taalvaardigheidsniveau, tot je uiteindelijk, op het einde van het zesde leerjaar, bij een soort eindtoetsen uitkomt.

We kunnen ook gebruik maken van leerplannen, die de eindtermen toch verder concretiseren, en leerlijnen achter methodes, maar het blijft een feit dat er nergens echt duidelijke grenzen te trekken zijn tussen wat leerlingen op een bepaald moment wel en wat ze niet moeten kunnen. Daarom moeten de toetsen aan normen gerelateerd worden.

4 NORMGERELATEERDE TOETSEN

Normen bepalen gebeurt door middel van een grootschalig onderzoek bij heel veel leerlingen. Op basis daarvan kunnen leerkrachten de toetsresultaten van hun leerlingen vergelijken met wat 'de gemiddelde leerling' op deze toetsen scoort. Er kunnen dus - tenzij voor het einde van het zesde leerjaar - geen absolute uitspraken worden gedaan op basis van de toetsen ede leerling bereikt de doelstelling wel/niet'), maar wel relatieve ede leerling kan iets in die of die mate, in vergelijking met de gemiddelde leerling van zijn leeftijd').

In ons concrete geval werd dat op de volgende wijze gerealiseerd. De dertig toetsen die vorig schooljaar werden ontwikkeld, werden meteen ook een eerste keer afgenomen, elk bij een 500-tal leerlingen. Op basis daarvan werd de betrouwbaarheid berekend. De toetsen werden al dan niet aangepast. Vanaf 1 september 1996 gaan deze toetsen opnieuw naar de scholen, naar nog een grotere groep deze keer, om definitief te worden genormeerd.

De scholen die aan dit normeringsonderzoek meewerken, zijn zorgvuldig gekozen op basis van criteria als:

ligging (provincie, stedelijk/landelijk);

•  OVB/niet-OVB (OVB = Onderwijsvoorrangsbeleid);

•  concentratiegraad (hoeveel migrantenkinderen?);

72   Marleen Colpin

Zo komen we tot een representatief staal voor de Vlaamse scholen. Tegelijk met de te normeren toetsen gaan er telkens ook een paar nieuwe toetsen naar de scholen, die eerst een keer worden afgenomen om te kijken of ze betrouwbaar zijn, en die dan bij een tweede afname kunnen worden genormeerd. Zo zullen we op termijn tot het volledige leerlingvolgsysteem komen.

Bij elke toets zullen er vijf normen (A, B, ...) zijn, die worden berekend op basis van standaardscores. Zo kan de leerkracht voor elke leerling bepalen in welke categorie hij valt, en over de verschillende toetsen heen zien of de leerlingen in dezelfde groep blijven, stijgen of dalen. In dat opzicht komt het leerlingvolgsysteem tegemoet aan een reële behoefte van elke school: de evolutie in de taalvaardigheid van de leerlingen volgen en het onderwijs eraan aanpassen.

LITERATUUR

Leerlingvolgsysteem. Schaal Vorderingen in Spellingvaardigheid 2. Arnhem: Cito, 1993. Leerlingvolgsysteem. Didactische Toetsen Schrijfvaardigheid. Arnhem: Cito, 1995.

Basisonderwijs: Ontwikkelingsdoelen en eindtermen. Decretale tekst en uitgangspunten. Brussel: Ministerie van de Vlaamse Gemeenschap - Departement Onderwijs - Centrum voor Informatie en Documentatie, 1995.