Didactische en pedagogische principes voor het meten van taalvaardigheid in een multimediale toets

DIDACTISCHE PRINCIPES VOOR HET METEN VAN TAALVAARDIGHEID IN EEN MULTIMEDIALE TOETS

Veerle Depauw

De VDAB (Vlaamse Dienst voor Arbeidsbemiddeling en Beroepsopleiding) heeft een intakeprocedure ontwikkeld om kandidaat-cursisten te screenen om te bepalen in hoeverre zij al dan niet geschikt zijn om in te stromen in een beroepsopleiding in de secundaire sector. Omdat taalvaardigheid een belangrijke factor is om goed te kunnen functloneren op de opleidingsvloer, is ook een screening op dit vlak noodzakelijk. De die door daarvoor door de VDAB gebruikt worden, zijn echter niet betrouwbaar en valide. Ook zijn ze niet altijd aangepast aan de doelgroep (laaggeschoolde anderstalige volwassenen) en zijn ze erg arbeidsintensief.

Op vraag van de verschillende VDAB-centra is vanuit VDAB-trainlng en opleiding de opdracht gegeven aan het Steunpunt NT2 van de KU Leuven om een toets te ontwikkelen. Wij opteerden voor een multimediale taakgerichte taalvaardigheidstoets. In deze bijdrage wordt de keuze voor dit soort toets gemotiveerd en belichten we aan welke dldactische en pedagogische principes een multimediale en taakgerichte taalvaardigheidstoets moet voldoen.

1 DIRECTE TOETSEN OM VALIDITEIT TE VRIJWAREN

Eerst moeten we ons afvragen in hoeverre een visie op taalonderwijs het concept van een (multimediale) toets kan beïnvloeden. Elke vorm van taalonderwijs, welke stroming of methode dan ook, pretendeert functioneel te zijn. Taalleerders moeten uiteindelijk dingen met taal kunnen doen. Zowel een leerkracht die Nederlandssprekende leerlingen Duits als vreemde taal wil bijbrengen als een lesgever Nederlands die een anderstalige migrant Nederlands als tweede taal wil onderwijzen, wil dat doen om zijn leerlingen of cursisten uiteindelijk taalvaardig te maken in de onderwezen taal. Veelal is het ook zo dat leerders - bewust of onbewust - een taal leren om een functionele reden. Een kleuter die zijn moedertaal aan het verwerven is, doet dat in eerste instantie met het oog op zijn onmiddellijke behoeften.

Er zijn verschillende manieren om taalvaardigheid op te bouwen. Onderzoekers zijn het nagenoeg over eens dat een leerder een beroep doet op zijn impliciete kennis van het taalsysteem in spontane taalgebruikssituaties (zie o.a. Larsen-Freeman & Long 1991). De vraag is nu hoe deze impliciete kennis zo optimaal mogelijk uitgebreid kan worden. Doen we dat door leerders zoveel mogelijk op een expliciete manier grammaticale regels aan te bieden in de hoop dat ze die zullen kunnen omzetten bij het uitvoeren van communicatieve taken? Of kunnen we dat beter doen door leerders natuurlijke taken te laten uitvoeren, waardoor ze - door taal te gebruiken - gaandeweg (impliciet) hypotheses opbouwen en zonodig bijstellen en waarbij taal eerder als een middel wordt beschouwd en niet als een doel op zich?

DIDACTISCHE PRINCIPES VOOR HET METEN VAN TAALVAARDIGHEID IN EEN MULTIMEDIALE TOETS   147

Deze laatste, taakgerichte visie op taalonderwijs gaat er dus niet alleen van uit dat taalonderwijs functioneel moet zijn, maar bovendien dat de snelste en efficiëntste manier om een impliciet systeem op te bouwen het uitvoeren van relevante taaltaken is in de plaats van expliciet grammatica-onderwijs) Dit neemt natuurlijk niet weg dat bij het uitvoeren van een taak soms kan worden stilgestaan bij enkele vormelijke aspecten. Als de leerder er expliciet om vraagt en als het element een obstakel is om de taak tot een goed einde te brengen, kan er binnen het kader van de taak worden op ingegaan.

Deze taakgerichte visie op taalonderwijs heeft consequenties voor de dagelijkse klaspraktijk. Zo ook wat het toetsen betreft. Om daarvan een goed beeld te kunnen bieden is het nodig om eerst op enkele toetscategorieën in te gaan. In de literatuur over toetsing is er sprake van directe en indirecte toetsen. Vergelijk even onderstaande voorbeeldtoetsen 1 en 2.

VOORBEELDTOETS 1

Kijk naar de plattegrond hiernaast. Je woont in de Zwaluwstraat 55.

Een vriend van jou komt bij jou op bezoek. Hij komt met de trein.

Schrijf hem een kort briefje om uit te leggen hoe hij vanuit het station naar jou toe kan komen.

A = station

B = telefooncel

C = park

D = school

E = politiebureau

F = Zwaluwstraat

PLATTEGROND

UIT: Cucchiarini & Jaspaert (1996).

148   Veerle Depauw

VOORBEELDTOETS 2

Als we wlllen weten of leerlingen in staat zijn om schriftelijk de weg uit te leggen; ligt het voor de hand om onze leerders te evalueren op basis van de mate waarin ze daartoe in staat zijn geweest. Voorbeeldtoets 1 is een directe toets: er wordt gemeten in hoeverre leerlingen de weg daadwerkelijk kunnen uitleggen, iets wat ze in normale communicatieve situaties ook moeten kunnen. Als we de vergelijking doortrekken naar een andere context, die van het verkeer, we kunnen stellen dat een bestuurder het verkeer insturen en laten rijden de beste manier is om rijvaardigheid te meten. Je kan echter ook op een andere manier rijvaardigheid meten. Je zou bijvoorbeeld een toets kunnen afnemen over het functioneren van auto's. Je gaat er dan van uit dat kennis daarover een goede indicator is om rijvaardigheid te meten.

Voorbeeldtoets 2 is zo'n voorbeeld van een indirecte toets. Het gaat daarbij om het meten van kennis of vaardigheden waarvan men weet of vermoedt dat ze betrouwbare informatie verschaffen over datgene wat men wil meten. Men gaat er in toets 2 dus van uit dat het juist invullen van woorden (in een tekst die de gepaste communicatieve situatie weergeeft) een goede indicator is om te meten in hoeverre leerlingen ook echt de weg kunnen uitleggen. Er wordt van uitgegaan dat indien leerlingen in staat zijn om woordjes in te vullen, ze ook wel in staat zullen zijn om in de overeenkomstige communicatieve situatie te functioneren. Maar kunnen we daar wel zeker van zijn?

DIDACTISCHE PRINCIPES VOOR HET METEN VAN TAALVAARDIGHEID IN EEN MULTIMEDIALE TOETS   149

De tweede voorbeeldtoets geeft alleen aan in hoeverre leerlingen een bepaald onderdeel van het systeem hebben geleerd. We kunnen er niet zomaar van uitgaan dat het kunnen invullen van woorden in een tekst van een specifieke tekstsoort een goede indicator is om taalvaardigheid te meten. Woorden maken wel deel uit van taalvaardigheid, maar zijn niet de enige maatstaf. Daarmee is niets gezegd tegen toetsen die grammaticale elementen of woordenschat willen meten. Het punt is alleen dat uitspraken op basis van de resultaten van indirecte toetsen, sterk gerelativeerd moeten worden. Je zegt alleen in hoeverre leerders kennis hebben van bepaalde talige elementen, en niet in hoeverre iemand zijn kennis kan omzetten in een taalgebruikssituatie. Omdat we uitgaan van functioneel taalonderwijs, lijkt het ons veiliger om directe toetsen te hanteren.

Validiteit is in dit opzicht een belangrijk begrip. Een toets is valide als hij meet wat hij beoogt te meten. Uit het voorgaande blijkt dat dit evidenter is bij directe toetsen: de band tussen wat je meet en wat je beoogt te meten is veel nauwer. Bij indirecte toetsen moet die band nog worden aangetoond (bijvoorbeeld door een validiteitsonderzoek).

2 DE MEERWAARDE VAN MULTIMEDIALE TAAKGERICHTE TOETSEN

Ondanks het gebruik van computers in alle vormen van onderwijs worden toetsen meestal op een traditionele manier afgenomen. Hier en daar doen multimediale toetsen echter hun intrede. Multimediaal verwijst naar een computergestuurde toetsen waarin foto's, geluid en beeld geïntegreerd zijn. Men moet bijgevolg over een multimediale computer beschikken (cd-rom of cd-i met een geluidskaart). Bij traditionele toetsen (of pen-and-pencil-toetsen) is van een dergelijke integratie geen sprake. Dat wil niet zeggen dat men dan geen gebruik kan maken van een cassette of een videobeeld. Die zijn dan evenwel niet verwerkt in een softwareprogramma en komen niet geintegreerd aan bod. Dit wil ook niet zeggen dat er helemaal geen computer ingeschakeld kan worden: vaak worden de afnames van een groot aantal kandidaten met een computerprogramma verwerkt.

Welke meerwaarde bieden multimediale toetsen vanuit onze visie op taalonderwijs in vergelijking met traditionele toetsen? Uit het onderzoek van Vanmontfort (s.d.), waarin een aantal volwassen laaggeschoolde taalleerders een week lang taakgerichte activiteiten op de computer mochten uitvoeren, blijkt een eerste belangrijk voordeel. Vanmontfort besluit dat de wereld van de taak via de computer op een aanschouwelijke manier geïntroduceerd wordt. Dit helpt leerders om zich in te leven in de wereld van de taak (of de kennis van de wereld), dat zijn alle mensen, concepten, dingen en situaties die in een taak worden opgeroepen. Wanneer je leerders bepaalde dingen met taal laat doen om te evalueren in hoeverre ze in een bepaalde communicatieve sltuatie kunnen functioneren, wordt meestal een beroep gedaan op hun inlevingsvermogen. Denk maar aan bovenstaand voorbeeld: de leerlingen moeten zich inleven in een situatie waarin ze een brief moeten schrijven.

In het kader van toetsing blijkt dit inlevingsvermogen belangrijk met betrekking tot de betrouwbaarheid van een toets. Dat is de mate waarin een toets consistent meet wat hij zou moeten meten. Een test is betrouwbaar wanneer de scores van een kandidaat op een test op een bepaald tijdstip goed correleren met de scores van een andere kandidaat met dezelfde mogelijkheden, maar op een ander tijdstip en door een verschillende

150   Veerle Depauw

lesgever afgenomen. Wanneer je van de leerkracht verwacht dat hij de context van de taak schetst waarin de leerder zich zal moeten bewegen om de taak uit te voeren, houdt dit een risico in. Ook al voorzie je op voorhand in schriftelijke instructies waar toetsafnemers zich aan moeten houden, toch blijkt uit de praktijk dat naargelang van het niveau van de kandidaten of van de gemoedsgesteldheid van de afnemer, meer of minder uitleg in verband met de wereld van de taak gegeven zal worden. De kans is groot dat dit invloed heeft op de scores van de kandidaten, waardoor de betrouwbaarheid van de toets in het gedrang komt. In een multimediale toets wordt niet alleen de wereld van de taak altijd op dezelfde objectieve manier voorgesteld, ook andere instructies zijn altijd voor iedere kandidaat gelijk, zodat de betrouwbaarheid verhoogd wordt.

Een tweede, meer praktisch voordeel is de snelle en objectieve verwerking door de computer: Geen urenlange en arbeidsintensieve correcties, die bovendien kunnen verschillen van scoorder tot scoorder - wat de betrouwbaarheid van de toets ook weer niet ten goede komt -, maar een objectieve en snelle manier van scoren met onmiddellijk zicht op het resultaat. Multimediale toetsen sluiten bovendien veel beter aan bij de werkelijkheid waarin leerders zullen terechtkomen en waarin een beroep wordt gedaan op hun taalvaardigheid. Als je wil toetsen in hoeverre cursisten, die een taal leren met het oog op een beroepsopleiding, een mondelinge instructie vergezeld van een demonstratie ook echt begrijpen, lijkt het ons vanzelfsprekend om de toets te voorzien van een bewegend beeld met geluid van een instructeur die daadwerkelijk een demonstratie geeft.

3 DE TIBO-TOETS (TAALTOETS INSTROOM BEROEPSOPLEIDING)

De meeste multimediale toetsen maken spijtig genoeg geen gebruik van de meerwaarde die de computer biedt. Het zijn meestal kopieën van traditionele toetsen, maar dan op de computer gezet. Bovendien worden meestal alleen aparte taalkundige vaardigheden getoetst, zonder ze te integreren in reële taalgebruikssituaties. Uitgaande van een taakgerichte visie op taalonderwijs heeft het Steunpunt NT2 de Taaltoets Instroom Beroepsopleiding, kortweg de TIBO-toets ontwikkeld. Alle voorgaande - vooral de taakgerichte - principes zijn zo universeel dat ze voor om het even welke doelgroep te concretiseren zijn in een multimediale toets die vaardigheden wil meten. In wat volgt, geef ik een beeld van enkele belangrijke stappen voor zo'n toets bij laaggeschoolde volwassenen en van de didactische principes die we hieruit kunnen distilleren.

3.1 Doelgroep en situering van het project

Er was ons gevraagd een toets te maken om na te gaan in hoeverre laaggeschoolde anderstalige volwassenen geschikt zijn om minimaal te kunnen functioneren in een beroepsopleiding van de VDAB in de secundaire sector. Belangrijk in dit opzicht is de term 'minimaal', wat inhoudt dat cursisten nog altijd talig zullen moeten worden ondersteund op de opleidingsvloer. Hiervoor is binnen de instelling voldoende ruimte. In verschillende centra worden projecten opgestart waar technisch instructeurs (ofwel praktijkleerkrachten) getraind worden om hun instructietaal te optimaliseren ten aanzien van taalzwakke allochtonen.

DIDACTISCHE PRINCIPES VOOR HET METEN VAN TAALVAARDIGHEID IN EEN MULTIMEDIALE TOETS   151

De uitspraken van de toets moesten eenduidig geformuleerd kunnen worden in termen van 'geschikt' of 'niet geschikt', dus niet gedifferentieerd in de mate waarin cursisten de opleiding zouden kunnen volgen. Een belangrijke opmerking hierbij is dat de toets absoluut niet bedoeld is om cursisten uit te sluiten, maar gebruikt wordt als een handig en objectief hulpmiddel in de plaatsingsprocedure.

3.2 Vertrekken vanuit taalvaardigheidseisen

Een belangrijke vereiste voor een dergelijke toets is dat hij uitgaat van de taalvaardigheidseisen die de opleidingsvloer aan de cursisten stelt. Concreet betekent dit dat we doelstellingen moeten ontwikkelen; je moet immers weten wat je wil toetsen. Dit houdt rechtstreeks verband met het eerder genoemde begrip 'validiteit'. Om goed zicht te hebben op de taalvaardigheidseisen op de opleidingsvloer in de beroepsopleiding hebben we een lijst opgesteld met de taalgebruikssituaties - en bijbehorende taken -waarin cursisten terechtkomen. Deze lijst, opgesteld op basis van observaties en gesprekken met instructeurs, diende als uitgangspunt om taalvaardigheidsdoelstellingen te formuleren.

3.3 Beperkte computervaardigheden en competentiegevoel van de kandidaten

Kandidaten kruipen in de huid van een imaginaire cursist die zich in de beroepsopleiding beweegt. Op deze manier moeten zij taken uitvoeren die ze in werkelijkheid, in casu op de opleidlngsvloer, ook zouden moeten kunnen uitvoeren. We kozen voor het volgende toetsformaat: de technisch instructeur legt iets uit (bijvoorbeeld de werkopdrachten voor de dag) en daarna moeten de kandidaten bepaalde opdrachten uitvoeren. Zij kunnen daarvoor een beroep doen op authentiek mondeling en schriftelijk materiaal.

Omdat we met een doelgroep werken waarvan we niet mogen aannemen dat die over enige computervaardigheden beschikt, moet de interface (of de manier waarop de communicatie met de computer plaatsvindt) heel eenvoudig zijn. De computer loodst de cursisten als het ware door het programma geloodst. In dit opzicht is het programma lineair. Wanneer er enige actie van de cursisten wordt verwacht in termen van computervaardigheden (bijvoorbeeld de bediening van de muis), wordt eerst een duidelljk voorbeeld gegeven. Op die manier komt de betrouwbaarheid van de toets niet in het gedrang. Alvorens het programma start, wordt ook van de begeleider (meestal een taallesgever of een cursistenconsulent) verwacht dat hij enkele muisoefeningen met de kandidaat maakt.

Een ander punt waarmee we bij de toetsconstructie rekening dienden te houden, is het competentiegevoel van de kandidaten. Dat zijn overwegend laaggeschoolden, die weinig ervaring hebben met schoolse situaties. Alhoewel ze geïnformeerd worden over het doel van de toets, blijken ze erg bang te zijn om slechte scores te halen. Het zou kunnen dat het niet erg duidelijk is dat ze, in geval van een slechte score, geheroriënteerd worden. Enig blijk van falen tijdens de toets zelf zou hun onzekere en bange gevoel nog kunnen versterken. Daarom wordt tijdens de toets op geen enkel moment negatieve feedback gegeven (in de vorm van een score bijvoorbeeld).

152   Veerle Depauw

3.4 Validiteitsonderzoek

De TIBO-toets doet een uitspraak over de toekomst. We gaan ervan uit dat de cursisten bij een bepaalde score niet in staat zullen zijn om minimaal in de beroepsopleiding te functioneren. Deze predictieve waarde van de toets kan en mag niet zomaar zonder een validiteitsonderzoek aangenomen worden. Daartoe worden cursisten die goed scoren, een tijdje gevolgd op de opleidingsvloer. De scores van de kandidaten en de wijze waarop zij in de beroepsopleiding functioneren worden vergeleken. Als er een goede correlatie is, heeft de toets een goede predictieve waarde. Dit follow-up onderzoek moet dus duidelljk maken wat het verband is tussen een bepaalde drempel en het functioneren op de opleidingsvloer.

4 BESLUIT

Uitgaande van een taakgerichte visie op taalonderwijs lijkt het ons interessant om toetsen te construeren die zo dicht mogelljk aanleunen bij de werkelijkheid. Toetsen moeten met andere woorden zo direct en integratief (integratie van de vier vaardigheden) mogelijk zijn. Zo worden de uitspraken die de test doet over hoe mensen functioneren in communicatieve situaties betrouwbaarder. Betrouwbaarheid en validiteit zijn twee criteria waaraan elk meetinstrument, zo ook de TIBO-toets, moet voldoen.

Om een toets te ontwikkelen is eerst een goed zicht op de taalvaardigheidseisen nodig: je moet weten wat de leerders precies moeten kunnen en wat je wll meten. Een overzicht met doelstellingen is hiervoor een handig hulpmiddel. De keuze voor een multimediale toets komt de betrouwbaarheid en validiteit ten goede: de wereld van de taak wordt altijd op dezelfde wijze voorgesteld; de instructies zijn uniform; de werkelijkheid wordt 'echt' voorgesteld met behulp van bewegende beelden en geluid; de antwoorden worden steeds op dezelfde wijze en met dezelfde criteria door de computer gescoord.

Toetsen zijn een belangrijk middel om taalleerders te evalueren, maar mogen niet de enige maatstaf zijn om hen te beoordelen. Ze gaan het best vergezeld van ervaringen van taalleerkrachten en van persoonlijke gesprekken. Afhankelijk van de doelgroep mogen nog enkele andere principes niet uit het oog worden verloren. In het geval van de TIBO-toets bijvoorbeeld is het belangrijk om rekening te houden met de beperkte computervaardigheden van de kandidaten en om in te spelen op hun competentiegevoel.

NOOT

1 In de literatuur worden verschillende standpunten ingenomen met betrekking tot het totstandkomen van expliciete kennis. De taakgerichte visie sluit het meest aan bij het `zwakke interface standpunt', dat stelt dat expliciete kennis kan bijdragen tot de ontwikkeling van impliciete kennis, als aan bepaalde voorwaarden is voldaan (zie Hyltenstam & Pienemann 1985).