Toetsen als eye-openers

TOETSEN ALS EYE-OPENERS

Marja van Knippenberg

Inleiding

In het KCE-project "Examinering en taalbeleid' heeft de Mondriaan onderwijsgroep in samenwerking met (voorheen) ROC Utrecht en het Instituut voor Taalonderzoek en Taalonderwijs Anderstaligen (I.T.T.A.) in Amsterdam twee producten ontwikkeld die zich richten op de verbetering van de kwaliteit van toetsen en examens in het middelbaar beroepsonderwijs:

- Het Screeningsinstrument schriftelijke toetsen

- Beoordelingsvormen in taalperspectief. Een overzicht van beoordelingsvormen in competentiegericht onderwijs vanuit het perspectief van taalvaardigheid van de deelnemer.

Dit artikel gaat in op de problematiek rond toetsen waar deelnemers in de mbo-opleidingen van de Mondriaan onderwijsgroep mee kampen en de manier waarop de ontwikkelde producten kunnen bijdragen aan een oplossing.

Aan de mbo-opleidingen van de Mondriaan onderwijsgroep in Den Haag is voor een hoog percentage deelnemers Nederlands niet de moedertaal. Veel van de eindtermen in het mbo worden schriftelijk getoetst en steeds meer deelnemers hebben problemen met die toetsen. Welke kwaliteitscriteria op het gebied van taalvaardigheid kunnen we aan die schriftelijke toetsen stellen en zijn andere toetsvormen niet veel geschikter? Dat waren de twee hoofdvragen waar het project mee van start ging.

1 Schriftelijk telefoneren

In het project hebben we eerst de knelpunten van de bestaande schriftelijke toetsen in kaart gebracht. Al snel werd duidelijk dat die knelpunten enerzijds te maken hadden met een te laag taalvaardigheidsniveau van de deelnemer, maar anderzijds ook zeker met de vorm en inhoud van de toetsen. Sommige toetsen waren niet valide. Wanneer je een mondelinge vaardigheid, zoals het voeren van een telefoongesprek of een praktische vaardigheid, zoals het snijden van vlees schriftelijk toetst, meet je immers niet wat je pretendeert te meten. Weer andere toetsen hadden bijvoorbeeld een slechte lay-out, bevatten onduidelijke vragen of er was sprake van onnodig moeilijk taalgebruik. Ook bleken nogal wat toetsen spelfouten of andere taalfouten te bevatten. Vakdocenten in een beroepsopleiding zijn vaak bekwame beroepsbeoefenaars, maar lang niet in alle gevallen talig voldoende toegerust om goed schriftelijk te kunnen formuleren. Het project heeft ertoe geleid dat nu in sommige opleidingen toetsen nog eens extra op taal worden bekeken door een taaldocent.

Toetsen als eye-openers - Marja van Knippenberg 1 37

2 Geen niveauverlaging!

Als het taalgebruik in een toets ter discussie staat, is vaak een eerste reactie van docenten en toetsontwikkelaars: "Ja maar, we gaan het niveau niet verlagen!" Dat is ook niet het effect van het Screeningsinstrument schriftelijke toetsen. Het mag immers niet zo zijn dat criteria op het gebied van taalvaardigheid er zonder meer toe leiden dat er lagere eisen aan deelnemers worden gesteld. Aan de andere kant mogen die eisen ook niet onnodig hoog zijn.

Wat is dan het criterium? In het project zijn we uitgegaan van de taalvaardigheid die nodig is om in de beroepssituatie competent te kunnen functioneren. Als we kijken naar schriftelijke toetsen, dan gaat het om leesvaardigheid en mogelijk ook schrijfvaardigheid. Allereerst moeten we dan in kaart brengen welke schriftelijke vaardigheden de beroepssituatie vereist en op welk(e) niveau(s). Moet een deelnemer in de beroepssituatie veel lezen of schrijven? Welke soort teksten moet hij kunnen lezen of schrijven en op welk(e) niveau(s) moet hij dat kunnen?

Als we het willen hebben over taalniveaus, is er een meetlat nodig en daarvoor gebruiken we Raamwerk NT2 3. In de praktijk van het project is gebleken dat het een heel goed instrument is om docenten met elkaar in gesprek te brengen over de benodigde taalvaardigheid. Raamwerk NT2 verschaft een gemeenschappelijke terminologie en de mogelijkheid tot nuancering. Veel docenten in het middelbaar beroepsonderwijs zijn inmiddels doordrongen van het feit dat de taalvaardigheid van veel deelnemers een punt van zorg is, maar het praten erover blijft vaak steken bij de constatering dat het een groot probleem is. Om iets aan dat probleem te kunnen doen, zul je eerst veel beter in kaart moeten brengen welke taalvaardigheid nodig is en op welk niveau. In het project is de eerste stap in die richting gezet door er aan de hand van toetsen over te gaan praten.

3 Scholing op maat

De meeste docenten en toetsontwikkelaars die in het kader van het project met het instrument gewerkt hebben, hebben eerst een scholingsprogramma gevolgd. In de scholing komt de inhoud van Raamwerk NT2 aan de orde en aan de hand daarvan het taalniveau dat van een deelnemer aan een bepaalde opleiding verwacht mag worden op basis van de eisen die de beroepssituatie stelt. Daarnaast komen ook de knelpunten en valkuilen aan de orde die er liggen op het gebied van taalvaardigheid in schriftelijke toetsen en andere vormen van schriftelijke beoordeling. We hebben voor de scholing een programma ontwikkeld dat telkens op maat gemaakt wordt voor de doelgroep. Zo werken we bijvoorbeeld altijd met toetsen uit de opleidingen waar deelnemers aan de scholing aan verbonden zijn en confronteren we hen met voorbeelden uit hun eigen praktijk. Dat maakt het heel concreet en docenten realiseren zich direct wat ze in hun eigen praktijk kunnen verbeteren.

38 I Toetsen als eye-openers - Marja van Knippenberg

4 Samenwerking taaldocent en vakdocent

Het werken met het screeningsinstrument heeft voor veel vakdocenten gewerkt als een eye-opener. Zij zijn gevoeliger geworden voor de rol die taal speelt in toetsen. In het instrument komt naast taal ook het cultuuraspect aan de orde. Vakdocenten zijn zich er vaak niet van bewust dat toetsopgaven een beroep kunnen doen op culturele voorkennis die niet iedere deelnemer heeft.

Taaldocenten, en met name docenten met NT2-expertise, zijn vaak al veel beter thuis in de materie dan vakdocenten en zij krijgen nu de gelegenheid die kennis te delen met de collega-vakdocent. Het screeningsinstrument is een concreet handvat voor taal- en vakdocent om met elkaar in gesprek te gaan over taalvaardigheid en Raamwerk NT2 verschaft daarbij de kaders en een gemeenschappelijke terminologie. In de praktijk van het project is gebleken dat screening van een toets het meeste rendement oplevert, wanneer taal- en vakdocenten gezamenlijk het scholingsprogramma gevolgd hebben en in een vervolgtraject samen naar de toetsen gaan kijken. De taaldocent kijkt door de taalbril en ziet veel beter wat er mis is. Daarnaast kan hij suggesties doen voor verbetering, want dat laatste is natuurlijk ook geen eenvoudige zaak.

Kader 1

Sterke punten van beoordeling in de beroepssituatie

1. De taalgebruikssituaties zijn altijd gerelateerd aan het beroep en de authentieke beroepspraktijk.

Er worden geen andere taalgebruikssituaties opgeroepen dan nodig zijn in het beroep. Zo zullen schriftelijke vaardigheden alleen een rol spelen als ze ook daadwerkelijk in de beroepscontext gevraagd worden. Bij beoordeling van mondelinge of handelingsvaardigheden, zoals het voeren van een (telefoon)gesprek of het snijden van vlees, worden van de deelnemer geen onnodige schriftelijke handelingen gevraagd.

1. De beroepssituatie biedt een betekenisrijke context.

De werkvloer vormt de context waarin de beroepsuitoefening plaatsvindt. Die context geeft vaak al veel informatie over de feitelijke beroepsuitoefening. Zo zijn bijvoorbeeld alle materialen aanwezig waarmee de deelnemer moet werken. Een betekenisrijke context biedt een minder taalvaardige deelnemer ondersteuning en schept de mogelijkheid al bepaalde praktijkhandelingen te oefenen en vervolgens te toetsen als de deelnemer de bijbehorende taal nog niet helemaal beheerst.

5 Interne en externe toetsen

Bij de Mondriaan onderwijsgroep worden veel toetsen intern ontwikkeld, maar daarnaast wordt er ook gebruikgemaakt van toetsen en examens die afkomstig zijn van de Kenniscentra Beroepsonderwijs Bedrijfsleven 4. Ook van die toetsen is een aantal gescreend met behulp van het screeningsinstrument. De resultaten van die screening

Toetsen als eye-openers - Marja van Knippenberg 1 39

boden ons de gelegenheid met de betreffende Kenniscentra het gesprek aan te gaan over de rol die taal speelt in toetsen en de problemen die veel deelnemers ermee hebben. Aan de hand van het instrument konden we heel concreet praten over de problematiek. Zo komt het bijvoorbeeld regelmatig voor dat eenzelfde toets wordt voorgelegd aan deelnemers op een verschillend opleidingsniveau. Voor een deelnemer die een niveau 4-opleiding volgt, is het taalgebruik in zo'n toets misschien totaal geen probleem, maar dat is wel het geval voor een deelnemer die een niveau 2-opleiding volgt. In het instrument wordt de relatie gelegd tussen het taalniveau in de toets en het vereiste taalniveau in de beroepssituatie. Voor de deelnemer die een lagere opleiding volgt, betekent dat vaak een lager niveau dan voor een deelnemer die een niveau 4-opleiding volgt. In zo'n geval werpt de toets dus onterecht talige drempels op voor een deelnemer die een niveau 2-opleiding volgt.

Kader 2

Zwakke punten bij formatieve beoordeling in de beroepssituatie

1. Praktijkopleiders zijn niet deskundig op het gebied van taalverwerving. Praktijkopleiders kunnen niet altijd door taalfouten heenkijken, omdat ze niet weten waar de problemen voor deelnemers liggen. Fouten in taalgebruik kunnen geïnterpreteerd worden als dommigheid, het hanteren van een verkeerd register als onbeleefdheid. Bij een summatieve beoordeling moet een deelnemer aan de taaleisen van de beroepssituatie voldoen, maar in een formatieve beoordeling kan taalontwikkeling een aandachtspunt zijn.

Aanbevelingen

1. In opleidingen waar deelnemers kampen met taalproblemen, zijn praktijkopleiders op de hoogte van het feit dat deze deelnemers mogelijk nog in een bepaalde fase van taalverwerving zitten. Daarbij gaat het niet alleen om nieuwkomers maar ook om deelnemers die een vooropleiding in Nederland hebben gevolgd.

2. Wanneer een deelnemer taalproblemen heeft, wordt op dat onderdeel diagnostische toetsing verricht en wordt een opbouw in taalontwikkeling opgenomen in de beoordelingssystematiek. Deze diagnostische toetsing en daaropvolgende feedback worden verricht door een taaldeskundige. Dit vraagt samenwerking tussen de praktijkbegeleider en bijvoorbeeld een roc waar de taaldeskundigheid in huis is. Voorwaardelijk daarbij is dat taalontwikkeling tot een voldoende beheersingsniveau (gerelateerd aan de beroepscompetenties) benoemd is als opleidingsdoel.

6 Andere beoordelingsvormen

De veronderstelling dat andere beoordelingsvormen, bijvoorbeeld toetsing in de praktijk, de problematiek van minder taalvaardige deelnemers bij toetsen wel zal oplossen, is een wat al te simpele. In het project hebben we op basis van ervaringen van docenten en onderzoek onder deelnemers en bpv-begeleiders s geïnventariseerd welke voor-

40 I Toetsen als eye-openers - Marja van Knippenberg

delen andere beoordelingsvormen hebben vanuit het perspectief van taalvaardigheid. Er is daarbij gekeken naar beoordeling in de beroepssituatie, in een simulatie, door middel van een casus, een werkstuk of schriftelijk verslag en een mondelinge presentatie. Daarnaast komen het portfolio, zelfbeoordeling en reflectie en beoordeling door of van een mededeelnemer aan bod. Het overzicht laat echter ook zien dat iedere vorm nadelen heeft of dat er valkuilen zijn.

Wanneer we het hebben over voor- of nadelen, speelt ook een rol of het om formatieve of summatieve toetsing gaat. Stel, we willen het voeren van een verkoopgesprek beoordelen. Bij formatieve beoordeling, gericht op diagnose en feedback, kan het dan een voordeel zijn dat de beoordelaar de omstandigheden kan controleren of dat er een deskundige op het gebied van taalvaardigheid bij aanwezig is.

Bij summatieve beoordeling, een eindbeoordeling, moet een deelnemer voldoen aan alle eisen die de beroepspraktijk stelt. Dat maakt de beroepspraktijk een prima plek voor summatieve beoordeling van een verkoopgesprek, maar bijvoorbeeld simulatie een geschiktere vorm voor formatieve beoordeling.

Veel van de criteria uit het Screeningsinstrument schriftelijke toetsen zijn ook van toepassing op andere beoordelingsvormen, bijvoorbeeld de relatie tussen de taalvaardigheid die de beoordelingsvorm vraagt en de vereiste taalvaardigheid in de beroepssituatie. Bij de invoering van competentiegericht onderwijs doen andere beoordelingsvormen hun intrede en daarbij wordt de relatie met de beroepssituatie niet altijd in het oog gehouden. Een voorbeeld daarvan is het schrijven van een verslag. Een deelnemer die een opleiding volgt op het gebied van welzijn moet beschikken over die competentie, maar een deelnemer die een handelsopleiding volgt, hoeft daar niet over te beschikken.

De praktijk laat zien dat er bij het zoeken naar nieuwe beoordelingsvormen soms nieuwe barrières worden opgeworpen. De criteria in Beoordelingsvormen in taalper- spectief kunnen een bijdrage leveren om dat te voorkomen.

7 Een groter bewustzijn van de rol die taal speelt

In het project zijn met behulp van het Screeningsinstrument schriftelijke toetsen zo'n 150 toetsen gescreend van 28 verschillende opleidingen. In totaal waren er ruim honderd docenten bij de screening en verbetering van toetsen betrokken. Uit onderzoek kwam naar voren dat deelnemers tevreden zijn over de verbeterde toetsen en dat ze betere resultaten behalen. Na afloop van het project zijn de criteria uit het screeningsinstrument opgenomen in procedures rond de vaststelling van toetsen en examens en worden meer docenten geschoold in het gebruik van het instrument. Bij de deelnemende docenten heeft het werken met het screeningsinstrument vooral geleid tot een groter bewustzijn van de rol die taal speelt, niet alleen in toetsen, maar bijvoorbeeld ook in lesmateriaal.

Toetsen als eye-openers - Marja van Knippenberg 1 41

Ook het lesmateriaal is vaak onnodig moeilijk en docenten zien beter dan voorheen waar het hem in zit. Toch is hier wel een waarschuwing op zijn plaats. We kunnen lesmateriaal niet op dezelfde manier beoordelen als toetsen. Het lesmateriaal moet voldoende stimuleren tot de benodigde taalontwikkeling en dat stelt andere eisen. Als we het lesmateriaal taalarm maken, lopen we het risico in een negatieve spiraal terecht te komen in plaats van te werken aan de benodigde taalontwikkeling.

Het project was onderdeel van het roc-brede taalbeleid dat de Mondriaan onderwijsgroep voert 6. Een van de belangrijkste uitgangspunten van dat beleid is dat alle docenten deskundig worden op het gebied van taalontwikkelend onderwijs. De toetsen zijn bij ons een goede ingang gebleken om veel docenten te bereiken en het proces van deskundigheidsbevordering verder in gang te zetten.

Kader 3

De producten

Het Screeningsinstrument schriftelijke toetsen bestaat uit een digitaal formulier en een bijbehorende handleiding. Naast aanwijzingen voor gebruik van het instrument bevat de handleiding een inhoudelijke toelichting op alle criteria, met veel voorbeelden uit de praktijk en aanbevelingen.

Beoordelingsvormen in taalperspectief geeft een overzicht van de rol die taalvaardigheid speelt bij verschillende toetsvormen en de kwaliteitseisen die we vanuit die optiek aan een toetsvorm kunnen stellen. De producten zijn voor iedereen beschikbaar op de website van de Mondriaan onderwijsgroep: www.mon3aan.nl onder 'Onze organisatie>Wat doen wij nog meer?>Projecten'.

Voor meer informatie over de producten of scholing in het gebruik ervan: m.van.knippenberg@mon3aan.nl.

Noten

1 Dit artikel verscheen eerder in Les (jg. 2005, nr. 133).

2 De Stichting KwaliteitsCentrum Examinering (KCE) borgt en stimuleert vanaf 1 augustus 2003 de kwaliteit van de examinering in het Nederlandse middelbare beroepsonderwijs

Raamwerk NT2 (juni 2002) is een vertaling en bewerking van het Common European Framework of References for Languages, Council of Europe 2001. Raamwerk NT2 is te vinden op: http://www.cinop.nl/portfoliont2.

Een Kenniscentrum Beroepsonderwijs Bedrijfsleven is werkzaam ten behoeve van beroepsopleidingen die naar hun aard en samenhang tot eenzelfde bedrijfstak of groep van bedrijfstakken behoren.

Beroepspraktijkvorming (= stage)

De start werd gevormd in december 2000 door een draagvlakpeiling met behulp van een quick-scan. In februari 2003 verscheen de taalbeleidsnota Elkaar verstaan bij Mondriaan (Trinette Hovens)

42 1 Toetsen als eye-openers - Marja van Knippenberg