Schrijfmeters maken

ZEVENENTWINTIGSTE CONFERENTIE ONDERWIJS NEDERLANDS

Pickering, A. (2005). ‘Harnessing influences for change: some implications from research for teacher educators’. In: L. Clandfield (ed.). Affect and Self-esteem in Teacher Education. Whitstable/Kent: IATEFL, p. 17-26.

Trajectum (2008). Online raadpleegbaar op www.trajectum.hu.nl/nieuws/2385.

Yarrow, R. (2007). “How do students feel about grammar: The Framework and its Implications for Teaching and Learning”. In: Changing English, vol. 14, nr. 2, p. 175-186.

Ronde 3

Kees de Glopper (a) & Joanneke Prenger (b)

1. CLCG, Rijksuniversiteit Groningen

2. SLO, Enschede

Contact: c.m.de.glopper@rug.nl

j.prenger@slo.nl

Schrijfmeters maken 1. Inleiding

Het volgen van de taalvaardigheidsontwikkeling van leerlingen in het basis- en voortgezet onderwijs is de laatste jaren haast vanzelfsprekend geworden. In leerlingvolgsystemen ontbreken echter instrumenten voor het volgen van de ontwikkeling van het schrijven (‘stellen’). Waarom is dat zo?

Er is geen enkele inhoudelijke reden voor het ontbreken van schrijfvaardigheid in leerlingvolgsystemen. Schrijven is een belangrijke vaardigheid die niet voor niets uitdrukkelijk genoemd wordt in de referentieniveaus taal. En bij de schrijfontwikkeling van leerlingen is, net zoals bij de ontwikkeling van bijvoorbeeld de leesvaardigheid, sprake van grote individuele verschillen. Het ontbreekt scholen aan hulpmiddelen voor het volgen van de ontwikkeling van leerlingen op het gebied van schrijfvaardigheid. Docenten ervaren verlegenheid en tijdsproblemen bij het beoordelen van de teksten van hun leerlingen. De ervaren beoordelingslast is er mede debet aan dat de frequentie waarmee leerlingen teksten schrijven te wensen overlaat.

Het project Schrijfmeters wil een impuls geven aan het schrijfonderwijs door leerkrachten en docenten hulpmiddelen te bieden waarmee ze de ontwikkeling van hun leerlingen kunnen volgen en stimuleren. We ontwikkelen leerjaaroverstijgende beoordelingsschalen (Blok & Hoeksma 1984; Schoonen & de Glopper 1992) bij verschillende

86

3. Taalonderwijs 12-18

tekstgenres: drie voor de bovenbouw van het primair onderwijs (po) en drie voor de onderbouw van het voortgezet onderwijs (vo). Met deze ‘schrijfmeters’ kan de beoordelingslast voor docenten verlicht worden en kan inzicht verkregen worden in de schrijfontwikkeling van leerlingen.

1. Schrijfopdrachten en verzamelde teksten

Het project richt zich op de hoogste leerjaren van het basisonderwijs (groep 6 tot en met 8) en op de onderbouw van het voortgezet onderwijs: leerjaar 1, 2 en 3 (alle onderwijstypen).

Voor zowel het po als het vo hebben we een drietal kernopdrachten ontwikkeld. Onder kernopdrachten verstaan we schrijftaken die aansluiten bij de referentieniveaus taal en die goed uitdrukking geven aan de centrale doelen van het schrijfonderwijs. De kernopdrachten zijn ontwikkeld op basis van een proefafname. Van iedere kernopdracht ontvingen de pilotscholen twee varianten. Op basis van de resultaten van de pilot zijn de definitieve versies van de kernopdrachten vastgesteld.

Voor het po betreffen de kernopdrachten een beschrijving (van de school van de leerlingen), een instructie (over voorlezen, in het kader van een voorleeswedstrijd) en een betoog (tegen een plan voor vrijwilligerswerk op woensdagmiddag). Ook de voopdrachten vragen om een beschrijving (van typisch Nederlandse zaken), een instructie (voor het houden van een spreekbeurt) en een betoog (over de bestemming van geld voor verbetering van de school). De schrijfopdrachten zijn gedurende het schooljaar 2012-2013 op drie momenten afgenomen: in november, februari en april. Aangezien (bijna) elke leerling drie teksten heeft geschreven, hebben we ongeveer 1000 teksten verzameld van 344 leerlingen van vijf po-scholen en ruim 1500 teksten van 551 leerlingen van vijf vo-scholen. De teksten zijn met de hand geschreven.

1. De ontwikkeling van de beoordelingsschalen

Voor elke schrijftaak (drie voor po en drie voor vo) is een beoordelingsschaal geconstrueerd. Daarbij is steeds het volgende proces gehanteerd. Allereerst is uit het totaal aan verzamelde teksten een steekproef getrokken van 100 teksten. Deze zijn op basis van een impressieoordeel gecategoriseerd op een vijfpuntsschaal: ‘zeer zwak’, ‘zwak’, ‘gemiddeld’, ‘sterk’ en ‘zeer sterk’. Vervolgens zijn per schaalpunt twee teksten geselecteerd die representatief waren voor de desbetreffende categorie. Die tien teksten zijn vervolgens door zes beoordelaars (allen taalwetenschappers) opnieuw geschaald, op dezelfde vijfpuntsschaal. De beoordelaars kregen daarbij de instructie vooral te letten op structuurkenmerken. Zo wilden we voorkomen dat de beoordelaars zouden letten op spelling en formulering in plaats van op de vaardigheid van leerlingen om een goed gestructureerde tekst te schrijven. Uit de tien beoordeelde teksten zijn voor opname in

3

87

ZEVENENTWINTIGSTE CONFERENTIE ONDERWIJS NEDERLANDS

de uiteindelijke beoordelingsschaal vervolgens die vijf teksten geselecteerd die door de beoordelaars (bijna) uniform zijn gewaardeerd. Aan deze zogenaamde ankerteksten zijn de scores 70, 85, 100, 115 en 130 verbonden. De kwaliteitsverschillen tussen de vijf teksten hangen samen met de tekstopbouw (inleiding, kern en slot), de alineaopbouw en het gebruik van structuurkenmerken, zoals signaalwoorden.

Bij de beoordelingsschaal, die hieronder schematisch is afgebeeld, kregen de beoordelaars de instructie om elke tekst op basis van vergelijking met de ankerteksten van een score tussen de 50 (lager dan de zwakste ankertekst) en 150 (hoger dan de beste ankertekst) te voorzien.

Figuur 1: Beoordelingsschaal.

1. De toepassing van de beoordelingsschalen

Na de afname zijn de leerlingteksten geanonimiseerd en van een code voorzien. Zo was het voor de beoordelaars niet duidelijk of de teksten geschreven zijn door (bijvoorbeeld) een groep 6- of een groep 8-leerling, door een vmbo- of gymnasium-leerling of door een jongen of een meisje. Alle schrijfproducten zijn vervolgens drie keer vermenigvuldigd, zodat elk schrijfproduct door drie beoordelaars beoordeeld kon worden. De beoordelaars waren derdejaarsstudenten taalbeheersing van de Rijksuniversiteit Groningen. De beoordelaars hebben een instructie gekregen over het beoordelen van teksten aan de hand van een schaal. Ze kregen toelichting op de teksten die als ankertekst in de schaal waren opgenomen.

Na een kennismaking met de schaal en de daarbij behorende toelichting, zijn vier beoordelaars (in vier verschillende combinaties of jury’s van telkens drie beoordelaars) met de po-teksten aan de slag gegaan en acht beoordelaars met de vo-teksten (in 56 verschillende combinaties of jury’s van telkens drie beoordelaars).

1. Bevindingen

Op basis van de analyses van de beoordelingen van de eerste twee kernopdrachten voor po en vo kunnen we enkele belangrijke bevindingen rapporteren1.

88

3. Taalonderwijs 12-18

De gemiddelde betrouwbaarheid (Cronbach alpha) van de oordelen van de verschillende jury’s is redelijk (0,69 voor opdracht 1 po) tot zeer goed (0,87 voor opdracht 2 po; 0,86 voor opdracht 1 vo; 0,87 voor opdracht 2 vo). Dat betekent dat de oordelen van de afzonderlijke beoordelaars onderling niet veel van elkaar afwijken.

Het beoordelen van de teksten van de leerlingen vraagt niet veel tijd. Voor de po-teksten, die – grof geschat – gemiddeld zo’n 200 woorden bevatten, waren de beoordelaars per tekst meestal 5 minuten kwijt. Het beoordelen van de po-teksten, die gemiddeld ruwweg ruim 250 woorden langer waren, vroeg in de regel zo’n 7 minuten.

Voor het po zien we dat de gemiddelde score voor de teksten van de leerlingen in groep 6, 7 en 8 met de jaren klimt. De mate waarin dat gebeurt, verschilt echter wel per schrijftaak. Voor het vo zien we per onderwijstype verschillende patronen. Bij de gymnasium- en atheneumleerlingen zien we een duidelijk toename van de gemiddelde scores over de leerjaren heen. Voor de havo- en vmbo-tl-leerlingen is dat beeld diffuser.

De ervaringen en resultaten van het eerste projectjaar laten zien dat er met de door ons ontwikkelde schijfmeters goed te werken valt. In het vervolg van het project hopen we ervaring op te doen met het herhaald afnemen van de opdrachten: in het po bij groep 7- en groep 8-leerlingen die vorig jaar in groep 6 respectievelijk 7 deelnamen en in het vo bij leerlingen in leerjaar 2 en 3 die vorig jaar in leerjaar 1 respectievelijk 2 meededen. Ook willen we nagaan hoe goed docenten met de door ons ontwikkelde beoordelingsschalen overweg kunnen. Ten slotte willen we experimenteren met het verzamelen van leerlingteksten via een webapplicatie.

Referenties

Blok, H. & J.B. Hoeksma (1984). Opstellen geschaald; De constructie van beoordelingsschalen voor vijf schrijfopdrachten. Amsterdam: Stichting Centrum voor Onderwijsonderzoek.

Schoonen, R. & K. de Glopper (1992). “Toetsing van schrijfvaardigheid: problemen en mogelijkheden”. In: Levende talen, nr. 470, p. 187-195.

Noot

1 Op het moment van afronding van deze bijdrage, begin september 2013, was de analyse van de beoordelingsresultaten voor taak 3 (po en vo) nog niet afgerond.

3

89