Je hebt je blaadje ingeleverd. Het ligt niet meer in jouw handen. Terwijl eindexamenkandidaten oorden als Lloret de Mar en Chersonissos onveilig maken, worden achter de schermen de N-termen opgesteld. Reden genoeg om Cito, het instituut dat de examens maakt, even een bezoekje te brengen.

Aan tafel zitten Paul van der Molen, manager Onderzoek en Normering en Hugo Gitsels, toetsdeskundige tehatex vwo en kunst algemeen vwo.

Scholieren.com: De examens zijn gemaakt, voor jullie moet dat een spannende periode zijn geweest. Welk gevoel overheerst?

Paul: Voor terugblikken is het echt nog te vroeg. Voor ons begint het feest nu pas.  

Hugo: Je moet begrijpen dat wij in deze dagen pas, na twee tot drie jaar construeren van het examen, feedback krijgen van de leerlingen. Mijn mailbox stroomt nu vol met opmerkingen van docenten die via de examenlijn zijn geplaatst. De leerlingen zijn klaar, maar wij zitten er echt middenin.

En hoe ziet jullie feestje er precies uit? Hoe verwerk je al die feedback?

Paul: Alle docenten geven via Wolf, een softwareprogramma, de scores van hun leerlingen door. Van al die gegevens maken wij bij het Cito een soort samenvatting. Hoe goed het is gemaakt en of vragen goed gefunctioneerd hebben in het examen.

Volgende week nemen we samen met het CvTE die cijfers door. Klopt het allemaal? Snappen we het? Wat moeten we besluiten? Het doel hierbij is om vooruit te blikken op de N-term. Dat proces is tweeledig. Je hebt de keiharde scores van de leerlingen, waarmee een technische N-term opgesteld kan worden. Maar aan de andere kant moet je kijken naar de vragen en de bezwaren op de inhoud van het examen. Dat laatste gebeurt volgende week waarbij een groepje vakdeskundigen per vak en examen komt tot een advies voor de definitieve N-term. Het CvTE krijgt al die adviezen binnen en beoordeelt dat. Vervolgens gaan om woensdagochtend 08:00 de sluizen open, dan wordt onze website voor heel even drukker bezocht dan jullie website. Iedereen is razend benieuwd naar de N-termen.

Nemen de veel beklaagde (als vwo Frans en havo economie) examens per definitie meer tijd in beslag in zo'n vergadering?

Paul: Ja, maar dat betekent niet dat er perse wat mis is met deze examens. Twee jaar geleden kreeg het LAKS bijvoorbeeld 25.000 klachten over het havo-examen Engels, dat was destijds het klachtenrecord. We hebben deze geluiden toen besproken met verschillende docenten. Wat bleek? Deze leraren waren het er over eens dat er op de toets weinig aan te merken viel. We kwamen tot de conclusie, na heel lang vergaderen, dat de leerlingen ‘gewoon’ onverwachts een moeilijk examen hadden gemaakt. Maar met een moeilijk examen is niets mis.

Je ziet ook het omgekeerde trouwens. Dat een examen weinig beklaagd is, maar dat we daar wel een aantal inhoudelijke discussiepunten uit halen.

Maar waarom zoveel discussiëren? Is het niet zo dat een kandidaat nooit hinder mag ondervinden aan de vraagstelling of het correctiemodel? Waarom niet gewoon schrappen als er discussie is? Het is toch de taak van de examenmakers om ervoor te zorgen dat een examen klopt?

Paul: We beseffen heel goed dat we het tijdens deze discussies hebben over tienden van punten, die voor sommige mensen het verschil tussen zakken en slagen betekenen.

Op het moment dat wij een vraag hebben die echt niet deugt, wordt deze virtueel uit het examen gehaald. Maar schrappen heeft ook een nadeel. Je kunt je namelijk afvragen: Hoe erg was die fout? Dit moet je echt in breder perspectief zien.

Was vraag 21 in het vwo-examen natuurkunde zo’n discussiepunt? Waarbij er ontegenzeggelijk sprake was van een fout, maar er getwijfeld werd (kijkend naar het lange discussiëren) over in hoe verre het correctiemodel aangepast zou moeten worden.  

Paul: Dat is inderdaad zo’n vraag. De 'goede' leerlingen hebben daar punten gescoord en minder goede leerlingen misschien niet. De bevinding van het Leids Universitair Medisch Centrum was mede
aanleiding om de vraag te schrappen.

Begrijp ik hieruit dat een niet-deugende vraag soms blijft staan? Anders hoef je de discussie überhaupt niet te voeren toch?

Hugo: Als een vraag niet deugt gaat deze eruit. Maar ik heb begrepen dat er bijvoorbeeld bij economie discussies plaatsvinden over het niveau van de definities in de syllabus. Je definieert een term of theorie voor een havo-leerling anders dan voor een afgestudeerd econoom. Die definities zijn voor de examenkandidaten vastgelegd in de syllabus, maar het komt voor dat academici een definitie scherper of genuanceerder willen neerzetten. Dan gaan we uit van ‘de waarheid’, binnen de syllabus.  En een expert kan altijd nuances aanbrengen of discussies aanzwengelen, maar dat maakt het nog niet altijd interessant genoeg om het correctiemodel aan te passen.

Maar het zou toch niet zo moeten zijn dat een leerling die het leuk vindt om zich te verdiepen in de materie, daar hinder aan ondervindt?

Paul: Dan heb je altijd nog regel 3.3, een ingeburgerde term. Een docent mag een antwoord dat vak-inhoudelijk goed is, toch goedkeuren.

Maar waarom vliegen de eerste en tweede corrector elkaar dan zo vaak in de haren? Als feitelijk juiste antwoorden goed zijn.

Paul: De crux zit m in ‘vak-inhoudelijk’. Soms hebben docenten daarover een verschillende mening.

Hugo: En het zit ook in interpretatie. Je hebt een antwoord en een correctiemodel. Die wordt door de eerste corrector soms anders geïnterpreteerd dan door de tweede.

Paul: Je hebt bij alles ‘de rekkelijken’ en ‘de preciezen’. Ook bij het nakijken van antwoorden. Zo herinner ik me een biologie-examen waarbij de kandidaat twee factoren moest noemen die invloed zouden kunnen hebben gehad op het ontstaan van een plaag van dromedarissen. Eén leerling schreef ‘voedsel’ op. Toen is er discussie ontstaan tussen de eerste en tweede corrector, want: leraar 1 vond dat hij feitelijk gezien een factor benoemd had. Een logisch antwoord is: een overvloed aan voedsel. Maarja: hoe volledig moet het antwoord zijn om alle punten toe te kennen?

De Universiteit van Harvard wist vorige week te melden dat leerlingen slechter presteren in warme periodes. Dit zou dus ook kunnen gelden voor de examenkandidaten. Zou daar rekening mee gehouden moeten worden bij opstellen van de N-term?

Paul: Ik zie daar praktische bezwaren. Laatst was het in Groningen 15 graden en in Maastricht 25 graden. Dan moet je dus per regio een N-term opstellen.

Er zijn ook mensen die opteren voor examens in de winter.

Hugo: hebben die mensen onderzoek gedaan naar hoe kou de prestaties beïnvloedt?  

Paul: Ja, ik vind ook dat we rekening moeten houden met omstandigheden. Maar we kunnen niet alles corrigeren.

Dat houdt dan in dat er soms wel iets te corrigeren valt. En dat de N-term die uiteindelijk wordt opgesteld wellicht geen recht doet aan alle factoren.

Paul: De leerling krijgt het cijfer dat hij verdient. Maar helaas kun je kennis niet zo nauwkeurig meten als de lengte van een tafel en daarbij willen we een examen ook niet veertig uur laten duren. In het systeem zitten wel allerlei vangnetten. Herkansen bijvoorbeeld, zo willen we er voor zorgen dat iedereen die een diploma verdient er ook een krijgt.

Meer weten over de technische details rondom normering? Check dan de bijdragen van de hand van Paul die op de website van Cito staan.