Dagelijks interpreteren we de cijfers die ons worden voorgelegd. Zo ontstaat een referentie voor wat we veel of weinig vinden en dus ook wat we een slechte of goede prestatie vinden. Dat hebben we ook bij procenten. Die referenties zijn context afhankelijk: 5% korting vinden we niet zo veel, maar het gemiddelde ziekteverzuim van 5,2% geeft weer een ander gevoel. De korting van 5% vergelijk je met 30% tot 70% korting die we in de uitverkoop gewend zijn. Het ziekteverzuimpercentage vergelijken we met de percentages uit afgelopen jaren (meestal in de range van 4% tot 7%).

Het is daarom interessant om te kijken hoe we met een resultaat in percentages om kunnen gaan. We nemen als voorbeeld een percentage dat vaak genoemd wordt in de context van het reken-wiskundeonderwijs. In de Staat van het onderwijs 2024¹ staat deze zinsnede:

“Het aandeel scholen waarop meer dan 65% van de leerlingen 1S beheerste was slechts 12%. Een klein deel van deze scholen lukt het om minimaal 2 jaar aaneen meer dan 65% van hun leerlingen naar 1F te brengen.” ²

Daar schrik je toch even van. 12% klinkt weinig, voor je gevoel moet dat toch 100% zijn? De woorden ‘slechts’ en ‘een klein deel’ bevestigen dat gevoel. De schrijvers van het rapport vinden dit blijkbaar ook niet zo’n hoog percentage. Maar is dat inderdaad echt zo? Wat betekent die 12% in dit geval nu echt? Met wiskundig redeneren kunnen we wat meer grip op dit getal krijgen.

Gedachtenexperiment

De context van de prestaties van scholen op het gebied van het rekenen is complex. De prestatie van een leerling wordt allereerst bepaald door het talent van die individuele leerling. Maar er zijn ook vele andere factoren die schoolprestaties ten positieve of negatieve beïnvloeden. Om maar een rijtje te beginnen: de kwaliteit van de docent, de samenstelling van de klas, thuissituatie, leercultuur van de school als geheel, pestgedrag, onderpresteren, …… Dan zijn er ook nog factoren die met het meten van de rekenprestaties, en dus de kwaliteit van de gerapporteerde cijfers, te maken hebben. Een complex geheel dus. Nu is het in het algemeen verstandig om heel voorzichtig te zijn met het verbinden van conclusies aan één getal dat zo’n complexe situatie beschrijft.

Om toch wat grip te krijgen op de betekenis van die 12% kunnen we een gedachtenexperiment doen om te kijken hoe de situatie eruit zou zien als de prestatie helemaal aan de leerling zelf ligt én leerlingen volledig random over de Nederlandse scholen verdeeld zouden zijn.

Iets minder dan 50% van de leerlingen in Nederland haalt het 1S niveau. Stel nu dat we 50% van alle groep 8 leerlingen (dat zijn er ongeveer 140 000) een groene stip op hun voorhoofd geven. We doen dat helemaal random door heel Nederland. Nu gaan we per groep 8 kijken hoeveel procent van de leerlingen een groene stip op het voorhoofd heeft.

In hoeveel procent van deze groepen 8 zal het percentage groene stippen boven de 50% liggen?

Je voelt het waarschijnlijk al aan. Dat zal geen 100% zijn. Want als je de leerlingen random verdeelt dan zullen er klassen zijn waar meer dan de helft van de leerlingen een groene stip heeft. Dat kan alleen als er dan ook andere klassen zijn waar minder dan de helft van de leerlingen een groen stip heeft. Met een beetje statistiek en vereenvoudiging (we verwaarlozen het verschil in groepsgrootte per school) verwachten we dat op ongeveer 50% van deze groepen 8 meer dan de helft van de leerlingen een groene stip heeft.

Door het nemen van kleine steekproeven (één school) uit de hele populatie verandert er dus ineens heel veel. De getallen worden ineens een stuk minder intuïtief. In plaats van de gedachte dat 100% van de scholen een bepaalde norm moet halen, blijkt nu dat er niets speciaals aan de hand is als ‘maar’ 50% van de scholen het landelijk percentage haalt. Dit simpele experiment geeft al een eerste argument waarom het niet zo verstandig is om per school te kijken welk percentage leerlingen het 1S niveau haalt. Ons vermogen om uit dergelijke cijfers het effect van een normale verdeling te filteren is daar namelijk niet goed genoeg voor. Zeker in een rapport dat door een groter publiek gelezen wordt is het niet verstandig om een zo ingewikkeld te interpreteren getal te publiceren.

In onderstaande figuur zie je de verdeling voor het percentage leerlingen op niveau 1S per school. Hier zie je ook dat de aanname dat de leerlingen random verdeeld zijn inderdaad een versimpeling van de werkelijkheid is, maar dat de verwachting dat er een normaal achtige verdeling ontstaat wel gerechtvaardigd is.

Nog meer verwarring

In de grafiek hierboven zien we een grijze lijn bij 65%. Bij het vaststellen van het 1S en 1F niveau werd een schatting gemaakt van het percentage leerlingen dat op dat moment het 1S niveau zou halen. Dat was 50% waarbij de ambitie werd gesteld dat op termijn 65% van de leerlingen dit niveau zou halen. Een stip op de horizon dus. 50% bleek overigens een iets te optimistische schatting, in de metingen daarna ligt dit percentage altijd iets lager. De ambitie van 65% blijft staan en het is interessant om te kijken wat het effect van die grens is op de getallen. We gaan dus terug naar ons gedachtenexperiment waarin 50% van de groep 8 leerlingen een groene stip op zijn voorhoofd heeft staan.

Welk deel van de groepen 8 heeft meer dan 65% groene stippen?

65% en 50% klinken dicht bij elkaar. Je zou daarom misschien verwachten dat het aantal klassen dat die 65% groene stippen haalt dus ook nog wel dicht bij de 50% uit het eerste gedachtenexperiment zal liggen. Niets is minder waar. In de random situatie is het aantal groepen 8 dat die 65% groene stip haalt verrassend laag: ongeveer 0,1%. Een simpel kansexperiment waarbij je 100 keer een munt gooit met 50% kans op kop geeft je hier al een beter gevoel voor.

Vergeleken met deze 0,1% is 12% ineens heel erg veel. Het laat zien dat ons groene stippen experiment inderdaad een versimpeling van de werkelijkheid is. Maar wat nu het bepalende verschil is tussen ons simpele model en de werkelijkheid komen we aan de hand van deze cijfers niet te weten. Het is goed voor te stellen dat leerlingen niet helemaal gelijk over de Nederlandse scholen verdeeld zijn als we naar rekentalent kijken. Ook is niet elke docent even bedreven in het geven van rekenonderwijs en de prestatie van leerlingen is uiteraard ook afhankelijk van de kwaliteit van de leraar. Maar ook invloeden op leerprestaties als armoede zijn niet gelijk over de Nederlandse scholen verdeeld. We moeten dus wederom concluderen dat de situatie te complex is om uit dit soort getallen conclusies te trekken.

Ik durf wel te concluderen dat de rapportage op het ‘aantal scholen met een bepaald minimum percentage van de leerlingen dat 1S haalt’ onverstandig is. Het levert een getal op waar je maar moeilijk betekenis aan kunt geven. De neiging bestaat 12% te vergelijken met 100%. Dan maak je alleen de denkfout dat een landelijk percentage niet zomaar naar elke losse klas vertaald kan worden. Wil je iets zeggen over de kwaliteit van het rekenonderwijs door te kijken naar verschillen tussen scholen, dan is het cijfer ook moeilijk te interpreteren. Hoe moet je namelijk de 12% vergelijken met de 0,1% uit de ‘random situatie’. Je kunt hooguit concluderen dat er verschillen zijn tussen scholen, maar op basis van alleen dit percentage kunnen we niet zeggen wat de meeste invloed op die verschillen heeft. Er lijkt in ieder geval geen enkele aanwijzing om de 12% met ‘slechts’ aan te duiden.

Vergroten van het effect

Gaan we terug naar het citaat uit de Staat van het onderwijs dan moeten we nog één ding doordenken. In het citaat van de inspectie staat namelijk ook een opmerking over het aantal scholen dat dit percentage twee of meer jaren achter elkaar haalt. Zou je uitgaan van de volledige random situatie, dan heeft ongeveer 50% van de scholen meer dan 50% leerlingen met een groene stip. Kijken we naar de kans dat zij dit twee jaar op rij halen dan is dat 25%. Drie jaar op rij heeft een kans van 12,5% en vier jaar op rij een kans van 6,25%. Dit is als de kans van jaar op jaar onafhankelijk is. Zouden we met 12% en onafhankelijke jaren rekenen dan is het percentage voor twee jaar 1,4%. Nu heeft het experiment al laten zien dat de school wel degelijk effect lijkt te hebben, dus waarschijnlijk zijn de jaren niet onafhankelijk. Maar het geeft wel een indruk van hoe moeilijk het is om de 65% 1S meerdere jaren vast te houden.

Wat valt hier te leren?

De uitkomst van deze blog is dat de betekenis van de getallen in “Het aandeel scholen waarop meer dan 65% van de leerlingen 1S beheerste was slechts 12%. Een klein deel van deze scholen lukt het om minimaal 2 jaar aaneen meer dan 65% van hun leerlingen naar 1F te brengen.” bijzonder moeilijk te beoordelen is. We kunnen het volgende van dit voorbeeld leren:

• De kracht van een gedachtenexperiment.
  Het is heel erg lastig om over een steekproef uit een landelijk percentage te redeneren. Door eerst een simpele modellering te kiezen en daarmee te rekenen krijg je in ieder geval al een beter gevoel voor de betekenis van getallen.
• De ongeschiktheid van de maat.
  Het gedachtenexperiment laat ook meteen zien dat het berekenen van een percentage scholen dat een bepaalde drempelwaarde haalt een hoogst ongelukkig maat is. Het is moeilijk te zeggen of 12% nu een hoog of laag percentage is in deze context.
• Vergroting van het effect.
  Als je met dit soort getallen ook nog naar meerdere jaren gaat kijken, dan komt daar geen nieuw inzicht bij. Het getal wordt er vooral kleiner van, waardoor het nog dramatischer lijkt. We weten dan nog steeds niet of het genoemde percentage hoog of laag is.

Nog wat laatste kanttekeningen

In deze blog heb ik laten zien dat het genoemde percentage van 12% eigenlijk niet te duiden is. Wat mij betreft kan de traditie om dit getal te rapporteren daarom maar beter doorbroken worden. Maar er zijn nog veel meer problemen met deze rapportage.

Kwaliteit van de meting
Het bepalen of een leerling ‘het’ 1S niveau behaalt kent methodologisch vele haken en ogen. 1S is in eerste instantie namelijk een inhoudelijke beschrijving van wat leerlingen moeten kennen en kunnen. Het is een beschrijving over vele onderwerpen in 4 domeinen. Mogen we verwachten dat voor een leerling het rekenniveau op het onderwerp verhoudingen hetzelfde is als het rekenniveau op het gebied van ruimtelijk inzicht? Kun je dus het overall rekenniveau wel in één waarde samenvatten? Wat betekent het dan dat een leerling 1S heeft gehaald? Daarbovenop komen nog andere meetproblemen. Het lijkt er namelijk op dat in de bepaling van het rekenniveau verschillen bestaan tussen de toetsaanbieders. Er is dus niet één toetsinstrument waarop de inspectie haar conclusies baseert, maar de scholen gebruiken één van de de beschikbare toetsen. De data waarmee wordt gewerkt is dus niet van onbesproken kwaliteit.

Invloed op prestaties
Door per school te kijken wordt een poging gedaan de kwaliteit van de school te bepalen. Dat is echter ook niet zo simpel. Er zijn vele factoren die leerprestaties beïnvloeden en die liggen niet allemaal in de beïnvloedingssfeer van de school. De (vak)didactische kwaliteit van de rekenles is dus niet zomaar uit de cijfers te filteren.

De drempel geeft weinig informatie
Een laatste probleem met de manier van rapporteren en meten dat ik hier aan wil kaarten is de keuze om met een drempelwaarde te werken. Door alleen te kijken of 1S gehaald is wordt niet gekeken hoever of hoe dicht de leerlingen bij het 1S niveau vandaan scoren. Om echt te weten of de ambitie van 65% haalbaar is, en om echt te weten of het rekenniveau in heel Nederland voor- of achteruit gaat, heb je eigenlijk een continue schaal nodig waarop de rekenprestaties van de leerlingen worden gerapporteerd. Een dergelijke rapportage zou de lezer veel meer informatie geven en een ‘eerlijke’ kans iets van de cijfers te kunnen vinden.

Tot slot: in het huidige landschap is het verstandig om bij deze blog op te merken dat wat ik hier schrijf niet bedoeld is als een berusting in de huidige rekenprestaties. Deze blog heeft een dubbele bedoeling: laten zien dat de gekozen rapportage moeilijk te interpreteren is én een voorbeeld laten zien van hoe je met wiskundig redeneren meer betekenis aan getallen kunt geven. Dat laatste is meteen ook een pleidooi voor meer aandacht voor wiskundig redeneren in het reken-wiskundeonderwijs en wiskundeonderwijs. Bij het functioneel gebruiken van je kennis en vaardigheden is dit een belangrijk onderdeel. Geen berusting dus. Ik denk dat er nog heel wat te verbeteren is aan ons reken-wiskundeonderwijs en daar draag ik graag aan bij aan de discussie daarover.

---

Noten

¹ Te downloaden via: www.onderwijsinspectie.nl/documenten/2024/04/17/rapport-de-staat-van-het-onderwijs-2024
² Dit is een letterlijk citaat, maar ik denk dat we er hier vanuit mogen gaan dat hier 1S in plaats van 1F wordt bedoeld.