Al ruim een halve eeuw voeren we beleid tegen onderwijsachterstanden. De doelgroep van dat beleid bestaat uit kinderen van ongeschoolde of laaggeschoolde ouders, vaak in combinatie met een niet-Nederlandse herkomst. Vooral via Voor- en Vroegschoolse Educatie (VVE) wordt kinderen extra ondersteuning geboden, ter compensatie van een vaak ongunstige thuissituatie. Het voorschoolse deel – voor de 2,5- tot 4-jarigen in kinderdagverblijven en peuterspeelzalen – verloopt via gemeenten. Het vroegschoolse deel – voor groep 1 en 2 van de basisschool – verloopt via schoolbesturen. In de loop der jaren zijn er tientallen miljarden aan uitgegeven.
Een belangrijk deel van de programma’s is nooit wetenschappelijk geëvalueerd
In de Voor- en Vroegschoolse Educatie moet een erkend stimuleringsprogramma worden uitgevoerd. Daardoor kampt de VVE met een fors probleem. Een belangrijk deel van de programma’s is namelijk nooit wetenschappelijk geëvalueerd. Voor zover dat wel is gebeurd, gaat het in methodologisch opzicht om minder sterke studies.
Effect bleek nul te zijn
Een aantal jaren geleden hebben Fukkink et al. (2015) met een meta-analyse van evaluatiestudies een totaaloordeel geveld over de effectiviteit van de programma’s. Het effect bleek nul te zijn. Oftewel, er is geen enkel wetenschappelijk bewijs dat VVE-programma’s iets opleveren. Op de studie van Fukkink kwam veel kritiek. Het zou methodologisch niet goed in elkaar steken. Zelfs al zou er in Nederland misschien geen effect zijn aangetoond, er was overtuigend buitenlands bewijs dat VVE wel degelijk effectief was. Voor dat laatste volgde steevast een verwijzing naar enkele kleinschalige experimenten in de Verenigde Staten, met name naar het Perry Preschool-project.
Aan dat tussen 1962 en 1967 uitgevoerd project deden 58 kinderen (experimentele groep) respectievelijk 65 kinderen mee (controlegroep), die nog tot een halve eeuw na afloop van het project zijn gevolgd. Dit om na te gaan wat er uiteindelijk van hen terechtkwam.
Uit mijn eigen onderzoek blijkt dat Perry exceptioneel is, en onvergelijkbaar met ons VVE
Econoom en Nobelprijswinnaar James Heckman et al. verrichtten talloze geavanceerde analyses op de Perry-data. Hun conclusies luidden steevast dat het Preschool-project uiterst effectief was, op het gebied van onderwijs, werk, gezondheid en criminaliteit. De deelnemers aan het project vertoonden bijvoorbeeld significant minder crimineel gedrag dan niet-deelnemers. De gevonden effecten zouden kunnen worden gegeneraliseerd naar soortgelijke programma’s elders.
Betekenisloos
Uit mijn eigen onderzoek blijkt dat Perry exceptioneel is, en onvergelijkbaar met ons VVE. Het project valt op vanwege zijn kleine onderzoeksgroep, die in de loop der jaren ook nog eens flink slonk. Ook bijzonder was dat het project op één locatie plaatsvond, en vanwege de hoogopgeleide leerkrachten, de intensieve begeleiding en de samenstelling van de doelgroep. Enkel Afro-Amerikaanse kinderen, van wie de helft uit een eenoudergezin, die opgroeiden in een hele zwakke achterstandswijk.
Vooral door het unieke karakter van de doelgroep is de uitkomst van het Perry-project de facto betekenisloos voor het Nederlandse VVE. De kinderen die aan Perry deelnamen, hadden een IQ tussen de 61 en 80 punten. Het VVE is gericht op kinderen met een normaal IQ - gemiddeld tussen de 90 en 110 - en normale capaciteiten, die vanwege de thuisomstandigheden onder (dreigen te) presteren.
Verder opvallend aan de vele studies naar het Perry Preschool-project is dat ze voornamelijk focussen op positieve effecten. Aan de vele negatieve en nul-effecten en de inconsistenties maken ze weinig woorden vuil.
Kritiekloos verwijzen
Hoe kan het dat onderzoekers, en in hun voetspoor politici en beleidsmakers, kritiekloos naar Heckman verwijzen? Zouden zij zich beperkt hebben tot de samenvatting van de onderzoeksresultaten en verder niet hebben gekeken naar hoe het Perry-programma en Heckmans studies in elkaar steken?
Hebben we hier te maken met papegaaien en cherry-picking?
Of hebben ze wellicht alleen de aanhalingen en samenvattingen van anderen gelezen, en de originele publicaties helemaal niet? Hebben we hier te maken met papegaaien en cherry-picking?
Doorgaans presenteert Heckman in zijn tabellen het gemiddelde van de experimentele groep en dat van de controlegroep plus de p-waarde die aangeeft of het verschil en dus het effect significant zijn. In onderzoeksland is het al decennia gebruikelijk en zelfs verplicht om een maat te publiceren voor de sterkte van het gevonden effect. In een recent artikel van Heckman cum suis ontbrak die maat.
Sterk opgeblazen
In antwoord op mijn vraag naar die maat – effect size – stuurde Heckman mij een databestand. Uit analyses daarop kwamen voor de mannelijke Perry-deelnemers de volgende significante p-waarden en effect sizes naar voren: voor het onderdeel IQ was dat 1/7: 1.00, ofwel op slechts 1 van de 7 IQ-tests was het verschil significant en de effect size daarvan was 1.00.
Een uiterst vreemde zaak, te meer omdat er in dit onbewezen VVE miljarden euro’s omgaan
Voor de overige onderdelen waren de resultaten als volgt: toetsprestaties (5/5: 0.39, 0.42, 0.54, 0.56, 0.36), onderwijsresultaten (0/4), criminaliteit (1/4: 0.45), en werk (1/9: 0.37). Net als over de interpretatie van significantie is er ook discussie over de interpretatie van effect sizes. Vaak wordt als vuistregel een effect van 0.20 als klein beschouwd, 0.50 als medium, en 0.80 als sterk (NJi, 2025), maar daar is veel discussie over. Hoe het ook zij, aangetoond is dat effect sizes bij kleine steekproeven vaak sterk opgeblazen worden.
Uiterst vreemde zaak
Het Perry Preschool-project, dat veelal wordt opgevoerd als bewijs dat voor- en vroegschoolse programma’s zeer effectief kunnen zijn, kent een volstrekt andere doelgroep dan het Nederlandse VVE. Los daarvan, het aantal significante effecten is eigenlijk uiterst beperkt. Bovendien zijn de bijbehorende effect sizes ook nog eens klein. Ter onderbouwing van het VVE heeft Perry dus geen waarde.
Maar wat die dan wel zou zijn, is volstrekt onduidelijk; het ontbreekt simpelweg aan (goed) onderzoek. Voor een ministerie van Onderwijs dat claimt gericht te zijn op evidence-based werken is dat toch een uiterst vreemde zaak, te meer omdat er in dit onbewezen VVE miljarden euro’s omgaan.
Geert Driessen was onderwijsonderzoeker aan het ITS van de Radboud Universiteit. Momenteel is hij semi-gepensioneerd.
Foto: RDNE Stock Project via Pexels.com