‘What counts is what works’, aldus Tony Blair. De voormalige Britse premier was in het Verenigd Koninkrijk vanaf 1997 verantwoordelijk voor de introductie van het evidence based werken op maatschappelijke terreinen als onderwijs en hulpverlening. Niet langer zouden ideologische motieven centraal staan bij de keuze voor beleid, maar wetenschappelijke kennis. Ook aan Nederland is die wind niet voorbijgegaan.
Vanaf begin deze eeuw is evidence based werken op maatschappelijk gebied ook in Nederland aan een opmars begonnen. Daar danken we inmiddels verschillende databanken aan, en een wijdverbreide evaluatiecultuur. Wat weten we nu precies over effectieve aanpakken van sociale problemen?
Een databank waarmee hard aan de weg wordt getimmerd is ‘Effectieve Jeugdinterventies’ van het Nederlands Jeugdinstituut. Daarin vinden we 170 methoden beschreven die problemen met jeugd en jongeren kunnen oplossen. Handzame trainingen of therapieën in geval van seksueel misbruik, agressiviteit, eetstoornissen, leerproblemen en ouders die worstelen met opvoeden. Slechts een handvol daarvan is ook daadwerkelijk wetenschappelijk bewezen effectief. Dat is geen luxe voor een kabinet dat volgens het regeerakkoord de professionalisering van de jeugdzorg wil versnellen.
Ook het ministerie van Justitie is ‘in effectiviteit’. Sinds 2005 bestaat er de Erkenningscommissie Gedragsinterventies Justitie die interventies verzamelt waarmee voorkomen moet worden dat veroordeelden opnieuw in de fout gaan. De commissie hield 47 methoden tegen het licht en erkende er 23 als verwachtingsvol, waarmee de commissie zegt dat binnen een jaar vijf á zeven voldoende bewijs is vergaard om het keurmerk wetenschappelijk bewezen te krijgen.
Een nog lange weg te gaan is er in de sociale sector. De databank Effectieve Sociale Interventies van het kennisinstituut MOVISIE bevat nog niet echt onomstotelijk bewezen interventies en wil vooral bereiken dat de honderd goed beschreven methoden nu in de praktijk getoetst gaan worden. Erg sterk zijn de kaarten van de Eigen Kracht Conferenties waarbij families me betrokkenen in hoofdzaak zelf hun sores oplossen.
Het bewijs voor de sociale interventies steekt nog mager af bij de ingrepen die in medische databanken zitten. In het Amerikaanse PUbMed bijvoorbeeld bevinden zich 22 miljoen artikelen en worden er gemiddeld per uur ongeveer honderd aan toegevoegd. Onoverzichtelijke hoeveelheden die gelukkig weer ontsloten worden doordat in andere databases reviews met samenvattingen worden verzameld, waar het vaak efficiënter zoeken is.
Tegenstanders willen er niet aan
Niet alleen staat veel kennis over sociaal beleid nog in de kinderschoenen, er komt nog iets bij: veel van deze kennis, gestold in herhaalbare methoden, is ook niet onomstreden. Er lopen nogal wat jongerenwerkers en andere sociale professionals rond die niets moeten hebben van het keurslijf van een opgelegde methodiek. Die al weten wat werkt, vertrouwend op eigen inzichten en opgebouwde expertise. En ook in de wetenschappelijke wereld staat zeker niet iedereen te springen om evidence based methodieken. Kijk uit voor het evidence beest, waarschuwt Micha de Winter zelfs, want voor we het weten moeten we kinderen gaan opvoeden volgens de opvattingen van de wetenschap en overheid.
In de politiek is er een heel ander bezwaar te horen. Daar klinkt een tamelijk dominante stroming die het liefste feiten- en onderzoeksvrij blijft. PVV-kamerlid Lilian Helder werd een hit op YouTube met haar hardnekkige verwerping van het onderzoek van het Nederlands Studiecentrum Criminaliteit en Rechtshandhaving. Dat liet zien dat recidive veel hoger lag bij mensen die een gevangenisstraf hadden gekregen dan bij de mensen die voor hetzelfde delict een taakstraf hadden gekregen. Als je recidive wilt voorkomen dan zijn volgens dit onderzoek taakstraffen dus effectiever dan gevangenisstraffen. Maar Helder is niet overtuigd: ‘Ik vind dat die onderzoeken appels met peren vergelijken; niet appels met koeien, zo ver wil ik niet gaan, maar wel appels met peren. Niet iedere persoon is immers hetzelfde. Diegene die een vrijheidsstraf heeft ondergaan kun je niet vergelijken met iemand met een taakstraf.’
Ontdekking: een stille evaluatierevolutie
Met het boek Wat werkt nu werkelijk? deden wij niettemin een verrassende ontdekking. Dat kwam omdat we ook auteurs uitnodigden waarvan we het sterke vermoeden hadden dat ze sceptisch tegenover evidence based werken zouden staan, bijvoorbeeld omdat ze liever redeneren vanuit de praktijkervaringen en deskundigheid van sociale professionals. Cultuurpsycholoog Jos van der Lans is zo iemand: wars van databanken met hun bloedeloos beschreven methodieken, en iemand met veel meer vertrouwen in kundige professionals. Fascinerend is ook het verhaal van de aanstormende onderzoeker Sebastiaan Abdallah die beschrijft hoe kickboxleraar Samir met veel intensiteit en volhardende training moeilijke jongeren bij de les brengt, allemaal zonder enige kennis uit boekje of databank.
Het verrassende evenwel is dat ook Van der Lans als Abdallah met veel inspanning te rade gaan bij de wetenschap om zo te laten zien dat wat ze propageren werkelijk werkt. Wat Van der Lans betreft moeten professionals hun eigen praktijken kritisch tegen het licht gaan houden en (laten) onderzoeken of wat ze doen ook werkelijk werkt. Abdallah spant zich pagina’s lang in om te laten zien dat de training van Samir eigenlijk veel meer wetenschapelijk onderbouwd is en effectief kan zijn dan je zou denken. In hun benadering verschillen ze daarmee niet wezenlijk van ‘mister databank jeugdzorg’ Tom van Yperen, die in de sociale sector nog wel eens wordt gezien als verpersoonlijking van het strenge evidence based denken. Want ook Van Yperen wil met monitoring en reflectie simpelweg de jeugdzorg verbeteren. Opmerkelijk is ook dat de databases bevestigen wat professionals al heel lang weten: contact zoeken, aansluiten bij de beleving, vasthouden – dat zijn de succesingrediënten van elke sociale aanpak.
Er is niet steeds overeenstemming over wat effectiviteit is, maar toch is er wel wat aan het veranderen. We zien de contouren van een evaluatierevolutie waaraan niemand zich kan onttrekken en waaraan weinigen zich willen onttrekken. De opmars van de databases duidt op een onstuitbare trend naar archiveren. Maar we zien het op heel veel plekken. Er is sprake van onderstroom waarbij het invullen van formuliertjes en het beantwoorden van evaluerende vragen routine wordt. Er lijkt nauwelijks nog een leverancier of dienstverlener – van de telefoonmaatschappij tot de fysiotherapeut – die zonder kan of wil. Dankzij sociale media is het ook heel gemakkelijk geworden of feedback te krijgen en te geven. Ook bij overheidsinstellingen als Rekenkamers en diensten statistiek en op universiteiten zijn er steeds meer mensen bezig met de vraag wat werkt. Er zijn meer data dan ooit, die makkelijker kunnen worden verwerkt en gepresenteerd. Het blijft nog steeds heel moeilijk om te zeggen wat precies werkt, maar het is véél makkelijker dan voorheen.
Er voltrekt zich dus een stille revolutie waarbij monitoring en evaluaties integraal onderdeel gaan vormen van beleid. Als er al sprake is van tegenstrevers, dan moeten die worden gezocht in de hoek van fact free politicians, als Lilian Helder. Maar het bestaan van die scheldnaam betekent eerder dat feitenvrij nu als zonde wordt gezien dan dat meer mensen zich eraan bezondigen.
Ondanks dat het moeilijk en misschien zelfs onwenselijk is om definitief vast te stellen wat het meest effectief is, wordt steeds duidelijker dat het monitoren en bediscussiëren van effectiviteit helpt. Beleid dat slechts is gebaseerd op common sense of professionele autoriteit is steeds meer omstreden, zoveel maakt de opkomst van databanken wel duidelijk. Dat is een positieve ontwikkeling, want leken noch professionals hebben de wijsheid in pacht; om verder te komen is minder geloof nodig en meer onderzoek. Evaluatie moet een tweede natuur worden van organisaties.
Natuurlijk, te vaak wordt het genereren van cijfers een doel op zich of wordt ten onrechte het predikaat ‘bewezen’ geclaimd. Maar de uitwassen van de evaluatierevolutie moeten de discussie niet bepalen. Verantwoording afleggen aan geldschieters of cliënten is niet altijd even leuk voor professionals en beleidsmakers, maar het is een kwestie van emancipatie dat ze er nu toch steeds meer toe worden gedwongen. Als die dwang er toe leidt dat ze het uiteindelijk vanzelfsprekend gaan vinden dat ze zich rekenschap geven van hun resultaten en meer leren over hun effectiviteit, is dat alleen maar winst.
Dit verhaal is gebaseerd op het boek ‘Wat werkt nu werkelijk? Politiek en praktijk van sociale interventies’, onder redactie van Justus Uitermark, Amy-Jane Gielen en Marcel Ham. Het boek verschijnt op 29 november. Zie: http://www.watwerktnuwerkelijk.nl/