In discussies over beleid valt steeds vaker een Engels begrip: evidence based. Nu willen Nederlanders maar al te graag een Engels woord gebruiken wanneer zij deskundig en wereldwijs willen overkomen, maar het blijft de vraag waarom het begrip zo in opkomst is. De frase ‘evidence based beleid’ is op het eerste gezicht een open deur. Het suggereert dat beleid niet gebaseerd moet zijn op ideeën die niet kloppen. Dat beleidsmakers en -uitvoerders hun beslissingen moeten baseren op gedegen kennis van de werkelijkheid. Dat we van onderzoekers mogen verwachten dat ze kennis produceren die zulke beslissingen faciliteren. De beleidscyclus dient gezuiverd te worden van allerhande onzin. Weg met partijpolitiek, ideologische tunnelvisies en geldverspilling! Het gaat niet om wat politici willen, maar om wat werkt!
Wie zich net voorbij het nogal platvloerse utilisme van deze uitleg beweegt, stuit echter al snel op tal van vragen. Wat geldt er precies als evidence? Waar komt die evidence vandaan? Was beleid vroeger dan niet op evidence gebaseerd? Is beleid zonder evidence daarmee slecht beleid? Kortom: Wat bedoelen we eigenlijk met ‘evidence based beleid’?
Een manier van spreken
De geschiedenis van evidence based policy begint in de gezondheidszorg van het Verenigd Koninkrijk. Archie Cochrane pleit daar aan het begin van de jaren zeventig voor het gebruik van randomized controlled trials (rct’s) ter validatie van geneeskundige ingrepen.1 In deze onderzoeksopzet worden een experimentele en een controlegroep onderscheiden en weet onderzochte noch onderzoeker wie zich in welke groep bevindt (double blind). Bovendien worden onderzochten willekeurig in de experimentele dan wel in de controlegroep geplaatst (randomized). Het grootste voordeel van deze opzet is dat andere factoren die invloed hebben op de afhankelijke variabele ‘weggestreept’ mogen worden, waardoor het al dan niet aanwezige effect van de ingreep zich laat aantonen. Ook vandaag de dag worden rct’s alom gezien als de beste manier om vast te stellen of een bepaalde verandering daadwerkelijk aan een interventie te wijten is. Het gaat bij rct’s echter wel om een specifieke opvatting van effectiviteit. Een rct meet namelijk de effectiviteit van een interventie op populatieniveau, dat wil zeggen dat het aangeeft of een ingreep effectief is ongeacht de specifieke omstandigheden waarin individuen zich bevinden. Een rct meet dus niet zozeer of een ingreep effectief is voor deze of gene, maar strikt of deze effectief is voor een populatie als geheel.
Bij evidence based medicine bijvoorbeeld gaat het erom ‘uit te vinden’ welke ingrepen een optimaal effect hebben als je die ingrepen in publiek gefinancierde ziekenhuizen uitvoert op grote groepen mensen. Met behulp van statistische methoden kunnen dan kwantitatieve gegevens worden gegenereerd over de ‘doelmatigheid’ van ingrepen. Een voorwaarde hiervoor is wel dat de maatschappelijke context waarin geneeskundige handelingen worden uitgevoerd buiten beschouwing wordt gelaten.
In korte tijd heeft het gebruik van rct’s voor het beoordelen van beleidsinterventies zich verspreid naar andere terreinen, zoals onderwijs en hulpverlening, en ook naar andere landen, met name de VS. Gelijktijdig heeft evidence based beleid een bredere betekenis gekregen. De term is diffuser geworden en wordt allang niet meer strikt gebruikt voor beleidsevaluatie aan de hand van de rct’s. Dit komt vooral doordat rct’s zeker niet op ieder beleidsprobleem toepasbaar zijn, ook niet in de geneeskunde. De belangrijkste drempel in het gebruik van rct’s is de noodzaak om onderzoeks- en controlegroepen willekeurig én gelijkmatig in te delen. Bovendien moeten de onderzoeksgroepen van een aanzienlijke grootte zijn. Slechts bepaalde soorten interventies en bepaalde onderzoekspopulaties lenen zich technisch en, niet te vergeten, ethisch voor deze onderzoeksopzet. Immers: is het rechtvaardig, humaan en praktisch mogelijk om bij bepaalde mensen wel te interveniëren en bij andere niet, zonder dat ze zelf het verschil merken? Dat is natuurlijk lang niet altijd zo. Veel beleid en vooral sociaal beleid werkt nu juist omdát de ontvanger weet dat hij of zij ‘iets’ ontvangt en betrokken is bij de uitvoering van beleid.
De term ‘evidence based’ verwijst dus niet naar een specifieke methode waarmee beleid wordt ‘getoetst’. De verspreiding van evidence based beleid is dan ook niet zozeer de opkomst van een methode, maar eerder de opkomst van een nieuwe manier van spreken over de verhouding tussen wetenschap, politiek en beleid. Vooral in het Verenigd Koninkrijk en de VS is dit discours ontwikkeld onder politici, beleidsmakers en onderzoekers. De vraag naar effectiviteit wordt hierin de belangrijkste vraag geacht. Andere vragen verschuiven naar de achtergrond of worden vervormd tot effectiviteitsvragen. Hoe zit dit discours in elkaar? Wat maakt rct’s daarin zo aantrekkelijk en wat zegt dat over de zich ontwikkelende verhouding tussen wetenschap en beleid?
Politiek verhaal
Hoewel rct’s dus hun beperkingen kennen, fungeren ze in het nieuwe discours wel als ideaalbeeld waarnaar bewijsvoering zich richt. Rct’s worden ook wel aangeduid als de ‘gouden standaard’. Naarmate een onderzoeksopzet dichter die van een rct benadert, wordt deze meer gewicht toegekend.
Het meest aantrekkelijke kenmerk van rct’s is de kwantificering van resultaten. Evidence is volgens voorstanders van evidence based beleid dan ook die wetenschappelijke kennis die zich bedient van statistische analyses. Aan de hand van kwantitatieve gegevens kan de kosteneffectiviteit van beleid ‘hard’ worden gemaakt en worden risico’s verzekerbaar. Dat zich in de sociale wetenschap een ingewikkeld en veelzijdig debat afspeelt over het gebruik en de interpretatie van statistische gegevens wordt daarbij bewust of onbewust verzwegen.2 Legio zaken die tussen mensen gebeuren en beleidsmatig van groot belang zijn, zijn immers niet of nauwelijks te kwantificeren. De voorkeur voor kwantitatieve resultaten lijkt meer te maken te hebben met de legitimering van beleid dan met een wetenschappelijke consensus over de betekenis van dit onderzoeksmateriaal. Deze voorkeur is daarmee afkomstig uit beweringen die buiten het domein van de wetenschap vallen.
Een tweede kenmerk dat rct’s zo aantrekkelijk maakt, is dat ze gericht zijn op het isoleren van het effect van een concrete beleidsmaatregel. Ze geven een antwoord op de vraag of beleid daadwerkelijk het verschil maakt. Evidence gaat dan ook over afgebakende verbanden tussen input (beleidsmaatregel) en outcome (effecten). De context waarin beleidsmaatregelen worden uitgezet, de specifieke manier waarop dat gebeurt en de menselijke ervaring die daarvoor nodig is, staan niet ter discussie. Beleid is zo bezien een instrument los van zin, context, vermogens en geschiedenis.3
Maar welke inzichten en handvatten biedt dergelijke kennis voor uitvoerders, die juist vanuit een geschiedenis, in een context, met bepaalde vermogens en zingeving hun werk doen? Ook rijst de vraag of ‘effectief’ beleid wel overdraagbaar is naar andere contexten. Zijn in iedere context bijvoorbeeld wel de juiste mensen te vinden of op te leiden om het ‘effectieve’ beleid uit te voeren?
Het is een instrumentele opvatting van beleid en daarmee een politiek verhaal dat aan de hand van wetenschappelijke kennis zekerheid en legitimiteit verschaft aan bestuurders en politici. Onderzoekers van beleid weten allang dat een instrumentele visie van beleid volstrekt ontoereikend is. Beleidswetenschappers, van sciëntist tot postmodernist, zijn het erover eens dat beleid bestaat uit en in sociale processen. Iedereen die zich enige tijd met het analyseren van beleid heeft beziggehouden, weet dat er geen eenvoudige causale, lineaire en unilaterale relaties bestaan.4 De populariteit van evidence based beleid komt dan ook voort uit het verlangen om beleid ‘op te ruimen’. Als de politiek netjes doet wat de wetenschap zegt te weten en de wetenschap netjes onderzoekt wat de politiek vraagt, wordt het in deze opvatting allemaal beter. Overbodigheden kunnen dan worden weggelaten, geld kan beter worden geïnvesteerd en het handelen van de overheid wordt overzichtelijker. Precies wat de moderne burger van een moderne overheid verlangt. Maar leidt de stroomlijning van wetenschap en politiek daadwerkelijk tot een opgeruimder beleid?
Verantwoorde basis?
Kennisproductie is niet alleen een van de stukjes in de beleidspuzzel, het is bovendien de vraag of het wel een verantwoorde basis voor beleid vormt. De wetenschap wordt per definitie gekenmerkt door tegenstrijdige ideeën en voortdurende discussie. Vaak zijn er uit die discussies sterk verschillende conclusies te trekken. Zijn die dan allemaal evidence based? Het rechtlijnige model van kennis naar beleid verhult dat er politieke keuzes gemaakt moeten worden om wetenschap toepasbaar te maken. Zo is het toch echt nodig om een politieke opvatting te hebben over het doel dat onderwijs dient alvorens een onderwijsminister op grond van wetenschappelijke inzichten kan besluiten wat te doen. Het keurige model van evidence based beleid lijkt mooi opgeruimd, maar het versluierd welke politieke keuzes er eigenlijk in het geding zijn. Wetenschappelijke discussies gaan niet alleen over empirische vragen, maar strekken zich uit tot ver in de ontologische (wat bestaat?), conceptuele en ethische aannames waarop verschillende wetenschapspraktijken berusten. In het geval van het onderwijs: pedagogen, onderwijssociologen en cognitiewetenschappers hanteren ieder sterk verschillende perspectieven op het onderwijsveld. Als ons verlangen naar een solide basis voor beleidslegitimering ervoor zorgt dat we ‘de wetenschap’ niet langer als een veelzijdige bundel aan praktijken kunnen zien, zijn we bepaalde vormen van wetenschap als norm aan het stellen om niet-wetenschappelijke redenen. Daar is op zich niets tegen. Sterker nog: we mogen verwachten dat beleidsmakers, bestuurders en politici een opvatting hebben over verschillende vormen van kennisproductie. Het model van evidence based beleid suggereert echter dat het hier niet om een politieke keuze gaat. De voorkeur voor bepaalde vormen van kennis in beleidsmatige beslissingsproblemen is echter altijd een politieke keuze. Beleid kan dan ook nooit ‘gebaseerd’ zijn op kennis. Er kan slechts sprake zijn van het hanteren van kennis.
Vreemde eend in kennispolder
Waar komt nu in Nederland die behoefte aan evidence based werken vandaan? Opmerkelijk is dat de belangstelling voor wetenschappelijke onderbouwing van beleid in ons land helemaal niet nieuw is. Met het wankel worden van de zuilen zijn politiek en bestuur al decennia geleden een nieuwe basis voor legitimiteit gaan creëren in de wetenschap. Na het wegvallen van de gescheiden kenniscircuits die zo’n belangrijk onderdeel waren van de verzuilde verhoudingen, werden er nieuwe manieren gezocht en gevonden om strijdige beelden van de werkelijkheid te consolideren tot politiek hanteerbare ideeën. Dat heeft geresulteerd in een sterk ontwikkeld netwerk van raden, kenniscentra, onderzoeksbureaus en adviesorganen. Waar deelnemers aan overleg voorheen hun rol ontleenden aan een achterban en een daaraan gekoppelde ideologie, vindt overleg in toenemende mate plaats tussen partijen die op enigerlei wijze een beroep doen op ‘wetenschappelijkheid’. Ook kennis wordt in Nederland gepolderd.
Door nu de term ‘evidence based’ uit het Verenigd Koningrijk en de VS te kopiëren, is het net alsof we met iets nieuws te maken hebben. In die landen is het begrip populair omdat de macht van niet-wetenschappelijke elites er groter is of was. Maar in Nederland gaat de term eraan voorbij dat er al zeker 25 jaar een proces van verwetenschappelijking van beleid aan de gang is. Daarmee vertoont de gretige aftrek van evidence based sterke gelijkenis met de populariteit van ‘marktwerking’, eveneens een importproduct uit de Angelsaksische wereld. Ook de populariteit van ‘marktwerking’ in overheidsbeleid heeft in die landen te maken met het doorbreken van vastgeroeste verhoudingen, zoals de ingegraven posities van vakbonden. Dat die verhoudingen in Nederland volstrekt anders lagen – alweer omdat in Nederland overleg veel sterker geïnstitutionaliseerd is – werd ook toen genegeerd.5
Omdat in Nederland wetenschap, bestuur en politiek sterk zijn vervlochten, is relevant onderzoek reeds beleidsrelevant onderzoek geworden. Neem bijvoorbeeld de enorme hausse aan onderzoek naar ‘integratie’.6 De populariteit van evidence based beleid leidt in Nederland nu tot een intensivering van een vervlechting die er al was. Voor die vervlechting op zich is misschien wel iets te zeggen, maar vooral wanneer deze steeds verder toeneemt, brengt ze ook problemen voort. De lopende hervorming van het adviesradenstelsel, waarin veel advies strakker onder de regie van afzonderlijke departementen wordt gebracht, is hiervan een voorbeeld.7 In een steeds kortere lus tussen politiek en wetenschap gaan politici, bestuurders en onderzoekers elkaar al snel napraten zonder dat iemand nog precies weet op basis waarvan. Zo wordt het moeilijker om afwijkende gezichtspunten te ontwikkelen wanneer deze niet direct antwoord geven op instrumentele vragen.
Retorisch instrument
De term evidence based is zo bezien vooral een retorisch instrument dat al langer bestaande tendensen bestendigt. Bovendien gaan er achter de term allerlei vormen van kennis schuil, waardoor het juist minder duidelijk wordt welke betekenis en waarde evidence heeft. Waarschijnlijk is evidence based beleid een hype die weer voorbij zal waaien. De centrale positie van wetenschap in beleidsontwikkeling zal daarmee niet zo snel verdwijnen. Tegelijkertijd ervaart iedereen de moeilijkheden die dat met zich meebrengt. Beleid is bijzonder complex en moeilijk toegankelijk geworden voor betrokkenen. Experts studeren op een onuitputtelijk aantal deelgebiedjes. Bestuurders zoeken naar effectieve programma’s en projecten, maar merken dat context en lokaliteit roet in het eten gooien.
De sterke vervlechting van wetenschap en beleid vereist kritische reflectie door de diverse belanghebbenden. Helaas komt een open discussie over de rol van wetenschap maar moeilijk van de grond. Twijfelen aan de waarde van wetenschappelijke kennis staat al snel gelijk aan relativisme. Toch moeten we wetenschap en onderzoek tot onderwerp van publieke discussie maken.8 Daarin mag het oordeel van de expert niet als vanzelf meer waard zijn. Lukt het ons niet de wetenschap tot publiek object te maken, dan kunnen we de ontvangers en uitvoerders van beleid hun cynische en ontevreden reacties niet kwalijk nemen.
Noten
- Cochrane, A ., Effectiveness and efficiency: r andom r eflections of h ealth s ervices . London: Nuffield Provincial Hospitals Trust , 1972
- In feite gaat een groot deel van sociaal - wetenschappelijke geschiedenis over de vraag welke rol statistische methoden en gegevens moeten hebben. Zie bijvoorbeeld Schuyt, C.J.M. , Filosofie van de sociale wetenschappen . De Tijdstroom: Utrecht , 1995
- Zie voor een gedegen uitwerking van dit probleem voor het onderwijsbeleid Biestra, G. , Why ‘ What Works ’ Won’t Work: evidence- b ased p ractice and the democratic d eficit in e ducational r esearch. Educational Theory , 1, (57), p. 1-22 , 2007
- Zie voor een recente toepassing van dit inzicht bijvoorbeeld Hoppe, R. , ‘Anorexia consulta’. Afslanking adviesinfrastructuur Rijksdienst, deel 2. Beleid en maatschappij, tijdschrift voor beleid, politiek en maatschappij, 4 , 2007
- Chavennes, M. (2008) , Achter de deur, onder het bed . De dwaalleer van de estatistische vermarkting . Lezing uitgesproken op 11 april 2008 ter gelegenheid van het jaarcongres MPA-alumni.
- Schinkel, W. , Tegen integratiebeleid. T S S , jrg. 62, nr. 4 , p. 8-11, 2008
- Hoppe, R. , ‘Anorexia consulta’ . Afslanking adviesinfrastructuur Rijksdienst, deel 2. Beleid en maatschappij, tijdschrift voor beleid, politiek en maatschappij, 4 , 2007
- Zie voor een mogelijk e uitwerking in de context van technologie Dijstelbloem, H. , Politiek vernieuwen . Op zoek naar publiek in de technologische samenleving . Amsterdam: Van Gennep, 2008