Evaluatieonderzoek naar sociale interventies kent zijn beperkingen. Kijken naar ‘de plausibiliteit van de interventie’, zoals Vasco Lub (2014) bijvoorbeeld voorstelt, gaat voorbij aan de normatieve onenigheid die kan bestaan omtrent de wenselijkheid van de interventie. Het is belangrijk om die normatieve en politieke lading van het beleidsproces ook mee te nemen in evaluatieonderzoek.
Kijken naar de feiten is niet voldoende
In hun belangrijke werk over ‘frame reflectie’ stellen Schon en Rein (1994) al dat weerbarstige beleidsvraagstukken niet op te lossen zijn door alleen te kijken naar ‘de feiten'. Denk bijvoorbeeld aan hoe de parlementaire onderzoekscommissie Integratiebeleid, de ‘commissie Blok’, zelf omstreden raakte toen het in 2004 tegen alle verwachtingen in concludeerde dat de integratie van allochtonen relatief succesvol verliep. Niet alleen de bevindingen van deze commissie, maar ook de werkwijze en in het bijzonder haar definitie van ‘integratie’ (‘onderwijs als sleutelsector voor integratie’) werden onderwerp van publiek en politiek debat. Meerdere politici concludeerden zelfs dat niet alleen de integratie maar ook deze onderzoekscommissie zelf was ‘mislukt’.
Bij complexe beleidsvraagstukken is een puur rationele meting van beleidsoutput en –effecten aan de hand van formele beleidsdoelen welhaast onmogelijk. Zo zijn de doelen van het beleid vaak omstreden. Bij het integratiebeleid is zelfs sprake van hardnekkige onenigheid over de definitie van het onderliggende probleem (‘wat is integratie?’). Zo wordt integratie in sociaaleconomische (werken, onderwijs, huisvesting), politiek-juridische (burgerschap, naturalisatie) en sociaal-culturele (normen en waarden, je thuis voelen) termen geduid. [1] Dit heeft mede tot gevolg dat beleid zelden gedefinieerd wordt in termen van concrete output. Bovendien verschuiven beleidsdoelen vaak zeer snel. Denk aan de grote veranderingen in de doelen van het integratiebeleid over de afgelopen decennia (Minderhedenbeleid in de jaren ’80, Integratiebeleid in de jaren ’90, Integratiebeleid nieuwe stijl sinds ongeveer 2003), die elkaar relatief snel opvolgden en soms tot tegenstrijdige doelen in verschillende periodes leidden.
Tenslotte is de drang om beleidsmaatregelen ook daadwerkelijk niet alleen aan ‘output’ maar ook aan ‘outcomes’ te koppelen bij complexe beleidsvraagstukken welhaast onmogelijk. Het gaat immers om maatschappelijke vraagstukken waarbij een veelheid aan factoren een rol speelt (achtergrond van de migrant, maatschappelijke instituties, economie, sociale omgeving, etc) die elk hun eigen dynamiek hebben. Denk bijvoorbeeld over controverses in de jaren ’90 over in hoeverre de toenmalige verbetering van sociaaleconomische migratie toe te schrijven was aan beleid of simpelweg aan de bredere economische groei.
Pleidooi voor multiple stakeholder evaluatie
Complexiteit betekent echter niet dat beleidsonderzoek complexe vraagstukken links moet laten liggen. Met behulp van een multiple stakeholder evaluatie kan wel degelijk een bijdrage geleverd worden aan de oplossing van dergelijke beleidsvraagstukken. De essentie van zo’n multiple stakeholder evaluatie is dat de onderzoeker kijkt naar de percepties van betrokken stakeholders in verschillende posities en rollen. Hierdoor wordt meer recht gedaan aan de meervoudigheid van probleemdefinities die aan beleid ten grondslag liggen. De onderzoeker kan zo bijvoorbeeld tot de conclusie komen dat vanuit een specifieke probleemdefinitie beleid als wel of niet succesvol wordt ervaren. Dit leidt tot een beter begrip.
Het streven bij deze methode is niet om een zo representatief mogelijke steekproef te nemen, maar juist om een zo groot mogelijke variëteit aan betrokken actoren te betrekken. Denk daarbij aan de verschillen in perceptie tussen bijvoorbeeld nationale en lokale overheden, of tussen overheid en maatschappelijke organisaties.
De commissie Blok had er destijds beter aan gedaan om, gezien de aard van de problematiek, de meervoudigheid van de perspectieven op het integratiebeleid in ogenschouw te nemen. Terwijl het integratiedebat zich vrijwel volledig op de sociaal-culturele dimensie en op Islam richtte, focuste de commissie op de sociaaleconomische dimensie en dan in het bijzonder op onderwijs. De commissie had beter in kaart kunnen brengen welke definities (of ‘frames’) van integratie in het debat een rol spelen. Vervolgens had ze deze definities ieder op eigen merites kunnen analyseren: vanuit welke perspectieven wordt integratie geproblematiseerd en waarom? Welk bewijs kan aangevoerd worden vanuit deze frames, hoe zijn verschillen tussen de frames te verklaren en eventueel te overbruggen? Zo had de commissie ook het culturele perspectief op integratie mee kunnen nemen in het evaluatieonderzoek. [2]
Frappant is dat de commissie wel degelijk ook expert-interviews en publieke hoorzittingen heeft gehouden, om diverse actoren te horen en de stem van de straat te peilen. Echter, zoals de commissie zelf ook aangeeft, de eindrapportage is vooral gebaseerd op vooronderzoek dat ze heeft laten uitvoeren. De interviews en met name de hoorzittingen hebben vooral ten doel gehad om de bevindingen uit dit vooronderzoek te staven. Een multiple stakeholder analyse had dit precies andersom gedaan: eerst de verschillende probleempercepties in kaart brengen, dan onderzoek laten doen naar aspecten die relevant zijn vanuit diverse percepties, en vervolgens deze zelf kritisch confronteren.
Geen pleidooi voor relativisme van onderzoekers
Al met al vormt dit pleidooi voor multiple-stakeholder evaluatie tegelijkertijd ook een pleidooi tegen relativisme van sociaalwetenschappelijk onderzoekers. In plaats van de normativiteit en de politieke strijd rond weerbarstige vraagstukken te schuwen, hebben beleidsonderzoekers ook hier middels een multiple stakeholder evaluatie een methode die werkt. Sterker nog, juist bij dit soort vraagstukken zouden beleidsonderzoekers een nuttige rol kunnen spelen, in plaats van zich te verschuilen achter vermeende ‘rationele onderzoeksmethoden’ .
Hierdoor verandert ook de rol van de evaluatieonderzoeker: van een computer die berekent en meet of het beleid gedaan heeft wat het belooft, naar een coach die actoren helpt hun beleidsveronderstellingen kritisch te onderzoeken en waar nodig aan te passen. Dat is dus geen relativisme, maar juist een meer relationele rol. Dan moet de onderzoeker wel van achter zijn computer vandaan komt en zich actief mengen in het beleidsveld.
Peter Scholten is Universitair Hoofddocent Beleid & Politiek aan de Erasmus Universiteit Rotterdam. Tevens is hij directeur van IMISCOE, een Europees netwerk van 36 onderzoeksinstituten op het terrein van integratie, migratie en cohesie. Peter is gespecialiseerd in vraagstukken van integratiebeleid, interculturalisering, de relatie tussen migratie onderzoek en -beleid, en migratiebeleid.
Noten:
1. Zie: Scholten, P., Entzinger. H., Penninx, R. and Verbeek, S. (Eds, 2015). Integrating Immigrants in Europe: Research-Policy Dialogues. Berlin: Springer.
2. Voor meer over deze analyse, zie Scholten, P. & F. Van Nispen (2008) Building bridges across frames? A meta-evaluation of Dutch immigrant integration policy. Journal of Public Policy, Vol. 28, Nr.2, 181-205.