Zonder probleemanalyse heeft evalueren geen zin

De vraag stellen naar wat werkt om sociale problemen aan te pakken heeft alleen zin als we analyseren welke probleemdefinities en oplossingen beleidsmakers en uitvoerders hanteren. Een Kritische Frame Analyse van beleidsdocumenten en projectplannen geeft daar inzicht in.

Om te kunnen beoordelen of initiatieven in het sociale domein werken is het van belang om een analyse te maken van wat er nu precies in die initiatieven verondersteld wordt als probleem. Hoe wordt een maatschappelijke situatie geproblematiseerd (diagnose) en wat voor type probleem is dat dan? Wie wordt gezien als de probleemeigenaar, of wel degene die verondersteld wordt het probleem te veroorzaken? Een tweede belangrijke pijler is het analyseren van de in de initiatieven gepresenteerde oplossing (Benford en Snow gebruiken hiervoor het concept prognose) voor het gepresenteerde probleem. Hoe zeggen de beleidsmakers of schrijvers van projectplannen het probleem op te lossen? Op wie is de interventie gericht en wie krijgt de verantwoordelijkheid om het probleem op te lossen?

Pas als de diagnose en de prognose helder zijn, kunnen we begrijpen waarom doelstellingen wel, niet of onvoldoende worden behaald. De 'Kritische Frame Analyse' helpt om inzicht te verkrijgen in hoe probleemdefinities en oplossingsrichtingen worden geformuleerd en hoe dit van invloed is op de uitkomsten van een interventie. Sterker nog, nog voordat de uitvoering plaatsvindt, kan met behulp van deze evaluatiemethode de te verwachte potentie van en knelpunten in sociale projecten worden blootgelegd.

Versmalling en verwatering in de uitvoeringspraktijk

Aan de hand van een voorbeeld uit de praktijk zullen we de meerwaarde van onze methode illustreren. Recentelijk hebben we een onderzoek verricht naar een driejarig programma dat de emancipatie en participatie van mannen beoogt te stimuleren. Met behulp van onze Kritische Frame Analyse is in beeld gebracht hoe de manier waarop de doelgroep en hun probleem geformuleerd zijn in het programma niet onschuldig is. Zo veronderstelt het programma dat de doelgroep van ‘laagopgeleide sociaalgeïsoleerde mannen’ niet alleen problemen met het participeren in de samenleving heeft, maar ook dat zij ‘niet’ of ‘niet genoeg geëmancipeerd’ zouden zijn. Daarnaast bleek dat uitvoerende organisaties de doelgroep van ‘laagopgeleide sociaalgeïsoleerde mannen’ vaak interpreteerden als migrantenmannen (Van der Haar, van Huis & Verloo 2014). Dit betekende een versmalling van de oorspronkelijk geformuleerde doelgroep. Laagopgeleide witte mannen kwamen weinig voor in de projecten. Als gevolg daarvan verschoof het beleidsprobleem 'emancipatie' in de uitvoeringspraktijk naar een nieuw doel, namelijk 'integratie'.

Naast versmalling bleek er ook sprake te zijn van verwatering van de beoogde doelen. Het versterken van iemands houding en positie in de samenleving werd vaker aangepakt dan het werken aan gendergelijkheid. Hoe kan het dat het doel van gendergelijkheid verwaterde? Op basis van nadere analyse van de observaties en interviews met professionals en deelnemende mannen constateren we dat de meervoudige agenda in het programma een verklaring kan bieden; organisaties kregen de ruimte om het begrip emancipatie een brede invulling te geven. Uitvoerende organisaties waren veelal welzijnsorganisaties voor wie de interpretatie van emancipatie als individuele empowerment naadloos aansluit bij het welzijnsdiscours en daardoor makkelijker inpasbaar was. Gendergelijkheid is voor sommige organisaties een moeilijker thema geweest. Dat had te maken met het gegeven dat de deelnemende mannen niet altijd geselecteerd zijn op basis van hun 'gebrek aan emancipatie'. Daarnaast kunnen professionals weinig gebruik maken van bestaande methoden om gendergelijkheid aan te pakken. Voor de betrokken mannen zijn werkloosheid en een gebrek aan zelfvertrouwen en waardering problemen die zij herkennen, Voor emancipatie in de zin van gendergelijkheid geldt dat in veel gevallen niet. Organisaties hebben dat meestal opgelost door mannen aan te spreken in hun rol als vader.

De macht van taal

Kritische Frame Analyse is ontwikkeld uit kritische benaderingen van beleidsstudies (Rein & Schön 1994) en theorieën over sociale bewegingen (Benford & Snow 2000). Vervolgens is hij onder meer toegepast om beleid voor gender(on)gelijkheid te analyseren (Verloo 2005). In deze laatste toepassing is een aantal vragen ontwikkeld waardoor het doen van vergelijkend onderzoek (historisch, internationaal of tussen beleidsvelden) van beleidsteksten of teksten uit het politieke debat mogelijk wordt. Voor de analyse van de teksten komen de volgende vragen aan de orde (gebaseerd op Verloo & Lombardo 2007: 47-48):

1. Wat wordt er als probleem gepresenteerd?
2. Waarom wordt het als een probleem gezien?
3. Wat wordt gezien als oorzaak van wat (causaliteit)?
4. Wat wordt voorgesteld als oplossing?
5. Is er een hiërarchie aangebracht in de geformuleerde doelstellingen?
6. Hoe wordt de voorgestelde oplossing bereikt (met welke strategie/middelen/instrumenten)?

De beantwoording van de vragen vraagt om een analyse die in staat is rekening te houden met meervoudige en soms onverenigbare interpretaties of frames van maatschappelijke vraagstukken.

Door op zoek te gaan naar patronen en teksten te vergelijken, kunnen onderzoekers laten zien hoe frames verschuiven, veranderen of juist stabiel blijven (bijvoorbeeld door de tijd, tussen beleidsvelden of politieke kleur). Omdat Kritische Frame Analyse uitgaat van de macht van taal krijgen deze frames een verklaringskracht – eventueel verder onderbouwd met theoretische inzichten - in de conclusies van het onderzoek.

Kritische analyse van beleidsframes is onmisbaar

De meerwaarde van Kritische Frame Analyse is dat het in staat is om congruentie en discrepantie binnen en tussen de programmabeschrijving en projectplannen bloot te leggen. Daarnaast laat Kritische Frame Analyse zien welke frames dominant zijn en welke frames niet. Dergelijke inzichten kunnen benut worden om voorafgaand aan de uitvoering van de projecten potentiële knelpunten te formuleren en richting te geven bij de evaluatie daarvan. Daarmee biedt een Kritische Frame Analyse van beleidsdocumenten en projectplannen een belangrijk instrument voor evaluatieonderzoek in het sociale domein. Sterker nog, zonder probleemanalyse heeft evalueren weinig zin.

Marleen van der Haar is postdoc onderzoeker en docent. Ze is gespecialiseerd in vraagstukken van integratie en gender. Mieke Verloo is hoogleraar vergelijkende politicologie en ongelijkheidsvraagstukken, in het bijzonder op het gebied van gender. Beide zijn verbonden aan de vakgroep Politicologie van de Radboud Universiteit Nijmegen.

 

Literatuur:
Benford, Robert D. & David A. Snow. 2000. “Framing processes and social movements: An overview and assessment”. Annual Review of Sociology. 26: 611-639.
Rein, Martin & Donald Schön. 1994. Frame Reflection. Toward the resolution of Intractable Policy Controversies. New York: Basic Books.
Van der Haar, Marleen, van Huis, Iris & Mieke Verloo. 2014. Man 2.0 in uitvoering. Onderzoek naar Nederlandse projecten gericht op de participatie en emancipatie van laagopgeleide sociaalgeïsoleerde mannen. Nijmegen: Radboud Universiteit Nijmegen.
Verloo, Mieke. 2005. “Mainstreaming gender equality in Europe: a critical frame analysis approach.” Greek Review of Social Research 117 B: 11-34.
Verloo, Mieke & Emanuela Lombardo. 2007. “Contested Gender Equality and Policy Variety in Europe. Introducing a Critical Frame Analysis Approach”. In Multiple meanings of gender equality. A critical frame analysis of gender policies in Europe, ed. Mieke Verloo. Budapest, Central European University Press, 21-49.