Evaluatie van beleid raakt steeds meer geïnstitutionaliseerd in Nederland. De sociale sector vormt hierop geen uitzondering. Budgetten voor sociaal beleid worden gekoppeld aan uitkomsten uit monitoring en evaluatie, en welzijnsorganisaties moeten zich in toenemende mate verantwoorden aan derden. Maar wie in een samenleving bepaalt wat een juiste indicator, een geldig bewijs en een passende standaard is om tot een goede beoordeling te komen van beleid? Is dat de wetenschapper, de beleidsmaker, degene die betaalt, de professional of de cliënt? Wiens waarden en belangen zijn leidend? Voorts is het de vraag hoe een diepgaand inzicht ontstaat in de beleidspraktijk, en waarom dat beleid al dan niet succesvol is. Ten slotte, rijst de vraag hoe bevindingen benut kunnen worden voor verbetering, van praktijk en beleid.
In antwoord op deze vragen kunnen we aan de ene kant de evaluatiebenaderingen scharen die beleidsdoelen of vooraf vastgestelde constructen als ijkpunt nemen, en meten of en in welke mate deze zijn gerealiseerd dankzij de maatregelen of interventies. Deze benaderingen hanteren een hypothetisch-deductief design en kwantitatieve methoden (bij voorkeur een randomized-controlled trial, RCT, met gestandaardiseerde vragenlijsten), en zijn gericht op de monitoring, toetsing en controle van praktijken. Immers, op basis van metingen kan – bij heldere normen – een oordeel over een praktijk worden vastgesteld. Tekortkomingen van dergelijke evaluaties zijn dat er: a) nauwelijks inzicht ontstaat in het waarom van succes of falen; b) resultaten pas achteraf beschikbaar komen en niet tijdig voor beleidsaanpassingen gebruikt kunnen worden; c) de kennis, ervaringen en stem van andere belanghebbenden dan de beleidsmaker, waaronder de cliënt en professional, niet verdisconteerd worden in het proces van beoordeling, bijvoorbeeld bij het vaststellen van de ijkpunten voor meting en het interpreteren van de uitkomsten; en d) geen draagvlak ontstaat voor eventuele aanpassingen in het beleid.
‘Responsieve evaluatie’ kan uitkomst bieden
‘Responsieve evaluatie’ kan hier uitkomst bieden. Het is een benadering die uitgaat van pluraliteit. Beleid en sociale interventies hebben uiteenlopende, soms conflicterende waarden en betekenissen voor verschillende stakeholders. Responsieve evaluatie betrekt de context, en relateert de verschillende perspectieven van de stakeholders aan elkaar om tot een meer geïnformeerd beeld te geraken. Een uitgangspunt is dat elk perspectief slechts een deel van de werkelijkheid kan belichten. Door meerdere perspectieven en verschillende kennisvormen (ervarings-, praktijk- en wetenschappelijke kennis) in de evaluatie te betrekken ontstaat een rijker beeld van de onderzochte beleidswerkelijkheid. Dit wordt ook wel ‘epistemologische rechtvaardigheid’ genoemd.
Tweede uitgangspunt van ‘responsieve evaluatie’ is dat beleidspraktijken grillige, complexe processen zijn die vaak niet voldoen aan een eenvoudig doel-middel schema. Praktijkacties en processen zijn daarom belangrijker dan doelen en plannen. Responsief evalueren stelt daarom de dialoog tussen belanghebbenden centraal en brengt zo een leerproces op gang over de praktijk. Dit geeft verschillende belanghebbenden meer inzicht en wederzijds begrip, en ook partijen die vaak buiten beleidsvormingsprocessen staan een stem en zeggenschap. En deze ervaringen en perspectieven kunnen uiteindelijk een licht werpen op de effecten, werkzaamheid en de impact van beleid.
Deze responsieve evaluatiemethode is vooral geschikt voor strategisch beleid (doelen zijn nog onbekend), voor beleidsterreinen die veel (morele) controversen oproepen of waarbij de doel-middel relatie diffuus is. In die gevallen waarin een interventie routinematig van aard is, de context weinig invloed heeft, er consensus is over te bereiken effecten en er een duidelijke causale relatie is tussen middel en doel volstaan andere methoden. In zijn algemeenheid geldt dat hoe meer complex, ambigue en politiek of moreel geladen een interventie is, hoe minder passend een RCT is, en hoe meer geschikt een op leren gerichte responsieve evaluatie.
Casus: omgekeerde integratie
Al enkele jaren worden onder de noemer ‘omgekeerde integratie’ (OI) delen van voorheen besloten instellingsterreinen voor mensen met een verstandelijke beperking ingericht als kleine buurten waarin mensen met en zonder een verstandelijke handicap samenleven. Er is veel controverse of dit beleid mensen met en zonder een beperking ten goede komt: is het wel veilig met burgers op het terrein? Moeten en zullen burgers zich spontaan inzetten voor mensen met een beperking? Komen er ontmoetingen tot stand en hoe worden die beleefd? Welke verantwoordelijkheid hebben zorgprofessionals? Deze controversen kunnen verhelderd worden vanuit diverse perspectieven en dialoog kan een bijdrage leveren aan het (inzichtelijk maken van) proces van sociale integratie.
De responsieve evaluatie vindt plaats in vier zorginstellingen verspreid over Nederland die werken aan OI. De relevante stakeholders in deze casus zijn mensen met een beperking en hun families, buren zonder beperking, zorgprofessionals, vrijwilligers, zorgaanbieders en beleidsmakers op gemeentelijk en rijksniveau. Via participerende observaties in buurten thuis en/of op hun werkplek wordt een begin gemaakt met het vaststellen van thema’s die van belang zijn voor stakeholders; wat zijn hun verwachtingen en claims, waar maken zij zich zorgen over, wat zijn controversen?
Later diept de onderzoeker dit verder uit. In een van de instellingen organiseren buurtbewoners zonder beperking bijvoorbeeld een barbecue voor de buurt. De onderzoeker kijkt naar verschillende thema’s waarvan hij eerder al vaststelde dat die die vermoedelijk een rol spelen in de dagelijks interacties tussen buren met en zonder een verstandelijk beperking en georganiseerde ontmoetingen zoals de barbecue. Het gaat daarbij onder meer om wie ‘initiatief’ neemt in de ontmoeting, hoe het ‘samenzijn’ vorm krijgt, de ‘verlegenheid’ die buren over en weer voelen, het ‘onbegrip’ dat mensen met een beperking ervaren en het al dan niet zelf invulling kunnen geven aan het leven via ‘zelfbeschikking’ door de mensen met een beperking. Een fragment uit de veldaantekeningen van de onderzoeker, Gustaaf Bos:
Er zijn circa vijftig mensen, kinderen en volwassenen, met en zonder beperkingen. De zon schijnt, er is muziek, een opblaaskussen en midden op het grasveld staan een paar partytenten. Het valt mij op dat de meeste buurtbewoners met een beperking bij elkaar aan de rand van het veldje zitten. Aan de andere kant van de partytenten zitten vooral mensen zonder handicap. De meeste buurtbewoners met een beperking blijven zitten waar ze zitten, terwijl hun begeleiders eten voor hen halen. Vier of vijf buurvrouwen zonder beperking helpen mee of maken een praatje met hun buren met een beperking. De meeste buurtbewoners zonder beperking blijven in ‘hun eigen hoek’.
In het verdere verloop zijn de waarden en betekenissen van onder meer de op deze buurtbarbecue geïdentificeerde thema’s verder besproken met de diverse belanghebbenden. Tijdens deze gesprekken bleek dat mensen zich herkenden in de waarnemingen, maar dat deze niet eerder waren gedeeld en besproken met elkaar. Het werd ervaren als te precair om erover te spreken.
Via deze gesprekken werden betrokkenen bij de OI-buurt niet alleen uitgedaagd om na te denken over hun eigen houding en rollen in processen van sociale integratie, maar maakten zij ook kennis met de perspectieven van andere stakeholders. Er ontstond behoefte om samen te verkennen hoe OI vorm zou kunnen krijgen, en wat daarvoor nodig zou zijn. Zo kwam ter sprake hoe de zorgaanbieder veel actiever verantwoordelijkheid zou kunnen nemen in het bevorderen van contacten, meer vertrouwen zou kunnen geven en tegelijk meer zou kunnen loslaten, bijvoorbeeld de institutionele regels over hoe om te gaan met mensen die een beperking hebben. Daarmee zijn de conclusies die uit die reflecties en perspectiefwisselingen kunnen voortvloeien een product van gezamenlijke onderhandeling tussen de stakeholders en de onderzoeker.
Het is geen technisch procedé
Responsieve evaluatie is een visie op evaluatie die een interpretatieve onderzoeksbenadering koppelt aan een participatief en democratisch proces. Het is een benadering waarin beleidsevaluatie geen technisch procedé is, maar een gezamenlijk leerproces. Responsieve evaluatie heeft een meerwaarde in de sociale sector, omdat deze benadering recht doet aan de ervaringen en stem van vele belanghebbenden en daarmee ook aan degenen die gewoonlijk geen stem hebben in het beleidsproces. Door hen actief in het evaluatieproces te betrekken zal de acceptatie van bevindingen verbeteren, omdat zij zich persoonlijk betrokken voelen, politiek gevoelige onderwerpen reeds besproken en bevindingen herkenbaar zijn.
Responsieve evaluatie is daarbij wel afhankelijk van de bereidheid van partijen om open en betrokken te zijn en macht te delen. Van beleidsmakers wordt verwacht dat zij ruimte maken voor de inbreng van andere partijen, van onderzoekers dat zij een tolerantie hebben voor ambiguïteit. Immers in een responsieve evaluatie worden verschillende perspectieven en waarden niet verdoezeld maar juist uitgelicht, besproken en verkend. De voorwaarden voor dialoog zijn niet altijd aanwezig. Echter juist dan is dialoog vaak wenselijk. De onderzoeker werkt in zo’n situatie aan het creëren van condities voor dialoog; deze is als spin in het web van de stakeholders, heeft zelf geen belang in het beleid, en is daardoor bij uitstek geschikt om het gesprek te faciliteren. Dit vraagt naast de gebruikelijke onderzoeksvaardigheden om interpersoonlijke en dialogische kwaliteiten. Onderzoekers kunnen deze ontwikkelen en verfijnen door de kunst af te kijken van meer ervaren onderzoekers.
De onderzoeker is geen afstandelijke expert
In responsieve evaluatie neemt de onderzoeker niet de rol in van afstandelijke expert die op eigen kracht tot oordelen komt. Hij is eerder een facilitator van de dialoog, interpretator van verhalen en betekenissen, een educator die wederzijds begrip tot stand brengt en een Socratische gids die vanzelfsprekendheden ter discussie stelt. Responsieve evaluatie is daarmee niet langer een exercitie om de sociale sector te controleren, maar een gezamenlijke onderneming waar allen hun bijdrage aan kunnen leveren en waar allen eigenaar van kunnen zijn.
Tineke Abma is hoogleraar Participatie & Diversiteit, Afdeling Metamedica, VU medisch centrum, EMGO+ research Institute for care and primary research, Amsterdam.
Bronnen
Abma, T.A. (1996). Responsief evalueren. Delft: Eburon. Dissertatie
Abma, T.A., G.f. Bos, HP. Meininger (2011). Responsieve evaluatie van beleid voor mensen met een verstandelijke beperking en hun omgeving, NTZ, 37(2): 70-87.
Meer weten? Zie: Abma, T.A. & Widdershoven, G.A.M. (2006). Responsieve methodologie. Interactief onderzoek in de praktijk, Den Haag: Lemma.