De derde weg in evaluatieonderzoek

Om de impact vast te stellen van sociale interventies kunnen we niet volstaan met randomized-controlled trials of vragenlijsten, maar ook niet met narratieve onderzoeksmethoden. Beiden geven een eenzijdig beeld. We hebben een derde weg nodig.

Bij sociale interventies is de afgelopen decennia steeds meer het besef doorgedrongen dat het noodzakelijk is om vast te stellen wat werkt, en om het professionele handelen hiernaar te richten. Evaluatieonderzoek dat gericht is op het vaststellen van de werkzaamheid van interventies, is dan ook een integraal deel gaan uitmaken van het curriculum van hogere beroepsopleidingen en het takenpakket van instellingen en medewerkers die werkzaam zijn in het sociale domein. Maar hoe dit onderzoek moet plaatsvinden en tot wat voor soort informatie dit moet leiden, daarover zijn de meningen sterk verdeeld. Er zijn twee kampen te onderscheiden, die ik zou willen aanduiden als het ‘lantaarnpaalonderzoek’ en het ‘kampvuuronderzoek’. De termen ‘lantaarnpaal’ en ‘kampvuur’ ontleen ik aan de socioloog en filosoof Harry Kunneman. Kunneman gebruikt deze metafoor voor het werken in de zorgsector, maar zij is evenzeer geldig voor praktijkgericht evaluatieonderzoek.

Lantaarnpaalonderzoek: schemerzones en duisternis

De lantaarnpaallogica is gericht op het vergroten van transparantie en beheersbaarheid. Zij is dominant in evaluaties van sociaal beleid en sociale interventies, omdat zij algemeen geldige kennis zou kunnen opleveren over de werkzaamheid daarvan. Deze werkzaamheid krijgt hier vaak de objectiverende vorm van meetbare effecten die achteraf en van buitenaf kunnen worden vastgesteld. Een voorbeeld van een vraag die op deze manier wordt onderzocht kan dan zijn: is de werkloosheid onder jongeren met een handicap afgenomen onder invloed van stimuleringsmaatregelen? Een veel voorkomende vorm is de gestructureerde vragenlijst die onder een grote groep betrokkenen wordt afgenomen om de effecten van beleidsveranderingen op te sporen. Het probleem met deze methode is dat een lagere werkloosheid in dit geval al snel wordt toegeschreven aan de genomen maatregelen, terwijl een causale relatie niet is te leggen. Dat zou alleen kunnen met een zogeheten Randomized Control Trial (RCT), waarin een vergelijkbare controlegroep is opgenomen die niet te maken heeft gehad met de maatregelen. Dit laatste is in de sociale werkelijkheid echter uiterst lastig of niet te organiseren, omdat de context waarin het onderzoek plaatsvindt voortdurend aan verandering onderhevig is waardoor de vergelijkbaarheid van controle en experimentele groep gedurende het onderzoek kan veranderen. Ook is er in de sociale interventiepraktijk vaak geen sprake van aselecte toewijzing en is het dubbelblind uitvoeren van het onderzoek onmogelijk zodat de verwachtingen van deelnemers de uitkomsten kleuren. Dan is het niet de sociale interventie die werkt, maar is er sprake van een placebo-effect. Tavecchio & Gerrebrands (2013) spreken over de sociale interventiepraktijk als een complex en emergerend systeem.

Om toch uitspraken te kunnen doen waar beleidsmakers en professionals op kunnen varen, wordt in het lantaarnpalenonderzoek de complexiteit, dynamiek en contextuele bepaaldheid van sociale interventiepraktijken gereduceerd. Dit type evaluatieonderzoek gaat als het ware op een afstand boven de sociale werkelijkheid hangen en streeft naar algemene uitspraken die gelden voor een doelgroep als geheel maar die dus niet hoeven te gelden voor individuen of specifieke contexten. Hoewel de lantaarnpalen met hun schijnsel een groot bereik hebben, creëren ze onvermijdelijk ook schemerzones en duisternis en laten ze de specifieke factoren waarom iets werkt voor deze persoon in deze context on(der)belicht. Vandaar dat ook kampvuuronderzoek nodig is: onderzoek naar betekenisgeving.

Kampvuuronderzoek: reflectie en betekenisgeving

In het schemerdonker van de lantaarnpalen stoken professionals en cliënten hun kampvuurtjes. Het bijeen zitten rond het kampvuur, biedt ruimte voor verhalen waarin gedachten en emoties, morele vragen en dilemma’s, als ook persoonlijke drijfveren en verlangens naar voren komen. In deze verhalen van zowel professionals als cliënten zitten schatten aan (veelal) taciete en subjectieve kennis besloten. De verhalen zijn getuigenissen van de ingewikkelde werkelijkheid en daaraan gekoppeld pogingen om tot de essenties daarvan te komen, in plaats van daarvan te abstraheren en te reduceren. Deze manier van onderzoek doen is populair onder professionals want past bij hun werkwijze, die onmiddellijk, hier-en-nu, concreet en dichtbij is. Bij kampvuuronderzoek gaat het om de werkzaamheid te achterhalen door de betekenis en waarde van interventies, diensten of producten voor de betrokkenen na te gaan. Dit is belangrijk, omdat mensen betekenis gevende wezens zijn en deze betekenisgeving ook hun handelen en dus de reactie op de interventie bepaalt.

Om te begrijpen waarom iets werkt, moeten we dus (ook) de betekenisgeving kennen en deze is hoogst individueel en contextueel bepaald. Een voorbeeld van kampvuuronderzoek is de responsieve evaluatie, zoals op deze site beschreven door Tineke Abma. Het gaat hier om de verbetering van een sociale interventiepraktijk terwijl deze gaande is, met als kerningrediënt de dialoog met en tussen belanghebbende partijen. Belangrijke vragen hierbij zijn hoe wij als belanghebbenden een bepaalde interventiepraktijk ervaren, welke vragen, aandachtspunten en zorgen er zijn, hoe we denken dat de praktijk kan verbeteren en wat daarvoor nodig is van personen, organisaties en de sociale omgeving. Het vaststellen van knelpunten leidt vaak automatisch tot een gezamenlijke zoektocht naar mogelijke oplossingsstrategieën en het in praktijk brengen daarvan, waardoor de praktijk al evaluerend verandert.

Echter ook kampvuuronderzoek kent zijn beperkingen. Het blijft vaak anekdotisch, geeft inzicht in wat er kan gebeuren in deze situatie hier-en-nu, maar heeft vaak niet de ambitie om in meer algemene zin uitspraken te doen over de werkzaamheid van interventies.

Blending van evaluatiepraktijken: een derde weg

De kennis over de werkzaamheid van interventies die wordt vergaard met lantaarnpalenonderzoek is van een andere aard dan die voortkomt uit kampvuuronderzoek. De eerste is veelal cijfermatig van aard, retrospectief, algemeen geldig en beschrijvend. Kampvuuronderzoek levert daarentegen vooral verhalend materiaal, dat contextueel is, normatief en veranderingsgericht. Beide vormen van kennis zijn nodig om inzichten te ontwikkelen over de werkzaamheid van sociale interventiepraktijken. Evidence-based practice vraagt van praktijkwerkers om deze verschillende bronnen van kennis te integreren om goed te kunnen handelen (Rycroft-Malone, Seers, Titchen, Harvey, Kitson & McCormack, 2004). Zou het dan niet mogelijk zijn om in evaluatieonderzoek zelf al te proberen om deze bronnen van kennis samen te brengen in plaats van dit over te laten aan de professional? Ik zie hier twee mogelijke richtingen om in te bewegen.

Op de eerste plaats zouden we kunnen vertrekken vanuit de lantaarnpaalmethode en voor beantwoording van de vragen die dit oproept te rade kunnen gaan bij focusgroepen met professionals en cliëntengroepen. Want wat betekent het voor jongeren met een handicap die weer aan het werk zijn gegaan? En voor de jongeren die ondanks de stimuleringsmaatregel buiten de boot zijn gebleven?

Op de tweede plaats zouden we verhalen naast hun directe betekenis voor betrokkenen en praktijkverbetering ook systematisch kunnen onderzoeken op patronen om zodoende meer overstijgende conclusies te trekken uit het onderzoek. De methode van realistische evaluatie (Pawson & Tilley, 1997) zoekt naar patronen van omgevingsfactoren, interventiekenmerken en uitkomsten door het vergelijken van gevallen en geeft zodoende inzicht in ‘Wat werkt, voor wie onder welke omstandigheden?’

Leren werken met complexiteit

Donald Schön (1983) maakte een onderscheid tussen de hoge heidegronden en de moerassige laaglanden. Op de hoge heidegronden kunnen we met lantaarnpaalonderzoek volstaan: het gaat hier om heldere, overzichtelijke vragen waarvoor een ondubbelzinnige oplossing voorhanden is. In sociale interventiepraktijken hebben we daarentegen te maken met het moerassige laagland waarin praktijksituaties complex en onoverzichtelijk zijn en een combinatie van methoden nodig is om deze te onderzoeken. Juist deze praktijksituaties vragen de meeste zorg, aldus Schön. Laten we daarom de uitdaging aangaan om deze lastige interventievragen aan te pakken. Niet door de complexiteit te reduceren, maar deze te erkennen en ermee te leren werken in onderzoek.

Gaby Jacobs is werkzaam als lector bij Fontys Hogeschool Verpleegkunde en als universitair docent aan de Universiteit voor Humanistiek. Zij is tevens betrokken bij het Raak-PRO project ‘De pedagogische professional voor het voetlicht’ waarin een mixed-methods evaluatie aanpak wordt toegepast.

 

Bronnen:
Kunneman, H. (2009). Maak ruimte voor reflectie in de zorgsector. Interview 3 december 2009.
Pawson, R. & N. Tilley (1997). Realistic evaluation. London: Sage.
Tavecchio, L. & M. Gerrebrands (2013). Bewijsvoering binnen praktijkgericht onderzoek. Den Haag: Boom Lemma.
Abma, T. (28 november 2014), Responsieve evaluatie: onderzoek dat niet wil controleren maar leren: website Socialevraagstukken.nl.
Rycroft-Malone, J., Seers, K., Titchen, A. Harvey, G., Kitson, A. & B. McCormack (2004). What counts as evidence in evidence-based practice? Journal of Advanced Nursing 47(1), 81–90.
Schön, D. (1983). The reflective practitioner. New York: Basic Books.