Steeds vaker hoor ik van sociale professionals dat ‘meetbare effecten’ voor hen ‘secundair’ zijn geworden. In toenemende mate geeft men de voorkeur aan het ‘zichtbaar maken’ van resultaten via vertellingen en beeldmateriaal boven het kwantitatief meten van effecten. Waar kwantitatief onderzoek beelden oproept van onpersoonlijke experimenten en complexe statistiek, heeft kwalitatief onderzoek de connotatie van de menselijke maat, met aandacht voor ‘het verhaal’ van de uitvoerende professional en doelgroep. In dit licht is het niet verrassend dat beroepskrachten kwalitatief onderzoek zien als een welkom alternatief voor kwantificerende effectmeting. Maar de weg naar inzicht in effectieve interventies via kwalitatief onderzoek kent de nodige valkuilen. Zonder de analyse van Jurriaan Omlo op deze site inhoudelijk te willen ontkrachten, lijkt het me goed er enkele van onder de aandacht te brengen.
Interviews en observaties zijn gevoelig voor overschatting
Ten eerste zijn kwalitatieve onderzoeksmethoden – interviews, observatie(s), focusgroepen – gevoelig voor overschatting van interventie-effecten. Zo geloven veel sociale professionals sterk in hun methode. Vaak voelen ze zich emotioneel - en soms ook financieel – verbonden aan een bepaalde aanpak. Dit kleurt hun waarnemingsvermogen. Een opbouwwerker kan op basis van een cognitief overschattingsmechanisme de sociale uitwerking van een nieuw speelveldje in de wijk te rooskleurig inzien. Bijvoorbeeld omdat hij vooral die observaties onthoudt die zijn vooringenomen standpunt bevestigen, volgens het a priori concept: speelveldjes zijn goed voor het sociaal leefklimaat.
Ook kan zijn waarnemingsvermogen zijn beïnvloed door recent contact met een minderheid van bewoners die het terrein naar tevredenheid gebruikt. Dat het veldje bij de meerderheid van bewoners voor overlast zorgt en dus per saldo een negatieve invloed heeft op de leefbaarheid van de wijk, blijft daarmee verborgen. Wanneer we de werkzaamheid van een sociale interventie beoordelen op basis van wat respondenten ons vertellen in interviews of focusgroepen, lopen we dus het risico de gerapporteerde effecten te overschatten en onbekende, niet-gerapporteerde effecten te onderschatten.
Narratieve misleiding
Er zit nog een risico aan om de vraag naar ‘wat werkt’ te beantwoorden via kwalitatieve methoden. De reden: narratieve noties van ‘wat werkt’ zijn gevoelig voor foutieve causale interpretaties. De psycholoog Chapman muntte eind jaren zestig de term ‘illusory correlation’. Via taal- en beeldexperimenten liet hij zien dat mensen in hun waarnemingen en verbale uitingen geneigd zijn allerlei verschijnselen oorzakelijk met elkaar te verbinden, terwijl ze in werkelijkheid geen relatie tot elkaar hebben. De filosoof Nassim Taleb noemt dit verschijnsel 'narratieve misleiding'.
Neem de volgende twee stellingen:
- De bewoners in deze wijk lijken het goed met elkaar te kunnen vinden. Ze vlogen elkaar in de haren.
- De bewoners in deze wijk lijken het goed met elkaar te kunnen vinden. Ze vlogen elkaar in de haren tijdens de buurtbarbecue.
De tweede stelling zou een notitie kunnen zijn van een wijkonderzoeker. Op het eerste gezicht lijkt de tweede stelling meer plausibel dan de eerste. Het lijkt immers aannemelijk dat de buurtbarbecue iets te maken heeft met het feit dat men elkaar in de haren vloog. Een verband tussen bewoners die het met elkaar kunnen vinden maar toch ruzie krijgen lijkt minder waarschijnlijk. Maar dit is narratieve misleiding, zou Taleb zeggen, omdat een serie losstaande waarnemingen (bewoners - in de haren vliegen - buurtbarbecue) narratief in een logisch verband wordt geplaatst, wat op zijn beurt causaliteit suggereert. De eerste stelling heeft gezien zijn bredere formulering echter veel meer mogelijke oorzaken, en is strikt genomen even plausibel als de tweede. Foutieve causale interpretatie door narratieve misleiding kan leiden tot illegitieme beslissingen in sociaal beleid. Zo kan in het voorbeeld wellicht ten onrechte de stekker worden getrokken uit de buurtbarbecue, omdat men op basis van kwalitatieve informatie concludeert dat dit leidt tot onrust in de wijk.
Manipulatie van data
Een derde valkuil is dat kwalitatieve data zich bij uitstek lenen voor manipulatie. Met de onderzoeksfraude van Diederik Stapel en Don Poldermans vers in het geheugen, associëren we dit fenomeen vooral met het bewerken van statistische gegevens. Maar kwalitatieve data zijn misschien nog wel gevoeliger voor manipulatie. Die data worden meestal vervat in taal (tekst). En zoals we zojuist zagen, is taal kneedbaar en vatbaar voor suggestie. Iedereen die betrokken is bij sociaal beleidsonderzoek weet dat er ten dienste van eindrapportages soms selectief wordt geshopt uit interviewfragmenten. Ofwel om de zienswijze van de opdrachtgever te bevestigen (wie betaalt, bepaalt), ofwel om de lievelingstheorieën van de onderzoeksleider tegemoet te komen.
Ook is het een publiek geheim dat onderzoekers geregeld onder druk worden gezet om kritische passages over de impact van een bepaalde maatregel ‘minder negatief’ te formuleren. Vaak door de opdrachtgever, die verlangt dat men ‘constructief’ blijft. Via retorische technieken wordt in het evaluatierapport soms een positiever beeld over de interventie opgeroepen dan de onderzoeksresultaten legitimeren. Vooral kwalitatief onderzoek is op dit punt kwetsbaar, omdat kwalitatieve gegevens (lees: tekst) via taalconstructies gemakkelijk naar eigen inzicht zijn te kneden. Bovendien is het waarheidsgehalte van de tekstuele data waarop men zich baseert – informatie uit logboeken, interviewverslagen enz.– anders dan cijfers, niet te verifiëren.
Hoe zijn de valkuilen te ontwijken?
Hoe kunnen we de valkuilen van kwalitatief evaluatieonderzoek ontwijken? Allereerst door ons minder te beroepen op dat kwalitatieve onderzoek. De tijd is voorbij dat we de inzet van gemeenschapsgeld kunnen baseren op wat losse interviewuitkomsten en inductief geschreven rapportages. De financiële crisis en de politieke heroriëntatie op de samenleving confronteren de sociale sector met forse bezuinigingen en hervormingen. Dit stelt de legitimiteit van sommige aanpakken fundamenteel ter discussie, wat vraagt om een hogere graad van bewijsvoering.
De prioriteit moet liggen bij meetbare dataverzameling. Ik ben me ervan bewust dat dit geen geringe opgave is. Zoals Omlo terecht stelt, zijn veel sociale interventies nog niet rijp om op kwantificeerbare wijze getest te worden. Maar het in dit stadium benadrukken van kwalitatieve evaluatiemethoden - nog voor we goed en wel zijn begonnen met het meten van uitkomsten – is het verkopen van oude wijn in nieuwe zakken.
Natuurlijk, om te bepalen waarom iets wel of niet werkt blijven we aangewezen op kwalitatieve methoden. Om niet in de valkuilen te trappen, zullen we die methoden zorgvuldig moeten toepassen en strikte procedures in acht moeten nemen. Maar de ruwe bewijsvoering over de werkzaamheid van sociaal beleid moet in eerste instantie gestalte krijgen via meetbare dataverzameling. Door de mogelijkheden van dit type onderzoek op te rekken, komen we dichter bij de beantwoording van de vraag ‘wat werkt?’ dan met de zoveelste kwalitatieve verkenning.
Vasco Lub is zelfstandig onderzoeker (Bureau voor Sociale Argumentatie). Hij doet daarnaast promotieonderzoek aan de Erasmus Universiteit Rotterdam. Eerder dit jaar verscheen van Lub et al. de onderzoeksbundel: 'Polarisatie en radicalisering: de onderbouwing van sociale interventies getoetst'. Utrecht: MOVISIE / Universiteit van Tilburg.
Bovenstaand artikel is een ingekorte versie van een artikel dat verschijnt het kerstnummer van TSS - Tijdschrift voor sociale vraagstukken.