Evidence-based werken is geen kwestie van top down of bottom up

Bezwaren tegen evidence-based werken en bepaalde soorten onderzoek berusten vaak op hardnekkige misverstanden. Mede hierdoor blijft de sociale sector het wiel opnieuw uitvinden. Hoog tijd om evidence based werken en practice-based evidence aan elkaar te verbinden.

De schuldhulpverlener gaat in het nieuwe buurtteam scheidende ouders begeleiden en de verpleegkundige van het consultatiebureau geeft opvoedadvies. Ze zijn er alleen niet voor opgeleid en ze kunnen voor oplossingen niet terecht in hun eigen databank met effectieve interventies. Dat lees ik in de bijdrage van Trudie Knijn en Marcel Hoogenboom (2014) op deze site. Tjee, je zult maar scheidende ouder zijn en een opvoedadvies nodig hebben. Als je een beroep op het buurtteam doet, krijg je dus wellicht iemand die niet is opgeleid om je vraag te beantwoorden. En er is voor die professional ook geen kennisbron waar die uit kan putten.

Kritiek op evidence-based werken

Het debat over evidence-based op socialevraagstukken.nl wordt al gauw verengd tot alleen een discussie over welke evaluatiemethode de beste is. Dat is problematisch, omdat verschillende bijdragen impliciete kritieken lijken te bevatten op het evidence-based werken. Zo merken Knijn en Hoogenboom op dat de transformatie van het sociale domein het debat over evidence-based werken op scherp zetten. Maar zij werken dit uit door de RCT te vergelijken met de volgens hen meer passende methode van het realistisch evalueren. Zij stellen dat het onderzoek met een experimentele en controlegroep het hoogste streven is van evidence-based methoden, zoals die in databanken van onder meer Movisie en het Nederlands Jeugdinstituut (NJi) worden gedocumenteerd.

Aan de discussie over de onderzoeksmethode moet iets vooraf gaan: zijn we het erover eens dat we in de sociale sector meer evidence-based moeten gaan werken? Als we daar meer helderheid over hebben, is vervolgens een meer specifiek debat te voeren over kwesties als voor welke interventies en onderzoeksvragen we welke methoden nodig hebben.

Veel misverstanden over evidence-based werken

Over het evidence-based werken zijn veel misverstanden. Drie wil ik kort bespreken. Het eerste is: Evidence-based werken gaat om het toepassen van met wetenschappelijk onderzoek bewezen, effectieve methoden. Dit klopt niet. Van origine is de term bestemd voor gebruik van kennis over wat werkt, bij wie, wanneer en waarom. Die kennis bestaat altijd uit een mix van informatie uit wetenschappelijk onderzoek, uit geaccumuleerde ervaring en inzichten van professionals en uit cliëntvoorkeuren. Recentelijk is kennis over geldende normen en waarden die meespelen in de hulp hieraan toegevoegd (zie Van Yperen e.a., 2010; Van Montfoort, 2010). Evidence-based werken heeft alles te maken met een kenniscyclus waarin leren in de praktijk en delen van kennis, ervaring en inzichten centraal staan. Dat delen kan via wetenschappelijk onderzoek verlopen. Maar het aandragen en delen van ‘evidence’ is niet voorbehouden aan wetenschappers; dat gebeurt ook via professionele netwerken of publicaties van hulpverleners of ervaringsdeskundigen. Door nieuwe ervaringen te expliciteren, praktijken verder door te ontwikkelen en mee te doen in onderzoek groeit de ‘body of knowledge’ over wat wel en niet werkt in een vakgebied. Professionals kunnen door bijscholing en andere leergemeenschappen van de groeiende kennis profiteren in de verbetering van hun praktijk.

Het tweede misverstand is: kennisinstituten wringen zich in allerlei bochten om hun databanken te vullen met evidence-based methoden waar de generalisten niks aan hebben. De kennisinstituten wringen zich inderdaad in allerlei bochten om die methoden in hun databanken op te nemen, omdat ze daarmee beschikbare kennis, ervaring en werkwijzen toegankelijk willen maken voor iedereen die daar zijn voordeel mee kan doen. Maar daar stopt het voor de kennisinstituten niet. Kenmerk van de sociale sector is namelijk dat ze erg goed is in het ‘bottom-up’ uitvinden en ontwikkelen van steeds weer nieuwe methoden, maar slecht is in het goed onderzoeken, doorontwikkelen en van elkaar overnemen van alle kennis die daarin verpakt is. Liever vindt men steeds het wiel opnieuw uit, onder het motto dat men niet van ‘top-down’ ingebrachte methoden gediend is. Daarom staan er in de databanken zo veel interventies die op elkaar lijken. De jeugdzorg innoveert zich suf, maar boekt te weinig vooruitgang (Van Yperen, 2013) en het wordt mij steeds duidelijker dat dit ook voor het sociaal werk geldt. De kennisaccumulatie om als beroepsgroep tot een ‘body of knowledge’ te komen en het van elkaar overnemen van werkwijzen blijft achter (zie ook Gezondheidsraad, 2014).

Om de ‘body of knowledge’ te vergroten en gebruik ervan te stimuleren, doen de kennisinstituten veel meer dan alleen het documenteren van interventies in databanken. Dat gebeurt door ‘families van interventies’ – zoals Vasco Lub het zo mooi noemt – te vormen, werkzame factoren eruit te destilleren, professionals over deze werkzame factoren via ‘Wat werkt’-dossiers te informeren, met beroepsverenigingen samen te werken om de kennis in handreikingen en richtlijnen te vertalen, met opleidingen te werken aan overdracht van die kennis aan nieuwe vakgenoten etc. Die producten zijn niet alleen interessant voor specialisten, ook generalisten kunnen daar hun voordeel mee doen. Kijk maar eens bij de kennisproducten van het NJi over multiprobleemgezinnen.

Het derde misverstand is: evidence-based methoden zijn niet bruikbaar in de praktijk. In een van de reacties op Vasco Lub las ik: ‘De eis dat een interventie – nog voordat het ooit ergens is toegepast - evidence-based moet zijn is bizar, maar wel vaak aan de orde’. Veel interventies in de databanken zijn echter ontwikkeld door of met de praktijk. In die zin zijn ze veelal ‘practice-based’. Vaak geldt dat ze ‘slechts’ onderbouwd zijn met goede interventietheorieën, maar nog niet met effectonderzoek. Ik ben het met de bijdrage van Gaby Jacobs (2014) eens dat we een mix nodig hebben van diverse soorten onderzoek om die lacune op te vullen. Dat is ook de reden waarom de erkenningscommissie voor de NJi-databank onderzoekers niet vastspijkert op één type onderzoek dat daarbij is aangewezen.

Creatief met onderzoek

Een aandachtspunt daarbij is dat onderzoekers de beperkingen van onderzoeksmethoden enigszins kunnen ondervangen door er creatiever mee om te gaan. Zo stelt Tineke Abma (2014) onder meer dat het hypothetisch deductieve design en kwantitatieve methoden zich richten op controle van praktijken. De kennis, ervaringen en stem van andere belanghebbenden (onder wie de cliënt en professional) dan de beleidsmaker zouden niet verdisconteerd worden in het proces van beoordeling. Met alle respect, maar wat houdt Abma tegen om dat type onderzoek te doen met professionals die nieuwsgierig zijn of hun interventie betere resultaten geeft dan die van ‘care as usual’ en waarbij ze juist wèl de oordelen van die andere belanghebbenden betrekt? In de jeugdzorg gebeurt dat al vaak en we weten daar dat verschillende informanten (ouders, jeugdigen, leerkrachten, hulpverleners) de uitkomsten van een interventie vaak verschillend beoordelen. Heel boeiend en nuttig.

Jacobs refereert aan het kampvuuronderzoek, dat ruimte biedt aan professionals om te vertellen over gedachten en emoties, morele vragen en dilemma’s, als ook persoonlijke drijfveren en verlangens in hun werk. Het ontsluit schatten aan (veelal) impliciete en subjectieve kennis. Het zijn getuigenissen van de ingewikkelde werkelijkheid en de essenties daarvan, in plaats van pogingen daarvan te abstraheren en te reduceren. Volgens Jacobs heeft dit onderzoek vaak niet de ambitie om in meer algemene zin uitspraken te doen over de werkzaamheid van interventies. Ik ben het niet met haar eens wanneer ze stelt dat deze manier van onderzoek doen populair is onder professionals omdat het zou passen bij hun werkwijze, die onmiddellijk, hier-en-nu, concreet en dichtbij is. Ik merk dat er veel professionals zijn die juist ook dat concrete hier-en-nu willen overstijgen om er lering uit te trekken voor nieuwe, toekomstige cliënten. Mooi is in dat verband dat dat Jacobs voorstelt om op dat overstijgende niveau naar ‘kampvuur- studies’ te gaan kijken, met de vraag of er patronen te herkennen zijn. Dit soort creatieve toepassingen helpt de ‘body of knowledge’ in een vakgebied te groeien.

Het noodzakelijke arsenaal aan onderzoeksmethoden

We moeten af van het simplistische idee dat het ene type onderzoek deugt en het andere niet. Het gaat erom een onderzoeksvorm te matchen met de voorliggende onderzoeksvraag en het type interventie. Als je hypothesen wilt genereren over wat werkt bij wie en waarom, dan kan kwalitatief onderzoek bijzonder nuttig zijn. Voorts is met behulp van een herhaald N=1 onderzoek (een soort case-study) krachtig bewijs te verzamelen over de vraag of theoretisch voorspelde effecten binnen een bepaald tijdsverloop ook daadwerkelijk optreden. Als je een te generaliseren uitspraak wil doen over de vraag of een bepaald effect van een interventie is toe te schrijven aan deze interventie, in vergelijking met het niet-interveniëren of met een andere aanpak, dan is het zinvol om een onderzoeksopzet te maken met een experimentele en controle-conditie en een grote variëteit aan casuïstiek binnen je beoogde doelgroep. Wees je alleen bewust dat je dan vaak niet in detail te weten komt wat heeft gewerkt bij wie en waarom, tenzij je al die details kunt meten en/of met bijvoorbeeld focusgroepen kunt bespreken.

Bij het matchen aan het type interventie zijn er twee aandachtspunten. Ten eerste: kijk naar het ontwikkelingsstadium van een interventie. Veel wetenschappers grijpen veel te snel naar de RCT als onderzoeksmiddel, terwijl ze nog niet eens weten of praktijkwerkers en cliënten de interventie eigenlijk wel waarderen, geneigd zijn de interventie goed uit te voeren, de in de praktijk gestelde doelen ermee lijken te realiseren en welke mechanismen daarbij een rol lijken te spelen. Het is veel beter om eerst dit soort zaken met ander onderzoek uit te zoeken. Een RCT is daarbij dus niet de hoogste vorm van onderzoek, maar een middel voor een eventuele latere fase. Ten tweede: kijk ook naar het type interventie. Kun je bijvoorbeeld een massamediale campagne met een RCT onderzoeken? Lijkt me lastig.

Hiermee wil ik de RCT niet diskwalificeren, net zo min elke andere onderzoeksvorm, als middel om sociale interventies te onderzoeken. Het probleem is dat de term ‘sociale interventies’ een enorme verzamelbak is. Het lijkt me nuttig om met verschillende onderzoekers over een aantal concrete, heel iteenlopende typen sociale interventies in discussie aan te gaan over welke soorten onderzoek in verschillende ontwikkelingsstadia ons helpen kennis op te bouwen over wat werkt bij wie en waarom.

Lerende professionals in een innovatieve sector

Een ‘body of knowledge’ is een essentieel kenmerk van een professie, ook voor generalisten. Het vraagt om het overstijgen van casuïstiek en op zoek te gaan naar patronen. Een ander kenmerk van een professie is dat deze geabstraheerde kennis vervolgens weer op een beredeneerde wijze gebruikt in casuïstiek, men daarbij het proces en de resultaten monitort, met de belanghebbenden erop reflecteert, en de lessen toevoegt aan de collectieve kennis in de sector. In een dergelijke professie zijn evidence-based werken en het verzamelen van practice-based evidence aan elkaar verbonden via een mix van onderzoeksmethoden. Daarbij gaat het niet om een ‘top-down’ of ‘bottom-up’ eenrichtingsverkeer van kennis en kennisontwikkeling, maar om een ‘top-up’ kenniscyclus: bij elk sociaal vraagstuk insteken op de top van onze kennis en daarop voortbouwen. Zo leert de professional en de onderzoeker, innoveert de sector en boekt ze daadwerkelijk vooruitgang.

Tom van Yperen is als expert verbonden aan Nederlands Jeugdinstituut en bijzonder hoogleraar innovatie van de zorg voor jeugd bij de Universiteit Groningen.

 

Hoe draagt kwalitatief onderzoek bij aan kennis over effectieve interventies in het sociale domein? Hierover organiseert Movisie op 16 december 2014 een werkconferentie voor onderzoekers, beleidsmedewerkers en betrokkenen bij erkenningstrajecten van databanken met interventies.

 

Bronnen:
Gezondheidsraad – Commissie professionalisering maatschappelijke ondersteuning (2014). Sociaal werk op solide basis. Den Haag: Gezondheidsraad, publicatienr. 2014/21.
Montfoort, A. van (2010). Geen hulp zonder recht, geen recht zonder hulp. In: H. Pijnenburg, J. Hermanns, T. van Yperen, G. Hutschemakers & A. van Montfoort Red.) Zorgen dat het werkt (P. 121-135). Amsterdam/Nijmegen: SWP/HAN.
Yperen, T.A. van (Red., 2010). 55 vragen over effectiviteit. Antwoorden voor de jeugdzorg. Utrecht: Nederlands Jeugdinstituut.
Yperen, T.A. van (2013). Met kennis oogsten. Monitoring en doorontwikkeling van een integrale zorg voor jeugd. Utrecht / Groningen: Nederlands Jeugdinstituut / Rijksuniversiteit Groningen.