Decentralisaties zetten evidence based-debat op scherp

Volgend jaar moeten sociale professionals generalistisch werken. Ze kunnen daarbij niet terugvallen op bewezen effectieve methoden. De enige manier om hun werk straks te verantwoorden is realistisch evalueren: wat werkt voor specifieke groepen in bepaalde omstandigheden?

Met de transitie en transformatie van het sociale domein - de jeugdzorg, de maatschappelijke ondersteuning en de reactivering - komt het debat over evidence-based-methoden op scherp te staan. Want terwijl maar liefst acht grote kennisinstituten [1] zich in alle bochten wringen om hun databanken te vullen met bewezen effectieve methoden die gebruikt kunnen – en volgens beleidsmakers en sommige wetenschappers moeten – worden door professionals, wordt het fundament onder het hele sociale bouwwerk er in één ruk onderuit getrokken; de specialistische professional moet (even) het veld ruimen.

De transitie brengt meer gespecialiseerde professionals in de schuldhulpverlening, de jeugdzorg, het maatschappelijk werk, de wijkverpleging, het opbouwwerk en/of het jongerenwerk casemanagers onder in nieuw te vormen buurtteams. Maar hebben deze nieuwe casemanagers in hun alomvattende zorg voor een gezin in de bijstand met jonge kinderen en schulden, voor eenzame ouderen, voor een illegale thuisloze met een verslavingsprobleem of voor een jongere met geradicaliseerde (religieuze of politieke) opvattingen wel iets aan de methoden zoals beschreven in de databanken? Of is het misschien een zegen dat de illusie van het – per definitie gespecialiseerde – evidence-based-werken wordt doorbroken? En ook een zegen dat de muren tussen al die professionals onderling en die tussen de professionals en degenen om wie het uiteindelijk gaat – de kwetsbare en soms overlast bezorgde burger – worden geslecht? Zijn er ook alternatieven voor de gespecialiseerde evidence-based-methoden die per discipline – opbouwwerk, jeugdzorg, volksgezondheid, ggz en maatschappelijk werk – ontwikkeld zijn en aanbevolen worden?

Realistisch evalueren, oog voor complexiteit

Realistisch evalueren is een onderzoeksmethode die Pawson en Tilley (1997) introduceerden in reactie op de dominantie van het positivistische evaluatieonderzoek. Daarbij gaat het vooral om ‘de werkelijkheid’ die het resultaat is van de wijzen waarop mensen de dingen en de handelingen van mensen om hen heen interpreteren. Daarmee bekritiseren deze onderzoekers het idee dat de werkelijkheid via empirische waarneming kenbaar is buiten de interpretaties van mensen om, en meetbaar is via randomized controlled trial (RCT). Het onderzoek dus met een interventie- en een controlegroep en willekeurige toewijzing van proefpersonen aan beide groepen (randomisering), dat het hoogste streven is van de evidence-based methoden van de genoemde databanken.

Pawson en Tilley stellen dat in RCT-onderzoek precies die kenmerken, die de eventuele werking van een interventie zouden kunnen verklaren, zich aan het zicht onttrekken. Óf een interventie werkt is volgens hen afhankelijk van de specifieke kenmerken van de situatie waarin een interventie wordt geïntroduceerd en de specifieke kenmerken van de mensen op wie ze wordt uitgeprobeerd. In RCT’s worden die factoren die kunnen verklaren waarom een interventie werkt via randomisering juist uitgesloten van het experiment.

Het maakt volgens de Realistische Evaluatie methode nogal uit of een interventie wordt gepleegd in een onrustige buurt in Amsterdam of in Zwolle, of reactivering van bijstandsgerechtigden plaatsvindt in een omgeving met beschikbare banen of hoge werkloosheidscijfers, en of problemen met jongeren zich voordoen op het platteland of in de stad. De context is hier allesbepalend en heeft consequenties voor de aard van de mogelijk succesvolle interventie; iets wat niet via RCT’s is vast te stellen, omdat in de experimenten ‘de omstandigheden’ als ‘storende factoren’ worden opgevat. Wat Realistische Evaluatie kan bijdragen is aandacht voor juist die mechanismen die in specifieke omstandigheden gedragsverandering kunnen bewerkstelligen, dat wil zeggen: mechanismen die in de ene context wel en in de andere context niet ‘werken’.

Om de bestaande probleemsituatie goed in kaart te kunnen brengen, introduceren Pawson en Tilley de CMO-configuratie, waarbij C verwijst naar context, M naar mechanisme en O naar uitkomst (outcome). Met behulp van een CMO-configuratie kan de onderzoeker voor zichzelf en voor de stakeholders van de evaluatie – de opdrachtgever, de beleidsmakers, de beleidsuitvoerders en de doelgroep van de interventie – in kaart brengen hoe het sociale probleem precies in elkaar steekt. Vervolgens kan de onderzoeker inzichtelijk maken met welke interventie(s) het sociale probleem kan worden opgelost. Hierbij moet natuurlijk allereerst worden nagegaan wie nu vooral baat heeft bij de interventie en of de belangen van de doelgroep, de beleidsmakers en ook die van de professional zelf wel overeenkomen, en of ze naar dezelfde ‘outcome’ streven.

Realistisch evalueren door generalistische professionals

Vanaf januari 2015 heeft de jeugdzorgmedewerker niet meer alleen de zorg voor jongeren maar moet zij ook het gezin uit de schulden helpen, de schuldhulpverlener moet ook de scheiding van de ouders begeleiden, de maatschappelijk werkster zal ook aan buurtopbouw moeten bijdragen en de verpleegkundige van het consultatiebureau wordt geacht ook opvoedingsadvies te geven. Daar zijn al deze sociale professionals niet voor opgeleid en ze kunnen voor oplossingen niet terecht in hun ‘eigen’ databanken. Niet alleen omdat die gespecialiseerde methoden niet zomaar door elke ‘leek’ toegepast kunnen worden, maar vooral omdat de methodieken getest en getoetst zijn voor specifieke problemen die los staan van de complexe problematieken waar de casemanagers mee moeten werken. ‘Storende factoren’ zullen meer dan in het verleden aanwezig zijn. De enige manier waarop de professionals van de toekomstige buurtteams nog kunnen verantwoorden wat hun bijdrage is – en dat is wat beleidsmakers en politici verwachten – is realistisch evalueren. Zoeken naar die mechanismen die werken – hier en nu en voor deze specifieke doelgroep.

Een voorbeeld daarvan is het onderzoek naar reactivering van langdurig bijstandsafhankelijken in drie gemeentes in Nederland. Met inachtneming van de plaatselijke verschillen in werkgelegenheid, aanpak en sancties (vanuit de WWB) slaagden we erin de mechanismen te achterhalen die in elk van de drie gemeentes succesvol waren in het bewerkstelligen van gedragsverandering en hernieuwde oriëntatie op de arbeidsmarkt. Daarnaast achterhaalden we de redenen waarom zo’n aanpak niet voor iedereen en niet altijd werkte (Bouman-Van ’t Veer, Knijn en Van Berkel, 2011). Realistisch evalueren betekent allereerst de context (C) in kaart brengen. In ons onderzoek betekende dat: nagaan welke gemeenten op welke wijzen de combinatie van de Wmo en de WWB gebruikten om langdurig bijstandsafhankelijken te activeren, welke partijen (gemeente, sociale dienst, welzijnsprofessionals) erbij betrokken zijn, wat hun rol is in de aanpak (financieel, tijd, afstemming tussen afdelingen van de gemeente), hoeveel tijd per cliënt de welzijnsprofessionals tot hun beschikking hebben, welke cliënten voor de projecten worden geselecteerd, waarom de cliënten deelnemen (vrijwillig of op straffe van sancties), wat hun doelstellingen zijn en of die overeenkomen met die van de gemeente.

De tweede stap was het in kaart brengen van de werkzame mechanismen (M); nauwkeurig (via interviews en observaties) analyseren wat de professionals nu precies doen, hoe cliënten daarop reageren en welke methodieken wel of niet succesvol zijn volgens beide partijen. Via vergelijking van de werkzame mechanismen in de drie gemeenten, tenslotte, was het mogelijk te bepalen wat volgens de betrokkenen wel en niet werkt in welke situaties.

In ons onderzoek was dit het optimaal haalbare, maar uiteindelijk onbevredigende resultaat. Wat ontbrak waren de gegevens over de uitstroom naar werk, de uitkomst (O). Ondanks uitgebreide administraties van deelnemers – en afhakers –, van cliënten die het traject hadden afgerond en cliënten die vrijwilligers werk deden, bleken ‘harde’ cijfers over het resultaat van de Wmo-WWB-experimenten niet beschikbaar te zijn.

Pleit dat nu voor een RCT onder langdurig bijstandsafhankelijken, zodat degenen die wel en niet aan een Wmo-WWB-experiment deelnemen met elkaar worden vergeleken, zodat de uitkomst (O) van het experiment beter gemeten kan worden? Nee, een RCT is meer nog dan een Realistisch Evalueren-onderzoek op betrouwbare uitkomstmaten aangewezen. En die ontbreken of zijn te divers en te fragmentarisch in dit domein. De populatie is te divers, het gedrag van de cliënten te wispelturig en hun omstandigheden te complex om te kunnen standaardiseren. Tenslotte zijn de interventies niet duurzaam. Na hooguit twee jaar volgt er vanuit Den Haag nieuw sociaal beleid ten aanzien van reactivering, heeft de gemeente er weer genoeg van, blijkt het te kostbaar, gaat de welzijnsinstelling failliet of worden er buurtteams gevormd die helemaal opnieuw moeten beginnen. Maar in ieder geval weten we nu wel wat de werkzame bestanddelen van de Wmo-WWB initiatieven waren.

Trudie Knijn en Marcel Hoogenboom zijn beiden werkzaam aan de Universiteit Utrecht. Trudie Knijn is hoogleraar Algemene Sociale Wetenschappen, Marcel Hoogenboom is universitair docent Algemene Sociale Wetenschappen.

 

Hoe draagt kwalitatief onderzoek bij aan kennis over effectieve interventies in het sociale domein? Hierover organiseert Movisie op 16 december 2014 een werkconferentie voor onderzoekers, beleidsmedewerkers en betrokkenen bij erkenningstrajecten van databanken met interventies.

 

Noten:

1. Het gaat hierbij om Divosa, MOVISIE, het NCJ, het NISB, het NJI, Platform 31, het RIVM en het Trimbos Instituut. Kijk hier voor een overzicht van databanken met effectieve interventies.

Literatuur:

Bouwman-Van ’t Veer, M., T. Knijn en R. van Berkel (2011). Activeren door participeren. De meerwaarde van de Wet maatschappelijke ondersteuning voor re-integratie van mensen in de bijstand. Utrecht: MOVISIE.
Pawson, R. and Tilley, N. (1997). Realistic Evaluation. London: Sage.

 

Dit artikel is 805 keer bekeken.

Reacties op dit artikel (8)

  1. Het lijkt mij weinig realistisch dat de diverse professies in een team elkaars werk gaan overnemen. Dat is nergens voor nodig. Wat wel nodig is, is dat alle noodzakelijke professies voor handen zijn indien nodig. En goed met elkaar kunnen samenwerken. De kracht van het buurtteam zit hem dus in het zelfsturend team. Hoe dat moet is nog niet iedereen duidelijk.
    Zie hiervoor (binnenkort) op http://www.nieuworganiseren.nu het artikel: Zelfsturende teams ? Moeilijk ? Hoezo ?

  2. Wat een merkwaardige stellingname om realistsich evalueren te promoten.
    De T- shaped professional is eerder naast een generalist ook een specialist. Bovendien blijven specialisten absoluut noodzakelijk ook aan de voorkant. Het gaat niet voor niets ook om tijdig op en afschalen. Daarnaast zegt generalistische werken nog niets over de instrumenten die gebruikt worden door de generaslist. De reflectieve praktijk en evidence based werken is een onderdeel van de uitgangngspunten van de transformatie jeugd (in ieder geval). Zie daarvoor het rapport “beter met minder” van de Transformatie Denktank onder leiding van Job Cohen http://www.nji.nl/nl/Beter-met-minder.pdf
    Juist nu zijn evidence based methoden meer dan ooit nodig. Een onderdeel van de transformatie gaat immers om beter resultaten met minder kosten (kosten) effectiviteit dus. Wat niet weg neemt dat de RCT’s inderdaad niet voldoen en een wat statische manier van effectmeeting zijn. Het streven naar zo effectief mogelijke instumenten is desalnietemin nog steeds van belang, juist in het kader van de transformaties.

  3. Wil de professional deze kennis en professionalisering als eigen instrument? Dat zou kansen geven

  4. Het probleem van een betoog als dit is dat ‘wetenschappelijke kennis’ een volstrekt onterechte status krijgt, een status die zowel het veld van sociale interventie als dat van de wetenschap schade doet.

    “Is dat wel ‘evidence based’?” impliceert de onderliggende gedachte die het veld is ingeslopen, namelijk dat ‘niets waar is, tenzij het wetenschappelijk is bewezen’.

    Dit is de omkering van de feitelijk wetenschappelijke houding die – zéker op het gebied van sociale interventie – niet meer zegt dan dat sòms aan te tonen valt dat een algemeen aanvaarde gedachte via wetenschappelijk (systematisch) onderzoek als onjuist (c.q. niet altijd juist) kan worden gekwalificeerd.

    In de praktijk zouden wetenschappers zich dus moeten concentreren op manieren waarop ze op een zinvolle, en ethisch acceptabele wijze, het veld kunnen ondersteunen door misverstanden aan te tonen.

    In de praktijk echter reïficeert de wetenschapper zich in het veld tot een deskundige, een expert. In het veld van de sociale interventie kennen we echter een veel bredere waaier van mensen die effectief intervenieren, die De Omstandigheden en de Werkzame Mechanismen aanvullen met een eigen mechanisme, en zodoende onderdeel worden van een sociaal resultaat (O). Omdat de situatie in die realtiteit altijd éémalig is, niet herhaalbaar, staan wetenschappers daar, op dat gebied, per definitie met lege handen.

    Is dat erg? Nee. Want de werkers die sociaal interveniëren kunnen best veel gelezen en geleerd hebben van de resultaten van wetenschappelijk onderzoek, en er zijn veel werkers die daarvan getuigen. Werkers kunnen dus zeker ‘tools’ aangereikt krijgen door Wetenschappelijk (laboratorium) onderzoek. Wat wetenschappers nìet kunnen, is (beter) nadenken over de evaluatie van een interventieproces achteraf. En dat kan dus ook niet door letters te introduceren in het denken over bapaalde aspecten van het werk. De enige reden om dat te doen is de creatie van een schijnwetenschappelijke sfeer, waarmee een wetenschapper zich (of anderen) de illusie van controle over een proces van interventie toedient.

    Realistisch Evalueren is een term die iedereen aanspreekt; Natuurlijk moet je realistisch evalueren. Vooral ook als je daarmee de doem van de RCT van je af kan schudden, de in het veld levensgevaarlijke gedachte van een controlegroep en zo voort. Die RCT – (in de medische wereld al een problematisch fenomeen) is echter op zich een gevolg van de misvatting dat wij in een causaal bepaalde wereld leven, een wereld waarin je alleen maar iets aan oorzaken hoeft te doen om een ander gevolg te krijgen.

    In de realiteit is echter iedereen, dag in dag uit, getuige van het feit dat gevolgen van ingrepen in een werkelijkheid waar je zelf deel van uitmaakt, nauwelijks tot niet te isoleren zijn en ‘an sich’ te evalueren.

    Ik hoop daarom dat iedereen de oproep tot ‘Realistisch Evalueren’ glimlachend, en licht instemmend tot zich neemt, maar vooral niet toelaat dat wetenschappelijk gesproken charlatans zo een gedachte annexeren, en er een nieuwe, RTC-vervangende, religie van gaan maken met behulp van de symbolen C,M en O.
    Mocht u enig tegengif nodig hebben, herkouw dan als mantra de zin: “Daarnaast achterhaalden we de redenen waarom zo’n aanpak niet voor iedereen en niet altijd werkte (Bouman-Van ’t Veer, Knijn en Van Berkel, 2011)”, en vraag de auteurs om een controlegroep.

Reageer

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *