Doelgerichtheid bij onderzoek maakt blind voor ‘onverwachte bijvangsten’

In evaluatiestudies hebben veel onderzoekers de neiging om zich blind te staren op de vraag of de voorafgestelde doelen gerealiseerd zijn. Daarmee gaan zij voorbij aan mogelijke onverwachte successen. Het risico is dat allerlei beloftevolle interventies ten onrechte bij het grofvuil belanden.

Steeds vaker eisen we van sociale interventies dat ze ook effectief zijn. Het is in dit verband niet verwonderlijk dat evaluatieonderzoek meestal gericht is op het beantwoorden van de vraag of de beoogde doelen gerealiseerd zijn en in hoeverre dit is toe te schrijven aan de desbetreffende interventie (vgl. Swanborn, 1999). Deze gangbare manier van evalueren, levert echter niet per definitie het meeste inzicht op over de waarde van een interventie. Een eenzijdige focus op doelrealisatie gaat namelijk voorbij aan de zogenoemde ‘bijzondere bijvangsten’.

Bijzondere bijvangsten

Bijzondere bijvangsten zijn volgens de bestuurskundigen Van Twist en Verheul (2010) te omschrijven als de onverwachte successen van beleid die niet direct een gevolg zijn van de uitgevoerde interventie, maar het resultaat zijn van uiteenlopende initiatieven van andere partijen. Dat kunnen bijvoorbeeld ‘bewoners zijn die initiatief nemen, corporaties, scholen en welzijnsinstellingen die innovatieve allianties aangaan, ondernemers die de wijk herontdekken, topsporters die met kansarme kinderen voetballen en advocatenkantoren die projecten in de wijk sponsoren’.

Naar mijn idee kennen de bestuurskundigen een te smalle betekenis toe aan dit begrip. Zij gaan eraan voorbij dat bijzondere bijvangsten niet noodzakelijkerwijs het gevolg hoeven te zijn van initiatieven van andere partijen. Deze bijvangsten kunnen ook een gevolg zijn van de interventie zelf of het handelen van uitvoerende professionals (Omlo, Bool en Rensen, 2013). Dat neemt niet weg dat zij hier een belangrijk aandachtspunt benoemen voor evaluatieonderzoek. Onderzoekers die de bijzondere bijvangsten buiten beschouwing laten, ontnemen zichzelf de kans om mogelijk belangrijke en betekenisvolle opbrengsten van interventies op te sporen. Zij zien daardoor wellicht uitsluitend dat een bepaald project niet heeft bijgedragen aan het doel om de zelfredzaamheid van ouderen te versterken. Ondertussen zien de onderzoekers over het hoofd dat hetzelfde project als bijzondere bijvangst heeft dat de eenzaamheidsgevoelens van de ouderen flink zijn afgenomen. Dat het vervolgens een politieke en professionele keuze is om de interventie voort te zetten, te beëindigen of aan te passen, doet niets af aan de relevantie van een dergelijke bevinding.

Door de gebruikelijke evaluatievraag naar de effectiviteit van een interventie te verbreden naar een vraag waarin bijzondere bijvangsten ook onderwerp van studie zijn, kunnen we ons begrip van interventies verdiepen en verrijken. Bijvangsten identificeren is geen eenvoudige opgave aangezien het onvoorziene effecten betreft die pas achteraf optreden. Van Twist en Verheul pleiten voor het verzamelen van verhalen van bewoners, vrijwilligers of professionals uit de wijk. Verhalen over 'wat mensen raakt, over wat ze hebben zien veranderen om hen heen, of wat hen zelf is overkomen'. De nadruk ligt hierbij op de positieve ontwikkelingen die mensen signaleren. Deze verhalen geven volgens de bestuurskundigen niet alleen een vollediger beeld van en inzicht in de werkzame mechanismen van interventiepraktijken. Verhalen inspireren en versterken evenzeer een gevoel van urgentie om de inzichten ook in de praktijk toe te passen.

Most Signifcant Change Theory

Verschillende evaluatiemethoden zijn geschikt voor het bestuderen van de bijzondere bijvangsten, zoals een casestudy en actieonderzoek. Een andere evaluatiemethode die nauw aansluit bij de aanbevelingen van de bestuurskundigen is de zogenoemde 'Most Significant Change Theory'. Rick Davies ontwikkelde deze methode in zijn proefschrift over leren binnen niet-gouvernementele organisaties in Bangladesh. De methode is vooralsnog vooral ingezet om projecten in het ontwikkelingswerk te evalueren, maar past ook goed bij de sociale sector. Kern van de Most Significant Change Theory is dat het verhalen verzamelt over de meest significante verandering die betrokkenen zelf ervaren. Niet de formele doelen staan centraal, maar het perspectief dat cliënten en uitvoerende professionals hebben op de belangrijkste veranderingen die zich hebben voorgedaan sinds de deelname aan een bepaald traject of interventie. Daarmee ontstaat er in deze benadering ruimte voor zicht op de bijzondere bijvangsten van een interventie. Verschillende technieken kunnen worden toegepast voor het verzamelen van de verhalen: professionals schrijven verhalen op die zij horen van hun cliënten, individuele interviews met cliënten, focusgroepen met cliënten, cliënten zelf laten schrijven (bijvoorbeeld in de vorm van een dagboek).

Ruimte voor het verhaal van kwetsbare burgers

Dat de Most Significant Change Theory via het cliëntperspectief de bijzondere bijvangsten opspoort, is naar mijn idee een verstandige keuze. Niet alleen, omdat cliënten over specifieke ervaringskennis beschikken die professionals en wetenschappers ontberen. Het is ook zo dat cliënten vanuit zichzelf niet zozeer geneigd zijn om zich te verhouden tot de vraag of de formele doelen zijn gerealiseerd. Al was het maar omdat er voor hen (on)bewust andere doelen en overwegingen op het spel kunnen staan. Het ligt dan ook meer voor de hand om te veronderstellen dat cliënten zullen redeneren vanuit persoonlijke ervaren baten en de meest significante verandering(en) die zij zelf waarnemen. En daarmee komen de bijzondere bijvangsten in het vizier.

De aandacht voor het cliëntperspectief heeft bovendien nog twee bijkomende voordelen. Zo lijkt hun perspectief belangrijker te zijn dan ooit nu de sociale professional steeds meer op afstand komt te staan. Hoe ervaart de cliënt vrijwillige inzet van de buren en mantelzorg van familieleden?

Naast dit functionele argument, speelt hier ook een moreel argument. Het is vanuit een democratisch perspectief onwenselijk als kwetsbare groepen buiten een maatschappelijke relevante discussie blijven, vooral omdat zij ook nog eens onderwerp van gesprek vormen (vgl. Omlo, 2011). Zo zijn het vooral weerbare burgers die in publieke debatten over een ideaal als zelfredzaamheid bepalen wat dit begrip inhoudt, wie zelfredzamer moeten worden en op welke wijze. De effecten hiervan zijn allerminst onschuldig, want in de praktijk betekent dit dat kwetsbare burgers zich moeten conformeren aan de vanzelfsprekende normen die dominante groepen in de samenleving hanteren. Het is dus vanuit democratische overwegingen eveneens belangrijk om mensen hun verhaal te laten doen en hen daarbij de ruimte te geven om te spreken over de knelpunten en baten die zij ervaren. In het genoemde voorbeeld kan zelfredzaamheid bovendien aantrekkelijker worden voor mensen als ze ook daadwerkelijk mogen meepraten over de betekenis en implicaties van dit ideaal.

Combineren van evaluatiemethoden

De kracht van de Most Signifcant Change Theory is tegelijkertijd ook de belangrijkste beperking. De aandacht voor bijvangsten gaat ten koste van het antwoord op de vraag of de beoogde doelen zijn gerealiseerd. Uiteindelijk willen belanghebbenden terecht ook een antwoord op deze vraag. Volgens Rick Davies kan zijn methode echter in dit geval gecombineerd worden met andere evaluatiemethoden. Realistisch Evalueren en de Theory of Change lenen zich hier voor. Op deze manier kan er zowel aandacht zijn voor doelrealisatie als voor de bijzondere bijvangsten.

Een andere beperking is dat met de focus op de ervaringen van betrokkenen andere mogelijke bijvangsten buiten beeld blijven. Door de methode te integreren in een Casestudy en door observaties te verrichten, kan er tevens zicht ontstaan op bijvoorbeeld succesvolle voorbeelden van samenwerking binnen een project.

Zonder voorbij te gaan aan de beperkingen van de methode, is het tijd om in de sociale sector vaker gebruik te maken van evaluaties die zich laten inspireren door de Most Significant Change Theory. Zo kunnen we voorkomen dat bepaalde interventies ten onrechte te snel worden afgeschreven en kunnen we vanuit democratische overwegingen een stem geven aan kwetsbare doelgroepen.

Jurriaan Omlo is zelfstandig onderzoeker (Bureau Omlo). Zijn onderzoek richt zich op sociale vraagstukken en evaluatieonderzoek. Daarnaast is hij verbonden aan de gemeente Rotterdam, waar hij betrokken is bij een evaluatieonderzoek naar het Nieuw Rotterdams Jeugdstelsel.

Noten

Davies, R. & Dart, J. (2005) The ‘Most Significant Change’ (MSC) Technique. A Guide to Its Use.

Omlo (2011) Integratie én uit de gratie? Perspectieven van Marokkaans-Nederlandse jongvolwassenen. Delft: Eburon.

Omlo, J., Bool, M. & Rensen, P. (2013) Weten wat werkt. Passend evaluatieonderzoek in het sociale domein. Amsterdam: SWP.

Swanborn, P.G. (1999). Evalueren. Het ontwerpen, begeleiden en evalueren van interventies:
een methodische basis voor evaluatie-onderzoek. Amsterdam: Boom.

Twist, M.J.W. van & Verheul, W.J. (2010) Onvoorziene opbrengsten. Meer dan de tragiek van goede bedoelingen. Beleid & Maatschappij, 37(4), 308- 318.

Dit artikel is 792 keer bekeken.

Reacties op dit artikel (4)

  1. Ik zie steeds meer van dit soort artikelen verschijnen hier. Hopenlijk wordt sociale vraagstukken niet een debatplaats voor onderzoekers die onderzoek doen naar onderzoek.

    Immers, “Op http://www.socialevraagstukken.nl publiceren en debatteren onderzoekers en deskundigen op basis van data en empirie OVER maatschappelijke kwesties.” Ik zie niet in hoe onderzoeksmethodieken van sociale wetenschappers een echte maatschappelijke kwestie zijn.

    Ik snap het wel, want zet een clubje onderzoekers bij elkaar en dan gaat het er al snel over hun core business; onderzoek doen. Daarmee dreigt deze site wel zijn relevantie te verliezen voor mensen die ‘kennis op basis van data en empirie’ daadwerkelijk in de praktijk kunnen toepassen.

  2. Er wordt veel te overvloedig hulp aangeboden en mensen worden veel te snel als kwetsbaar en zorgmijdend afgedaan.
    Ik vind het zeer ongepast onfatsoenlijk zelfs om maar zo de buurt in te trekken voor informatie of hulp vaak ongevraagd.
    Familie hoort ook ingeschakeld te worden met permissie van de persoon in kwestie.
    Zomaar familieleden er bij halen is niet goed want deze achterliggende schaduwen kunnen zeer ernstig geweest zijn.
    Hulpverlening doet dit veel te makkelijk.
    Het is tijd voor grote veranderingen want zoals het nu gaat levert veel te grote fouten en schade op.
    Niet iedereen heeft maar hulp nodig al denkt de ggz bijv. van wel.
    Het gaat niet om de hulpverleners die maar zo het lot van iemand kunnen bepalen het gaat om wat de mensen willen !
    Hun ervaringen en hun wensen daar is het voor bedoeld !
    Kwetsbaar en zorgmijdend zijn trouwens vreselijke minderwaardige woorden dit nodigt uit tot zielige nietskunnende dominante benaderingen.
    Er zijn zoveel zelfredzame sterke mensen die zelfs kwetsbaar en zorgmijdend genoemd worden in Nederland momenteel waar moet dit heen ?
    Mensen met een iets te klein netwerk vallen zelfs al in de catogorie zorgmijder en krijgen hulp opgedrongen ze worden zelfs echt gedwongen dit te aanvaarden of ze willen of niet !
    Hopelijk komt er zeer snel nog meer positiviteit uitrollen zoals bovenstaande en worden we met zijn allen verstandiger voordat het helemaal verkeerd gaat !
    Dit is een klein positief begin dat verschil kan maken.
    DOORGAAN ZO !
    Voordat ons land wordt overgenomen door de bemoeizorgteams die volledig de overhand hebben in dit land !

  3. Ik krijg na het lezen van dit verhaal het idee dat het waarnemen van toevallige verschijnselen tot wetenschap wordt verheven. Ratio is dan dat verschijnselen onbedoelde bijverschijnselen kunnen hebben, maar ook dat mensen dingen kunnen ervaren die zij belangrijker vinden dan door beleidsmakers gewenste effecten.
    Waarnemen zonder toetsen is beschrijven. Het oorzakelijk gevolg achterhalen is theorievorming, Oorzaak en gevolg laten plaatsvinden is toetsing. Herhaalde toetsing neigt naar wetenschap.
    Volgens mij buitelen de bestuurskundigen hier over wenselijkheden heen die men graag zou willen onderzoeken, terwijl men eigenlijk in de waarneemfase zit. Focus is noodzaak terwijl de politiek, de opdrachtgever, alle kanten opschiet en geniet van haar waardevrije denken en concluderen.
    Misschien moet bestuurskunde meer wetenschap en minder toepassing worden, meer wetenschap en minder markt.

  4. Graag sluit ik mij aan bij de reactie van Teun Hofmeijer. In toenemende mate lees ik artikelen met betrekking tot onderzoek in de wereld van zorg+welzijn die blijkbaar hoofdzakelijk bedoeld zijn het discours tussen academici/onderzoekers te voeden.
    Deze bevestigen het beeld van een sector die in hoge mate in zichzelf zit opgesloten, en opmerkelijk weinig wortels heeft in de dagelijkse gang van zaken in buurten en wijken. Waar zijn de praktijkonderzoekers, die de beroepsgroep van uitgedunde veldwerkers ondersteunen, de feitelijke gevolgen van de transities onderzoeken, en de clichés die zijn verweven met ‘het nieuwe wenken’ ontzenuwen. Mag onderzoek nog dienstbaar zijn aan de praktijk?

Reageer

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *