COLUMN Gemiste kansen door verkeerde onderzoeksaanpak

Onderzoekers benaderen sociale vraagstukken helaas vaak als een ‘eenduidig’ project: met een plan waaraan te strak wordt vastgehouden. Met als nadeel dat burgers hiervan de dupe worden, schrijft Nele Blommestein van Movisie.

Toen ik tien jaar geleden werd gevraagd voor Oxfam Novib een project over burgerparticipatie te helpen ‘meten’, liep ik vast. Op papier vond ik lange lijsten met indicatoren die gemeten moesten worden. Het project liep al een tijdje, maar het was het team nog niet gelukt om enige informatie te verzamelen. Oxfam Novib vroeg mij om een andere aanpak. Ze wilden de deelnemende actieve burgers niet lastigvallen met lange, ingewikkelde vragenlijsten. Ik vroeg me bovendien af hoe nuttig deze informatie was voor het project zelf: waren dit nog de juiste gegevens, nu het project onderweg al was aangepast?

Je krijgt zicht op de acties van stakeholders om een stapje dichter bij het grotere doel te komen

In die tijd waren er twee innovatieve methodes in ontwikkeling die mijn interesse wekten. Ik werd er enthousiast van en het projectteam gelukkig ook. Zo deed ik mijn eerste ervaringen op met Sprockler en Outcome Harvesting, beide participatieve methoden.

Uitnodigende vraag

Met Sprockler kun je verhalen over ervaringen van mensen verzamelen. Dit kan onder verschillende groepen mensen, waardoor er verschillende perspectieven naar voren komen. Een Sprockler-enquête begint met een uitnodigende, open verhaalvraag over het onderwerp. In het Oxfam Novib-project vroegen we bijvoorbeeld: ‘Kun je een verhaal vertellen over een moment dat de lokale overheid positief of negatief reageerde op een verzoek dat belangrijk voor je was?’ Vervolgens stel je vragen die gerelateerd zijn aan dat verhaal, bijvoorbeeld of mensen hun eigen verhaal vooral positief of negatief van toon vinden. De analyse van de gegevens kan ook in Sprockler: je kunt de gegevens op een duidelijke en visuele manier presenteren op een website. Zo kun je de resultaten makkelijk delen en bespreken met alle betrokkenen.

Met Outcome Harvesting kun je concrete effecten in kaart brengen. Je krijgt zicht op de acties van stakeholders om een stapje dichter bij het grotere doel te komen. Ook komen de effecten in beeld die niet waren voorzien. Je leert daarbij veel over hoe deze effecten tot stand zijn gekomen.

We missen kansen om de effectiviteit van projecten te vergroten

In het Oxfam Novib-project over burgerparticipatie kwamen we bijvoorbeeld te weten wat groepen actieve burgers concreet hadden bereikt. Door hun toedoen had in het ene dorp de lokale overheid een elektriciteitskabel hersteld, en in het andere werden schoolboeken voortaan eerlijk verdeeld onder de verschillende bevolkingsgroepen.

Kansen missen

Het Oxfam Novib-project was een duidelijk voorbeeld van een complex project. Er bestaan grofweg twee soorten projecten: eenduidige en complexe. Meestal gooien we ze op één hoop. Dan doen we alsof álle projecten eenduidige projecten zijn. Dat is jammer, want hierdoor missen we kansen. We missen kansen om de effectiviteit van projecten te vergroten. Om kennis op te doen over wat werkt onder welke omstandigheden. Om onderlinge samenwerking te verbeteren. Om te luisteren naar de ervaringen en verschillende perspectieven van mensen. Om bij te sturen. Die kansen kúnnen we wel pakken. Dat kan door ‘complexiteit te omarmen’, zoals Sprockler en Outcome Harvesting doen. Dat is niet zo ingewikkeld als je denkt, maar het vergt wel wat lef.

Om complexiteit uit te leggen, gebruik ik de eenduidige en complexe domeinen van het Cynefin-raamwerk. Stel, je staat op een strand en je kijkt naar een eiland vlakbij. Het weer is prachtig. Het water is helder en ondiep. Hoe kom je op dat eiland? Dat is geen moeilijke vraag, toch? Je zou kunnen lopen door het water, kunnen zwemmen, of je neemt een bootje. De kans dat je aankomt op het eiland is vrij groot.

Je staat nu weer op dezelfde plek op het strand en kijkt weer naar het eiland, maar nu stormt het. De golven zijn gevaarlijk hoog. Toch wil je per se naar dat eiland toe. Hoe zou je dat nu doen? Die vraag is iets lastiger. Misschien probeer je het met een stevige boot, of je huurt een helikopter. De kans dat je aankomt op het eiland is moeilijk in te schatten. Misschien kom je wel op een heel ander eiland uit.

De eerste situatie kun je vergelijken met een project waarvan je vrij zeker weet dat je het einddoel haalt. Als je gaat zwemmen, bereik je het eiland. Als je A doet, dan bereik je B. Dit is het ‘eenduidige’ domein.

Het gevolg is dat we effecten over het hoofd zien die we niet hadden voorzien

De tweede situatie kun je vergelijken met een project met een stuk meer onzekerheid. De boot of de helikopter is misschien een goede strategie; toch weet je niet zeker of je er komt. Als je A doet, weet je niet zeker of je B bereikt. Misschien bereik je B veel later, of helemaal niet. Misschien bereik je wel C. Dit is het ‘complexe’ domein.

Sociaal domein

Projecten die sociale verandering nastreven, zijn vaak complex. Denk aan vraagstukken in het sociaal domein, zoals projecten waarin wordt geprobeerd mensen met arbeidsbeperkingen de arbeidsmarkt op te krijgen, passende ondersteuning te bieden bij armoede en schulden, of discriminatie en geweld tegen lhbtiqa+-personen omlaag te brengen.

Toch doen we vaak alsof deze vraagstukken als eenduidige projecten aan te pakken zijn. We maken bij de start een plan met doelen en indicatoren. Wordt het project eenmaal uitgevoerd, dan monitoren we het door deze indicatoren te meten. En daar houden we ons aan. Het gevolg is dat we effecten over het hoofd zien die we niet hadden voorzien. We voelen ons ook niet vrij om het project onderweg bij te sturen als dat nodig is. We kijken niet veel verder dan ons oorspronkelijke plan, omdat we nu eenmaal hadden beloofd om deze indicatoren te behalen.

Dit heeft nogal wat consequenties. Omdat we deze complexe projecten als eenduidige projecten benaderen, maken we de lijsten met indicatoren steeds langer en gedetailleerder. In plaats van flexibeler te worden, worden we juist rechtlijniger. We proberen projecten nog strakker te beheersen en te controleren.

Logisch dat burgers onderzoeksmoe of wantrouwend worden

Burgers, veelal de doelgroep van projecten in het sociaal domein, zijn hier vaak de dupe van. Zij moeten de gegevens aanleveren om deze lijsten met indicatoren te beantwoorden. Hierdoor kunnen ze het gevoel krijgen dat het project niet om hen gaat, maar om het halen van de doelen van de uitvoerders. Logisch dat ze onderzoeksmoe worden. Of wantrouwend tegenover projecten.

Complexiteit omarmen, prikkelt niet alleen de nieuwsgierigheid; het vergroot ook de effectiviteit van projecten. Door regelmatig bij te sturen, sluiten projecten beter aan op wat er nodig is. We zijn in staat in te spelen op veranderende omstandigheden. Zo stomen we onszelf klaar voor de volgende stap: het aanpakken van de grote systeemveranderingen die nodig zijn in het sociaal domein.

Nele Blommestein is projectleider bij Movisie

Foto: Fred Tigelaar

Dit artikel is 795 keer bekeken.

Reacties 1

  1. Wat een bijzonder goede aanpak. Je kijkt over de eigen waarneming heen en houdt rekening met andere mogelijkheden en/of omstandigheden.

    Het doet mij denken aan het toepassen van de Bayesiaanse statistische methode. Die schrijft voor dat er nooit sprake zal zijn van een één op één relatie tussen oorzaak en gevolg. Het kan én er zal vrijwel altijd, sprake zijn van meerdere oorzaken die tot een identiek gevolg leiden. Neem het onderzoeken van de mate van vooroverlijden als gevolg van de kwaliteit van de lucht. Omdat vooroverlijden het gevolg van zeer veel oorzaken kan zijn, is iedere conclusie die geen rekening houdt met de andere oorzaken onwetenschappelijk.

    De aanpak die Nele Blommestein bepleit komt in de richting van kwalitatief onderzoek. Ook daar staat diepgang van het onderzoek voorop. In het STEM project, de wetenschappelijke evaluatie van alle milieuwetgeving (voorafgaand aan de start van de nieuwe Omgevingswet), werden de ervaringen van alle uitvoerenden en betrokkenen in kaart gebracht. Werden vergelijkingen met het buitenland gemaakt én werden alle definities en begrippen in overeenstemming met de EU begrippen gebracht. Het was een zeer langdurig traject, de 2e en 1e Kamer applaudisseerden voor de wet. 1 januari j.l. ging die in. Nog niet één onvertogen woord over gevallen.

    Pak onderzoek naar complexe vraagstukken breed en diep aan. Hulde voor Blommestein.

Reageer

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *