‘Alles draait om de eenvoud’ zong Het Goede Doel in de jaren tachtig. Anno 2014 kan dit adagium in de sociale sector op weinig bijval rekenen. Met het toenemende besef dat sociale interventies ‘complex’ zijn en niet zullen werken als zij geen rekening houden met unieke contexten, zijn de evaluatiemethoden van die interventies eveneens steeds complexer geworden. Designs als Realistic Evaluation - Trudie Knijn en Marcel Hoogenboom pleitten er deze week voor op deze site - en de Theory of Change methode willen álles omvatten: theoretische onderbouwing, legitimatie bij uitvoerders en doelgroepen, gedetailleerde contextanalyse én effectmeting. Dat dit veel tijd, geld en expertise kost, laat zich raden. Toen de bekende Britse beleidsonderzoeker Ray Pawson (de geestelijk vader van Realistic Evaluation) vorig jaar Nederland bezocht voor een lezing, deed hij uit de doeken hoe hij het Britse anti-rookbeleid had geëvalueerd. Tientallen theorietjes, databronnen en contextanalyses sierden zijn PowerPointpresentatie. Pawson had zelfs uitgezocht wat de invloed was van sigarettenrook op de reactiesnelheid van automobilisten.
Er is natuurlijk niets mis met dergelijk omvangrijk evaluatieonderzoek. Sociale interventies zíjn ook complex en de omgevingen waarin zij worden geïmplementeerd des te meer. Toch wil ik in deze tijd van slinkende overheidsbudgetten wijzen op een (goedkoper) alternatief. Elke sociale aanpak gaat uit van bepaalde veronderstellingen, noem ze basisvoorwaarden, waaraan moet worden voldaan, wil de interventie überhaupt effect sorteren. Naar mijn idee is het waardevol om die basisvoorwaarden meer nadruk te geven. Anders gezegd; interventies te strippen van hun contextuele schil om door te dringen tot de kern van hun vermeende werkzaamheid. Waar gaat de interventie in de basis vanuit? En hoe plausibel zijn die aannames? Ik noem dit ‘ontologische reductie’.
Een voorbeeld: wijksport
Ontologische reductie vertrekt vanuit de idee dat complexe verschijnselen herleid kunnen worden tot meer fundamentele eenheden en daarmee aan verklaringskracht winnen (ontologie = zijnsleer van de werkelijkheid). Dit kan betrekking hebben op objecten (bijvoorbeeld het menselijk lichaam reduceren tot een verzameling zenuwbanen om deze medisch te bestuderen), maar ook op fenomenen, theorieën en sociale interventies. Laat ik ter illustratie de thans populaire wijksport nemen, een interventievorm die ik uitvoerig heb beschreven in mijn boek Schoon, heel en werkzaam? (2013). Sport wordt meer dan ooit aangegrepen als beleidsmiddel in grootstedelijke settings om gedrags- of leefbaarheidsproblematiek tegen te gaan. In vrijwel elke achterstandsbuurt organiseert het lokale jeugdwerk voetbaltoernooien of sportieve pleinactiviteiten. Twee assumpties zijn dominant. Sport wordt in eerste instantie gezien als een effectieve methode om risicojongeren op een positieve manier bij de buurt te betrekken. Het zou antisociaal en (potentieel) crimineel gedrag tegengaan doordat het een alternatief sociaal milieu vormt waar jongeren positieve normen en waarden aanleren. Daarnaast moet wijksport de buurtbetrokkenheid van volwassenen vergroten. Het hechtere contact tussen bewoners - ontstaan door ontmoetingen tijdens de sportactiviteiten - zou op termijn ook het sociale leefklimaat in wijken ten goede komen.
In feite heb ik met bovenstaande zinnen wijksport al ontologisch gereduceerd. Door de dominante aannames te destilleren, kunnen we de basisvoorwaarden voor hun vermeende werkzaamheid benoemen. Als een sportprogramma in een achterstandswijk criminaliteit en overlast wil beperken doordat het jongeren positieve waarden en normen aanleert, dan geldt als basisvoorwaarde dat sport een aanzienlijke impact moet hebben op menselijk sociaal gedrag. En als sport via overbruggend contact het sociale leefklimaat in de buurt wil verbeteren, dan geldt als basisvoorwaarde dat volwassen bewoners elkaar op pleintjes en bij de voetbalkooien dienen te (kunnen) ontmoeten. Wordt niet aan deze voorwaarden voldaan, dan zal wijksport op deze vlakken geen effect sorteren, ongeacht de context. Om deze basisvoorwaarden te toetsen, is geen ingewikkeld onderzoek vereist al la Realistic Evaluation of Theory of change. Literatuurstudie van bestaande wetenschappelijke data en veldobservaties volstaan.
Zo moeten we op basis van de literatuur concluderen dat sport een veel minder grote impact heeft op het gedrag en de ontwikkeling van kinderen en adolescenten dan veelal wordt aangenomen. Het effect is klein . Daarbij is er geen enkel verband tussen sporten in de jeugd (ongeacht de duur en intensiteit) en crimineel en overlastgevend gedrag in de vroege volwassenheid . Ook over de plausibiliteit van sport als ontmoetingskader kunnen we kort zijn. Hoewel de diverse playgrounds in Nederland volop gebruikt worden, zijn ze niet de vanzelfsprekende ontmoetingsplekken zoals beleidsmakers en bestuurders ze graag zouden zien. Veldobservaties laten zien dat de voorzieningen vrijwel uitsluitend worden gebruikt door allochtone jongens die reeds bestaande vriendschapsbanden op de veldjes bestendigen: echt nieuwe contacten worden er niet gesmeed, laat staan dat die plaatsvinden tussen volwassenen .
Mijn punt is niet dat wijksport onzin is, sporten is gezond en mensen beleven er plezier aan. Ik wil met bovenstaand voorbeeld louter illustreren dat ontologische reductie waardevol kan zijn bij het evalueren van sociale beleidsdoelen. Of het nou gaat om anti-radicaliseringsprogramma’s, voorlichting over homoseksualiteit op scholen of sportprogramma’s; elke interventie is te herleiden tot haar ideaaltypische effectiviteitskern. Bijgevolg kunnen generalisaties (ideaaltypen) van de verschillende vormen van interventies en hun onderliggende veronderstellingen worden geconstrueerd die vervolgens kunnen worden geconfronteerd met fundamentele wetenschappelijke inzichten en/of veldobservaties.
Voordelen voor de sociale sector
Ontologische reductie heeft – hoe kan het ook anders - een eenvoudig ontwerp: bepaal waar de interventie of werkwijze in beginsel van uitgaat, zet de belangrijkste aannames op een rij, vertaal deze naar basisvoorwaarden voor effectiviteit en confronteer die met fundamentele wetenschappelijke inzichten en/of veldobservaties. Ik ben me ervan bewust dat zo’n aanpak sommigen tegen de borst stuit. ‘Sociale interventies vereenvoudigen?! Fuck the context?! Dat nooit!’. Maar wie dit denkt, veronachtzaamt de verklaringskracht van ontologische reductie (zie bijv. Ockham’s scheermes en Max Weber’s ideaaltypen) en daarmee een rijk reservoir van wetenschappelijke kennis waaruit geput kan worden bij de basale beoordeling van sociale interventies. Ook onderschatten zij de kracht van observatie. Veel sociale beleidsinterventies zijn voor hun succes bijvoorbeeld afhankelijk van de samenwerking tussen instituten of sociale professionals (basisvoorwaarden!). Maar hoe vaak kwam het niet voor dat na een duur en omvangrijke kwantitatieve evaluatie men achteraf moest vaststellen dat de aanpak ineffectief was, simpelweg omdat de samenwerking niet van de grond kwam? En had die basale vaststelling niet al veel eerder kunnen worden gedaan via eenvoudige observatie?
Beleidsamnesie
Het belang van de ‘context’ in beleidsevaluatie moet niet worden overschat. De methodologen Astbury en Leeuw wijzen erop dat mechanismen van specifieke interventies vaak overdraagbaar zijn naar andere beleidscontexten . Zij citeren hiertoe nota bene Ray Pawson die het voorbeeld geeft van naming and shaming aanpakken bij zedendelinquenten. Dit basisidee wordt ook gebruikt door beleidsmakers voor prestatieranglijsten in het onderwijs en bij veiligheidsindices voor autofabrikanten, om er een paar te noemen. Volgens Astbury en Leeuw suggereert dit dat, hoewel de precieze details tussen verschillende beleidsgebieden en situaties uiteen kunnen lopen, dit niet hoeft te betekenen dat we steeds opnieuw complexe evaluaties hoeven op te zetten elke keer als, bijvoorbeeld, een naming and shaming-type ingreep wordt gelanceerd. In plaats van alle interventies te behandelen als geheel nieuwe, is het opbouwen van een kennisreservoir en theoretische basis over ‘families van interventies’, zoals Pawson dit noemt, even belangrijk. Na verloop van tijd kan dit het risico op voortdurende heruitvinding van het wiel verminderen, zo benadrukken Astbury en Leeuw. Ontologische reductie is daarmee niet alleen een alternatief voor kostbare en complexe evaluatiedesigns, maar ook een effectief middel tegen beleidsamnesie.
Vasco Lub (1978) is zelfstandig onderzoeker (Bureau voor Sociale Argumentatie). Zijn onderzoek richt zich op grootstedelijke vraagstukken en sociale kwesties. Een persoonlijke onderzoeksinteresse vormt het werken aan voor sociale interventiepraktijken geschikte vormen van evaluaties. Hij is auteur van het boek ‘Schoon, heel en werkzaam? Een wetenschappelijke beoordeling van sociale interventies op het terrein van buurtleefbaarheid’ (Boom-Lemma Uitgevers).
Noten:
Zie Steptoe, A. & Butler, N. (1996). Sports participation and emotional wellbeing in adolescents. The Lancet, 347, 1789-92; Daniels, E., & Leaper, C. (2006). A longitudinal investigation of sport participation, peer acceptance, and self-esteem among adolescent girls and boys. Sex Roles, 55, 875-880.
Hartmann, D. & Massoglia, M. (2007). Reassessing the relationship between high school sports participation and deviance: Evidence of Enduring Bifurcated Effects. The Sociological Quarterly, 48, 485-505.
Vermeulen, J. (2010). Sociaal kapitaal op de playgrounds van de Richard Krajicek foundation. In: F. Kemper (Ed.), Samenspel. studies over etniciteit, integratie en sport. Bennekom: NISB.
Astbury, B. & Leeuw, F. (2010). Unpacking Black Boxes: Mechanisms and Theory Building in Evaluation. American Journal of Evaluation, 31, 3, 363-381.