COLUMN Het verdienmodel van evidence based methodieken

Er is een groot geloof in methodieken. Meer en meer semi-overheidsinstellingen werken er mee. Gestandaardiseerde methodieken moeten beschermen tegen willekeur en een onprofessionele aanpak. De methodiek is immers wetenschappelijk onderbouwd en ‘evidence based’, een term waarmee je in bestuurskringen hoge ogen gooit. Maar is dat wel terecht? Vergeten wordt hoe die methodieken tot stand komen en wat er vervolgens in de praktijk mee gebeurt.

Een paar voorbeelden. Pesten. In Trouw stelt hoogleraar ontwikkelingspsychologie Bram Orobio de Castro –terecht- dat het een goede zaak is dat de wildgroei in anti-pestmethoden wordt aangepakt.[1] Veel anti-pestmethoden werken niet, maar kosten wel geld. Sommige methoden werken zelfs averechts, waardoor er slachtoffers vallen. Het is een goede zaak dat scholen binnenkort alleen gebruik mogen maken van (door het Nederlands Jeugdinstituut) goedgekeurde methoden. Het probleem is wel dat een echt wetenschappelijk doortimmerde methode nog niet bestaat. Orobio de Castro  pleit dan ook voor meer wetenschappelijk onderzoek naar anti-pestmethoden. So far so good. Maar met een goede methode zijn we er nog niet. Want wat nu, als intussen uit naam van de Kanjertraining een kind voor de klas wordt gezet om te worden uitgescholden, omdat het ‘daar weerbaar van wordt’?[2] In onkundige handen is zelfs het beste gereedschap loeigevaarlijk. En hoe wetenschappelijk is een methode, als hoogleraren door de ontwikkelaars betaald worden om een methode te testen? En als zelfs in de controlegroep het pesten afneemt, zoals in het geval van anti-pestmethode Kiva. Welk deel van het succes is dan aan Kiva zelf toe te schrijven?[3]

De overheid omarmt soms zeer schimmige methoden. Bijvoorbeeld bij de preventie van overgewicht. Onder de vlag van het Convenant Gezond Gewicht wordt het nationale beleid dat de toename van overgewicht onder kinderen en jongeren terug moet dringen, vormgegeven door de ‘Jogg-methode’.  Dit Jongeren op Gezond Gewicht is een samenwerkingsverband tussen publieke en private partijen, uitgevoerd op het niveau van gemeente of wijk. Elk initiatief wordt onder de vlag van JoGG geschaard, en elk succes er vervolgens ook aan toegeschreven. Zelfs Kamervragen worden door JoGG zelf beantwoord met ‘JoGG werkt!’[4], terwijl het succes van bijvoorbeeld Zwolle – volgens het antwoord op de Kamervragen een onderbouwing van de methode - door de betrokken onderzoekers zelf met de nodige armslag wordt gepresenteerd, omdat de onderzoekspopulaties niet zomaar met elkaar vergeleken kunnen worden.[5] De aanpak in Zwolle startte bovendien al in 2006, terwijl JoGG pas sinds eind 2009 bestaat. Mag JoGG dan pronken met het succes van Zwolle?[6]

JoGG is één grote reclamecampagne. Voor bijvoorbeeld partner Coca-Cola (sinds 2005) en voor zichzelf. De methode komt neer op ‘bewustwording’ om gezonder te bewegen en betere voeding te kiezen, maar wordt nergens geëxpliciteerd en kan daarom ook niet gemeten worden. Van ‘evidence based’ beleid kan daarom geen sprake zijn. Toch heeft JoGG groen licht gekregen om door te gaan tot 2020. Ondertussen blijft de omgeving ongezond en zijn ‘gezonder’ en ‘bewuster’ uiterst schimmige kreten, niet gebaseerd op een gezond voedingspatroon. Het bewegingsonderwijs is in de afgelopen jaren sterk in kwaliteit verminderd, en JoGG verandert daar niets aan.[7] Een sportdagje met Coca-Cola (Mission Olympic, nu Olympic Moves[8]) is géén structureel beleid met genoeg beweging voor alle kinderen. Het is windowdressing, meer niet.

In het verlengde van dit beleid kunnen schoolkantines het predicaat Gezonde Schoolkantine verdienen (waarvoor ze overigens geen cent subsidie krijgen), maar zelfs bij 75 procent ‘gezond’ aanbod in de schoolkantine komt dat neer op de blijvende aanwezigheid van frisdrankautomaten, van energy drinks, koek en snoep in de aanpalende supermarkt (met wellicht ook een appel in de aanbieding). En wat heet eigenlijk ‘gezond’? Nou, de gezondere keuze dus: maximaal 15 gram hagelslag op je boterham. Of een kopje Cup-a-Soup.[9] De initiatieven van vóór JoGG, die gezonde lunches op basisscholen verzorgden, zijn juist wegbezuinigd. Het structurele aanbod blijft ongezond, de keuze is aan de jongere. Dat deze benadering niet optimaal is, weet inmiddels elke voedingswetenschapper.

Nog een voorbeeld van het methodiekengeloof: Jeugdzorg. In De Volkskrant van 22 april 2014 beschrijft Harriet Duurvoort hoe door loverboys misbruikte meisjes opgevangen worden in dezelfde gesloten Jeugdplusinstellingen, op dezelfde afdeling waar ook jongens met gedragsproblemen zitten. De meisjes kunnen hun kamerdeuren niet op slot draaien, met voorspelbare gevolgen (overigens komt 20 procent van het misbruik in de instellingen voor rekening van de staf). De directeur van één van die instellingen houdt krachtig vast aan zijn beleid: ‘Wij vinden gemengde groepen gewoon het beste en daar zijn we heel uitgesproken in.’[10]

Laatste voorbeeld: Triple-P. Consultatiebureaus en Centra voor Jeugd en Gezin werken sinds een aantal jaar met deze standaardmethode, die draait om het belonen van gewenst gedrag en het bestraffen van ongewenst gedrag. Is er niets mis met positief opvoeden? Zolang je je niet verdiept in de vraag waarom een kind bepaald gedrag laat zien, is daar juist véél mis mee. Communicatie en respect staan niet voorop bij Triple P, maar behaviorisme en rigide denken[11]. Een kind dat zich misdraagt, geeft een signaal af, van angst, van onzekerheid, van problemen. Misschien wordt het gepest, of is er sprake van misbruik op de crèche of sportclub. Je zou als ouder toch wel willen weten waar dat signaal vandaan komt, maar nee, niet volgens deze methode. Gemeenten hebben inmiddels 11 miljoen euro geïnvesteerd in Triple P, en ambtenaren worden op hun wenken bediend: de methode zou ‘kostenefficiënt’ zijn, en er is een ‘toolbox’ met vijf ‘interventieniveau’s’. Een leuk congresje waarin de leidinggevenden worden gemasseerd, met een borrel na afloop en dan kan iedereen tevreden naar huis.

We leven in een rare tijd, waarin beleidsmethodieken een eigen leven zijn gaan leiden en immuun zijn geworden voor signalen en protesten uit de praktijk. Hun functie lijkt vooral het afleiden van de aandacht voor de gaten in het beleid. Liever een fraaie anti-pestmethode dan het structureel verkleinen van klassen en inzetten op ondersteuning van leerkrachten en vermindering van de werkdruk in het onderwijs. Liever aandringen op ‘bewustwording’ dan structureel gezond voedsel aanbieden op scholen en het verwijderen van de frisdrankautomaten. Liever vasthouden aan opvoedmethodieken en richtlijnen dan vertrouwen op inzicht van mensen die al jaren op consultatiebureaus werken of vragen waar ouders behoefte aan hebben. Liever bezuinigen met een mooi vlaggenschip, dan alle middelen zetten op verbetering van het veld zelf. Liever een mooie slogan dan vragen wat de mensen in de praktijk nodig hebben. Liever nog wat méér adviesbureaus dan structureel geld naar de uitvoerders.

Methodieken moeten vaak problemen oplossen die ontstaan zijn door vergaande bezuinigingen, of door structurele problemen in het veld. Onnodig te zeggen dat die methodieken dat niet kunnen. Problematischer is de hardnekkigheid waarmee aan dure methodieken wordt vastgehouden, en het netwerk van belangen dat erachter zit. In de verkooppraatjes is de methode ‘evidence based', maar zodra de praktijk anders uitwijst, heeft men meer tijd of meer geld nodig. Je kunt natuurlijk ook bedenken dat een al te goede methodiek juist het verdienmodel zou verpesten. Maar die gedachten bewaren we voor een sombere dag.

 


[2] Voorbeeld uit mijn eigen kring.

[5] Zie voor een goed onderbouwd en zeer kritisch overzicht van de gaten in de claims van JoGG: http://www.vn.nl/Archief/Samenleving/Artikel-Samenleving/Afvallen-met-CocaCola.htm

[10] Column van Harriet Duurvoort in De Volkskrant van 22 april 2014: “Jeugdzorg, bescherm misbruikte meisjes!”

[11] Zie dit artikel van Dylan van Rijsbergen over Triple P: http://tenk.cc/2014/04/triple-p-de-terugkeer-van-vadertje-staat/

Dit artikel is 7267 keer bekeken.

Reacties op dit artikel (8)

  1. Je slaat de spijker op z’n kop!
    Leve het gezonde mensverstand.

  2. Zeer de moeite waard, zeker ook in het kader van de gehele transitie in de jeugdzorg en de zorg überhaupt, plus de inspectie!

  3. Belangrijke tekst! In de vele jaren dat ik betrokken ben bij onderwijs en jeugdzorg heb ik prima methodes zien ontwikkelen en langskomen. Vaak wordt een methode die ontwikkeld is door betrokken professionals met een groot ‘lerend vermogen’ als ze eenmaal is erkend als effectief, min of meer ingeleverd bij grote organisaties, die e.e.a. vervolgens formatteren tot een zogenaamd overdraagbare methode zonder de bijbehorende know-how, diepgang en praktijk-wijsheid van de oorspronkelijke ontwikkelaars mee te nemen. Deze ‘methode’ wordt dan via zo goedkoop mogelijke scholing overgedragen aan nog-niet-volgroeide professionals, of prima professionals die echter niet over de benodigde achtergronden en bijbehorende kennis beschikken, die zich e.e.a. dan moeten ‘eigen maken’ en uitvoeren in te weinig tijd, terwijl de methode is ‘bevroren’ en voortdurende bijstelling (zie ‘lerend vermogen’) achterwege blijft. (Dit is de reden waarom ik in mijn scholingen, trainingen en workshops steeds het zelf lerend vermogen van deelnemers vooropstel). Lauk Woltring (‘werken met jongens, in onderwijs, kinderopvang, jeugdzorg en verkeer’)

  4. Mooi artikel, hoop dat het bijdraagt aan een zoektocht naar hoe het wel kan. Hoe kunnen we op zo’n manier de praktijk onderzoeken en onderbouwen dat het bijdraagt aan een daadwerkelijk betere en meer effectieve praktijk? Met praktijkgericht onderzoek en reflectie door praktijkwerkers bijvoorbeeld? En hoe zou dan de relatie tussen onderzoek om te verantwoorden en onderzoek om te leren kunnen zijn?

  5. Een heel belangrijk artikel vind ik dit, zeker in het kader van de hele transitie. Hopelijk kan het artikel een aantal beleidsmakers wakker schudden. Waar het in heel veel methodieken vaak aan ontbreekt is de vraag waarvoor mensen bepaald gedrag laten zien. Er is namelijk altijd een “goede” reden voor. Alleen zijn de mensen zelf zich niet altijd bewust van deze goede reden. Belangrijk om deze reden bewust te maken. Pas dan kan een intrinsieke motivatie ontstaan om gedrag te veranderen. Hopelijk zal daar in de komende jaren meer aandacht voor komen.
    Mariska van der Meijs
    Kinder- en jeugdtherapeute.

  6. Wat mij betreft……MIDDEN IN DE ROOS

    Het gaat om het creëren van schijnzekerheden zodat ik me voor de buitenwereld kan verantwoorden dat ik goed bezig ben. Het biedt echter geen enkele garantie dat je datgene levert wat er gevraagd wordt.
    Het onderwijs zit er vol van.

  7. Goed artikel; krachtig signaal. Maar wel te lezen als signaal tegen SLECHT onderzoek, dat er helaas wel veel is. Goed onderzoek eist idd onafhankelijke onderzoekers, die de juiste wetenschappelijke methoden gebruiken en tijdig de uitvoerders erbij betrekken.

Reageer

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *