Kritiek op onderzoek naar Eigen Kracht-conferentie is onjuist en bizar

De Amsterdamse hoogleraar forensische orthopedagogiek Geert Jan Stams uitte onlangs stevige kritiek op een onderzoek naar Eigen Kracht-conferenties. Het onderzoek zou 'niet onafhankelijk en wetenschappelijk van nul en generlei waarde' zijn. Een van de onderzoekers, Martin Schuurman, reageert.

In augustus 2012 vroeg de Dienst Maatschappelijke Ontwikkeling (DMO) van de Stadsregio Amsterdam aan de hoogleraar forensische orthopedagogiek Geert Jan Stams om de kwaliteit en onafhankelijkheid van ons onderzoek naar Eigen Kracht-conferentie te toetsen. DMO vroeg Stams om advies, nadat diverse partijen in de Jeugdzorg blijk hadden gegeven van hun twijfels over de resultaten van ons onderzoek: ze zouden geen basis vormen voor het besluit van de Stadsregio om de inzet van middelen in de Jeugdzorg aan te passen. Overigens heeft DMO het advies van Stams niet overgenomen en vastgehouden aan haar aanpassingen.

Oordeel gebaseerd op verkeerde veronderstellingen

In zijn advies stelt Stams vraagtekens bij onze wetenschappelijke onafhankelijkheid. Die kritiek is voor ons onacceptabel, omdat elke onderbouwing ervoor ontbreekt. In zijn advies biedt Stams bovendien geen enkele inzage in zijn werkwijze en in de door hem geraadpleegde primaire en secundaire bronnen. Van een hoogleraar die de integriteit van andere onderzoekers en de kwaliteit van hun werk beoordeelt, mag worden verwacht dat hij zijn eigen positie en werkwijze helder uiteenzet. Dat Stams dit niet heeft gedaan, is kwalijk te noemen.

De meest fundamentele kritiek van Stams komt erop neer dat ons onderzoek van 'nul en generlei waarde' is. Opvallend is dat Stams zijn oordeel baseert op veronderstellingen, die in het geheel niet overeenkomen met de opdracht en de context van ons onderzoek. De Stadsregio Amsterdam heeft ons namelijk niet gevraagd om een effectonderzoek te doen, zoals Stams suggereert, maar om een beeld te schetsen van de mogelijke gevolgen van de inzet van de Eigen Kracht-conferentie. Dus welke activiteiten kan het netwerk rondom gezinnen eventueel verzorgen en welke kostenbesparingen levert die verschuiving weg van de professionals mogelijkerwijs op. Dat is dus een descriptieve vraag naar uitkomsten (output) en geen vraag naar effecten (outcome). Dat klopt ook met het wezen van de EK-c; het is ten slotte geen professionele interventie of methodiek maar een besluitvormingsmodel.

In termen van de hiërarchie van praktijkgestuurd effectonderzoek van Van Yperen en Veerman (2008) bevindt ons onderzoek zich op het descriptieve niveau, dat wil zeggen onderzoek ‘waarin de kernelementen van een interventie (doelgroep, interventie, uitkomsten) en de personele, organisatorische en materiële context en randvoorwaarden duidelijk en begrijpelijk zijn omschreven.’

Onderzoek in het kort

Wie geïnteresseerd is in de resultaten van ons onderzoek, verwijs ik graag naar het rapport zelf. Hier volsta ik met een korte samenvatting.

Met behulp van de overzichten van honderd Eigen Krachtconferenties (EK-c’s) en de normbedragen hebben we een kwantitatieve schatting gemaakt van de besparingen die de inzet van EK-c's oplevert. Zoals, hoeveel ondertoezichtstellingen en/of uithuisplaatsingen worden er door Eigen Krachtconferenties voorkómen of beëindigd. Ook hebben we de kosten berekend van de extra voorzieningen waar familie en netwerk om vroegen (voor opvang, begeleiding, behandeling, ondersteuning, thuishulp en training). Ten slotte hebben we gekeken we naar de feitelijke afname van zorg gedurende het eerste jaar na de inzet van EK-c. Hierbij hebben we gebruik gemaakt van de databestanden van Bureau Jeugdzorg Agglomeratie Amsterdam.

De uitkomsten van de berekeningen laten voor de honderd onderzochte conferenties een geschatte besparing zien van ongeveer 3 miljoen euro. Na aftrek van de werkelijke uitgaven in het eerste jaar na de conferentie (ongeveer 900 duizend euro) en de kosten van de conferenties zelf (400 duizend euro) bleef er een netto besparing van ongeveer 1,7 miljoen euro over. Per conferentie is dat dus een bedrag van 17 duizend euro, en dat is in lijn met de 40 duizend euro besparing die de Universiteit Delft eerder heeft gevonden bij de inzet van Eigen Kracht-conferenties bij multiprobleem-gezinnen.

Onjuiste en bizarre conclusie van Stams

Overigens zijn de genoemde bedragen niet meer dan goed gefundeerde schattingen. In de berekeningen is namelijk sprake van tal van aannamen, zoals we in ons rapport ook uitgebreid hebben beschreven. Voor diepgaander onderzoek naar besparingen en kosten van EK-c's zijn aanvullende bronnen nodig. De conclusie van Stams dat in ons rapport zou worden ‘gesuggereerd dat een wijdverspreide toepassing van de Eigen Kracht-conferentie enorme bezuinigingen zou kunnen opleveren’ (artikel van 5 maart in Sozio) is dus even onjuist als bizar. Wij concluderen in ons rapport, niet meer en niet minder, dat de honderd bestudeerde EK-c’s hebben geleid tot een relevante besparing. En die conclusie is, gelet op de onderzoeksresultaten, zeer evenwichtig en alleszins gewettigd.

Tot slot: de kennis over Eigen Krachtconferenties groeit. Verder empirisch onderzoek is nodig zodat een hoger niveau in de hiërarchie van praktijkgestuurd onderzoek kan worden bereikt. Belangrijk is dat dit onderzoek wordt toegespitst op de eigenheid van de Eigen Kracht-benadering en dat is het besluitvormende karakter ervan.

Dr. Martin Schuurman is zelfstandig onderzoeker in de Gehandicaptenzorg en de Jeugdzorg en heeft een eigen bureau, Kalliope Consult te Nieuwegein.

Reacties op dit artikel (3)

  1. Dit verhaal is erg emotiegestuurd en past eigenlijk niet in een academische context. Het gaat niet aan om het oordeel van een hoogleraar van de UvA en een lector van de Hogeschool Leiden ‘bizar’ en ‘onjuist’ te noemen. Dat is taalgebruik dat past in een dicatuur, in een totalitair regime dat geen tegenspraak duldt. Propagandataalgebruik waarbij men op de man speelt, ongeloofwaardig probeert te maken.

    De onderzoekers van bovenstaand stuk hebben jaren geleden op basis van 100 cases gezegd dat er besparingen zouden worden geraliseerd in de totale Jeugdzorg door het gebruik van EKC’s. Die besparingen zouden maar lieft € 17.000,- bedragen per casus. Inmiddels zijn er duizenden EKC’s geweest bij BJAA en blijkt dat deze onderzoeksresultaten niet geëxtrapoleerd kunnen worden. Er zijn namelijk helemaal geen besparingen door EKC. Sterker nog: de kosten lopen juist op.

    Dat wil Erik Gerristen van BJAA niet in het nieuws hebben. Daarom wordt er een enorme censuur toegepast bij zijn columns in Binnenlands Bestuur. En bij dat dictatoriale gedrag hoort dus ook op de man spelen bij critici, ze naar beneden halen. Kortom, dit is verre van fair play. Maar vermoedelijk was dat het al nooit fair play, het bovenstaande onderzoek werd immers uitgevoerd bij BJAA, die net heeft gedaan alsof er daardoor bespaard zou worden en ingeteerd zou worden op de eigen organisatie, alsof men in eigen vlees zou snijden.

    Daar diende dit onderzoek voor. Daarom heeft de gemeente Amsterdam besloten tot uitrol van de EKC’s. En nu blijkt dat dat onderzoek toen niet deugde en dat alle verhalen van Gerritsen over EKC’s en snijden in eigen vlees niet waar waren. Gerristen heeft een rookgordijn opgeworpen met dit onderzoek, dat was mogelijk omdat de onderzoekers niet kritsich genoeg zijn geweest en niet alaert genoeg zoals prof Stams en dr. Helms wél waren. En dat de gemeente Amsterdam erin is getrapt en dat ze samen nog net hebben gedaan alsof Amsterdam een voorbeeld kon zijn voor de rest van het land met EKC’s bovendien!

    Dat zou de jeugdzorgsector wel willen! Want wat blijkt? Door Eigen Kracht maakt BJAA juist veel meer omzet! Er lijkt een kleine afname te zijn van de dwang (OTS-en en UHP-s) maar daarentegen is er een enorme groei van de drang. Zozeer zelfs dat Gerristen extra geld eist (in plaats van dat er minder nodig is zoals beloofd) en anders komen er wachtlijsten Dat heeft hij onlangs aangekondigd in het Parool, weer met de leugen dat dat extra geld nodig is omdat hij in eigen vlees snijdt door EKC’s.

    Dat is gewoon niet waar. Gerristen speelt machtsspelletjes en probeert iedereen te manipuleren .In Amsterdam kookt het werkelijk als het om deze man gaat en alle ellende die hij met zijn tirannieke gedrag teweeg brengt. Niet in het laatst omdat hij ook als voormalige gemeentesecretaris de ambtenarij in zijn zak heeft en ook de politie en voortdurend bezig is met media te overtuigen met zijn praatjes en verhalen waar nooit enig bewijs voor is. En als er dan kritiek komt? Dan wordt Gerritsen grof, zie hoe hij prof. Stams en lector Helm bejegent (die durft hij niet weg te laten censureren maar kunnen net zo goed de volle laag krijgren en op een grove bejegening rekenen als alle andere critici van Gerritsen.

    De gemeente Amsterdam zou Gerritsen moeten ontslaan wegens leugens, manipulatie, intimidatie en bedrog. Er liggen vele uitgewerkte casussen bij de gemeente maar ja, Gerriten heeft ook de ambtenarij onder controle. Dus men doet er helemaal niet aan en laat het maar verder rotten. Asscher had Gerritsen nooit mogen benoemen als directeur van BJAA want toen Gerritsen nog gemeentesecretaris was, ontstonden er net zulke schandalen als nu en ging het ook om machtsmisbruik, dedain jegens politici en democratie, manipuleren van informatiestromen naar de politiek en beleidsmakers en een angstcultuur.

    Zie http://www.mediastudies.nl/nap2/index2.php?option=com_content&do_pdf=1&id=719

  2. De welkome boodschap
    Het betoog van Martin Schuurman over de reactie op het advies van Stams aan de gemeente Amsterdam is in meerdere opzichten heel interessant. Allereerst door het woordgebruik. Martin Schuurman gebruikt de kwalificatie ‘bizar’.
    Interessant is dat hij deze kwalificatie zowel in de titel als in het slotstuk gebruikt, maar niet uitlegt. Het is een verschijnsel dat we in dit debat wel vaker tegenkomen. Zo heeft Joop Hoekstra het over “duistere uithoeken van het methodologisch veld” en “geblaas” (Sozio). Naast taalgebruik valt ook het gebrek aan argumentatie op, zie bijvoorbeeld de reactie van Gerritsen in Binnenlands Bestuur. Er worden zaken beweerd, maar niet onderbouwd.
    Dat doet Stams echter wel, hij maakt gebruik van wetenschappelijk onverdachte studies die niet, zoals in het geval van Schuurman, uit eigen parochie komen, maar van onafhankelijke bronnen. En hij pleit voor onafhankelijk en goed uitgevoerd onderzoek. Wat is daar mis mee? Zou dat het taalgebruik kunnen verklaren?

    Een tweede mogelijke verklaring ligt in het fenomeen ‘de welkome boodschap’.
    Dat is het fenomeen waarin iedereen met grote overtuiging achter ‘iets nieuws’ aanloopt dat een panacee probeert te zijn voor ingewikkelde maatschappelijke problematiek. Erik Gerritsen spreekt zelfs van ‘het wonder van EKC’.
    Wanneer mensen van wonderen gaan spreken, moeten we in de regel voorzichtig worden in de wetenschap, denk maar eens aan de koude kernfusie van Fleischmann en Pons of de recente sneller dan licht deeltjes. De geschiedenis leert ons dat wonderen in de praktijk tegenvallen.

    Een bijverschijnsel van ‘de welkome boodschap’ is dat voorstanders in de regel weinig kritiek accepteren en voorzichtige en genuanceerde wetenschappers proberen te diskwalificeren, alsmede voortreffelijk uitgevoerde studies, zie bijvoorbeeld de woedende reacties destijds op artikelen van Van der Laan over de Glenn Mills school.
    Voorstanders van interventies in de ruimste zin van het woord, dus ook een aanpak als EKC, beroepen zich voornamelijk op eigen bronnen of shoppen selectief naar bevestigende informatie. Ze komen dan doorgaans uit bij studies met positieve resultaten met weinig bewijskracht of studies die niet onafhankelijk zijn uitgevoerd. Inmiddels is er binnen de Nederlandse Jeugdzorg zelfs een stroming op gang gekomen die de strenge methode van Randomised Controlled Trials probeert te diskwalificeren. Waarom?
    Wanneer een ontwikkelaar van een interventie als EKC overtuigd is van de werkzaamheid van zijn methode zou die toch een onafhankelijke RCT moeten verwelkomen als een sterke bijdrage voor het aantonen van de effectiviteit? Het zou de EKC centrale of anderen sieren om juist een kritische wetenschapper, zoals Geert-Jan Stams opdracht te geven tot het doen van onafhankelijk onderzoek naar EKC. Dan weet je het zeker.
    De medische wetenschap probeert niet voor niets met zo degelijk mogelijke methoden te onderzoeken of iets werkt en of het mogelijk kwaad kan doen.
    Het adagium ‘primum non nocere’ (‘allereerst, doe geen kwaad’) zou ook voor de jeugdzorg moeten gelden.
    In plaats van kritische onderzoekers te diskwalificeren met woorden als ‘bizar’ zouden ze de ‘Stamsen’ juist moeten omarmen en goed onderzoek laten doen. Daar wordt de maatschappij beter van en gezinnen krijgen de zorg die ze nodig hebben.

    Dr. G.H.P (Peer) van der Helm is associate lector aan de hogeschool Leiden

Reageer

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *