Hij had zich geërgerd aan de conclusies van het onderzoek door het Trimbosinstituut, Tom van Yperen. ‘Hiermee worden op een populistische manier onderzoekers gediskwalificeerd die jaren geleden, in een tijd dat effectonderzoek nog zeldzaam was, de moeite hebben genomen om praktijkonderzoek te doen. Het rapport creëert ook een beeld van een sector die niet deugt, terwijl er zo hard aan de weg wordt getimmerd.’
Wat voor ervaring heeft u met praktijkgericht onderzoek?
‘In verschillende instellingen en gemeenten ondersteun ik de ontwikkeling van monitorsystemen om de resultaten van jeugdhulp in beeld te brengen. Daarbij komen vragen aan de orde als: zijn cliënten tevreden over de resultaten, worden de doelen uit het hulpverleningsplan gerealiseerd, nemen de problemen af of haken cliënten voortijdig af? Ik doe mijn werk voor een deel samen met collectief van ruim 30 instellingen en onderzoekers, het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN, zie www.sejn.nl). Ons uitgangspunt is dat veel interventies zich in de praktijk ontwikkelen. Belangrijke stap in die ontwikkeling is dat niet alleen wetenschappers, maar ook de betrokken uitvoerders praktijkonderzoek doen naar de effectiviteit van de door hen toegepaste interventie. Uitvoerders brengen daarin de resultaten van hun interventies in beeld en dragen bij aan een verdere ontwikkeling van die interventies zodat de resultaten uiteindelijk beter worden. In de wetenschap spreken we van “scientist practitioner” en “practice-based evidence”. Het SEJN heeft over deze praktijk het handboek Zicht op Effectiviteit gepubliceerd.’
Wat is voor u de meerwaarde van praktijkgericht onderzoek?
‘De beschreven werkwijze is cruciaal voor de ontwikkeling van steeds effectievere jeugdhulp. Denken dat effectonderzoek via strikt onafhankelijke studies moet gebeuren, is misschien wel heel zuiver, maar leidt in de praktijk al gauw tot heel moeizame trajecten. Die praktijk leert dat het onderzoek vaak te vroeg komt omdat de interventie nog niet uitontwikkeld of volledig geïmplementeerd is. Bovendien heeft de onderzoeker vaak moeite zijn gegevens binnen te krijgen omdat de praktijk zich onvoldoende eigenaar voelt van de effectvraag en de studie. Daar komt nog bij dat het onderzoek vaak lang duurt, terwijl ondertussen de inzichten en ervaringen in de praktijk voortschrijden en de interventie alweer verandert. En ten slotte worden de onderzoeksresultaten vaak onvoldoende gebruikt om de interventie te verbeteren.’
‘Het nauw verbinden van onderzoek en praktijk blijkt goed te werken, het gaat namelijk niet om het doen van de ultieme uitspraak of deze of gene interventie effectief is. Het gaat er veel meer om in de praktijk een kwaliteitscyclus op gang te brengen, gevoed met effectgegevens, die leidt tot verdere ontwikkeling van de interventie en tot steeds betere resultaten bij jeugdigen en opvoeders. Mijn motto is: haal het effectonderzoek uit de ivoren toren en maak het eigendom van de werkvloer.’
Een steen des aanstoots is echter dat onderzoekers bij praktijkgericht onderzoek hun nauwe betrokkenheid niet altijd duidelijk maken. Kunt u aangeven hoe het wel zou moeten?
‘Ik ken de discussies rondom bijvoorbeeld Triple P, MST, IOG, Taakspel, Gezin Centraal - interventies met vaak lange onderzoekstradities. Het is iets van recente datum dat onderzoekers hun nauwe betrokkenheid expliciet duidelijk moeten maken met formele ‘statements’. Op zich schept een dergelijk ‘statement’ de juiste helderheid die we tegenwoordig verlangen. Maar het zou volstrekt onjuist zijn als hiermee praktijkonderzoek in de ‘foute hoek’ terechtkomt. Ik zou dat een ouderwetse reactie vinden, dat effectonderzoek in de ivoren toren opsluit. Het is bovendien gemakzuchtig om eerdere studies van betrokken onderzoekers weg te zetten als ‘wij-van-wc-eend-adviseren-wc-eend’. Je doet daarmee onrecht, omdat je belangrijke pioniers van het effectonderzoek in de jeugdhulp zo met een paar pennenstreken verdacht maakt.’
‘Het Trimbos-rapport stelt trouwens dat nauwe betrokkenheid van onderzoekers bij de ontwikkeling van een interventie niet goed is, omdat zij extra hun best zouden doen om die interventie daadwerkelijk goed uitgevoerd te krijgen. Ik denk dan altijd: ik zou willen dat behandelaars en managers van instellingen net zo goed hun best doen om die goede uitvoering te realiseren. En wat meten onderzoekers die niet hun best doen om een interventie goed uitgevoerd te krijgen: het te behalen effect van een interventie of slechts de mate van implementatie van een interventie? Volgens mij dat laatste.’
‘Of een onderzoeker nauw betrokken is of niet, zou niet het punt moeten zijn. Wel of in zijn onderzoek het kritische perspectief goed is georganiseerd, en of het ertoe bijdraagt dat de kwaliteitscyclus in de praktijk op gang komt en blijft.’
Wat zou u zelf hét grote risico noemen van het door u bepleite praktijkgerichte onderzoek?
‘Het risico van strikt onafhankelijk onderzoek is dat er bij tegenvallende resultaten vaak discussie ontstaat over de vraag of het wel goed is uitgevoerd. Punt is dat je het onderzoek niet zo maar over kan doen. Bij onze benadering is er het risico dat betrokkenen de cijfers in het eigen voordeel gaan duiden. Bijvoorbeeld: de resultaten vallen tegen omdat het zulke moeilijke cliënten zijn. Dat risico is overigens prima te ondervangen. Bij veel instellingen is een onderzoeker betrokken die een kritisch perspectief inbrengt, of een begeleidingsgroep met cliëntvertegenwoordigers en externen kijkt mee. Maar bovenal is het van belang de effectvraag op een goede manier te agenderen. De crux is daarbij continu de vraag te stellen: wat kunnen we als uitvoerders doen om bij de volgende meting weer een stukje beter te scoren? Zo wordt de kwaliteitscyclus een kwaliteitsspiraal naar steeds betere hulp.’
Over de validiteit en betrouwbaarheid: aan welke concrete voorwaarden moet onderzoek volgens u voldoen dat met hulp en medewerking van betrokkenen wordt uitgevoerd?
‘Betrek een extern onderzoeker erbij, of regel een begeleidingsgroep. Daar is nog aan toe te voegen: kies goede meetinstrumenten, gun elkaar een blik in de keuken, organiseer een visitatie, regel een cliëntenpanel dat kritisch meekijkt. Kortom, mogelijkheden genoeg om de validiteit en betrouwbaarheid van het onderzoek zeker te stellen.’
Wat zegt u tegen critici die beweren dat deze maatregelen niet zullen voorkomen dat partijdig onderzoek voor onpartijdig blijft doorgaan?
‘Vroeger was het al heel wat áls een partij de moeite nam effectonderzoek te doen. Nu het steeds belangrijker wordt om de effectvraag te beantwoorden gaan we kritischer naar het onderzoek kijken. Ik vraag me daarbij overigens af of de aanduiding ‘partijdig en onpartijdig onderzoek’ wel handig is. Ook wetenschappelijk onderzoek vertegenwoordigt een partij, namelijk het wetenschapsbelang. Het gaat er om verschillende partijen productief te laten samenwerken zodat de praktijk effectiviteitsvragen stelt en in dat licht slagen maakt om steeds betere resultaten te boeken. Daarvoor moet je een kritische blik organiseren’.
Elke onderzoeker probeert zijn eigen handelen te rechtvaardigen. Doet u dat ook?
‘Bij mijn werk wil ik partijen productief laten samenwerken. Daarin organiseer ik als het even kan de kritische blik. Ik ben hoe dan ook geen man van onderzoek vanuit de ivoren toren. Daarmee voel ik me helemaal geen wc-eend, maar eerder een vis in het water.’