Amerikaans gedragsonderzoek geeft vaker vertekend beeld

Gedragsonderzoek levert vaker extreme resultaten op dan zuiver biomedisch onderzoek, en die kans vergroot wanneer het onderzoek door Amerikanen is uitgevoerd. Dat melden Britse en Amerikaanse onderzoekers in het vakblad PNAS.

De wetenschappers namen 82 meta-analyses onder de loep, overzichtsstudies die op basis van meerdere studies een algemene conclusie trekken, bijvoorbeeld over de effectiviteit van een geneesmiddel. Vervolgens gingen ze voor de in totaal 1.174 studies uit de meta-analyses na in hoeverre ze van die algemene conclusie afweken.

Dat gedragsonderzoek vaker een extreem resultaat oplevert, is volgens de wetenschappers te wijten aan het gebrek aan vaste en duidelijke methodes om dat soort 'soft' onderzoek uit te voeren. Onderzoekers hebben daardoor meer vrijheid, en dat verhoogt het risico op bewuste en onbewuste vertekening, wanneer hun overtuigingen en verlangens in het onderzoek sluipen.

Dat vooral Amerikaanse studies tot extreme conclusies komen, passend bij de vooropgestelde hypothese, wijten de wetenschappers aan de hoge publicatiedruk in de Verenigde Staten. Daardoor zouden onderzoekers in de verleiding komen om met spectaculaire resultaten uit te pakken, door de minder indrukwekkende studies op de plank te laten liggen of door de resultaten van één studie zo belangrijk mogelijk te laten lijken - al dan niet met behulp van bedenkelijke praktijken zoals het weglaten van niet passende data.

Daniele Fanelli (University of Edinburgh), eerste auteur van de studie, geeft een voorbeeld. 'Stel dat 15 studies nagaan of een bepaalde psychotherapie helpt bij depressie. En stel dat uit de meta-analyse blijkt dat ze helpt bij de helft van de patiënten. Het 'VS-effect' zou dan betekenen dat je op basis van de Amerikaanse studies de indruk krijgt dat de therapie helpt bij 55 à 60 procent, terwijl dat bij studies uit Europa 40 à 45 procent is.'

'Het VS-effect is wel klein, in vergelijking met andere oorzaken van vertekening', geeft Fanelli toe. Toch is het volgens hem belangrijk. 'Het toont aan dat zelfs vooraanstaande onderzoekslanden goed moeten nadenken over de manier waarop ze wetenschappelijke carrières en publicaties evalueren. Als dat echt de oorzaak is van het probleem, zouden andere landen in toekomst met dezelfde problemen kunnen kampen.' (ddc)