Sommige deelnemers aan psychologische studies zoeken naar de diagnose voor een psychisch probleem. Hoe erg is dat voor de betrouwbaarheid van het onderzoek?
Veel psychologische onderzoeken zijn afhankelijk van participanten die tijd moeten vrijmaken om deel te nemen aan experimenten of om vragenlijsten in te vullen. Dat doen ze omdat ze betaald krijgen of omdat ze ertoe verplicht zijn als onderdeel van hun universitaire opleiding. Verder is er niet veel bekend over wat mensen motiveert om aan onderzoeken deel te nemen.
Sommige deelnemers zijn misschien op zoek naar een diagnose voor een psychisch probleem waarmee ze worstelen. Een team van onderzoekers in Polen stelde dat deelnemen aan een psychologisch onderzoek zou kunnen worden gezien als een goedkoop alternatief om professionele hulp te krijgen. Daarom gingen de onderzoekers na of deelnemers aan psychologische studies meer kans hadden om een persoonlijkheidsstoornis, depressie of psychische angst te hebben.
‘Onderzoekers gaan er vaak van uit dat de manier waarop ze deelnemers werven voor hun onderzoeken geen merkbare invloed heeft op de resultaten’, schrijven de auteurs van het onderzoek. ‘In ons onderzoek hebben we aangetoond dat mensen met persoonlijkheidsstoornissen zich meer aangetrokken voelen tot onderzoeken waar ze hun trauma kunnen uiten en misschien gewoon meer geneigd zijn om zich vrijwillig op te geven voor studies.’
Izabela Kaźmierczak en collega’s aan de Maria Grzegorzewska Universiteit in Warschau voerden verschillende onderzoeken uit, met in totaal 947 deelnemers (waarvan 62% vrouwen). Daarbij werden mensen die al eens eerder hadden deelgenomen aan een psychologisch onderzoek vergeleken met degenen die dat nog nooit hadden gedaan.
Ze ontdekten dat de participanten die ooit al hadden deelgenomen aan een onderzoek symptomen vertoonden die voorkomen bij mensen met persoonlijkheidsstoornissen, depressie of angst. Er zijn veel verschillende soorten persoonlijkheidsstoornissen, zoals borderline en narcisme. Iemand met een persoonlijkheidsstoornis denkt, voelt, gedraagt of verhoudt zich anders tot anderen dan iemand zonder die stoornis. Zo iemand zou bijvoorbeeld andere mensen de schuld kunnen geven van dingen, of zich agressief en onvoorspelbaar gedragen.
Waarom is dat van belang?
De nieuwe studie heeft een potentieel zorgwekkende kwestie van zelfselectie aan het licht gebracht. Aangezien deelnemers zelf kiezen aan welke onderzoeken zij deelnemen, kunnen de resultaten van het onderzoek worden beïnvloed doordat een groot aantal participanten van een bepaald type deelneemt. Onderzoeksbias is een ernstig probleem.
Net als veel andere wetenschappelijke disciplines wordt psychologisch onderzoek voornamelijk aan universiteiten opgezet en uitgevoerd. In tegenstelling tot veel andere disciplines vereist psychologie menselijke participatie. Studenten vormen daardoor een handige pool van proefpersonen waaruit kan worden geput. Velen in het vakgebied vragen zich af hoe onderzoek dat is uitgevoerd op voornamelijk 18- tot 24-jarige westerse studenten bevindingen kan opleveren die op welke manier dan ook relevant zijn voor een andere bevolkingsgroep.
Onderzoek moet gegrond zijn. Als we niet kunnen beweren dat onze bevindingen betrekking hebben op de bredere bevolking (de zogenaamde ‘generaliseerbaarheid’), hebben we een ernstig probleem. De nieuwe studie toont aan dat onze bevindingen mogelijk worden beïnvloed door de psychologische aard van de mensen die we testen.
We hebben echter geen controle over welke studenten onze procedures doorlopen. We kunnen bijvoorbeeld geen instructies geven op wervingsposters, zoals: ‘Mensen met symptomen van persoonlijkheidsstoornissen hoeven zich niet in te schrijven.’ We kunnen en moeten dus voorzichtiger zijn in hoe we onze deelnemers selecteren.
We moeten onderzoek uitvoeren met voldoende grote aantallen mensen. Het onderzoek moet ook herhaald kunnen worden, zodat we er meer vertrouwen in kunnen hebben dat onze bevindingen ook buiten de campus relevant zijn.
Hobbelige weg
Alle wetenschappen hebben hun hobbelige wegen te bewandelen, en de psychologie heeft er de laatste jaren zeker een afgelegd. Experimenten die ooit als baanbrekend werden beschouwd, leverden niet dezelfde resultaten op toen ze werden herhaald door andere psychologen. Dat fenomeen staat bekend als de ‘replicatiecrisis’ of ‘reproduceerbaarheidscrisis’.
De reproduceerbaarheidscrisis in de wetenschap uitgelegd.
Daarnaast zijn de schokgolven door de wetenschapsfraude van de Nederlandse psycholoog Diederik Stapel nog steeds voelbaar. De voormalige hoogleraar werd bekend als wetenschapsfraudeur toen aan het licht kwam dat hij gegevens had verzonnen en zelfs hele experimenten had gefabriceerd. De reputatie van de psychologie heeft zeker een klap gekregen.
Psychologen werken nu zorgvuldig aan het ontwikkelen van transparantie en technieken waarvan we hopen dat ze ons zullen helpen het vertrouwen van de bredere wetenschappelijke gemeenschap terug te winnen. Wat de studie uit Polen laat zien, is dat deelnemers mogelijk ook aan zelfselectie doen. Als gevolg daarvan kunnen onze bevindingen opnieuw in twijfel worden getrokken. Ook al denken we dat we uit een zo algemeen mogelijke populatie putten om de resultaten generaliseerbaar te maken naar de bredere bevolking, is dat misschien niet het geval.
Die bevinding zal alarmbellen doen rinkelen bij degenen die de betrouwbaarheid en de reputatie van de psychologie proberen op te krikken. Deze kwestie moet serieus genomen worden.
De resultaten vertellen ons formeel iets wat we al hadden moeten weten. Zij die psychologisch onderzoek uitvoeren met deelnemers die grotendeels afkomstig zijn uit een pool van psychologiestudenten, moeten zeer voorzichtig zijn met hun wervingsstrategieën. Het onderzoek moet bijvoorbeeld zo ontworpen worden dat die niet kan worden beïnvloed door de persoonlijkheid of de stemming van de deelnemer. Een andere mogelijkheid is om de deelnemers te beoordelen. De onderzoekers in Polen stellen voor om bijvoorbeeld participanten uit te sluiten die ooit al eens hebben deelgenomen aan een psychologisch onderzoek.
Na de publicatie van een studie moeten onderzoekers vooral heel voorzichtig zijn met grote beweringen over hoe hun ‘baanbrekende’ onderzoek zich verhoudt tot de bredere bevolking die ze lijken te onderzoeken. Een dergelijke bewering is, zo lijkt het, niet houdbaar.
Dit artikel verscheen eerder in The Conversation.
Vertaling: Eva Van Waetermeulen
