Verkeerde statistiek in neurowetenschap vertekent resultaten

In veel artikelen over neurowetenschappen wordt een ongepaste statistische analyse toegepast voor bepaalde datasets. Dat vertekent de resultaten en verkleint de kans dat de uitkomsten herhaald kunnen worden in een ander lab. Dat schrijven Nederlandse onderzoekers in Nature Neuroscience.

Het gaat om zogenoemde ‘nested data’, meerdere observaties of metingen bij één enkel studieobject (dat kan gaan van de hersenen, een dier tot één cel). Daarbij moeten onderzoekers volgens de regels rekening houden met het feit dat observaties binnen éénzelfde organisme meer gelijkenissen vertonen dan observaties in verschillende organismen.

Sophie van der Sluis en haar team van de het medisch centrum van de Vrije Universiteit Amsterdam analyseerden alle neurowetenschappelijke studies die in een periode van anderhalf jaar tijd verschenen in toptijdschriften zoals Science, Natureen Cell. Dit zijn tijdschriften met een hoge impact, waarvan de artikelen vaak worden geciteerd. De helft van de artikelen (53% van de 314 studies) maakte gebruik van ‘nested data’, maar geen enkele gebruikte daarvoor de juiste statistische analyses.

De Nederlandse onderzoekers tonen hoe zulke onjuiste analysemethoden leiden tot een verhoogde kans op een onterecht significant resultaat. Normaal is de kans dat een significant resultaat wordt gevonden dat er uiteindelijk géén is 5 procent. Bij ingebedde data zonder juiste statistische analyse kan de kans op foutpositieve resultaten tot 80 procent oplopen.

Als gevolg daarvan kunnen die studieresultaten ook moeilijk bevestigd worden door andere labs. En het risico bestaat dat wordt voortgeborduurd op de resultaten in de waan dat ze betrouwbaar zijn.

‘Nested data’ is niet beperkt tot hersenwetenschap, ook andere domeinen in de biologie maken er gebruik van, aldus de onderzoekers. Onafhankelijke observaties verzamelen is de voornaamste oplossing. Ingebedde data zijn niet de enige bron van foutpositieve resultaten. Ook te weinig proefpersonen voor een studie is er één. (rvb)