Wetenschappers communiceren soms stroef. Ze schrijven ellenlange artikels met vakjargon en vaste structuur in - goede en minder goede - gespecialiseerde tijdschriften. Voor goede en minder goede artikels, zou je denken. Helaas is dit niet (altijd) waar. Het kan zelfs gevaarlijk uitdraaien.
“Uit onderzoek blijkt dat geneesmiddel X de levensduur verlengt.” Spoiler alert: Dit is niet per se waar.
Publiceren in ‘Joepie’ of ‘TV familie’ is niet bijster moeilijk. Je stuurt iets op, de redactie gelooft jouw inhoud en publiceert het online of geeft het uit. Wetenschappelijke tijdschriften zijn nét iets kritischer en onderwerpen je aan 2 belangrijke selectieprocedures.
- Een redactrice/redacteur beoordeelt of de inhoud van het artikel aansluit bij het thema van het tijdschrift. Je moet bijvoorbeeld geen uiteenzetting over de geometrie van de piramide van Cheops publiceren in 'Nature Biotechnology'.
- Elk artikel dat past binnen het thema én voldoende relevant is, wordt vervolgens nagelezen door experten in het vakgebied (= peer-review). “Om jou te helpen” *rolt ironisch met de ogen*. Deze concullega’s beoordelen de kwaliteit (methodologie) van het artikel.
‘Dat valt toch mee?’ Dit valt niet mee. Dit proces kan maanden tot jaren aanslepen. Menig tranen zijn al gevloeid bij de publicatie van een artikel. Langs de andere kant, het systeem is waterdicht, wat zeg ik, hermetisch afgesloten. Kwaliteit gegarandeerd.
Helaas.
Wetenschapper A concludeert dat mensen die elke dag geneesmiddel X nemen gemiddeld niet langer leven.
Wetenschapper B concludeert dat mensen die elke dag geneesmiddel X nemen gemiddeld 10 jaar langer leven.
Beide wetenschappers hebben alles identiek gedaan en sturen hun artikel naar de redactie van hetzelfde tijdschrift.
Wetenschapper A krijgt het volgende antwoord: “Bedankt voor uw interesse om te publiceren in ons tijdschrift. Helaas moeten we u mededelen dat de inhoud van uw artikel niet relevant en onvoldoende vernieuwend is voor publicatie in dit tijdschrift. Wij hopen in de toekomst andere artikels van u te ontvangen.” (Ja, elke wetenschapper heeft al dergelijke e-mail ontvangen.)
Wetenschapper B heeft meer geluk. “Wij zijn verheugd U te melden dat Uw artikel wordt geaccepteerd voor peer-review.
Het is ook mogelijk dat wetenschapper A vindt dat zijn resultaten niet de moeite waard zijn om te publiceren, terwijl wetenschapper B zijn positieve resultaten maar al te graag met de wereld deelt[1].
Met andere woorden, een artikel met positieve bevindingen maakt 3 keer meer kans om gepubliceerd te worden dan een evenwaardig onderzoek zonder positieve bevindingen[2], [3]. Dit fenomeen is publicatie-bias. Gevaarlijk.
100 studies onderzochten het effect van geneesmiddel X op de levensduur. Vijftig vonden een positief effect (49 hiervan worden gepubliceerd) en vijftig vonden geen effect (25 hiervan worden gepubliceerd).
“Het is zéér waarschijnlijk dat geneesmiddel X de levensduur verlengt. 66% van de studies (49) vond een positief effect en 33% (25) vond geen positief effect.”
In werkelijkheid fout dus. Daarom is het belangrijk om deze publicatie-bias in het achterhoofd te houden bij het lezen van artikels die de literatuur samenvatten. De conclusies zijn vaak iets mooier dan de waarheid. En korrel zout is dus meer dan op zijn plaats.
Om te eindigen met een positieve noot: er zijn verschillende maatregelen die de publicatie-bias tegengaan. Tegenwoordig registreren onderzoekers hun klinische studie op een centraal platform nog vóór de studie van start gaat.
Stel, je wordt op een dag wakker met een onverklaarbare interesse in het effect van avocado’s op rugpijn. Ga dan naar dit centraal platform: https://www.clinicaltrialsregister.eu/ctr-search/search/. Geef de nodige termen in (avocado AND back pain) en je krijgt een overzicht van het aantal geregistreerde studies dat de effecten van avocado’s op rugpijn onderzoeken, in dit geval één.
De uitkomsten van al deze studies kunnen na afloop ook op het centrale platform gedeeld worden, ongeacht of er (g)een effect gevonden wordt.
[1] P. J. Easterbrook, R. Gopalan, J. A. Berlin, and D. R. Matthews, “Publication bias in clinical research,” Lancet, vol. 337, no. 8746, pp. 867–872, 1991.
[2] R. J. Simes, “Publication bias: The case for an international registry of clinical trials,” J. Clin. Oncol., vol. 4, no. 10, pp. 1529–1541, 1986.
[3] K. Dickersin, S. Chan, T. C. Chalmersx, H. S. Sacks, and H. Smith, “Publication bias and clinical trials,” Control. Clin. Trials, vol. 8, no. 4, pp. 343–353, 1987.
