De affaire rond de Leuvense kankerexpert Stefaan Van Gool doet vragen rijzen over de betrouwbaarheid van kankeronderzoek. Zijn bedenkelijke studies een uitzondering of een structureel probleem?
Verschillende media berichtten over hoe topdokter Stefaan Van Gool (KU Leuven) bij zijn onderzoek niet alleen losjes omsprong met de deontologische code, maar ook met het onderzoeksprotocol , waardoor de resultaten van zijn studies onbetrouwbaar zijn.
Is het kankeronderzoek in hetzelfde bedje ziek als de psychologie?
Het is niet de eerste keer dat de betrouwbaarheid van kankeronderzoek in vraag wordt gesteld. Toen onderzoekers van farmabedrijf Amgen in 2012 53 baanbrekende kankerstudies probeerden te herhalen, lukte dat in 47 gevallen niet. In 2013 ging The Reproducibility Project: Cancer Biology van start.
Wetenschappers namen zich voor om een groot aantal kankerstudies, verschenen in Nature, Science, Cell en andere topbladen, te proberen repliceren. Begin dit jaar publiceerden ze de eerste resultaten. Van de eerste vijf pogingen slaagden er twee. Eén mislukte, en twee leverden ‘oninterpreteerbare resultaten’ op.
In 2015 bracht het Reproducibility Project al grote problemen in het psychologisch onderzoek aan het licht. Van 100 pogingen om studies te repliceren, slaagden er slechts 39. Is het kankeronderzoek in hetzelfde bedje ziek?
Roze bril
‘Er is duidelijk een probleem’, zegt René Medema, hoofd van het Nederlands Kanker Instituut. Dat baanbrekende studies zich niet makkelijk laten repliceren, heeft volgens Medema vaak met technische complexiteit te maken. Nieuwe vondsten gaan vaak gepaard met nieuwe technieken. De mate waarin andere onderzoekers erin slagen die correct toe te passen, kan erg bepalend zijn voor het resultaat. ‘Details over hoe onderzoekers precies te werk zijn gegaan, worden niet goed gerapporteerd’ zegt Medema. ‘Dat maakt replicatie lastig.’
Dat studies niet altijd hetzelfde resultaat opleveren, is op zich echter niet abnormaal, zegt Eric Van Cutsem, oncoloog aan de KUL en voorzitter van de Stichting tegen Kanker. ‘We bestuderen complexe biologische systemen, met veel variabelen die het resultaat beïnvloeden. Vergelijk het met een voetbalwedstrijd tussen twee teams, waarvan één duidelijk beter is. Het betere team zal vaker winnen, maar niet altijd.’
Een wetenschapper wil zijn hypothese graag bevestigen. Dan ontstaat de verleiding om de data te ‘masseren’
Daarnaast staan kankeronderzoekers net als alle wetenschappers onder druk om te publiceren. ‘Daardoor worden resultaten soms al te enthousiast geïnterpreteerd’, zegt Medema. ‘Een wetenschapper wil zijn hypothese graag bevestigen.’ Dan ontstaat de verleiding om de data te ‘masseren’ en tegenvallende resultaten weg redeneren of weg te laten. Ook een gebrekkige statistische analyse kan ertoe leiden dat wat een vondst lijkt, in werkelijkheid een toevalstreffer is.
Niet alleen publicatiedruk en carrièrekansen doen kankeronderzoekers door een roze bril kijken. Ze zijn erop gebrand patiënten te helpen en een verschrikkelijke ziekte onder de knoet te krijgen. ‘De druk om iets nieuws te vinden is groot, net als het enthousiasme wanneer dat zo lijkt te zijn’, zegt Simon Van Belle, oncoloog aan het UZ Gent. ‘Ook de peer-reviewers, die studies kritisch moeten doorlichten, zijn daar gevoelig voor. Dat is menselijk.’
Verspilling
Bouwen wetenschappers of farmabedrijven voort op onderzoek dat niet reproduceerbaar blijkt, dan is dat een verspilling van tijd en geld. Hoe valt dat te vermijden? ‘Er is een verandering nodig in de manier waarop onderzoek wordt uitgevoerd en beschreven’, zegt Guillaume Macor. Macor is één van de coördinatoren van een NWO-programma (Nederlandse Organisatie voor Wetenschappelijk Onderzoek) dat specifiek replicatiestudies financiert.
‘Vakbladen zouden meer ruimte moeten voorzien om de gebruikte methodes te beschrijven, met alle details, zodat replicatie makkelijker is’, zegt Macor. ‘Of ze zouden die online kunnen publiceren. Tijdschriften kunnen ook eisen dat wetenschappers zich houden aan bepaalde richtlijnen die de kwaliteit van onderzoek garanderen. Sommige zetten al stappen in die richting.’
We beoordelen wetenschappers nog altijd meer op kwantiteit dan op kwaliteit
Als reactie op de vertrouwenscrisis in de psychologie, pleitten sommige psychologen ervoor dat vakbladen en peer-reviewers toegang zouden krijgen tot de ruwe data, zodat ze de kwaliteit van onderzoek beter kunnen beoordelen. Een initiatief dat navolging verdient in het kankeronderzoek en andere domeinen, vindt Macor. ‘De wetenschappelijke wereld moet overtuigd raken van het belang van meer openheid.’
Daarbij spelen ook financierders en universiteiten een rol. ‘Er moet iets veranderen aan de manier waarop we wetenschappers beoordelen’, zegt Macor. ‘Dat systeem is nog altijd meer gericht op kwantiteit dan op kwaliteit.’
