‘Ik vind alleen de domme fouten’

Elisabeth Bik vond in meerdere papers met Catherine Verfaillie als één van de auteurs afbeeldingen waarmee iets aan de hand lijkt, berichtte Eos vorige week. Het gaat om artikels die eerder al waren teruggetrokken of gecorrigeerd, maar ook om nieuwe vondsten. De KU Leuven is een onderzoek gestart. Inmiddels is Bik al met andere dingen bezig. ‘Ik krijg zoveel tips, ik móét wel snel overgaan naar het volgende.’ Enkele weken geleden vond ze nog onregelmatigheden in meer dan vijftig papers van de Chinese topwetenschapper Xuetao Cao. Ook dat onderzoek loopt nog. 

Op enkele jaren tijd is Bik uitgegroeid tot een gerespecteerde fotodetective, die haar vondsten deelt met haar uitgebreide schare volgers op Twitter en PubPeer, een platform voor peerreview na publicatie. Voor de Nederlandse microbiologe, die aan Stanford University en bij enkel biotechbedrijven werkte, begon het allemaal in 2013. ‘Toen is mijn interesse voor plagiaat gewekt. Ik zocht toen even op een zin uit één van mijn eigen papers en had meteen beet. Misschien was ik hier wel nooit mee begonnen als dat niets had opgeleverd.’

Toen ze een jaar later een gedupliceerde afbeelding in een paper opmerkte, ging ze zich interesseren voor beeldmanipulatie. ‘Ik besloot voor de lol eens honderd papers te bekijken en zag al vrij snel dingen die niet klopten. Ik realiseerde me dat ik het systematisch moest aanpakken als ik iets wilde kunnen zeggen over de omvang van het probleem. Toen is het wat uit de hand gelopen.’ (lacht). Bik nam ruim twintigduizend papers onder de loep, en vond in bijna 4 procent daarvan ‘problematische afbeeldingen.

Welke problemen komt u zoal tegen?

‘Ik onderscheid drie types. Soms komt hetzelfde plaatje gewoon twee keer voor in dezelfde paper. In het tweede geval zie je overlap tussen twee beelden, of is een beeld 180 graden gedraaid of gespiegeld. Dat is wat moeilijker te herkennen, maar als je erop let, zie je het wel. In het derde geval zie je binnen hetzelfde beeld herhalingen van bijvoorbeeld dezelfde cel, of hetzelfde eiwitbandje. Zoals je in een gewone foto een paar keer dezelfde boom of wolk zou zien.’

Hoe waarschijnlijk is het dat zoiets moedwillig gebeurt?

‘Duplicaties van het eerste type zouden gewoon foutjes kunnen zijn. Die beelden lijken vaak erg op elkaar, en het kan gebeuren dat je per ongeluk twee keer dezelfde afbeelding gebruikt. Bij het tweede en derde type is het al wat waarschijnlijker dat er opzet in het spel is. Een beeld spiegelen of roteren doe je niet per ongeluk. En duplicaties binnen hetzelfde beeld zijn bijna onmogelijk te verklaren door een eerlijk foutje.’ 

‘Maar soms blijkt er wel degelijk een andere verklaring te zijn. Zo kunnen hele dunne plakjes weefsel aan elkaar blijven kleven, of blijkt een steeds terugkerende cel een vlekje op de microscoop te zijn. Ik ken niet alle mogelijke verklaringen. Daarom zet ik wat ik zie ook op Twitter, zodat mensen kunnen meedenken. Ik roep ook niet te snel dat het om fraude gaat. Maar inmiddels heb ik zoveel papers gezien, dat ik wel een neus heb ontwikkeld voor wat hoogstwaarschijnlijk opzettelijk is gedaan.’

Waarom zou je als wetenschapper zoiets doen?

‘Soms is het gewoon luiheid. Je ziet dat dezelfde beelden vaak worden gebruikt om controle-experimenten te illustreren. Als je bijvoorbeeld wil aantonen dat een bepaald eiwit meer of minder voorkomt na een bepaalde interventie, moet je dat vergelijken met controle-eiwitten, die als het goed is steeds in dezelfde mate voorkomen. Als je dan geen zin hebt om zo’n controle te doen, pak je gewoon een oud plaatje.’

‘Het kan ook zijn dat een experiment wel degelijk is uitgevoerd, maar niet het gewenste resultaat opleverde, en daarom is vervangen door een ander beeld. Vind je bijvoorbeeld na een nieuwe therapie meer of minder cellen dan je had gehoopt, dan fotoshop je er wat weg of erbij.’

‘Maar wat er precies is gebeurd, weet ik natuurlijk niet. Ik kan alleen maar signaleren dat ik zie dat beelden sterk op elkaar lijken en laat de mogelijkheid van een redelijke verklaring altijd open.’

Welke types fouten vond u in het werk van de groep rond Catherine Verfaillie?

‘In vier papers ging het om het eerste type, precies hetzelfde plaatje voor een ander experiment. In elf papers zag ik fouten van het tweede type, en in drie papers het derde type.’ 

Uit uw grootschalige analyse blijkt dat het probleem mettertijd is toegenomen.

‘Ja. De oudste papers die we hebben gescreend dateren van 1996. Photoshop bestond toen al, maar de meeste labs gebruikten het helemaal niet. Begin jaren 1990 stuurde je je manuscript en foto’s in meervoud naar een vakblad op. Sjoemelen is met de opkomst van digitale beelden en Photoshop veel makkelijker geworden.’

Hoe gaat u precies te werk?

‘Ik kijk gewoon.’ (lacht)

Hoeveel papers hebt u inmiddels onder ogen gehad?

‘Ik houd het niet zo gedetailleerd bij, want dat is te veel werk, maar ik schat iets tussen de vijftig- en zestigduizend.’ 

Hebt u contact met anderen die hetzelfde doen?

‘Ik maak deel uit van een clubje van zes experts die elkaars oordeel en hulp vragen. Ik ken ze niet allemaal, want vaak gebruiken mensen een pseudoniem. Ik post zelf vaak opmerkingen op PubPeer in eigen naam, maar heb net als de anderen ook meerdere anonieme accounts.’

Vanwaar die anonimiteit?

‘Omdat dit werk onprettige gevolgen kan hebben. Zowel voor de carrière of het leven van de klokkenluiders, als voor de betrokken onderzoekers. In sommige landen is dat een probleem dat niet besproken mag worden.’ 

‘Ik besef zelf ook dat iemand mij kan aanklagen of mijn huis in brand steken. Als je honderden papers bekritiseert, hoeft er maar één wetenschapper tussen te zitten die zich beledigd voelt en iemand op mij afstuurt.’

Kreeg u al vaak negatieve reacties?

‘Eén keer heeft een wetenschapper mijn adres op PubPeer gezet, dat gelukkig meteen is verwijderd. Dat is eng.’

En positieve?

‘De betrokken onderzoekers reageren in naar schatting twee derde van de gevallen niet. Soms volgt er een flauw excuus – ‘de stagiair heeft het gedaan’ – of een lange uitleg die moet duidelijk maken dat er geen reden was om te manipuleren, waarvan ik nooit iemand beschuldig.’

‘In minder dan 10 procent van de gevallen volgt er een beleefd ‘Dank dat u dit heeft gevonden, we gaan ernaar kijken.’ Van Xuetao Cao kreeg ik een persoonlijke mail met de boodschap dat hij dit serieus nam, en dat hij ernaar zou kijken. Die heeft hij ook op PubPeer geplaatst.’ 

‘Ik werd door anderen wel gewaarschuwd dat er Chinese hackers op mij zouden worden afgestuurd. Voorlopig heb ik nog niets gemerkt. Cao is één van de topwetenschappers in China en wordt door de overheid gesteund. Als je in China kritiek op zo iemand uit, worden je posts op sociale media soms verwijderd. Ik ben benieuwd wat hiervan de gevolgen zullen zijn. Vermoedelijk zal de schuld wel in de schoenen van één of andere promovendus of postdoctoraal onderzoeker worden geschoven.’

Want dat is hoe het meestal gaat?

‘Ja. Het is makkelijk om de persoon die het onderzoek heeft uitgevoerd de schuld te geven.’ 

‘De topwetenschappers zijn niet de mensen die in het lab werken, maar ze bepalen wel de sfeer in het lab. Als jij als onderzoeksleider onmogelijke eisen stelt en geen mislukking accepteert, dan kunnen je onderzoekers in de verleiding komen om te sjoemelen. Veel jonge onderzoekers zijn voor de rest van hun carrière erg afhankelijk van hun oversten en de concurrentie is groot. Dan ben je bereid alles te doen, en soms te veel. Een onderzoeksleider moet daarom duidelijk stellen dat het beter is een mislukking eerlijk te melden dan te sjoemelen.’

Wat beschouwt u als uw grootste successen?

‘Het is toch bijzonder wanneer je in een paper in een topvakblad iets opmerkt dat nog niemand heeft gezien, terwijl miljoenen mensen er al naar hebben gekeken. Recent merkte ik nog een duplicatie op in een Nature-paper door onderzoekers van Harvard University. Ook die zaak is nog hangende. Voor mij is dit een jacht, en dan is het sowieso leuk wanneer je iets vindt. Het is zoals paaseieren zoeken: als je er geen vindt, hou je er snel mee op.’

‘Voor de wetenschap is het een succes wanneer een paper teruggetrokken wordt. Dan ziet iedereen dat er iets aan de hand is en dat je niet op de resultaten kunt vertrouwen. Want dat is natuurlijk belangrijk.’ 

‘Kijk, ik besef dat mijn werk niet leuk is voor de mensen die ik indirect beschuldig en dat ik hierdoor mensen schade berokken. Maar ik kan niet de andere kant opkijken. Zeker als het om papers in topbladen gaat. Veel wetenschappers baseren hun onderzoek daarop. Als experimenten niet hebben plaatsgevonden of zijn vervalst, is hun werk misschien voor niets.’

‘Ik vergelijk het graag met doping in de sport. Dat ze Lance Amstrong zijn tourzeges hebben afgenomen, is natuurlijk tragisch voor die man en zijn fans, maar je wil uiteindelijk toch dat de sport – en in dit geval de wetenschap – er beter van wordt?’

Ziet u positieve evoluties?

‘Ja. Steeds meer vakbladen besteden hier aandacht aan, of hebben mensen in dienst zoals ik. Daarom probeer ik ook zoveel mogelijk mensen bewust te maken van dit probleem. Iedereen kan bijdragen. Ook als student kan je dit soort dingen opmerken en signaleren. Maar je merkt het pas als je weet dat het bestaat.’ 

‘Anderzijds denk ik dat het probleem omvangrijker is dan we denken op basis van wat mensen zoals ik vinden. Ik zie alleen de domme fouten. En door daarover te communiceren, weten onderzoekers met slechte bedoelingen ook waar ze op moeten letten. Ik vrees dat we altijd een beetje achter de feiten zullen blijven aanhollen.’