Remedies tegen fraude

‘Welk deel van een wetenschappelijk experiment heeft een onderzoeker niet in de hand?’, vraagt neurowetenschapper Chris Chambers aan het publiek op een fraudedebat in Londen. ‘Zijn resultaten.’ De wetenschappelijke methode moet een onderzoeker ervan weerhouden zichzelf te bedriegen of door anderen bedot te worden. ‘Fraude,’ zo gaat Chambers verder, ‘is het manipuleren van die resultaten voor een of ander gewin of voor een beloning.’ Sommige wetenschappers gaan daar erg ver in, en krijgen tientallen vervalste artikelen gepubliceerd.

De gevolgen van wetenschapsfraude zijn nochtans niet te onderschatten. Wie resultaten manipuleert of verzint, en die gepubliceerd krijgt, besmet ander onderzoek: de valse data raken verweven in andere artikelen, in lessen en lezingen. De praktijk leert dat frauduleuze studies nog lang voortleven nadat ze zijn ontdekt. Een Amerikaans onderzoeker stelde vast dat de meer dan 1.100 teruggetrokken artikelen (retractions) tussen 1997 en 2009 in totaal nog meer dan tweeduizend keer nietsvermoedend werden geciteerd.

Fraude in de medische wetenschap kan proefpersonen in gevaar brengen. Onderzoeker Grant Steen telde dat de voorbije tien jaar bij 180 teruggetrokken studies 9.200 patiënten waren behandeld op basis van de onbetrouwbare data. 71.000 patiënten kregen een behandeling in studies die de teruggetrokken artikelen citeerden. Misleidende data in medisch onderzoek kunnen de ontwikkeling van medicijnen ook vertragen of nutteloze behandelingen langer in zwang houden.

Een betrapte wetenschapper slaat ook een financieel gat. Onderzoekers raamden één fraudezaak aan een New Yorks kankerinstituut op ongeveer 394.000 euro, van gebruikte fondsen en uurlonen van de onderzoekscommissie tot kosten voor de aanwerving van een nieuwe medewerker. En een fraudeur richt bijna altijd sociale schade aan: hij besmet de cv’s en carrières van co-auteurs en collega’s.

En misschien nog het schadelijkst: iedere fraudeur tast de betrouwbaarheid van wetenschap aan. ‘Er is niet veel fraude nodig om het vertrouwen van het brede publiek in wetenschap te vernietigen’, vindt prof. Bart Pattyn, filosoof en ethicus aan de KU Leuven. ‘Als je weet dat een wetenschapper de waarheid spreekt in 95 procent van de gevallen, zal je hem nooit vertrouwen.’

Onder de radar
Harde cijfers over fraude in Nederland en Vlaanderen ontbreken. De enquête die Eos bij medische onderzoekers liet uitvoeren (zie artikel p. 24-28) is een eerste aanzet.

Internationale studies zijn er wél. Uit een metastudie van Daniele Fanelli (University of Edinburgh), een autoriteit in fraude-onderzoek, blijkt dat twee procent van de wetenschappers toegeeft wel eens data te hebben verzonnen, vervalst of aangepast om een hypothese te doen kloppen. In de Eos-enquête was dat zelfs acht procent. Als je weet dat er jaarlijks meer dan twee miljoen papers worden gepubliceerd, zou je enkele tienduizenden frauduleuze artikelen per jaar kunnen verwachten. En in een ideale wereld ook evenveel terugtrekkingen van artikelen. Maar afgelopen jaar en ook in 2011 zijn er ‘slechts’ een vierhonderdtal teruggetrokken.

Waarom zo weinig? Er is natuurlijk fraude die vóór publicatie ontdekt wordt, door een alerte onderzoeker in het lab, door een peer reviewer die het artikel bekijkt voor publicatie, of door de detectiesoftware van vaktijdschriften. Maar dat is niet de enige verklaring. ‘Als je echt goed bent in frauderen, is het niet detecteerbaar’, zegt Amerikaans sociaalpsycholoog Uri Simonsohn, die met een statistische methode de Belgische marketinghoogleraar Dirk Smeesters betrapte op ‘datamassage’. ‘Het is als vragen hoeveel vals geld er in omloop is. We vatten alleen de slechte valsemunters.’ Bovendien zijn er weinig klokkenluiders. Fanelli: ‘In de helft van de fraudezaken die wetenschappers zich herinnerden, werd geen actie ondernomen.’ Zo blijft veel fraude onder de radar.

Daarom zouden klokkenluiders voldoende bescherming moeten krijgen, zodat een melding niet als een boemerang in hun gezicht komt. Veel universiteiten hebben een meldpunt en een commissie wetenschappelijke integriteit die de kwesties onderzoekt. In mei 2013 komt er in Vlaanderen, naar Nederlands voorbeeld, ook een overkoepelende commissie. Die kan een tweede opinie geven bij de gemelde zaken aan de universiteiten en kenniscentra.

Hoofdredacteurs en uitgevers van vaktijdschriften kunnen dan weer advies en begeleiding krijgen van het Committee on Publication Ethics (COPE) als ze wanpraktijken vermoeden. De zevenduizend leden van COPE – waaronder de grootste uitgeefbedrijven, zoals Elsevier of Springer – onderschrijven ook de richtlijnen van het comité. Die stok achter de deur is nodig. ‘Je hebt heel kordate hoofdredacteurs, maar velen zijn niet altijd bereid om een frauduleus artikel terug te trekken’, zegt Ivan Oransky, journalist en mede-oprichter van de website RetractionWatch.com. ‘Ze zoeken de creatiefste smoezen of omschrijven de reden voor terugtrekking zo vaag mogelijk.’ Oransky wil vaktijdschriften rangschikken op basis van openheid – een zogenoemde ‘transparantie-index’. ‘Dan stimuleren we vaktijdschriften om open te zijn over fouten en fraude, en weten de lezers hoeveel vertrouwen ze kunnen hebben in de artikelen in het tijdschrift.’

Steeds meer fraudeurs?
De voorbije tien jaar zijn terugtrekkingen in verhouding tot het totale aantal publicaties steil de hoogte in gegaan. Volgens een recente studie in PloS One gaat twee derde van de terugtrekkingen over wangedrag (van fraude over onterechte auteurschappen tot dubbel publiceren), een kleiner aandeel zijn eerlijke fouten, waarbij auteurs bijvoorbeeld zelf een artikel terugroepen omdat ze zich schromelijk hebben vergist.

Is die stijging in terugtrekkingen een slecht teken? ‘Ze is deels te verklaren door betere detectie: steeds meer vakbladen gebruiken software om plagiaat en beeldmanipulatie op te sporen en gaan steeds verder terug in de tijd om hun archief te zuiveren’, zegt Oransky. ‘Vakbladen zijn nu ook online beschikbaar, wat meer ‘ogen’ de kans geeft fouten te ontdekken’. Fanelli is het daarmee eens: ‘De stijging is geen direct bewijs dat er meer fraude is. Het is veeleer een teken dat we dichter bij de oplossingen voor het probleem komen.’

Maar niet iedereen ziet het zo positief. Ferric Fang, hoofdredacteur van het vakblad Infection and Immunity, vindt de stijging in terugtrekkingen ‘een symptoom van een disfunctioneel wetenschapsklimaat’. Hij stelde in een eigen onderzoek vast dat er een sterk verband is tussen het aantal terugtrekkingen en de zogenoemde impactfactor van een tijdschrift, die berekend wordt op basis van het aantal keren dat het tijdschrift geciteerd wordt. Toptijdschriften zoals New England Journal of Medicine, The Lancet of Nature tellen de meeste terugtrekkingen. ‘In een onderzoekswereld waarin er veel gegadigden zijn voor een beperkt aantal jobs, kan een publicatie in die tijdschriften alles of niets betekenen voor je carrière. De beloning is buiten proportie en kan onderzoekers aanzetten om meer risico’s te nemen in de manier van onderzoeken, data presenteren en interpreteren’, aldus Fang in het artikel.

Wat doping is in het wielrennen, is manipuleren en verzwijgen van onderzoeksdata binnen de universiteiten? Oransky: ‘Die vergelijking is correcter en toepasselijker dan wetenschappers willen horen.’ De Eos-enquête wijst ook in die richting: meer dan de helft van de Vlaamse hoogleraren en een derde van de hoogleraren in Nederland denkt dat de hoge publicatiedruk hun collega’s ertoe aanzet data (on)opzettelijk te manipuleren.

Terug naar traag
De publicatiedruk is erg groot, en dat zorgt dus voor overhaast, slordig en soms frauduleus wetenschappelijk onderzoek. Als we weer meer aan slow science willen doen, moeten we de evaluatiecriteria voor fondsen en posities aan de universiteit in vraag stellen, geven veel wetenschappers aan in de Eos-enquête. ‘Het zou beter zijn onderzoekers te evalueren op de herhaling en bevestiging van hun onderzoek door anderen, dan op die publicatie in Nature’, zegt Daniele Fanelli. ‘Dat is niet makkelijk en het vraagt veel tijd, maar dat is volgens mij de goeie weg.’

Herhaalonderzoek is niet voor alle vakgebieden even makkelijk. ‘In de fysica is het veel gebruikelijker om een bepaalde vaststelling met verschillende experimenten te herbevestigen, terwijl het in de gedragswetenschappen veel moeilijker is om een identieke onderzoekssetting opnieuw te creëren’, zegt Elisabeth Monard, secretaris-generaal van Fonds Wetenschappelijk Onderzoek Vlaanderen (FWO). ‘Welke criteria je ook hanteert bij de jurering van fondsaanvragen, je laat het best een panel van vakgenoten en buitenlandse experts de waarde van een onderzoeker inschatten. Het aantal publicaties is heel belangrijk, maar de experts kijken verder dan dat alleen. Ook het innovatieve en de methodologie van het onderzoeksvoorstel tellen mee.’

De concurrentie voor fondsen bij FWO, dat fundamenteel onderzoek financiert, is enorm: slechts één op de vijf aanvragers krijgt geld. ‘Dat is heel weinig’, vindt Monard. ‘De middelen groeien jammer genoeg niet mee met het aantal onderzoekers.’ Vooral voor promovendi is de publicatiedruk groot, vindt Paul Van Cauwenberge, rector van de Universiteit Gent. ‘Zij moeten in vier jaar tijd een aantal A1-publicaties (in internationale vaktijdschriften met peer review, red.) verzamelen, en dan zie je dat ze bijvoorbeeld hun onderzoek opdelen in verschillende kleine papers in plaats van in te zetten op één groot, kwalitatiever artikel. Sjoemelen is dat niet, maar ik hou er niet van, omdat die opgedeelde artikelen minder impact hebben.’

Maar ook de universiteiten zelf sporen onderzoekers indirect aan veel te publiceren. Want hun overheidsfinanciering hangt voor de helft af van wetenschappelijke output: het aantal proefschriften, A1-publicaties, hun impactfactoren en aantal citaties, en het aantal octrooien.

‘We moeten ons bezinnen over die maatstaf’, vindt Van Cauwenberge. ‘Ze beloont te veel de kwantiteit.’ Van Cauwenberge heeft zelf een voorstel: ‘We zouden onafhankelijke jury’s of leescommissies kunnen samenstellen die de werkelijke kwaliteit van gepubliceerde artikelen beoordelen. En die scores kunnen dan in de sleutel meegenomen worden om de financiering van een universiteit en van de verschillende faculteiten te berekenen.’

Positivitis
Niet alleen de stijging in terugtrekkingen, ook de opmerkelijke stijging in het aantal ‘positieve’ studies is een mogelijk signaal dat wetenschapsfraude vandaag vaker voorkomt dan vroeger. Positieve studies hebben resultaten die de vooraf bepaalde hypothese bevestigen. Volgens een onderzoek van Fanelli is de frequentie van positieve uitkomsten met meer dan een vijfde gestegen tussen 1990 en 2007. Er zijn wel verschillen per discipline: in psychologie en psychiatrie leverde gemiddeld 90% van de studies positieve resultaten op, waarmee ze koplopers zijn. De zogenoemde harde wetenschappen – ruimtewetenschap (70%), aardwetenschappen (75%), fysica (85%) – scoren het laagst, daartussenin zitten de biologische en biomedische wetenschappen. Te mooi om waar te zijn, vinden critici: ze vrezen dat de stijging in positieve resultaten een teken aan de wand is voor bewuste of onbewuste datamanipulatie.

Vaktijdschriften werken die trend in de hand. Journals vinden negatieve studies niet mediageniek. Zulke studies worden ook minder geciteerd, wat de impactfactor van het tijdschrift laag houdt. Onderzoekers laten hun negatieve data dan in de la liggen. Zo gaat veel waardevolle kennis verloren, en wordt vaak ‘overbodig’ onderzoek gedaan, omdat wetenschappers niet weten dat een studie elders al een negatief resultaat opleverde.

Reviewproces omvormen
Een van de meest vernieuwende voorstellen om die ‘positivitis’ te keren, is de beoordeling door vaktijdschriften te veranderen. In plaats van te kijken naar de data van een onderzoeker, moeten ze zijn plan van aanpak lezen. Vinden hoofdredacteurs en reviewers het opzet van de studie geschikt voor hun tijdschrift, dan krijgt de onderzoeker een ‘ja voor publicatie’, wat de resultaten van de studie ook mogen zijn. Zo geef je negatieve uitkomsten weer een kans, en wordt de verleiding om resultaten te vervalsen of op te schonen minder groot. ‘Dan krijg je een realistischer beeld van onderzoek, want wetenschap is vaak rommelig en verwarrend voor ze tot iets vernieuwends leidt’, zegt Brian Nosek, sociaalpsycholoog van University of Virginia, die het project ondersteunt. ‘Dit systeem verschuift het doel van ‘een volgende publicatie halen’ naar ‘bijdragen aan kennis’.’

Onder meer de vaktijdschriften Social Psychology, Frontiers in Cognition en Cortex zijn al gestart met dit alternatieve publicatieproces. Of ook de grote, commerciële uitgeverijen zullen volgen, is de vraag. Daarnaast bestaan er sinds enkele jaren verschillende ‘Journals of Negative Results’, al zijn die voorlopig nog geen overweldigend succes.

Ruwe data delen
‘Een publicatie is hoe je gezien wil worden als het doek opgaat’, zei een Nobelprijswinnaar ooit. Wat er in de coulissen is gebeurd – het hele denk-, handel- en schrijfproces van een onderzoek – is in vaktijdschrijften niet zichtbaar. Ook dat willen steeds meer onderzoekers opengooien. In online vakbladen is er alvast ruimte genoeg om alle data mee te publiceren met je artikel.

Veel vaktijdschriften verplichten onderzoekers vandaag data te delen als erom gevraagd wordt. Maar Jelte Wicherts, methodoloog van de Universiteit van Tilburg, stelde vast dat maar een op de tien onderzoekers in de psychologie de data ook werkelijk deelt als je hem of haar een verzoek mailt. Toen hij studies van weigeraars van naderbij bekeek, bleken ze veel vaker grote fouten te bevatten dan de studies van onderzoekers die de data wel vrijgaven. Wie data niet deelt, heeft wellicht minder kwaliteitsvol en correct gewerkt, besluit Wicherts.

Brian Nosek startte recent een gratis online onderzoeksplatform, Open Science Framework (OSF), om het hele onderzoeksproces – van idee tot artikel – ‘opener’ te maken. Het lijkt op een wetenschappelijk Facebook, waarbij je bergen onderzoeksdata en kladversies van artikelen kunt opslaan, en delen met wie je wil. Zo krijgen co-auteurs meer zicht op elkaars data, en dat stimuleert volgens Nosek onderlinge discussie. Bovendien hoeven vakgenoten aan andere instituten niet meer te wachten op de publicatie van een onderzoek in een vaktijdschrift om voort te werken met een methode of met gegevens. De oorspronkelijke auteur ziet dan hoe vaak zijn onderzoeksmateriaal is ‘ge-fork-t’ en door wie (vergelijk het met de ‘deel’-knop op Facebook). ‘Door open aan onderzoek te doen, toon je anderen dat je correct werkt. Het lost niet alles op, maar als steeds meer onderzoekers zo aan onderzoek doen, zullen anderen moeten uitleggen waarom ze nog ‘gesloten’ werken’, zegt Nosek.

Deontologie bijbrengen op verschillende momenten in een onderzoekscarrière, een open debatcultuur stimuleren binnen een lab, peer review opwaarderen zodat reviewers grondiger nalezen. Het zijn maar enkele suggesties die onderzoekers doen om valse data uit de wetenschappelijke literatuur te weren.

Maar wetenschappers blijven natuurlijk ook mensen, met hun dosis egoïsme en feilbaarheid. ‘Ja, dat is zo’, zegt cognitief neuropsycholoog Chris Chambers, ‘maar wetenschappers zijn beter getraind dan wie ook om fouten te begrijpen, om te redeneren op basis van bewijs, om problemen op te lossen en onzin te detecteren. Daarom is er geen excuus voor fraude.’