Als docent, thesisbegeleider of promotor blijft het moeilijk om een student te betrappen op oneigenlijk gebruik van ChatGPT. Al laat de chatbot wel degelijk sporen na in een tekst.
Ruim een jaar geleden lanceerde OpenAI zijn kunstmatig intelligente chatbot ChatGPT. Sindsdien heeft zeker een derde van de studenten in Nederland er al gebruik van gemaakt, blijkt uit een bevraging van onderzoeksbureau GfK. Ze zien ChatGPT als ‘denkpartner, spellingcontroleur of schrijfhulp’, schrijft NRC. De chatbot laten ze onderzoeksvragen formuleren, of stukjes thesis checken op taalfouten en vlotheid.
Prima, zeggen steeds meer hogescholen en universiteiten daarop. In een set richtlijnen of handvatten zetten onder meer de Universiteit van Amsterdam, de KU Leuven en de Arteveldehogeschool Gent al uiteen hoe studenten met de chatbot kunnen omgaan. Zelfgeschreven teksten mogen ze laten herwerken of verbeteren. Ze mogen de chatbot ook aanspreken om informatie te krijgen over een onderwerp. Niet toegestaan is gegenereerde teksten letterlijk overnemen zonder dat aan te geven, of bestaande teksten laten parafraseren om plagiaat te verdoezelen.
Dat is een duidelijk kader. Of studenten zich daaraan houden, is een andere zaak. Heel wat docenten, thesisbegeleiders en promotoren zijn vragende partij voor een robuuste methode om het gebruik van ChatGPT te detecteren in tekstopdrachten, masterproeven en doctoraatsstudies.
Woorden die steeds terugkeren
Een team van ingenieurs aan de Technische Universiteit Delft dokterde een mogelijke benadering uit. Voor Engelstalige teksten, welteverstaan. ‘De voorbije paar maanden hebben mijn collega’s en ik ons verdiept in hoe ChatGPT werkt en welke output die genereert’, zegt ingenieur Joost de Winter (TU Delft). ‘Gaandeweg kwamen we erachter dat in de teksten die de chatbot genereert bepaalde woorden steeds terugkeren. En dat je naar die woorden op zoek kunt gaan in academisch werk.’
De Winter en zijn collega’s doken in de databanken van academische uitgevers, waaronder ScienceDirect en IEEE Xplore, en die van universiteiten als de TU Delft en de Universiteit van Leiden. Alles samen bevatten die voor 2023 bijna anderhalf miljoen documenten – waaronder artikels, papers en masterproeven. Daarin telden ze hoe vaak sommige trefwoorden voorkomen. Die aantallen vergeleken ze met documenten uit vorige jaargangen, van 2022 tot en met 2019.
‘Als je een vermoeden hebt dat iemand ChatGPT heeft gebruikt en daar niet transparant over is, dan kun je die persoon vragen om bijvoorbeeld passages te verduidelijken’
‘Een woord als ‘fostering’ (bevorderen, red.) kwam veel meer voor in teksten die dit jaar zijn geschreven’, zegt De Winter. ‘In de databank van de TU Delft vonden het 10 keer in werk uit 2021, tegenover wel 65 keer in 2023. En in IEEE Xplore is het gebruik van ‘delves’ (verdiept zich, red.) op twee jaar tijd met 169 procent toegenomen.’
Pik je die woorden meermaals op in een masterproef of een ander studentenwerk, dan ben je misschien het kruimelspoor van ChatGPT aan het volgen. Al zou het verkeerd zijn om daaruit overhaaste conclusies te trekken, waarschuwt De Winter. ‘Die patronen van sleutelwoorden vonden we terug in een groot corpus van academische teksten. Je kunt ze niet een op een toepassen op afzonderlijke werken.’
Wel hebben de sleutelwoorden een zekere signaalfunctie. ‘Als je een vermoeden hebt dat een scholier, student of onderzoeker ChatGPT heeft gebruikt en daar niet transparant over is, dan kun je die persoon vragen om bijvoorbeeld passages te verduidelijken, of stimuleren om een meer oorspronkelijke tekst aan te leveren.’ Dat leidt dikwijls tot een beter werkstuk. Niet alleen de docent of begeleider is daarbij gebaat.
Transparant
De methode kan een waardevolle aanvulling vormen bij de bestaande tools om AI-gegenereerde passages te detecteren. Of een vervanging, want die tools bieden vaak weinig houvast, vindt De Winter. ‘Ze tonen op zinsniveau waar ze output van artificiële intelligentie menen te vinden, maar zeggen zelden hoe ze daartoe komen. Dan is een methode waarmee je zelf op zoek kunt gaan naar signaalwoorden een stuk transparanter.’
De Winter en zijn collega’s vroegen zich nog af of docenten ChatGPT kunnen inzetten om het werk van studenten te beoordelen. In twee workshops, bijgewoond door 96 onderwijsprofessionals, namen ze de proef op de som.
Menselijke controle blijft aangewezen. Voor docenten én studenten
Deelnemers aan de workshop vroegen de chatbot op verschillende manieren om een gegeven abstract te beoordelen op zaken als inhoudelijke consistentie, academische kwaliteit of schrijffouten. De chatbot voldeed niet helemaal aan de verwachtingen. Zijn beoordelingen waren te zeer afhankelijk van hoe de deelnemers hun opdracht formuleerden.
ChatGPT bleek wel nuttig bij het aanwijzen van zwaktes, stroeve zinnen, en inhoudelijke fouten. Al kon ook daar de ingevoerde prompt sterk bepalen hoe goed de AI daarbij presteert. Menselijke controle blijft aangewezen, was het besluit. Voor docenten én studenten, dus.
