'Afschaffen giscorrectie maakt examens niet eerlijker'

Giscorrectie als verbetermethode vervangen door 'standard setting' - waarbij je geen punten meer verliest door verkeerd te antwoorden - maakt multiple-choice-examens niet eerlijker. Dat hebben doctoraalstudent Thomas Demoor en prof. Joris Walraevens van Universiteit Gent berekend. Ze geven tekst en uitleg.

De Gentse Universiteit schrapt vanaf volgend academiejaar de giscorrectie als verbetermethode bij meerkeuzevragen. Bij meerkeuzevragen bestaat er altijd het risico dat studenten een vraag juist beantwoorden door te gissen. Tot nu werd dat gecorrigeerd door giscorrectie waarbij voor elk fout antwoord een deel van de punten werd afgetrokken. Universiteit Gent vervangt dit vanaf volgend najaar door het principe van ‘standard setting’, waarbij studenten geen punten meer verliezen als ze een meerkeuzevraag verkeerd beantwoorden, maar wel meer dan de helft van de vragen juist moeten beantwoorden om te slagen voor het examen. De nieuwe verbetermethode moet examens met meerkeuzevragen eerlijker maken. Standard setting elimineert immers het nadeel dat risicoschuwe studenten ondervinden bij giscorrectie omdat zij niet durven gokken ook al weten ze het antwoord bijna zeker. Maar ook die verbetermethode bevat oneerlijke aspecten.

Standard setting verplicht alle studenten te gokken op vragen waarvan ze het antwoord niet weten (vragen blanco laten heeft immers geen zin meer) en evalueert ze rekening houdend met de extra punten die dat gokken verwacht op te leveren. Maar bij gokken kan de effectieve winst natuurlijk flink verschillen van de verwachte winst. Onze berekeningen, van de vakgroep Telecommunicatie en Informatieverwerking van de Universiteit Gent, tonen aan dat standard setting tot een toegenomen variabiliteit (willekeur) leidt tussen studenten die gelijkwaardige prestaties leveren want hun eindcijfers liggen mogelijk ver uit elkaar. Voor een examen met standard setting, 20 vragen en 4 opties per vraag is meer dan de helft (53%) van de studenten die 10 vragen zeker weet en er dan 10 verplicht gokt niet geslaagd omdat ze bij het gokken uit de resterende 10 vragen minder dan de benodigde 3 lucky shots hebben, evenals 30% van de studenten die 11 vragen zeker weten en zelfs nog 10% van studenten die er 12 zeker weten. Giscorrectie benadeelt misschien wel de risicoschuwe student, maar standard setting benadeelt willekeurig een student.

Geluk beïnvloedt resultaat

Een van de voordelen van standard setting is dat het relatief eenvoudig uit te leggen is. Er worden geen punten meer afgetrokken voor foutieve antwoorden zoals bij giscorrectie, maar de studenten moeten meer vragen (de cesuur genoemd) juist beantwoorden om te slagen en een examencijfer van 10/20 of meer te krijgen. Bijvoorbeeld, voor een examen met 20 meerkeuzevragen met telkens 5 antwoordmogelijkheden, moet de student 12 van de 20 vragen juist beantwoorden om te slagen. De student behaalt dan het examencijfer 10/20. De andere examencijfers worden proportioneel berekend. De cesuur wordt zo bepaald dat de kans dat een student slaagt door volledig te gissen even groot is bij giscorrectie als bij standard setting.

De beslissing van de Raad van Bestuur van Universiteit Gent werd kracht bijgezet door eigen simulaties door statistici over slaagkansen. Bij deze simulaties werd er echter uitgegaan van de veronderstelling dat de student bij giscorrectie alle vragen beantwoordt (en dus gokt bij alle vragen waarop hij het antwoord niet zeker weet). We willen in dit artikel aantonen dat als we deze 'onrealistische' aanname laten vallen enkele nadelen van standard setting blootgelegd worden.

Het grote probleem van standard setting is dat men de student verplicht te gokken in plaats van de student de mogelijkheid te bieden vragen niet te beantwoorden. In de praktijk zal de student bij een multiple-choice examen met giscorrectie eerst alle vragen die hij/zij zeker weet invullen en dan de situatie overschouwen om eventueel te gokken. De student kan echter opteren om vragen blanco te laten terwijl bij standard setting hij/zij verplicht wordt te gokken op alle resterende vragen en men dan verwacht dat bij dat gokken de student het aantal punten sprokkelt dat gemiddeld te verwachten valt. Dat kan tegenvallen.

De helft (of meer) van de antwoorden correct gekend maar toch niet geslaagd?

We voeren volgende notatie in: het aantal vragen N, het aantal opties n, de cesuur c. Verder benoemen we met z de correcte zekerheden (vragen waarvan de student het juiste antwoord kent) en het uiteindelijk aantal behaalde punten (vóór het herschalen) met p.

Laat ons, om de zaken wat concreter te maken, eerst focussen op het geval waar studenten bij giscorrectie geslaagd zijn als ze niet gokken op de resterende vragen maar bij standard setting toch een kans hebben om niet te slagen omdat ze pech hebben bij het verplicht gokken. Beschouw daarom een student die z antwoorden zeker weet maar helaas is dat aantal kleiner dan de cesuur (dus z<c). Hij/zij moet dus op de resterende N-z vragen gokken en hopen minstens c-z keer geluk te hebben. Zijn kans om niet geslaagd te zijn kunnen we bepalen als

In tabel 1 ziet u deze kans voor N=20 vragen. We ronden af tot op twee cijfers na de komma. De rijen corresponderen met verschillende waarden voor het aantal opties n en de kolommen met het aantal correcte zekerheden z. Links is de cesuur telkens aangegeven, en een * duidt aan dat de student niet meer kan falen omdat z groter dan of gelijk aan c is. Bij giscorrectie en het blanco laten van de resterende vragen is de student geslaagd vanaf 10 dus rechts van de dubbele verticale lijn.

Bij standard setting voor n=5 en z=11 is er 13% kans dat de student op alle 9 gokken pech heeft en dus de cesuur niet haalt. Van de studenten met z=10 is 38% niet geslaagd. Deze waarden zijn duidelijk niet verwaarloosbaar. Van de studenten die ook bij het systeem met giscorrectie enkel zouden kunnen slagen door te gokken heb je voor z=9 dat 62% niet slaagt omdat ze minder dan 3 keer correct gokken uit de resterende 11 vragen (38% heeft dus geluk met het gokken), voor z=8 is dit 79% en voor z=7 is dit 90%.

Met minder opties per vraag worden de zaken beter (voor de student) omdat de kans dat hij/zij verkeerd gokt dan natuurlijk kleiner is maar ook slechter omdat de cesuur toeneemt. Het geval n=4 is wel extra ongelukkig als de cesuur naar boven afgerond wordt (wat we hier aannemen). De cesuur komt dan op 13 te liggen. Voor een examen met N=20 vragen en n=4 opties is meer dan de helft (53%) van de studenten met z=10 niet geslaagd omdat ze bij het gokken uit de resterende 10 vragen minder dan de benodigde 3 lucky shots hebben, evenals 30% van die met z=11 en zelfs nog 10% van die met z=12.

Tabel 2 beschrijft de gelijkaardige situatie voor N=40 vragen. De conclusies die we hieruit kunnen trekken liggen in dezelfde lijn als bij N=20. Bij n=5 opties hebben studenten met z=23 zekerheden 2% kans om bij hun resterende 17 gokken altijd pech te hebben en dus de cesuur c=24 niet te halen. Voor de student die maar de helft van de vragen zeker weet is de kans om uit de resterende 20 vragen minder dan 4 keer juist te gokken 41%. Bij n=3 en z=22 haalt ongeveer een op vier niet de benodigde cesuur c=27.

Samengevat, bij giscorrectie kan de student die minstens de helft van de vragen zeker weet (maar minder dan de cesuur) en niet meer gokt, zeker zijn geslaagd te zijn. Bij standard setting, waar de student op de resterende vragen verplicht gokt, kan hij/zij verwachten geslaagd te zijn maar dat is verre van zeker.

Ook voor hogere scores wordt de relatieve ordening overhoop gegooid.

Niet enkel voor het al dan niet slagen is er een impact. Neem twee studenten die, bij N=20, n=5, zeker zijn van z=13 antwoorden (meer dan de cesuur c=12). Zij spelen beiden het gokspel met de resterende 7 vragen waarbij men verwacht dat ze beiden gemiddeld 1,4 punten extra behalen. Niet alleen is dit een onhaalbare score (geen geheel getal), maar student 1 kan bijvoorbeeld ook vier keer goed gokken en student 2 maar één keer waardoor hun eindscores beduidend verschillen.

Maar het kan evengoed net omgekeerd zijn waardoor student 2 plots 'duidelijk' beter bevonden wordt. Bij giscorrectie zouden deze studenten vermoedelijk niet alle resterende 7 vragen gokken en dus veel gelijkaardiger eindtotalen behalen. Omdat er veel meer gegokt wordt bij standard setting dan bij giscorrectie (iedereen gokt verplicht) zal de rangorde van studenten ook willekeuriger zijn.

Een relatieve noot

Een andere veronderstelling bij de simulaties uitgevoerd in opdracht van de Universiteit Gent, die ook hier gemaakt wordt, is dat de student volledig willekeurig gokt tussen de n opties. Het is in de praktijk heel moeilijk om een examen op te stellen waarvoor dit geldt. Dit in rekening brengen zal de willekeur die gepaard gaat met standard setting doen afnemen (ruw gezegd kan je per optie die men kan uitsluiten in de tabellen een rij hoger kijken, mits aanpassen voor de gewijzigde cesuur). Maar de willekeur blijft aanwezig. Trouwens, met giscorrectie is het kunnen uitsluiten van opties ook voordelig omdat gokken dan een positieve verwachte winst oplevert.

Standard setting is bedoeld om de risicoschuwe student, die het antwoord bijna zeker weet maar niet durft antwoorden wegens de giscorrectie, tegen zichzelf te beschermen. Men slaagt in dit opzet doordat de student niet langer baat heeft bij het blanco laten van vragen waarover hij/zij onzeker is. Een neveneffect hiervan is dat gokken de regel wordt, waar ze bij giscorrectie een mogelijkheid was. Dat resulteert in een toegenomen variabiliteit (willekeur) tussen studenten die gelijkwaardige prestaties leveren. Giscorrectie benadeelt misschien wel de risicoschuwe student maar standard setting benadeelt willekeurig een student. Het probleem is inherent aan iedere vorm van multiple-choice-examens, op zo'n examen kan je nu eenmaal gokken. Standard setting lost dit probleem niet op en is, wegens de toegenomen willekeur, niet enkel rozengeur en maneschijn.

Dit artikel verscheen ook in Eos Weekblad. Elke vrijdag bieden we u een nieuwsgedreven weekblad, gelardeerd met beeld en geluid. De Eos-app kunt u gratis downloaden (iOS en Android). Met die app haalt u de wekelijkse uitgaven gratis binnen, en kunt u ook Eos Magazine, Psyche&Brein en Eos Memo kopen.