Word je uitgenodigd voor een sollicitatiegesprek of niet? Zal je een lening krijgen voor je huis? En zelfs: word je een doelwit voor een bomaanslag? Steeds vaker helpt artificiële intelligentie (AI) om beslissingen te nemen. Maar die beslissingen zijn soms niet eerlijk, stelt onderzoeker Carmen Mazijn.
Luister naar de bijbehorende podcast onderaan dit artikel.
De opmars van artificiële intelligentie is niet meer te stuiten. Het is een geweldige techniek die ons op veel domeinen kan helpen, zegt Carmen Mazijn. ‘Maar we mogen er niet blind op vertrouwen. Een AI-systeem is een black box. Het wordt gevoed met een dataset met duizenden en duizenden voorbeelden, maar het krijgt geen regels mee. Het systeem moet in die dataset patronen herkennen en op basis daarvan zelf regels maken om tot een model te komen. Dat model bestaat uit miljoenen parameters in een wiskundige structuur die voor mensen onbegrijpelijk is. Het is een beetje contradictorisch: mensen creëren het systeem, maar snappen vervolgens niet hoe de output van dat systeem tot stand komt.’
AI kan discriminerende of absurde regels hanteren, en zelfs levensgevaarlijk zijn. LinkedIn liet tot voor kort vacatures voor CEO’s hoofdzakelijk aan mannen zien. Want uit de historische data waarmee het algoritme was gevoed, had het afgeleid dat vrouwen over het algemeen niet in aanmerking komen voor dat soort functies. In het Verenigd Koninkrijk liet men tijdens de coronapandemie AI los op de nationale examenresultaten van studenten. Want misschien moesten die, gezien de omstandigheden, bijgesteld worden. Het resultaat: het systeem trok de resultaten op van jongeren die naar school gingen in een rijke buurt. Bij jongeren van scholen uit arme buurten werd het examenresultaat naar beneden bijgesteld. ‘Het model was getraind met data van voorgaande jaren, en daaruit had het blijkbaar een patroon herkend of geleerd dat bepaalde studenten afstraft’, zegt Mazijn. Na protest werden uiteindelijk de originele scores behouden.
‘Op Europees niveau mogen AI-systemen pas op de markt komen als ze aantoonbaar niet discrimineren. LUCID kan een van de manieren zijn om dat na te gaan’
Nog straffer: het Israëlische leger heeft AI gebruikt om tienduizenden doelwitten aan te wijzen voor bomaanslagen op veronderstelde leden van Hamas. Hoe het systeem precies tot het besluit kwam dat het om Hamas-leden ging, is door de black box niet helemaal duidelijk.
‘Als we niet snappen op welke manier AI beslissingen neemt, dan weet je niet of het eerlijke en terechte beslissingen zijn’, zegt Mazijn. ‘Als er sprake is van discriminatie, kan dat aan de input liggen. Is er discriminatie in de samenleving, dan is die ook aanwezig in een goede dataset. Maar een systeem kan ook patronen oppikken die eigenlijk niet aanwezig zijn in de maatschappij. De manier van trainen kan eveneens resulteren in discriminatie op basis van leeftijd, etnische achtergrond, naam, … Door feedback loops wordt een patroon dat er eigenlijk niet is, ontwikkeld, en dan wordt dit een selffulfilling prophecy.’
De black box openbreken
Mazijn spoort discriminatie in AI op. ‘Traditioneel keken we naar de uitkomsten. Zijn die representatief? Nu gaan we kijken hoe de data worden verwerkt – naar die black box, dus.’ Dat resulteerde in de ontwikkeling van de techniek LUCID. ‘LUCID breekt het systeem open om te ontdekken welke regels AI gebruikt. Als daaruit blijkt dat het systeem discrimineert, dan moet het aangepast worden.’
Mogelijk helpt het als je de dataset waarmee het systeem wordt gevoed, wijzigt. ‘Je kunt data toevoegen, of dupliceren, zodat er meer voorbeelden in zitten van bepaalde minderheidsgroepen.’ Een tweede manier is gericht op de architectuur van het systeem. ‘Misschien stellen we de verkeerde vraag. ‘Wie is de beste persoon om onze huidige CEO te vervangen?’, zal een ander antwoord opleveren dan ‘Wie is de beste persoon om dit team te leiden?’, of nog: ‘Welke persoon zal dit team divers maken?’’ Tot slot kan het ook helpen als de teams die AI-systemen ontwikkelen diverser worden. ‘Nu bestaan die vooral uit westerse mannen. Zij bepalen dus ook de regels, en wat belangrijk of onbelangrijk is.’
LUCID is intussen gratis online beschikbaar. Ontwikkelaars kunnen het dus loslaten op hun AI-systeem om te checken of er sprake is van discriminatie, en zo nodig aanpassingen doen. Ook zijn Mazijn en haar team in contact met overheden, om te benadrukken hoe belangrijk dit soort checks zijn. ‘Op Europees niveau mogen AI-systemen pas op de markt komen als ze aantoonbaar niet discrimineren. LUCID kan een van de manieren zijn om dat na te gaan.’
Toekomst in Kenia
Mazijn neemt als onderzoeker een bijzondere positie in, tussen onderzoek en beleid. Tussen wiskunde en maatschappij. Dat is een bewuste keuze, die ze als achttienjarige al maakte. ‘Op de middelbare school vond ik wiskunde het interessantste vak, maar ik wilde ook echt in de wereld staan en een positieve bijdrage leveren aan de maatschappij. Na een onderhandeling met mijn ouders mocht ik, als ik slaagde in mijn master wiskunde, nog een bijkomende master politieke wetenschappen starten. Als wiskundige kwam ik toen in een andere wereld terecht. Terwijl eerst alles strikt correct of fout was, ging het nu over context. Ik leerde op een heel andere manier denken. In mijn onderzoek naar de ethiek van AI komen beide aspecten samen. Het gaat over de wiskundige structuren achter die systemen, maar ook over hoe dat werkt in onze maatschappij en hoe we AI op een positieve manier kunnen gebruiken.’
AI is een heel interessante techniek die veel kan betekenen voor het onderwijs, in de bedrijfswereld, op allerlei vlakken, vindt Mazijn, ‘maar mensen blijven verantwoordelijk, en moeten kunnen uitleggen waar beslissingen vandaan komen.’
Intussen slaat ze zelf een andere weg in. Hoewel ze nog deeltijds als gastprofessor verbonden is aan de VUB, loopt ze ook voltijds stage als Belgisch diplomaat. Volgend jaar verhuist ze naar de Keniaanse hoofdstad Nairobi. ‘Ik droomde er altijd al van om naar het buitenland te verhuizen. Ik zal er de belangen van België behartigen.’ Toch laat ze de wetenschap niet helemaal los. ‘Binnen het ministerie van Buitenlandse Zaken ben ik lid van de taskforce AI. We onderzoeken op welke manier AI nuttig kan zijn voor het ministerie en voor de diplomatie. Daarnaast staat AI hoog op de agenda van onder meer de Verenigde Naties en Unesco. Ik hoop dat ik met mijn kennis en expertise daar ook een bijdrage kan leveren.’
Bio
Carmen Mazijn (1992) studeerde wiskunde en vervolgens politicologie. Ze promoveerde aan de Vrije Universiteit Brussel op de detectie van discriminerende patronen in artificiële intelligentie. Ze is nu nog deeltijds als gastprofessor verbonden aan de VUB, maar vertrekt volgend jaar naar Kenia om aan een carrière als Belgisch diplomaat te beginnen.
