Het natuurlijke gedrag van chatbots

Eén jaar geleden werd ChatGPT op de wereld losgelaten. Hoewel Large Language Models (LLMs) al langer bestonden, was het deze chatbot die zulke modellen bekendheid gaf.

Dat jaar samenvatten is lastig, en precies daarom een goede les voor de toekomst. Chatbots lijken niet meer weg te denken uit onze maatschappij. Toch is het een open vraag of ze ook volgend jaar in een herkenbare vorm zullen bestaan.

Chatbots kosten bedrijven als OpenAI handenvol geld, en dan hebben we het nog niet over de ecologische kost. Tenzij een businessmodel opduikt om voldoende geld te verdienen, zullen chatbots weer uit beeld verdwijnen.

Het afgelopen jaar toonde vooral hoe verrassend het gedrag van deze chatbots is. Zo verscheen recent het gerucht dat chatbots in december neigen met vakantie te gaan. De data waarop ChatGPT getraind is suggereert immers dat december een maand is waar men minder werkt en wat trager op e-mails antwoordt. De chatbot neemt dat patroon daarom over.

Hoewel niet bewezen, onthult het feit dat deze hypothese serieus overwogen wordt iets over de aard van chatbots. Zo’n wintervakantie was uiteraard niet de intentie van de ontwerpers. Maar zo’n onvoorspelbaarheid is eigen aan het beestje.

Deze chatbots steunen op machine learning, een methode om algoritmes dingen aan te leren zonder dat je alle regeltjes expliciet moet programmeren. Je geeft het algoritme enkel training data met de juiste antwoorden.

Stel, je wil zelfrijdende auto’s verkeersborden doen herkennen. Dan geef je het algoritme een verzameling afbeeldingen, sommige met verkeersborden. Aangezien je weet op welke verkeersborden staan, kan je het algoritme belonen als het juist zit. Zo train je het een patroon herkennen, een beetje zoals je een nieuw trucje aanleert aan je hond.

Iedereen die een hond iets probeert aan te leren, weet dat de trouwe viervoeter je instructies wel eens creatief kan interpreteren. Op dezelfde manier zorgen chatbots daarom wel eens voor verrassingen – en gaan in december op vakantie.

Die onvoorspelbaarheid is al langer bekend. In 2019 riepen wetenschappers van MIT bijvoorbeeld op tot de creatie van een nieuwe discipline, machinegedrag (machine behaviour):

“Dit gebied houdt zich bezig met de wetenschappelijke studie van intelligente machines, niet als technische artefacten, maar als een klasse van actoren met bepaalde gedragspatronen en een ecologie. (…) Dit is vergelijkbaar met de manier waarop ethologie en gedragsecologie het gedrag van dieren bestuderen door fysiologie en biochemie - intrinsieke eigenschappen - te integreren met de studie van ecologie en evolutie - eigenschappen gevormd door de omgeving.”

In plaats van ze via hun code te vatten, worden algoritmes bestudeerd via hun gedrag. “Gedrag van dieren en mensen kan niet volledig begrepen worden zonder de context te bestuderen waarin het gedrag plaatsvindt”, vervolgen ze.

“Ook machinegedrag kan niet volledig worden begrepen zonder de geïntegreerde studie van algoritmen en de sociale omgevingen waarin algoritmen opereren.” Om chatbots te begrijpen, moeten we dus beter bij gedragsbiologen, antropologen of sociologen langsgaan.  

Goede computerwetenschappers weten dit eigenlijk al. Hoe perfect je je algoritme ook schrijft, of het werkt moet je vooral ‘in het wild’ testen. Daarom het belang van ‘red teaming’: een aantal ontwikkelaars van het product (het zogenaamde ‘red team’) wordt voor een periode actief ingezet om de zwakheden van de software op te sporen en uit te buiten.

Red teaming is populair bij chatbots, maar ook gebruikers worden daarvoor ingeschakeld. De chatbot (tijdelijk) toegankelijk maken voor een publiek met onvoorspelbare bedoelingen, legt ongepast gedrag van zo’n chatbot bloot. Vervolgens pas je het algoritme aan om dat gedrag te voorkomen.

De vergelijking met biologie laat nog een andere les toe. Biologen benadrukken dat een organisme enkel begrepen kan worden in zijn omgeving. Wat een dier doet, of het kan overleven, en hoe het zich gaat gedragen, hangt af in welke context het zich begeeft.

Voor chatbots gaat hetzelfde op. Niet alleen is de training data de neerslag van een gekleurde context – komt de training data bijvoorbeeld allemaal uit het Westen? – maar ook de omgeving waarin het algoritme zal werken is van tel.

Hoe zit de website eruit waarop de chatbot geraadpleegd wordt? Kan ik de chatbot op mijn smartphone gebruiken? Is de chatbot onderdeel van een socialemediaplatform? Of juist enkel voor intern gebruik bij een advocatenbureau met gevoelige informatie over cliënten?

Zonder antwoorden op zulke vragen, is het zinloos uitspraken te doen over de waarde van een chatbot. Bij het volgende debat over ChatGPT moet daarom misschien eens niet de expert in AI aanschuiven, maar de dokter, de leraar, de advocaat die door de chatbot gekopieerd wordt.

De problemen rond chatbots doen denken aan een uitspraak van een parkwachter van Yosemite National Park. Het is moeilijk, stelde hij, de perfecte vuilbak te ontwerpen zodat beren er niet bij kunnen. “Er is immers nogal wat overlap tussen de intelligentie van de slimste beer en de domste toerist.”

Het ontwerp van de huidige chatbots is heel breed: je kan het voor zowat alles gebruiken. Het gevolg is dat het heel wat toeristen aantrekt.

Maar om te garanderen dat deze diverse hoop toeristen de chatbot kunnen gebruiken, dreigt zo’n chatbot dom genoeg te zijn dat ongenode gasten ook meedoen. Hoe houden we de beren buiten en de toeristen binnen?

Eén optie is te gaan voor slimme vuilbakken, die zelf uitmaken of je toerist of beer bent. In zekere zin is dat wat ontwikkelaars doen door filters op hun chatbots te zetten, die ongepaste uitspraken tegenhouden.

Maar, zoals een parkwachter ook weet, bestaat er ook een andere manier: het park anders inrichten zodat beren en toeristen niet vechten voor dezelfde vuilbak. Hoe we chatbots gebruiken hangt af van sociale omgeving. In plaats van een slimme vuilbak, kun je ook gaan voor een slim park.