Taalmodellen zoals ChatGPT kunnen met lichte aanpassingen een krachtige tool worden voor scheikundig onderzoek. Hoe werkt dat?
Volgens onderzoekers kan een machine-learningsysteem zoals ChatGPT - met een beetje finetuning - verrassend goed worden in het beantwoorden van scheikundige onderzoeksvragen. AI-systemen voor algemene doeleinden kunnen de eigenschappen van moleculen en materialen of de resultaten van chemische reacties namelijk net zo goed of zelfs beter voorspellen dan meer gespecialiseerde modellen. Daarvoor hebben ze bovendien minder aanpassingen nodig.
Chatbots die op een vergelijkbare manier zijn getraind als ChatGPT, zouden machine learning binnen de chemie aanzienlijk makkelijker kunnen maken. Zij bieden scheikundelaboratoria met beperkte middelen namelijk een krachtige nieuwe onderzoekstool.
Scheikundige training
Grote taalmodellen zijn kunstmatige neurale netwerken die leren uit enorme verzamelingen tekst. Ze kunnen antwoorden genereren op vragen of opdrachten door statistisch te voorspellen hoe zinnen elkaar opvolgen. Om na te gaan wat die systemen kunnen betekenen voor de scheikunde, onderzocht een onderzoeksteam van de Friedrich Schiller Universiteit GPT-3, een vroege versie van het 'brein' achter de chatbot ChatGPT.
De onderzoekers verzamelden eerst informatie over chemische verbindingen en materialen die gelijkaardig waren aan diegenen waarover ze vragen wilden stellen. Die informatie herschreven ze vervolgens tot maximaal dertig vragen en antwoorden. Daarna stuurden ze de gegevens naar OpenAI, het bedrijf achter ChatGPT, om ze toe te voegen aan de trainingsset van GPT-3.
Het verfijnde systeem kon voorspellende vragen beantwoorden over de verbindingen en de materialen die de onderzoekers wilden bestuderen, ook al waren die niet expliciet opgenomen in de invoergegevens. GPT-3 kon dus dingen correct voorspellen zonder over de expliciete kennis te beschikken.
De onderzoekers testten bijvoorbeeld hoe geschikt het systeem is om vragen over legeringen met een hoge entropie (de bewegingstoestanden van moleculen en atomen) te beantwoorden. Die legeringen bestaan uit ongeveer gelijke hoeveelheden van twee of meer metalen. Over gewone legeringen zoals staal is al heel wat bekend, maar dat is niet het geval voor legeringen met een hoge entropie. De nauwkeurig afgestelde taalmodellen kon echter succesvol raden hoe de metalen in een van deze legeringen zich zouden rangschikken.
Drempelverlagend
Bij vragen over materialen die niet opgenomen waren in de trainingsgegevens, waren de resultaten op het vlak van nauwkeurigheid vergelijkbaar met die van meer gespecialiseerde machine-learningtools voor chemie en zelfs met die van expliciet geprogrammeerde computersimulaties.
De onderzoekers toonden ook aan dat ze vergelijkbare resultaten konden bereiken toen ze een open-source versie van GPT-3, GPT-J genaamd, verfijnden. Dit betekent dat laboratoria met een klein budget hun eigen versie zouden kunnen ontwikkelen zonder te hoeven betalen of commerciële hulp te vragen.
Voorlopig zijn er nog mensen nodig om informatie te verzamelen en de input van de taalmodellen voor te bereiden, maar onderzoekers zijn nu bezig met toekomstige versies te ontwerpen die deze stap automatisch kunnen uitvoeren door tekst uit bestaande literatuur te halen.
Dit artikel verscheen eerder in Nature News.
Vertaling: June Roels
