Robot Leo leert zichzelf lopen

Robots programmeren voor taken in huishoudens of in de zorg is tijdrovend en lastig. Een efficiëntere aanpak zou kunnen zijn om de robots het in de praktijk zelf te laten leren. Promovendus Erik Schuitema onderzocht hoe robot Leo zichzelf kan leren lopen, met vallen en opstaan.

Robots die (ter plekke) zelf leren om taken te vervullen door interactie met de echte wereld, kunnen een aantrekkelijk alternatief zijn voor ingewikkelde programmatie. Met Reinforcement Learning (RL) kan een systeem leren om taken op te lossen op basis van terugkoppeling op zijn gedrag: goed gedrag wordt versterkt door positieve beloningen, slecht gedrag wordt bestraft door negatieve beloningen.

Meestal wordt dit soort onderzoek louter gedaan via simulaties. Erik Schuitema: ‘We hebben een tweevoetige, lopende robot, genaamd Leo, speciaal ontworpen en gebouwd om onderzoek te doen naar het toepassen van Reinforcement Learning op echte robots. Robot Leo is in staat om twee motorische basistaken te leren: het plaatsen van een voet op een traptrede, en lopen.’

Om te leren lopen, ontvangt Leo een positieve beloning voor het vooruit bewegen van zijn voet, en negatieve beloningen voor het gebruik van tijd en energie. Die beloning is simpelweg een getalletje in de computer dat hoger of lager kan worden. Door uitproberen en bijsturen probeert Leo zijn beloningen te maximaliseren.

Het plaatsen van een voet op de trede, een relatief simpele taak, leerde Leo op deze manier uit zichzelf binnen vijftien minuten. Het leren lopen duurt ongeveer 5 uur in een simulatie, waarbij de robot duizenden keren valt. Omdat de hardware niet helemaal bestand was tegen zoveel keren vallen, werd besloten om Leo in de beginfase van het leren nog een handje te helpen. Hij kon in het begin nog een beetje ‘afkijken’ van de manier waarop lopende robots nu handmatig worden geprogrammeerd. Leo kon deze loopwijze al snel evenaren en zelfs iets verbeteren binnen een aantal uur.

Als de hardware eenmaal beter bestand wordt gemaakt tegen vallen, zal een robot als Leo inderdaad helemaal uit zichzelf kunnen leren lopen, stelt Schuitema. Het lijkt er dus op dat de aanpak via Reinforcement Learning kansrijk kan zijn. Maar dan is er sowieso nog een lange weg te gaan. Schuitema: ‘Het werk staat nog in de kinderschoenen. Het kan nog wel decennia duren voordat dit soort robots in de praktijk aan de slag kunnen.’