Een nieuw implantaat zet hersensignalen van patiënten met spierverlamming om in tekst, spraak en gezichtsuitdrukkingen.
Openingsbeeld: Ann probeert te spreken met haar gedachten. Het implantaat vertaalt haar hersensignalen naar spraak en gezichtsuitdrukkingen © Noah Berger / UCSF
Ann was dertig jaar oud toen ze tijdens een spelletje volleybal met vrienden werd getroffen door een beroerte. Ze verloor alle controle over de spieren in haar lichaam, zelfs ademen kon ze niet meer zelfstandig. Later werd Ann gediagnosticeerd met het locked-insyndroom, een aandoening waarbij nagenoeg alle communicatiekanalen wegvallen. Na vijf jaar intense therapie kon ze haar gezichtsspieren net genoeg aansturen om opnieuw te kunnen lachen en huilen. Maar spreken blijft onmogelijk.
Vandaag kan Ann wel weer gesprekken voeren. Onderzoekers van de UC San Francisco en UC Berkeley, onder leiding van neuroloog Edward Chang, ontwikkelden een implantaat waarmee ze via een digitale avatar kan spreken – compleet met gezichtsuitdrukkingen. Die combinatie is nog nooit eerder gelukt. De neuroprothese kan Anns hersensignalen bovendien omzetten in tekst, aan een snelheid van 78 woorden per minuut. Dat is 4,3 keer sneller dan het vorige record en komt in de buurt van een natuurlijk gesprek (160 woorden per minuut). Het systeem is ook uitzonderlijk accuraat: in een set van vijftig zinnen had het systeem een woordfoutenmarge van 4,9 procent – dat is vijf keer minder dan de huidige state-of-the-artsystemen.
Het implantaat – een dun plaatje met 253 elektrodes – is op Anns brein bevestigd, boven de gebieden die cruciaal zijn voor spraak. De elektrodes vangen de hersensignalen op die normaal worden doorgeseind naar de spieren in tong, kaak, strottenhoofd en gezicht maar die door de beroerte spaak lopen. Via een kabel wordt het implantaat gelinkt aan een batterij computers.
Wekenlang hebben Chang en zijn team hun algoritmes getraind om in de unieke hersensignalen van Ann te ‘luisteren’ naar spraaksignalen. Daarvoor moest Ann steeds weer dezelfde zinnen herhalen. Tijdens die trainingsfase luisterde het algoritme niet naar volledige woorden maar naar fonemen, de kleinste betekenisonderscheidende klankeenheden in een taal.
Voor de stem trainden de onderzoekers een tweede algoritme met een stemopname van Ann op haar trouwfeest, voordat Ann haar beroerte had gekregen. Voor de avatar schakelde het team de hulp in van een AI-bedrijf dat gespecialiseerd is in digitale gezichtsanimatie. Ze ontwikkelden een avatar met kaken, lippen en een tong die reageren op input van het implantaat.
Twee jaar geleden demonstreerden Chang en zijn collega’s een implantaat bij een patiënt die jaren eerder een beroerte had gehad en sindsdien leed aan het locked-insyndroom. Het implantaat kon destijds achttien woorden per minuut omzetten.
De paper waarin Chang en zijn team hun experiment toelichten, is op 23 augustus verschenen in het tijdschrift Nature. In hetzelfde persbericht vermeldt Nature een andere recente studie, waarin wetenschappers rapporteren over een implantaat dat bij een ALS-patiënt gemiddeld 62 woorden per minuut in tekstvorm kon weergeven.
