Hoe kan een hoorapparaatgebruiker luistervinken op een familiefeestje? Nieuwe technologie op basis van hersengolven stelt gebruikers in staat te luisteren naar de spreker die ze écht willen horen.
Kerstavond. De 76-jarige Johan zit aan de feestdis met zijn kinderen en kleinkinderen. Hoewel hij erg blij is dat iedereen samen is, voelt hij zich eenzaam.
Johan lijdt aan gehoorverlies. Hij draagt een hoorapparaat dat geluiden versterkt. Helaas weet zijn hoorapparaat niet naar welke persoon hij wil luisteren. Chaos. Daarom schakelt Johan al snel zijn hoorapparaat uit. Hij kan geen enkel gesprek meevolgen en voelt zich eenzaam. Dit is wat schrijfster Helen Keller bedoelde toen ze zei dat “blindheid mensen isoleert van dingen, terwijl doofheid mensen van mensen isoleert.”
Een ‘cocktail party’ situatie = chaos
1 op 10 Belgen lijden net als Johan aan gehoorverlies. Volgens de Wereldgezondheidsorganisatie zal dit aantal, onder meer door de vergrijzing, alleen maar toenemen in de komende decennia, tot 1 op 4 in 2050. Slimme hoorapparaten die doelgericht kunnen luisteren zijn dus onontbeerlijk.
Helaas werken huidige hoorapparaten niet goed in cocktail party situaties, wanneer verschillende personen tegelijk aan het spreken zijn – denk aan recepties, feestjes, ... Het hoorapparaat weet dan niet naar welke spreker de gebruiker wil luisteren en versterkt gewoon alle sprekers even hard of maakt verkeerde beslissingen. Hoorapparaatgebruikers kunnen dan geen enkel gesprek meevolgen. Misschien ervaar ook jij – zelfs zonder gehoorverlies – deze moeilijkheden in zo’n situaties?
Achterhalen naar wie Johan wil luisteren
Een mogelijke oplossing is om de spreker die het dichtste bij Johan staat te versterken. Of de persoon naar wie hij kijkt. Nu wil Johan ook weleens luistervinken om te horen wat zijn partner aan de andere kant van de tafel over hem vertelt – iets wat hij al jaren niet meer heeft kunnen doen.
Maar wat als je rechtstreeks in Johans hersenen zou kunnen lezen naar wie hij wil luisteren? Alleen daar vinden we de juiste informatie terug. Dat is precies wat we in ons interdisciplinair team aan de KU Leuven doen. We meten de elektrische activiteit van de hersenen op via het elektroencefalogram (EEG) en gebruiken deze data om te achterhalen naar wie Johan wil luisteren. Dat EEG meten we op door sensoren op de schedel te plaatsen.
Mijn taak als wiskundig ingenieur is dan om algoritmen te ontwerpen om het EEG uit te lezen en te bepalen naar wie Johan precies wil luisteren. Zo kan je bijvoorbeeld met artificiële intelligentie uit het EEG kenmerken reconstrueren van het spraaksignaal waarvoor een gebruiker aandacht heeft. Door die gereconstrueerde kenmerken te matchen met alle spraaksignalen die het hoorapparaat opvangt, kan je de juiste spreker identificeren. Met deze informatie kan het hoorapparaat dan alle andere gesprekken onderdrukken en de juiste spreker versterken. Problem solved!
Video. Onderstaande demo toont in een simpel scenario met twee sprekers hoe je een hoorapparaat kan sturen door kenmerken van het spraaksignaal waarvoor de gebruiker aandacht heeft te reconstrueren uit het EEG.
De juiste richting bepalen
Toch niet. Het EEG kan je vergelijken met een wazige video (zie ook ‘Kan je gedachten lezen vanuit het EEG?’). De relevante hersenactiviteit ligt begraven onder allerlei andere activiteit – op elk moment zijn er ontelbare processen aan de gang. Om te achterhalen wat er zich op die wazige video afspeelt, hebben we dus genoeg beeldmateriaal nodig – minimaal 30 seconden. Helaas duurt dit te lang voor Johan. Hij kan niet 30 seconden lang wachten vooraleer hij te horen krijgt wat zijn partner over hem vertelt aan de andere kant van de tafel.
We reconstrueren kenmerken van het spraaksignaal waarvoor iemand aandacht heeft uit de hersengolven. Kunnen we dan ook terugvinden wat die persoon zegt? Is het zelfs ook niet mogelijk om te ontcijferen wat je aan het denken bent?
Gelukkig niet. EEG is een niet-invasieve techniek. Dat wil zeggen dat we de signalen opmeten op de schedel en niet onder de schedel. Daardoor is er een grote afstand tussen de EEG-sensoren en de neuronen – de basiscellen van onze hersenen –, die door te vuren elektrische activiteit veroorzaken. Daarnaast dempen het hersenvocht en de schedel deze activiteit. Deze processen zorgen er precies voor dat het EEG zo ‘wazig’ is. Daarom ben ik ervan overtuigd dat het fundamenteel erg moeilijk is om spraak of taal te reconstrueren uit het EEG.
Daarom hebben we in ons labo een nieuwe techniek ontwikkeld die op basis van de hersenpatronen bepaalt naar welke richting in de ruimte Johan zijn aandacht richt. Collega’s van de Columbia University in New York hebben vastgesteld dat er andere hersenprocessen actief zijn wanneer je bijvoorbeeld naar links of naar rechts luistert. Door deze specifieke hersenpatronen op te sporen met artificiële intelligentie, kunnen we heel snel – in minder dan 2 seconden - bepalen naar welke richting iemand luistert. Het hoorapparaat moet dan de spreker versterken op die specifieke locatie.
Onderstaande demo toont hoe we een hoorapparaat kunnen sturen door via de hersenpatronen te bepalen naar welke richting in de ruimte de gebruiker luistert.
Hoewel deze nieuwe techniek door haar hoge snelheid erg beloftevol is, roept ze ook heel wat vragen op. Zo is het op dit moment niet duidelijk welke hersenprocessen er precies actief zijn wanneer we in een specifieke richting luisteren. Het antwoord op deze vragen zal een belangrijke impact hebben op de praktische toepasbaarheid van deze nieuwe techniek. Toekomstig onderzoek moet dit uitwijzen.
Werk aan de winkel
De hier besproken technologie zal ervoor zorgen dat over een aantal kerstfeesten Johan zelf zijn hoorapparaat kan sturen naar de gesprekken die hij écht wil horen. Er is wel nog wat werk aan de winkel om deze veelbelovende technologie te realiseren. Zo vormt de opmeting van het EEG met draagbare sensoren nog een hele uitdaging. Daarnaast experimenteren we in ons labo ook met zelflerende algoritmes die zich automatisch aanpassen aan nieuwe situaties waarin de luisteraar zich bevindt. Ondertussen testen andere teamgenoten deze technologie uit in verschillende scenario’s en omgevingen.
Door deze hordes te nemen, hopen we op lange termijn een breingestuurd hoorapparaat te ontwerpen. Zo kan Johan opnieuw genieten van het kerstfeest met zijn kinderen en kleinkinderen én kan hij eindelijk horen wat zijn partner over hem vertelt aan de andere kant van de tafel.
In onderstaande video vertel ik over deze nieuwe breingestuurde hoorapparaten.
