Haptische feedback via de lucht

Vandaag gebruiken we vooral ons zicht en gehoor om informatie van onze  smartphone of van eender welk slim apparaat op te pikken. Contactloze (of ‘mid-air’) haptische feedback voegt daar een dimensie aan toe. Door ultrasone energie uit te sturen, geeft het apparaat informatie door via de lucht – die door de gebruiker als een trilling wordt ervaren. En dat creëert nieuwe mogelijkheden om mens en machine met elkaar te laten communiceren. Verwacht wordt dat dergelijke contactloze gebruikersinterfaces alsmaar belangrijker worden in het post-COVID-19 tijdperk.

Ultrasone golven zijn geluidsgolven die met een frequentie hoger dan 20kHz niet meer waar te nemen zijn met het menselijk oor. Technologieën die gebruik maken van deze golven worden al geruime tijd ingezet in allerhande toepassingen. De meest gekende toepassing vinden we terug in de medische beeldvorming, waarbij ultrasone pulsen worden uitgestuurd en echopulsen worden omgezet in een beeld om lichaamsstructuren te visualiseren. Deze sonografie is al sinds de jaren 40 in omloop als diagnose-instrument, bijvoorbeeld om de zwangerschap op te volgen. Maar wist je dat we deze technologie ook kunnen gebruiken om slimme systemen uit te rusten met haptische feedback, waardoor ze met een gebruiker kunnen communiceren via zijn tastzin?

Het hart van deze technologie is een actuator die ultrasone energie uitstuurt –die zich als een drukgolf voortbeweegt in de lucht. De gebruiker kan daardoor nu niet meer alleen fysiek contact maken met een slim toestel – denk bij fysiek contact bijvoorbeeld aan de trilling van je smartphone. Met ultrasone technologie kan dat nu ook contactloos. Ultrasone golven kunnen immers een lokaal drukveld genereren waardoor de gebruiker een lichte sensatie voelt. Dat noemen we ‘mid-air haptics’. Door deze techniek kunnen we met objecten interageren zonder ze aan te raken.

Interessant wordt het wanneer deze ultrasone energie kan worden waargenomen door de receptoren in onze vingers. Deze nieuwe manier van ‘interfacen’ verrijkt onze communicatie met machines of robots. En, nu we niet meer voortdurend moeten kijken naar het display op ons dashboard, kan het de veiligheid van autorijden verhogen. Het zal ons ook toelaten om op een meer hygiënische manier met allerlei apparaten om te gaan. En dat is door de recente uitbraak van het coronavirus erg belangrijk geworden.  

Mid-air haptische feedback kan ook worden gecombineerd met technieken die beweging herkennen. Het systeem volgt dan de beweging van je hand, en richt de ultrasone energie precies naar de plaats waar je vingers zich bevinden. Dat is bijzonder handig voor bijvoorbeeld tele-chirurgie, waar de combinatie van de twee technieken de chirurg het weefsel laat ‘voelen’ dat hij vanop afstand aanraakt.

Om ultrasone energie om te zetten in een voelbare trilling heb je meerdere ‘ultrasone’ bronnen nodig die gerangschikt zijn in een matrix. Elk van deze ‘trommeltjes’ stuurt energie uit in alle richtingen, zoals in een sferische golf. De energie die uit één zo’n bron komt, wekt op verschillende punten van eenzelfde sfeer hetzelfde gevoel op en zorgt dus niet voor een erg precieze gebruikersinteractie. Maar door de juiste faseverschuivingen tussen de verschillende bronnen in te bouwen, kan de ultrasone energie versterkt worden op een of meerdere punten, terwijl ze uitdooft op andere plaatsen. Zo kan de ultrasone energiewolk ‘gekneed’ worden in drie dimensies, een soort van akoestisch hologram.

Ultrasone energie met frequenties boven 20kHz kan evenwel niet worden waargenomen door de receptoren in onze vingers. In een volgende stap moet de frequentie verlaagd worden beneden 500Hz om nog ‘voelbaar’ te zijn.

De precisie waarmee we het akoestisch hologram voelen, hangt af van de frequentie waarmee de ultrasone golf wordt uitgezonden (de draaggolffrequentie). Hoe hoger deze frequentie, hoe fijner de interactie met onze receptoren, en dus hoe beter de resolutie van het akoestisch hologram. Bijvoorbeeld, voor een draaggolffrequentie van 40kHz is de resolutie van het hologram in de orde van centimeters. Dit verbetert naar millimeters wanneer de golf wordt uitgezonden met een frequentie van enkele MHz. Bij deze hogere frequenties worden de ultrasone golven dan weer gemakkelijker geabsorbeerd door de lucht. Het komt er dus op aan om een middenweg te vinden. Willen we ultrasone golven kunnen waarnemen op een afstand van bijvoorbeeld 1cm van de ‘haptische’ bron, dan blijkt die middenweg rond 400kHz te liggen.

De trommeltjes die haptische feedback genereren zijn in feite ultrasone omvormers die elektrische signalen (meer bepaald een wisselspanning) omzetten in ultrasone golven. In de eerste toepassingen vinden we klassieke piëzo-elektrische omvormers terug, die gebruik maken van logge keramische piëzo-elektrische elementjes. Leggen we hierover een spanning aan, dan verandert de vorm van deze elementen. Een wisselspanning doet de elementjes oscilleren bij een zelfde frequentie, waardoor ultrasone golven ontstaan. De dominante resonantiefrequentie wordt bepaald door de dikte van de piëzo-elektrische elementen.

De eerste toepassingen die van deze klassieke ultrasone omvormers (ultrasound transducers of UT's) gebruik maken, zijn al op de markt – meestal in de vorm van ‘plug-en-play’-modules waarmee virtuele knoppen of magische sensaties kunnen worden toegevoegd aan bestaande interfaces van slimme toestellen. Maar omdat ze dik en log zijn, is de frequentie van de ultrasone golven beperkt, waardoor de interactie met de gebruiker nooit erg precies kan zijn.

De laatste jaren heeft de idee om hiervoor microbewerkte ultrasone omvormers (micromachined UT's of MUT's) te gebruiken steeds meer terrein gewonnen. In MUT's worden MEMS of micro-elektromechanische systemen ingezet om ultrasone energie uit te sturen. Deze MUTs hebben heel wat troeven: ze zijn veel kleiner en hebben een groter frequentiebereik. Je kan heel veel van die MUT's samenvoegen in een grote matrix en ze kunnen beter geïntegreerd worden met ondersteunende elektronica.

Deze microbewerkte ultrasone omvormers bieden heel wat meer mogelijkheden. Ze maken bijvoorbeeld kleine en draagbare oplossingen mogelijk die een fijnere haptische gewaarwording teweegbrengen. Op die manier zal haptische feedback bijvoorbeeld de remote-control van machines kunnen verbeteren en rijkere mens-machine interfaces maken, bijvoorbeeld voor in de wagen. De technologie kan ook gebruikt worden om het erg kleine touchscreen van je slim horloge te vergroten tot een interface ter grootte van je volledige hand. Of om digitale reclame door middel van grote interactieve ‘haptische’ posters naar een hoger niveau te brengen. Door mensen objecten te laten voelen, kan het een essentieel onderdeel worden van virtuele en augmented reality systemen. Het zal onze tastzin vanop afstand kunnen bespelen, bijvoorbeeld om ons een virtuele handdruk te geven. En bij tele-chirurgie kan haptische feedback in combinatie met bewegingsherkenning een grote meerwaarde vormen voor de chirurg, door hem het weefsel of bot te laten voelen dat hij vanop afstand manipuleert.

Twee verschillende MUT-families worden onder de loep genomen: de piëzo-elektrische MUT of pMUT – het microbewerkte equivalent van de klassieke piëzo-elektrische omvormer – en de capacitieve MUT of cMUT. In deze laatste variant zetten elektrostatische krachten een membraan aan het trillen.

Imec ontwikkelt technologieplatformen voor pMUT's en kan daarbij steunen op zijn jarenlange expertise in het ontwikkelen van MEMS. De onderzoeksteams werken daarbij aan twee verschillende platformen: een silicium-CMOS-compatibel platform (of, een platform dat compatibel is met standaard chiptechnologie) en een display-compatibel platform (of, een platform dat compatibel is met technologie die gebruikt wordt om elektronica op ‘grote oppervlakken’ te maken). Elk van deze platformen brengt eigen voordelen en uitdagingen met zich mee.

pMUTs kunnen rechtstreeks bovenop een chip (gemaakt uit silicium-CMOS-technologie) worden aangebracht. Op die manier kan de matrix van pMUTs gemakkelijk geïntegreerd worden met de elektronica die de pMUTs aanstuurt en uitleest. Zo ontstaan matrices van goed-werkende pMUTs die haptische feedback met een hoge resolutie mogelijk maken. De pMUT-chip heeft daarbij maximale afmetingen van typisch 2x2cm².

Imec ging recent in zee met een chipfabrikant om op basis van deze technologie een generisch pMUT-platform te ontwikkelen. In het platform wordt aluminium-nitride gebruikt als piëzo-elektrisch ‘vibrerend’ materiaal. Hiermee kunnen ultrasone golven met frequenties tussen 3 en 15 MHz worden uitgezonden. Om bruikbaar te zijn voor haptische feedback, verlagen imec en zijn partner de frequenties van dit generisch platform naar 200-600kHz. Dat kan door grotere membranen te gebruiken (typisch 0.8-1.5mm diameter) met grotere breedte-hoogte verhouding. Ontwerp en fabricage van de pMUT-chip kunnen afgestemd worden op een bepaalde toepassing, en de chip kan in lage of hoge volumes worden geproduceerd.

Een tweede familie pMUT-technologieën gebruikt polymeren om pMUT's te maken, en hanteert daarbij een display-compatibele technologie. Dat heeft als grote voordeel dat ultrasone golven nu vanuit een groot scherm kunnen worden gebundeld (tot tientallen cm² groot), wat een groter vermogen en een meer precieze contactloze haptische ervaring oplevert.

Met deze technologie kan de sensatie van mid-air haptische feedback op grotere afstand worden ervaren – denk hierbij aan grote interactieve ‘haptische’ posters als een volgende stap in digitale reclame. En het hoeft niet beperkt te blijven tot displays: je zou zelfs mid-air haptische feedback kunnen genereren vanaf de ramen in je huis.

Deze technologie is bij imec nog in volle ontwikkeling, maar heeft zijn mogelijkheden al bewezen in eerste ‘proof of concepts’. Zo kon al een matrix van 4cmx4cm worden gemaakt waarin 64x64 pMUT's (gerangschikt in vier kleinere 32x32 matrices) van 480µm diameter werden geplaatst.

De eerste commerciële toepassingen van haptische feedback hebben hun weg al gevonden naar de markt. Naast haptische feedback hebben ultrasone omvormers echter nog heel wat meer in hun mars. De mogelijkheid om ultrasone energie naar één focaal punt te ‘beamen’ opent nieuwe deuren voor de medische wereld. Ze kunnen ingezet worden voor neuromodulatie (het stimuleren of onderdrukken van bepaalde delen van de hersenen), bij hersenoperaties of kankerbehandelingen. Ultrasone omvormers kunnen ook gebruik worden om ‘direct’ geluid op te wekken. De ultrasone energie wordt daarbij zo gebundeld (en verstoord) dat het signaal alleen hoorbaar wordt voor één bepaalde luisteraar.

Daarnaast kunnen microbewerkte ultrasone omvormers ook dienst doen als meetinstrument, bij vingerafdrukdetectie, of bij medische beeldvorming zoals bijvoorbeeld voor draagbare echografie-toestellen, cardiopleisters of hersenbeeldvorming – waarbij lichaamsstructuren op een stralingsvrije manier in beeld kunnen worden gebracht. En ze boren nieuwe markten aan in bewegingsherkenning – waar ultrasound een alternatieve oplossing kan bieden voor de huidige bewegingssensoren op basis van radar of licht.