Kijk naar wat ik zeg

In een gesprek is wat we zien soms belangrijker dan wat we horen. Dat blijkt uit Amerikaans onderzoek.

Wanneer we een gesprek voeren, analyseren onze hersenen zowel wat we zien als wat we horen. Maar spreken beide informatiebronnen elkaar lichtjes tegen, dan domineren de visuele gegevens. Dat blijkt uit Amerikaans onderzoek waarbij de hersengolven van zware epileptische volwassenen werden geanalyseerd op het moment dat hun schedel was weggehaald omdat ze een operatie moesten ondergaan voor hun aandoening. Daarbij werden elektroden geplaatst op het oppervlak van hun hersenen.

De proefpersonen kregen een video te zien van een persoon die de klanken ‘ba’, ‘va’, ‘ga’, of ‘tha’ uitsprak. Er waren drie mogelijke scenario’s: ofwel kwam de beweging van de mond overeen met het geluid – ze zagen en hoorden ‘ba’. Ofwel verschilde de beweging van de mond duidelijk met de klank, zoals bij een slecht gedubde film -  ze zagen ‘ga’ maar hoorden ‘tha’. Ofwel verschilde de beweging van de mond en de klank maar lichtjes: ze zagen ‘ba’, maar hoorden ‘va’.

Uit de resultaten bleek dat de proefpersonen zich alleen in het laatste geval lieten misleiden. Uit de analyse van de hersensignalen bleek dat in de eerste twee groepen de auditieve hersengebieden actiever waren dan de visuele, terwijl bij de laatste groep de visuele hersengebieden actiever waren dan de auditieve.

De onderzoekers hopen de gegevens te kunnen gebruiken om aandoeningen zoals dyslexie beter te begrijpen. Verder denken ze dat hoorapparaten en spraakherkenningssoftware naast een microfoon ook baat zouden kunnen hebben van een camera. (ev)