kennislink.nl maakt nieuwsgierig

Als je spraak slecht kunt verstaan, bijvoorbeeld door slechthorendheid of gewoon omdat je in een lawaaiige omgeving staat, moet je flink je best doen om toch te begrijpen wat er gezegd wordt. Je kunt kijken naar de gezichtsuitdrukkingen van je gesprekspartner, je kunt proberen te liplezen of je probeert om wat je verwacht te verstaan te combineren met wat je werkelijk hoort. Met andere woorden, je probeert met je ogen en je hersenen het gehoorverlies te ondervangen. Als je je gesprekspartner niet kunt zien, tijdens het bellen bijvoorbeeld, zul je het met alleen je hersencapaciteiten moeten doen.

Half + half = 1?

Onderzoekster Adriana Zekveld heeft onderzocht of automatisch gegenereerde ondertiteling bij telefoongesprekken slechthorenden kan helpen spraak te verstaan. Automatische spraakherkenners werken echter nog niet zo goed dat ze foutloos de spraak naar tekst kunnen omzetten. De slechthorende zal dus informatie uit 2 imperfecte modaliteiten (zien en horen) moeten kunnen combineren en zelf aanvullen tot een begrijpelijke boodschap.

Uit haar onderzoek blijkt dat de spraak dankzij de ondertiteling wel beter verstaan wordt, maar dat de gebruikers nog niet tevreden zijn met het systeem. De extra moeite die het kost om de tekst te lezen, weegt voor hen niet op tegen de extra informatie die ze via de tekst krijgen. Zekveld adviseert daarom om gebruikers beter voor te bereiden op het gebruik van de ondertiteling én om de kwaliteit van de spraakherkenner te verbeteren. Als de ondertiteling foutloos en zonder vertraging komt, zal het de gebruiker minder hersencapaciteit kosten om de visuele informatie te gebruiken.

In de praktijk

Zo op het eerste oog lijkt het idee briljant: voorzie slechthorenden van een tekstuele weergave van wat ze horen en ze zullen gesprekken veel beter kunnen volgen. Uit dit promotie-onderzoek blijkt echter dat het nog niet zo eenvoudig is. Ten eerste werkt een spraakherkenner niet helemaal zoals de ondertiteling die je bij een film krijgt. Vaak duurt het een paar seconden voor de spraak naar tekst is omgezet, waardoor de tekst dus eigenlijk achterloopt op het geluid. Bovendien maken automatische spraakherkenners nog steeds veel fouten. Uit die tekst-met-fouten moet de gebruiker dus de correcte boodschap zien te halen.

Werken met de output van de spraakherkenner kost dus de nodige hersencapaciteit. Capaciteit die lang niet iedereen tot zijn beschikking heeft. Zo blijkt ook uit het onderzoek van Zekveld dat juist oudere gebruikers meer moeite hebben met het gebruik van de ondertiteling. Hun werkgeheugen kan minder informatie tegelijk verwerken dan vroeger en heeft dus moeite om de twee modaliteiten te verwerken en te combineren.

Zeker niet mislukt

Hoewel slechthorenden dus niet direct staan te springen om voortaan alleen nog maar te telefoneren met ondertiteling van de spraakherkenner, hoeft dit onderzoek zeker niet als mislukt beschouwd te worden. De gebruikers hebben wel degelijk baat bij de ondertiteling, vooral wanneer het gebruikersgemak verhoogd wordt. Uit het onderzoek blijkt namelijk dat spraak bij een combinatie van tekst en geluid beter wordt verstaan dan bij geluid alleen. Dit verschil groeit naarmate de spraakherkenner sneller en nauwkeuriger gaat werken. Bovendien verwacht de onderzoekster dat het de gebruikers minder moeite kost om met het systeem te werken, als ze hier beter op voorbereid worden.

Adriana Zekveld verdedigt dinsdag 9 december om 15.45u in de aula van het VU Medisch Centrum haar proefschrift ‘Textual support to improve the comprehension of speech in adverse listening conditions’.