Naar het theater gaan als je de taal niet spreekt waarin het stuk wordt gespeeld, is vaak zonde van je tijd. Er is simpelweg te veel informatie die je misloopt. Daarom is deze nieuwe uitvinding voor theaters geweldig: een slimme AI-bril die realtime kan ondertitelen in 223 talen. En, minstens net zo fantastisch als de uitvinding zelf: Het Nationale Theater heeft de wereldprimeur.
Het is vandaag Global Accessibility Awareness Day. Dat is een dag die in het teken staat van digitale toegang en inclusie. Elk jaar vindt het plaats op de derde donderdag van mei en ditmaal heeft Het Nationale Theater deze toffe innovatie in petto. De slimme bril kan live gesproken tekst van acteurs omzetten naar realtime ondertiteling in 223 talen. Zo kun je met je vrienden of collega’s die geen Nederlands verstaan toch samen naar een theaterstuk gaan en meekrijgen waar het stuk over gaat en wat er zoal aan dialoog plaatsvindt.
Het is daarnaast niet alleen voor mensen die de Nederlandse taal niet machtig zijn een geweldige toevoeging aan de theaterwereld. Als je doof of slechthorend bent is het ook moeilijk om theaterstukken goed te volgen: daar kan deze bril een einde aan maken. Aangezien er zo’n 1,5 miljoen doven en slechthorenden in Nederland zijn, is dat een belangrijke toevoeging. Het bijzondere is dat het concept van deze innovatie werd bedacht door Het Nationale Theater zelf: het is dus niet zo dat een techbedrijf met de uitvinding kwam en partners zocht, maar juist andersom. Het vond in XRAI in Audinate Group Limited goede partners om LiveText te ontwikkelen. Dat is hoe de vertaal-uitvinding heet.
Het jammere is wel dat de introductie nu is, maar de eerste keer dat je ermee aan de slag kunt in het theater pas in het najaar is: we zijn immers razend benieuwd hoe een theaterstuk met deze bril op je gezicht zal zijn. Op dit moment bestaat er wel eens boventiteling in het theater, bijvoorbeeld bij opera zodat je weet wat er gezongen wordt. Echter is dat er maar in een taal. Met deze bril op kun je echt in je eigen taal meekrijgen wat er wordt gezegd en dat scheelt zelf weer een vertaling van het Engels naar jouw taal maken in je hoofd. Dat betekent dus meer focus op wat er op het toneel gebeurt.
Heb je bijvoorbeeld familie die Arabisch spreekt en wil je ze meenemen naar het theater in Nederland, dan kunnen ze dankzij de slimme bril in het Arabisch meelezen, ook al is de leesrichting van die taal heel anders. Bezoekers in het theater zien met de bril de tekst op dezelfde afstand als waar de acteur vanuit hun oogpunt staat. Dit moet zorgen voor een rustige kijkervaring. Met kleuren wordt aangegeven wie er aan het woord is, zodat je de 1-2’tjes tussen acteurs goed meekrijgt.
Een geweldige uitvinding voor in het theater, maar natuurlijk ook voor ver daarbuiten. Het Nationale Theater noemt daarbij congressen of internationale live-evenementen. Misschien is het wat voor de NAVO-top die binnenkort in Den Haag plaatsvindt: ook de thuisstad van Het Nationale Theater. Of dat echt gaat gebeuren, dat moeten we nog zien, maar in ieder geval is het wel heel geschikt voor theater. Het Nationale Theater stelt dat de uitvinding bijdraagt aan de toegankelijkheid van het theater in het algemeen. Ook wil het graag kijken hoe het deze innovatie kan delen met andere theaters en producenten: “Hoe vaker we dit als sector inzetten, hoe meer mensen in Nederland én wereldwijd zonder drempels van theater kunnen genieten.”
Het Nationale Theater schrijft: “LiveText, is uniek omdat de getoonde tekst gebaseerd is op de stemmen van de acteurs en niet op een vooraf ingevoerd script. De audio van elke acteur komt binnen op een Avid VENUE S6L audiodesk en wordt vervolgens via Dante naar XRAI’s AI-software, XRAI Stream, gestuurd. De software converteert spraak real-time naar tekst, vertaalt deze indien nodig en stuurt ondertitels naar de XREAL Air 2 Pro AR-bril in de theaterzaal. De ultralage latentie en betrouwbare meerkanaals audiotiming vormen de basis voor de robuustheid van de oplossing. De (vertaalde) ondertiteling verschijnt nagenoeg gelijktijdig in de bril.” Daarnaast is er een vertaalcloud waarin de tekst en vertaling voor LiveText worden gegenereerd. Deze technologie leert door, waardoor teksten steeds beter worden herkend en vertaald.
Dante is een belangrijke schakel. Audinate ontwikkelde deze AV-over-IP-netwerkoplossing waarmee de traditionele, analoge bekabeling wordt vervangen door gesynchroniseerde AV-signalen die op grote afstanden naar meerdere locaties tegelijk verzonden worden via een ethernetkabel. Dante-technologie zit in producten van honderden audio- en videopartners en is bekende technologie.
We vroegen Monique Rutten, Head of Marketing & Development bij Het Nationale Theater en conceptontwikkelaar van LiveText, hoe het zit voor mensen met bijvoorbeeld een bril of contactlenzen. Ze geeft aan dat de LiveText-bril over je eigen bril heen kan worden gedragen. Er zijn verschillende maten neusvleugels beschikbaar om op de bril te plaatsen, zodat je zelf de afstand tot je gezicht beslist.
Ook laat ze weten dat er vooraf gereserveerd dient te worden en dat er in de testperiode 15 brillen zijn aangeschaft. Wel zegt Monique: “Vanaf september willen we voor onze drie theaters en op tournee 50 brillen beschikbaar hebben. De ontwikkeling van deze AR brillen gaat zo hard dat we per moment nagaan wat de beste oplossing is zodra we opschalen.“
Maar even praktisch: wat als er allemaal mensen door elkaar praten op het podium. Hierover zegt Monique: “Het geluid (spraak of zang) wordt via de microfoon van iedere individuele acteur via de audiotafel doorgezonden naar de software. Dit zorgt ervoor dat we de geluiden goed kunnen blijven scheiden. Dit was het belangrijkste element in de conceptontwikkeling wat de kwaliteit van de omgezette tekst enorm verhoogde. Er is ook veel aandacht besteed aan overspraak. Dat het geluid van acteur A die opgevangen wordt door de microfoon van acteur B gefilterd wordt via een audiomixer.” Maar, wat als iemand in een dialect spreekt of Shakespeariaans taalgebruik toepast? Hier komt machine learning bij kijken. Als de large language models achter het systeem zijn gevoed met dialecten of oud-Engels, dan herkent de software dit en gaat het er hetzelfde mee om als met andere talen.
Zo wordt een theaterbezoek dus steeds laagdrempeliger voor een grote groep mensen, en dat is inderdaad waar Accessibility Awareness Day om gaat. De innovatie is ontwikkeld met steun van Cultuurloket Digitall. In het najaar begint Het Nationale Theater met het gratis beschikbaar stellen van de bril aan het publiek in Den Haag en op tournee. Tot die tijd wordt de bril volop getest en doorontwikkeld, samen met de doelgroepen voor deze gadget.
