Översättningsföretaget DeepL i Köln presenterade sin nya talmodell i ett pressmeddelande onsdagen den 11 november. Aure skapar det översatta talet i DeepL Voice, som översätter tal till ett annat språk i realtid.

Enligt The Decoder och Trending Topics har DeepL Voice sedan september skapat översättningen med talarens egen röst. Rösten byggde dock på ett röstprov från början av samtalet. Av ett fast prov hörde man vem som talar men inte hur personen talar, uppger DeepL. Översättningen följde inte förändringar i känsla, betoning eller tempo. Den fångade inte heller sarkasm där tonfallet strider mot orden.

Röst, intonation och innehåll var för sig

Aure analyserar talet under hela samtalet. Modellen avgör hur en mening ska uttalas utifrån både de översatta orden och originalrösten, står det i pressmeddelandet. DeepL sparar inte transkriptioner eller översättningar från möten permanent, så det finns lite material med samma talare på olika språk. Därför måste modellen anpassa sig till talaren redan mitt i en mening.

Under träningen separerade DeepL talarens individuella röstdrag, prosodin – talets intonation och rytm – och talets innehåll. På så sätt kan varje del föras över till det nya språket var för sig. Med förstärkningsinlärning finslipade företaget modellens utdata så att översättningen förblir korrekt och talet låter naturligt utan främmande brytning. Modellen skiljer också talarens röst från bakgrundsbrus och eko.

Den sydkoreanska nyhetsbyrån Yonhap skriver att Aure omvandlar ljudet direkt i stället för att först transkribera talet till text. Enligt DeepL:s pressmeddelande använder modellen dock även de översatta orden. Uppgiften stämmer alltså inte direkt överens med företagets egen beskrivning.

Kvalitetspåståendena kommer från DeepL

The Decoder, heise online, Trending Topics och Yonhap bygger sina beskrivningar på uppgifter från DeepL. Ingen av dem redovisar någon oberoende mätning av Aures kvalitet.

Trending Topics nämner ett blindtest som DeepL beställde och som branschpublikationen Slator genomförde. Av de yrkesverksamma inom språkbranschen som besvarade enkäten föredrog 96 procent DeepL Voice framför Googles, Microsofts och Zooms egna översättningsverktyg. Testet gällde DeepL Voice, och källan anger inte om Aure ingick. DeepL:s produktsida använder ett annat mått. Där uppges att mötesöversättningarna har 76 procent färre kritiska översättningsfel än plattformarnas egna verktyg.

Även översättningen i Google Meet och Interpreter-agenten i Microsoft Teams försöker efterlikna talarens röst, skriver Trending Topics.

Tillgänglighet och dataskydd

Aure används automatiskt i DeepL Voice för möten och samtal ansikte mot ansikte samt i DeepL:s API för talöversättning. Enligt produktsidan kan DeepL Voice provas gratis, och mötesversionen fungerar i Microsoft Teams, Zoom och Google Meet.

Till en början stöds engelska, tyska, spanska, franska, italienska, japanska, portugisiska och koreanska. På andra språk använder DeepL Voice fortfarande tidigare modeller. DeepL utlovar fler språk.

Aure varken skapar eller sparar någon permanent röstprofil, uppger produktsidan. Röstdata behandlas i minnet och raderas när sessionen avslutas, och mötesdata används inte för att träna DeepL:s modeller.