ElevenLabs eget test: Scribe v3 gör 27 procent färre ordfel än Scribe v2
Skriven av AI
Enligt ElevenLabs gör den nya taligenkänningsmodellen Scribe v3 27 procent färre ordfel än föregångaren i ett test på 102 språk. Realtidsmodellen Scribe v3 Live skiljer nu talare åt och avgör när en talartur är slut utifrån samtalets innehåll.
ElevenLabs presenterade sina nya Scribe-modeller i bloggen den 10 november. Scribe v3 är avsedd för inspelat ljud. Scribe v3 Live arbetar med kort fördröjning och passar därför till exempel för röstagenter.
Talare och talarturer i realtid
Scribe v3 Live är företagets första Scribe-modell i realtid med talarseparering. Den märker ut vem som sa vad.
En röstagent måste också känna igen när talaren har slutat. Traditionella system väntar på tystnad. En kort tidsgräns avbryter talet om talaren pausar mitt i en mening. En lång gör agenten långsam. Scribe v3 Live avgör när turen är slut utifrån både ljudet och samtalets innehåll. Därför kan en uppringare som dikterar ett nummer pausa utan att agenten avbryter, uppger företaget. Samma igenkänning används redan på röstagentplattformen ElevenAgents och kommer nu även till gränssnittet ElevenAPI.
Siffrorna är företagets egna
ElevenLabs har själv mätt resultaten eller redovisat dem i sin blogg. Webbplatsen Runtimewire rapporterade om lanseringen utifrån företagets X-tråd och blogg, så inte heller den bekräftar siffrorna oberoende.
Träffsäkerheten på olika språk mätte företaget med en egen version av benchmarket FLEURS. Det består av korta, tydligt upplästa talprov på 102 språk. Ordfelsfrekvensen (WER) anger hur stor andel av orden som transkriberades fel. Semantisk WER räknar som fel bara de ställen där betydelsen ändras.
Tabellen visar hur mycket de nya modellerna minskade felen jämfört med sina föregångare. Raderna använder olika mått och kan därför inte jämföras med varandra.
| Modell | Jämfört med | Mått | Färre fel |
|---|---|---|---|
| Scribe v3 | Scribe v2 | WER, 102 språk | 27 procent |
| Scribe v3 | Scribe v2 | talarseparering, minst 3 talare | 17 procent |
| Scribe v3 Live | Scribe v2 Realtime | semantisk WER, 102 språk | 43 procent |
| Scribe v3 Live | Scribe v2 Realtime | WER, 102 språk | 31 procent |
Källa: ElevenLabs blogg, företagets egna mätningar.
I FLEURS-proven talar bara en person. Därför sammanställde ElevenLabs ett eget dataset med verkliga möten, agentsamtal och röstmeddelanden på 16 språk för att mäta talarseparering. Företaget säger att det snart publicerar datasetet öppet. I datasetets engelska del var andelen separeringsfel 3,1 procent för Scribe v3 Live och 5,9–7,3 procent för de andra testade realtidsmodellerna. Poängsättningen mätte bara om varje ord kopplades till rätt talare. Metoden ger lägre felsiffror för alla modeller, så siffrorna kan inte jämföras med separeringsresultaten för inspelningar.
I ett förhandstest av Scribe v3 Live med verkliga kundsamtal identifierade röstagenten hos det nederländska energibolaget Eneco postnumret på första försöket 40 procent oftare och husnumret 15 procent oftare, uppger ElevenLabs.
Termlistor och tillgänglighet
Scribe v3 kan ta emot upp till 1 000 nyckeltermer, till exempel varumärken och förkortningar, samt formateringsregler på vanlig engelska. Live-versionen har dessutom ett flerspråkigt läge för samtal där språket byts mitt i en mening. Den har också ett termbibliotek som modellen använder först när den hör en trolig träff. Biblioteket rymmer tusentals termer enligt bloggen, medan Runtimewire uppger 10 000.
Scribe v3 Live finns i ElevenAgents, och i ElevenLabs-appen är båda modellerna förvalda. I ElevenAPI flyttas en befintlig integration till den nya modellen när modell-id:t ändras till scribe_v3 eller scribe_v3_live. Företagskunder erbjuds också separata miljöer i EU, Indien och Singapore.