Ny modell gav mindre bakgrundstal och färre tappade korta svar i AssemblyAI:s test
I AssemblyAI:s eget test med 12 460 samtal registrerade företagets nya igenkänningsmodell för röstagenter 47 procent mindre bakgrundstal än föregångaren. Den tappade också 38 procent färre svar på ett eller två ord. Att minska det ena felet ökar oftast det andra, uppger företaget.
AssemblyAI har släppt taligenkänningsmodellen AssemblyAI-STT-3.7-Realtime-Agent för röstagenter, alltså program som sköter ett samtal och svarar den som ringer. I företagets forskningsblogg förklarar Ilya Sklyar varför två feltyper måste mätas tillsammans.
Ett tyst ”ja” och ett enstaka ord från någon i bakgrunden låter likadant: kort och dämpat. Om systemet höjer tröskeln för taldetektering eller dämpar brus rensas båda bort. Bakgrundstalet minskar därför oftast bara om fler svar går förlorade. Branschens vanligaste mått, ordfelsfrekvensen, alltså andelen felaktigt igenkända, saknade och extra ord, avslöjar inget av felen. De gäller bara en bråkdel av en procent av orden.
AssemblyAI:s lösning är kontext. För varje tur får modellen relevant ljud från tidigare delar av samtalet och tidigare repliker, till exempel frågan som agenten just har ställt. I inspelningarna som användes som träningsdata hördes bakgrundsljuden, men de skrevs inte in i måltexten. Dämpningen fungerar enligt företaget i de flesta samtalsmiljöer utan inställningar. Om en annan talare är nära mikrofonen rekommenderar företaget dock funktionen near-field voice focus.
Företagets resultat jämfört med föregångaren Universal-3.6 Pro Realtime:
| Mått | Universal-3.6 Pro Realtime | STT-3.7-Realtime-Agent |
|---|---|---|
| Ord från bakgrundstal per 1 000 ord | 2,53 | 1,34 |
| Tappade korta svar | 0,29 % | 0,18 % |
| Ordfelsfrekvens | 5,26 % | 4,53 % |
| Fördröjning för slutlig text efter avslutat tal | 172 ms | 86 ms |
Källa: AssemblyAI. 12 460 engelskspråkiga samtal; föregångarens siffror för träffsäkerhet från utvärderingen i september; fördröjningen mättes i ett separat test där turens slutpunkt var given i förväg, så 86 ms omfattar inte tiden som modellen använder för att avgöra att turen är slut.
Siffrorna kommer från företagets eget test där 522 talare läste manusbaserade situationer som telefonljud. Skillnaderna i bakgrundstal, svar och ordfelsfrekvens är statistiskt signifikanta, uppger företaget. Enligt bloggen rankade benchmarket Voice Arena modellen etta bland strömningsmodeller för amerikansk engelska, med en semantisk ordfelsfrekvens på 2,45 procent. I benchmarket Speko slog modellen ElevenLabs Scribe v3 Live, Deepgram Flux, Soniox Realtime v6, Fish Transcribe Stream 1 och Cartesia Ink-2 i ordfelsfrekvens och två fördröjningsmått, skriver bloggen.
Modellen är inte snabbast. Soniox Realtime v6, Deepgram Nova-3 och några andra returnerar den slutliga texten snabbare, men de gör minst 30 procent fler ordfel, uppger AssemblyAI. I ett sifferfokuserat test med 300 inspelningar sjönk andelen sifferfel från 11,28 till 2,27 procent.
Modellen finns nu i företagets strömnings-API med inställningen speech_model=”assemblyai-stt-3-7-realtime-agent”. Den kostar 0,45 dollar i timmen, lika mycket som föregångaren. Enligt webbplatsen No Code MBA stöder modellen 32 språk med automatisk språkidentifiering, men företagets tester gäller engelska. Röstagentbiblioteket Pipecat stöder modellen, framgår det av dess ändringslogg. Bibliotekets standardmodell förblir dock Universal-3.6 Pro fram till ”officiell lansering”, trots att AssemblyAI uppger att modellen redan är tillgänglig.