Nvidias Nemotron 3.5 Transcribe träffsäkrast i Artificial Analysis benchmark för talarseparering
Artificial Analysis nya Diarization Index mäter hur stor andel av orden i en transkription som tillskrivs fel talare eller inte tillskrivs någon talare. I engelskspråkiga samtal med 2–8 personer hade Nvidias modell en felandel på 3,3 procent.
Artificial Analysis publicerar jämförelser av AI-modeller. Den 13 november berättade företaget på X om sitt nya benchmark Diarization Index. Det mäter talarseparering, det vill säga om en taligenkänningstjänst kan ange i transkriptionen vem av samtalsdeltagarna som sa vilket ord.
Hur felen räknas
Måttet är WDER (Word Diarization Error Rate). Det anger hur stor andel av de poängsatta orden i referenstranskriptionen som har tillskrivits fel talare eller inte tillskrivits någon talare.
Underlaget består av 97 engelskspråkiga samtal med 2–8 talare. Indexet är medelvärdet av tre grupper, så samtal med två, 3–4 och 5–8 talare väger lika tungt. En del av samtalen är Artificial Analysis egna opublicerade samtal, både verkliga och syntetiska. Resten är möten ur datamängden NOTSOFAR-1.
Indexet mäter i första hand talarmarkeringar, men även saknade ord räknas som fel. Hur exakt orden känns igen mäter Artificial Analysis separat med felprocenten AA-WER.
Resultat
Nvidias Nemotron 3.5 Transcribe fick lägst felandel, 3,3 procent. Tvåa var Mistrals Voxtral Small Transcribe 3 med 7,5 procent. Tabellen visar de fem bästa i diagrammet från tillkännagivandet.
| Modell | WDER |
|---|---|
| Nemotron 3.5 Transcribe | 3,3 % |
| Voxtral Small Transcribe 3 | 7,5 % |
| Universal | 8,6 % |
| Muse Voice Transcribe | 8,6 % |
| MAI-Transcribe-2 | 8,8 % |
Källa: diagram i Artificial Analysis tillkännagivande 13 november 2026 (24 modeller), engelskspråkiga samtal med 2–8 personer. Lägre är bättre.
Efter de två bästa är skillnaderna i toppgruppen små. I diagrammet ligger felandelarna för plats 3–7 mellan 8,6 och 8,9 procent, och deras felstaplar överlappar. Artificial Analysis säger själv att MAI-Transcribe-2 ligger jämsides med gruppen närmast bakom de två bästa.
Hastighet och tillgänglighet
Artificial Analysis lyfter fram Microsoft AI:s MAI-Transcribe-2 som ett snabbt alternativ nära toppen. Modellen bearbetar 93,7 sekunder ljud per sekund. I webbplatsens tabell för enbart transkription är samma modells hastighet 313,3 sekunder ljud per sekund. Transkriptionshastigheten har mätts med tio minuter långa inspelningar och kan avvika för filer av annan längd, särskilt för filer kortare än en minut.
Enligt diagrammet i tillkännagivandet bearbetar Nemotron 3.5 Transcribe omkring 30 sekunder ljud per sekund. Snabbast är Deepgrams Nova-3, som bearbetar nästan 200 sekunder ljud per sekund. Dess felandel är dock 16,7 procent enligt diagrammet.
Nemotron 3.5 Transcribe är en modell med öppna vikter, uppger webbplatsen. I transkriptionstabellen erbjuds den via DeepInfra för 2 dollar per 1 000 inspelningsminuter. Priserna för talarseparering redovisas i ett eget diagram på sidan.
Läs mer: Hur en agent fungerar · Modeller