Nvidian Nemotron 3.5 Transcribe tarkin Artificial Analysiksen puhujaerottelutestissä
Artificial Analysiksen uusi Diarization Index mittaa, kuinka suuri osa litteraatin sanoista merkitään väärälle puhujalle tai jää ilman puhujaa. Englanninkielisissä 2–8 hengen keskusteluissa Nvidian mallin virheosuus oli 3,3 prosenttia.
Tekoälymallien vertailuja julkaiseva Artificial Analysis kertoi 13. marraskuuta X:ssä uudesta Diarization Index -vertailusta. Se mittaa puhujien erottelua eli sitä, osaako puheentunnistuspalvelu merkitä litteraattiin, kuka keskustelijoista sanoi minkäkin sanan.
Miten virheet lasketaan
Mittari on WDER (Word Diarization Error Rate). Se kertoo, kuinka suuri osa vertailulitteraatin pisteytetyistä sanoista on annettu väärälle puhujalle tai jätetty ilman puhujaa.
Aineistossa on 97 englanninkielistä keskustelua, joissa puhujia on 2–8. Indeksi on kolmen ryhmän keskiarvo, joten kahden, 3–4:n ja 5–8 puhujan keskustelut painavat yhtä paljon. Osa keskusteluista on Artificial Analysiksen omia julkaisemattomia keskusteluja, sekä aitoja että synteettisiä, ja osa NOTSOFAR-1-aineiston kokouksia.
Indeksi mittaa ensisijaisesti puhujamerkintöjä, mutta myös puuttuvat sanat lasketaan virheiksi. Sanojen tunnistustarkkuutta Artificial Analysis mittaa erikseen AA-WER-virheprosentilla.
Tulokset
Nvidian Nemotron 3.5 Transcribe sai pienimmän virheosuuden, 3,3 prosenttia. Toisena oli Mistralin Voxtral Small Transcribe 3 7,5 prosentilla. Taulukossa ovat julkistuksen kaavion viisi parasta.
| Malli | WDER |
|---|---|
| Nemotron 3.5 Transcribe | 3,3 % |
| Voxtral Small Transcribe 3 | 7,5 % |
| Universal | 8,6 % |
| Muse Voice Transcribe | 8,6 % |
| MAI-Transcribe-2 | 8,8 % |
Lähde: Artificial Analysiksen julkistuksen kaavio 13.11.2026 (24 mallia), englanninkieliset 2–8 hengen keskustelut. Pienempi on parempi.
Kahden parhaan jälkeen kärkiryhmän erot ovat pieniä: julkistuksen kaaviossa sijojen 3–7 virheosuudet ovat 8,6 ja 8,9 prosentin välillä, ja niiden virhepalkit menevät päällekkäin. Artificial Analysis itse sanoo MAI-Transcribe-2:n olevan tasoissa kahden parhaan takana olevan ryhmän kanssa.
Nopeus ja saatavuus
Artificial Analysis nostaa Microsoft AI:n MAI-Transcribe-2:n esiin nopeana vaihtoehtona kärjen tuntumassa: se käsittelee 93,7 sekuntia ääntä sekunnissa. Sivuston pelkän litteroinnin taulukossa saman mallin nopeus on 313,3 sekuntia ääntä sekunnissa. Litteroinnin nopeus on mitattu kymmenen minuutin äänitteillä, ja muunpituisilla, etenkin alle minuutin tiedostoilla, se voi poiketa.
Julkistuksen kaavion mukaan Nemotron 3.5 Transcribe käsittelee noin 30 sekuntia ääntä sekunnissa. Nopein on Deepgramin Nova-3, joka käsittelee lähes 200 sekuntia ääntä sekunnissa, mutta sen virheosuus on kaavion mukaan 16,7 prosenttia.
Sivuston mukaan Nemotron 3.5 Transcribe on avointen painojen malli. Litterointitaulukossa se on tarjolla DeepInfran kautta 2 dollarilla tuhatta äänitysminuuttia kohden; puhujaerottelun hinnat sivu esittää omassa kaaviossaan.
Lue lisää: Mallit