Artificial Analysis: Zoomin suoratoistomalli tarkin lopputekstissä, sanavirheaste 2,4 %
Artificial Analysisin AA-WER Streaming -mittauksessa Zoom Scribe V2.1 Pro Liven lopullisen litteroinnin sanavirheaste oli 2,4 prosenttia, niukasti pienempi kuin MAI-Transcribe-2-Streamingin 2,5 prosenttia. Hinta on 0,40 dollaria äänitunnilta.
Tekoälymalleja vertaileva Artificial Analysis kertoi X-tilillään 19. marraskuuta testanneensa Zoomin uuden Zoom Scribe V2.1 Pro Live -mallin itse. Malli muuttaa puheen tekstiksi sitä mukaa kuin puhetta tulee.
Mittarina on sanavirheaste (word error rate, WER) eli väärin litteroitujen sanojen osuus. Julkaisun kuvan mukaan AA-WER Streaming -testi laskee virheet lopullisesta tekstistä sen jälkeen, kun järjestelmä on havainnut puheen päättyneen. Luku ei siis kerro, kuinka tarkka puheen aikana näkyvä keskeneräinen teksti on.
Kahden parhaan tuloksen ero on pieni: Zoomin 2,4 % ja MAI-Transcribe-2-Streamingin 2,5 % eroavat yhdessä testissä 0,1 prosenttiyksikköä. Ero ei osoita, että Zoomin malli litteroisi muunlaista ääntä selvästi kilpailijaa paremmin.
Artificial Analysisin mukaan Zoomin malli maksaa 0,40 $ äänitunnilta eli 6,67 $ tuhannelta minuutilta. Se on Zoom Scribe API:n Live-tilan Pro-taso. Tuhannelta minuutilta MAI-Transcribe-2-Streaming maksaa 9 $ ja ElevenLabsin Scribe v3 Live 3,67 $.
Hinnoissa erot ovat suurempia kuin virheasteissa. Artificial Analysisin ensimmäisen julkaisun kuvan mukaan ElevenLabsin mallin sanavirheaste oli samassa testissä 2,9 %. Koska yhden testin pieni virhe-ero ei kerro, miten mallit pärjäävät muunlaisella äänellä, halvemman mallin kokeilu omilla äänitteillä voi kannattaa.