ElevenLabsin oma testi: Scribe v3 tekee 27 % vähemmän sanavirheitä kuin Scribe v2
Tekoälyn kirjoittama
ElevenLabsin mukaan uusi Scribe v3 -puheentunnistusmalli tekee 102 kielen testissä 27 % vähemmän sanavirheitä kuin edeltäjänsä. Reaaliaikainen Scribe v3 Live erottelee nyt puhujat ja päättelee puheenvuoron päättymisen keskustelun sisällöstä.
ElevenLabs kertoi uusista Scribe-malleistaan blogissaan 10. marraskuuta. Scribe v3 on tarkoitettu tallennetulle äänelle. Scribe v3 Live toimii pienellä viiveellä, joten se sopii esimerkiksi puheagentteihin.
Puhujat ja puheenvuorot reaaliajassa
Scribe v3 Live on yhtiön ensimmäinen reaaliaikainen Scribe-malli, joka tekee puhujaerottelun. Se merkitsee, kuka sanoi minkäkin.
Puheagentin pitää myös tunnistaa, milloin puhuja on lopettanut. Perinteiset järjestelmät odottavat hiljaisuutta. Lyhyt aikaraja katkaisee puheen, jos puhuja pitää tauon kesken lauseen. Pitkä tekee agentista hitaan. Scribe v3 Live päättelee vuoron päättymisen äänen lisäksi keskustelun sisällöstä. Yhtiön mukaan numeroa saneleva soittaja voi siksi pitää tauon ilman, että agentti keskeyttää. Sama tunnistus on jo käytössä ElevenAgents-puheagenttialustalla, ja nyt se tulee myös ElevenAPI-rajapintaan.
Luvut ovat yhtiön omia
Tulokset ovat ElevenLabsin itse mittaamia tai sen blogissaan kertomia. Runtimewire-sivusto uutisoi julkaisusta yhtiön X-ketjun ja blogin pohjalta, joten sekään ei vahvista lukuja riippumattomasti.
Kielitarkkuuden yhtiö mittasi omalla versiollaan FLEURS-vertailutestistä. Siinä on lyhyitä, selkeästi luettuja puhenäytteitä 102 kielellä. Sanavirhesuhde (WER) kertoo, kuinka suuri osa sanoista litteroitui väärin. Semanttinen WER laskee virheeksi vain kohdat, joissa merkitys muuttuu.
Taulukko näyttää, kuinka paljon uudet mallit vähensivät virheitä edeltäjiinsä verrattuna. Rivien mittarit ovat erilaiset, joten rivejä ei voi verrata keskenään.
| Malli | Verrattuna | Mittari | Virheitä vähemmän |
|---|---|---|---|
| Scribe v3 | Scribe v2 | WER, 102 kieltä | 27 % |
| Scribe v3 | Scribe v2 | puhujaerottelu, vähintään 3 puhujaa | 17 % |
| Scribe v3 Live | Scribe v2 Realtime | semanttinen WER, 102 kieltä | 43 % |
| Scribe v3 Live | Scribe v2 Realtime | WER, 102 kieltä | 31 % |
Lähde: ElevenLabsin blogi, yhtiön omat mittaukset.
FLEURSin näytteissä puhuu vain yksi ihminen. Siksi ElevenLabs kokosi puhujaerottelun mittaamista varten oman aineiston oikeista kokouksista, agenttipuheluista ja ääniviesteistä 16 kielellä. Yhtiö kertoo julkaisevansa aineiston avoimesti pian. Aineiston englanninkielisessä osassa Scribe v3 Liven erotteluvirheiden osuus oli 3,1 % ja muiden testattujen reaaliaikamallien 5,9–7,3 %. Pisteytyksessä mitattiin vain, liitettiinkö kukin sana oikeaan puhujaan. Tapa pienentää kaikkien mallien virhelukuja, joten luvut eivät ole verrattavissa tallenteiden erottelutuloksiin.
ElevenLabsin mukaan hollantilaisen energiayhtiön Enecon puheagentti tunnisti Scribe v3 Liven ennakkotestissä oikeissa asiakaspuheluissa postinumeron ensimmäisellä yrityksellä 40 % ja talonumeron 15 % useammin.
Termilistat ja saatavuus
Scribe v3:lle voi antaa enintään 1 000 avaintermiä, kuten tuotemerkkejä ja lyhenteitä, sekä muotoilusääntöjä tavallisella englannilla. Live-versiossa on lisäksi monikielinen tila keskusteluihin, joissa kieli vaihtuu kesken lauseen. Siinä on myös termikirjasto, jota malli käyttää vasta kuullessaan todennäköisen osuman. Blogin mukaan kirjastoon mahtuu tuhansia termejä, Runtimewiren mukaan 10 000.
Scribe v3 Live on käytössä ElevenAgentsissa, ja ElevenLabs-sovelluksessa molemmat mallit ovat oletuksena. ElevenAPI-rajapinnassa nykyinen integraatio siirtyy uuteen malliin, kun mallin tunnisteeksi vaihdetaan scribe_v3 tai scribe_v3_live. Yritysasiakkaille on tarjolla myös erilliset ympäristöt EU:ssa, Intiassa ja Singaporessa.