Udgam Labs kertoi 7. marraskuuta blogissaan, että sen Shruti-puheentunnistusmalleja on nyt jokaiselle Intian perustuslain kahdeksannen liitteen 22 kielelle. Kullakin kielellä on oma mallinsa, ja jokainen malli tunnistaa myös englantia.

Mallit perustuvat Cactus Compute -yhtiön Cactus Whistle -puhemalliin. Se on 55 miljoonan parametrin avointen painojen malli. Udgam Labs lisäsi kullekin kielelle sanastoa ja hienosääti kaikki mallin painot julkisilla puheaineistoilla. Painot on pakattu neljään bittiin, joten mallitiedosto on 29,5–29,7 megatavua.

Mallit kirjoittavat puheen kielen omalla kirjaimistolla. Englanninkieliset sanat ne jättävät usein latinalaisiin aakkosiin, kuten moni itse kirjoittaa: ”मेरा order कब आएगा”.

Edut riippuvat pisteytystavasta

Yhtiö mittasi tarkkuutta sanavirheprosentilla. Se kuvaa väärin tunnistettujen sanojen osuutta, joten pienempi luku on parempi. Päätestinä oli Sarvam AI:n ja AI4Bharatin Indic DiarBench. Sen aitoja keskusteluja ei yhtiön mukaan ollut minkään mallin koulutusaineistossa.

Yhtiön mukaan 11 Shruti-mallia tekee vähemmän virheitä kuin saman kielen IndicConformer, kun englanninkielinen sana lasketaan oikeaksi vain latinalaisin kirjaimin kirjoitettuna. Esimerkiksi gudžaratissa Shrutin tulos oli 28,5, SraVaani-1.0:n 32,4 ja IndicConformerin 44,9.

Jos englannin sanat pitää kirjoittaa kielen omalla kirjaimistolla, useimmissa kielissä IndicConformer tai SraVaani-1.0 on tarkempi. Luetussa puheessa suuremmat mallit ovat useimmissa kielissä selvästi tarkempia. Esimerkiksi FLEURS-testissä IndicConformer Punjabi sai 16,9 ja Shruti Punjabi 29,3. Keskusteluissa väärin tunnistettujen sanojen osuus on kielestä riippuen neljänneksestä yli puoleen.

Testit ovat osin suppeita: 11 kielen keskustelutestissä on alle sata puheenvuoroa. Seitsemästä kielestä yhtiö ei esitä luotettavana pitämäänsä vertailua. Kaikki luvut ovat Udgam Labsin omia mittauksia.

Hindimallin tiedosto on noin sata kertaa pienempi kuin OpenAI:n Whisper large-v3:n. Yhtiön hinditesteissä se teki vähemmän virheitä; esimerkiksi Monsoon-testissä tulokset olivat 20,46 ja 33,29. Yhtiö ajoi Whisperin ilman sen varamenettelyä (temperature fallback), mikä aiheutti toistosilmukoita. Yhtiön mukaan Shruti oli tarkempi silloinkin, kun toistosilmukkaan jääneet klipit poistettiin. Englannissa Whisper on selvästi parempi. Yhtiön mukaan pelkkään hindiin tehdyt, noin 16 kertaa suuremmat mallit ovat paljon tarkempia.

Rajoitukset ja käyttöönotto

Yhtiö ei ole testannut uudempia malleja melussa tai musiikin kanssa eikä useimpia kieliä mikrofonikäytössä. Kovassa melussa hindimallit toistivat joskus samaa ilmausta. Kielten puhujat eivät ole tarkistaneet 16 uudemman kielen litterointeja.

Yhtiön mittauksessa 21 uudempaa mallia toimi viisi vuotta vanhassa puhelimessa, jossa on 6 gigatavua muistia. Ne litteroivat 8,6–12,6 kertaa reaaliaikaa nopeammin ja käyttivät 64 megatavua muistia.

Malleista on myös ONNX-paketit esimerkiksi selaimeen ja Androidille. Yksikään paketti ei läpäissyt kaikkia kuutta yhtiön vertailusääntöä. Yhdeksän ei läpäissyt testiä, mutta yhtiö julkaisi nekin ja kertoi poikkeamat. Osassa poikkeama tarkoitti vähemmän virheitä kuin Cactusin needle-moottorilla ajetussa mallissa.

Mallit ovat Hugging Facessa Apache-2.0-lisenssillä, ja ajettavat esimerkit ovat yhtiön GitHub-repositoriossa. Lisenssi ei määrää koulutusaineistojen ehtoja, ja kahdelle Shruti Assamesen aineistolle ei ole nimetty lisenssiä. Mallit toimivat needle-moottorilla ilman avainta tai tiliä, mutta ensimmäinen lataus vaatii verkkoyhteyden, ellei mallia toimiteta sovelluksen mukana. Moottorin Python-paketti lähettää oletuksena nimettömiä käyttötilastoja, jotka saa pois päältä ympäristömuuttujalla NEEDLE_TELEMETRY=0.