Bland esitteli puhelinkäyttöön Tofu-1-mallin, joka yhtiön mukaan kuuntelee puhuessaan
Bland kertoo Tofu-1-mallinsa käsittelevän puhelun ääntä suoraan ilman tekstimuunnosta ja erottavan soittajan esimerkiksi television puheesta. Tutkimusesiversioon voi hakea, mutta sinne pääsee vain rajattu joukko yrityksiä, eikä mallin suorituskyvystä ole julkaistu riippumattomia testejä.
Puhetekoälyä kehittävä sanfranciscolainen Bland julkisti Tofu-1-mallinsa 13. marraskuuta. Toimitusjohtaja Isaiah Granet perusteli mallia X:ssä: ”Kaikkein tärkeimmät puhelut soitetaan harvoin hyvissä oloissa: liikkuvista autoista ja sairaalahuoneista, heikolla yhteydellä ja monen puhuessa yhtä aikaa.”
Blandin tuotesivun mukaan useimmat puhelimessa toimivat tekoälyagentit muuttavat puheen tekstiksi, antavat tekstin kielimallille ja muuttavat vastauksen takaisin puheeksi. Yhtiön mukaan jokaisessa vaiheessa katoaa tietoa: kuka puhui, kenelle ja epäröikö hän. Tofu-1 käsittelee suoraan ääntä.
Malli kuuntelee ja puhuu yhtä aikaa (full-duplex), joten soittaja voi keskeyttää sen kesken lauseen. Blandin mukaan vaikeinta on erottaa kuittaus korjauksesta. Yhtiön esimerkissä ”mm-hmm” tarkoittaa mallille jatkamista ja ”ei, se on 4 eikä 9” pysähtymistä. Malli jatkaa keskustelua myös tietoja hakiessaan. Yhtiön mukaan se ei sano tehtävää tehdyksi ennen kuin se on tehty.
Yhtä esimerkkiään Bland kutsuu TV-testiksi. Agentti pyytää soittajaa vahvistamaan, että hän haluaa irtisanoa vakuutuksensa. Soittaja etsii vielä vakuutusnumeroaan, mutta televisiosta kuuluu ”Yes!”. Yhtiön mukaan tekstiin perustuva agentti voi pitää sitä vastauksena. Tofu-1 taas on rakennettu tunnistamaan äänen tulevan televisiosta ja pyytämään vahvistusta soittajalta. Bland merkitsee tilanteen havainnollistukseksi eikä tallenteeksi mallin toiminnasta.
Malli voi myös tuottaa puhelun ääniä, kuten toisen puhujan puheen, huoneen äänet ja linjan kohinan. Blandin mukaan Tofu-1 tuotti julkistusvideon kaikki äänet, myös soittajan.
Ainoa suorituskykyluku tulee yhtiön omasta kuuntelutestistä
Sulat-sivuston lainaaman Blandin sivun mukaan 92 prosenttia sisäisten kuuntelutestien osallistujista ei tunnistanut Tofu-1:n ääntä tekoälyksi. Osallistujamäärää tai testitapaa ei kerrota. MarkTechPost ja Glitchwire kirjoittavat yli 92 prosentista. Glitchwiren mukaan kuulijat eivät erottaneet mallin tuottamaa ääntä oikeasta äänitteestä.
Sulatin mukaan Blandin sivu kertoo, miten yhtiö testaa mallia puhelutehtävissä, mutta ei julkaise Tofu-1:n tuloksia, ja sen pisteytystaulukot on merkitty havainnollistuksiksi. Glitchwiren mukaan riippumattomia testejä ei ole julkaistu.
MarkTechPostin mukaan Bland ei ole kertonut mallin parametrimäärää, viivettä eikä vertailutestien tuloksia. Kilpailijoista OpenAI ilmoittaa GPT-Live-1:n vuoronvaihdon viiveeksi 0,798 sekuntia, ja NVIDIA NemotronLabs VoiceChat 11B:n viive on 448 millisekuntia. Luvut ovat valmistajien omia ja peräisin FDB-vertailutestin eri versioista, joten ne eivät ole suoraan vertailukelpoisia.
Sulatin mukaan Bland itse varoittaa, ettei soittajaa pitäisi enää tunnistaa pelkän äänen perusteella. Yhtiö suosittelee riskialttiisiin toimiin toista tunnistustekijää, kuten jo rekisteröityyn laitteeseen lähetettävää koodia.
Saatavilla rajatulle joukolle yrityksiä
Tofu-1 on suljettu malli, jota ajetaan Blandin palvelimilla. Tutkimusesiversioon pääsee rajattu joukko yrityksiä. Bland hakee mukaan erityisesti pankkeja, terveydenhuollon ja vakuutusalan toimijoita sekä julkishallintoa. Sulatin mukaan Bland arvioi jokaisen hakemuksen erikseen, ja ensimmäinen versio tukee englantia ja espanjaa tavallisilla puhelinlinjoilla.
Hinnoittelusta ei ole kerrottu. MarkTechPostin mukaan Bland mainitsee mallin tulevan saataville tammikuussa. Sulatin ja Glitchwiren mukaan yleistä julkaisupäivää ei ole ilmoitettu.
Lue lisää: Mallit