ByteDancen puhelumalli: rytmiongelmia yhtiön mukaan puolet vähemmän kuin ketjumalleissa
ByteDancen Volcano Engine avasi 19. marraskuuta kehittäjille SeedRealtime 1.0 -mallin, joka yhtiön mukaan katsoo, kuuntelee ja puhuu samaan aikaan. Yhtiön mukaan keskustelun rytmiongelmia on puolet vähemmän kuin ketjumalleissa eli peräkkäin toimivista osista koostuvissa järjestelmissä.
Tavallinen puheavustaja koostuu peräkkäisistä ohjelmista. Puheentunnistus (ASR) muuttaa puheen tekstiksi, jonka kuvaa ja kieltä käsittelevä malli (VLM) tulkitsee. Puhesynteesi (TTS) lukee vastauksen ääneen. Volcano Enginen mukaan jokainen välivaihe lisää viivettä ja hukkaa tietoa.
Doubao-mallisarjaan kuuluva SeedRealtime 1.0 käsittelee äänen, kuvan, ajoituksen ja oman puheensa yhdessä mallissa. Yhtiön mukaan malli ei vain odota kysymyksiä. Se seuraa tilanteen muutoksia ja puhuu itse sopivalla hetkellä.
Yhtiön esimerkissä käyttäjä kaataa kokonaisia kahvinpapuja espressokeittimen suodatinkahvaan. Malli muistuttaa, että pavut pitää ensin jauhaa. Kun kahvi on uutettu, malli ehdottaa cremasta ja kahvin määrästä päätellen lyhyempää uuttoaikaa. Yhtiön mukaan malli myös erottaa puhujat toisistaan eikä reagoi sivullisten jutteluun tai taustameluun.
Volcano Enginen mukaan ääni- ja videokeskustelun rytmiongelmia on puolet vähemmän kuin ketjumalleissa, joissa osat on kytketty peräkkäin. Lisäksi yksittäinen keskustelu sujuu yhtiön mukaan useammin loppuun asti katkoitta. Uutisissa ei kerrota rytmiongelman määritelmää, vertailtuja järjestelmiä eikä testien tekijää. Luku on siis yhtiön oma väite.
Uutisen kertoivat 19. marraskuuta muun muassa ithome.com (IT之家), Ifeng, 36Kr ja Kuai Keji. Kaikki nojaavat yhtiön tiedotteeseen. Uutiset eivät siis vahvista toisiaan, eikä niissä ole riippumatonta testiä. Myös esimerkkitilanteet ovat yhtiön valitsemia.
Rajapinta on nyt kehittäjien käytössä Volcano Enginen kautta. Yhtiö markkinoi sitä ääniavustajiin, älylaitteisiin, seuralaissovelluksiin, asiakaspalveluun ja oppimissovelluksiin. Hinnoittelua ei uutisissa kerrota.