llama.cpp-projekti kertoi 10. marraskuuta GitHubin julkaisutiedotteessa, että sen ohjelmalla voi nyt syöttää Gemma 4 -mallille suoratoistettua ääntä. llama.cpp on ohjelma kielimallien ajamiseen omalla koneella. Muutos on pull requestissa #31965 ja mukana koontiversiossa b12237.

Suoratoistossa ääni syötetään mallille jatkuvana virtana eikä valmiina tiedostona. Muutos koskee mtmd-kirjastoa, joka käsittelee llama.cpp:ssä tekstin rinnalla tulevaa syötettä, kuten ääntä. Tiedotteen mukaan äänivirta etenee 480 millisekunnin askelin. Tiedote ei kerro viiveestä eikä siitä, miten äänivirran saa käyttöön palvelimessa.

Samaan muutokseen kuuluu korjaus llama.cpp:n palvelimeen. Palvelimen reaaliaikatila pakotti mallin palauttamaan upotukset eli mallin sisäisen tilan jokaisesta syöte-erän rivistä. Vain ääntä tuottava malli kuitenkin varaa näille tuloksille muistia. Siksi äänivirtaa käyttävä keskustelumalli Gemma 4 kaatui heti ensimmäiseen äänierään.

Nyt palvelin kytkee upotukset päälle vain ääntä tuottaville malleille. Tiedotteen mukaan upotuksia lukee ainoastaan äänen tuottamisen käsittelyketju. Tiedotteen perusteella Gemma 4 ei kuulu ääntä tuottaviin malleihin, joten muutos koskee äänen vastaanottamista.

Versiosta on valmiiksi käännetyt paketit macOS:lle, iOS:lle, Linuxille, Androidille ja Windowsille sekä eri laskentarajapinnoille, kuten CUDA, Vulkan, ROCm, SYCL ja OpenVINO. Tästä julkaisusta puuttuvat macOS:n KleidiAI-käännös ja openEuler-paketit. Paketit voi ladata projektin GitHub-sivulta.