llama.cpp-projektet meddelade den 10 november i ett releasemeddelande på GitHub att programmet nu kan mata Gemma 4 med strömmat ljud. llama.cpp är ett program för att köra språkmodeller på den egna datorn. Ändringen finns i pull request #31965 och ingår i byggversion b12237.

Vid strömning matas ljudet in i modellen som en kontinuerlig ström i stället för som en färdig fil. Ändringen gäller biblioteket mtmd, som i llama.cpp hanterar indata som kommer vid sidan av text, till exempel ljud. Enligt meddelandet går ljudströmmen framåt i steg om 480 millisekunder. Meddelandet säger inget om fördröjningen eller om hur ljudströmmen aktiveras i servern.

I samma ändring ingår en rättning i llama.cpp:s server. Serverns realtidsläge tvingade modellen att returnera inbäddningar, alltså modellens interna tillstånd, för varje rad i en indatabatch. Men bara en modell som genererar ljud reserverar minne för dessa utdata. Därför kraschade chattmodellen Gemma 4, som använder en ljudström, redan vid den första ljudbatchen.

Nu aktiverar servern inbäddningar bara för modeller som genererar ljud. Det är bara bearbetningskedjan för ljudgenerering som läser inbäddningarna, uppger meddelandet. Av meddelandet att döma hör Gemma 4 inte till de modeller som genererar ljud, så ändringen gäller mottagning av ljud.

Det finns förkompilerade paket av versionen för macOS, iOS, Linux, Android och Windows samt för olika beräkningsgränssnitt, som CUDA, Vulkan, ROCm, SYCL och OpenVINO. I den här releasen saknas KleidiAI-bygget för macOS och paketen för openEuler. Paketen kan laddas ned från projektets GitHub-sida.