llama.cpp 1.0: Ändringar som bryter gränssnittet markeras framöver med ny huvudversion
llama.cpp och dess bibliotek ggml har nu nått version 1.0.0. Underhållarna lovar att ändringar som bryter gränssnittet framöver höjer huvudversionen. Version 1.0 tar själv bort föråldrade funktioner och skärper serverns säkerhet.
Bibliotekens underhållare meddelade den 13 november på Hugging Faces blogg att llama.cpp övergår till stabil versionering. Samma dag publicerades på GitHub version 1.0.0 av både llama.cpp och tensorbiblioteket ggml, som llama.cpp bygger på. Föregående version var 0.9.0.
llama.cpp är ett C/C++-bibliotek för att köra stora språkmodeller på egen hårdvara, från konsumentdatorer till företagsservrar. Enligt bloggens författare Daniel Bevenius, Georgi Gerganov och merve är många applikationer redan beroende av projektet: ”Varje ny integration innebär att fler utvecklare är beroende av våra biblioteksgränssnitt, och därför är ett flexibelt men stabilt API av största vikt.”
Löftet gäller programmeringsgränssnittet (API), alltså de funktioner som applikationens kod anropar, och det binära gränssnittet (ABI), som ett färdigkompilerat program är beroende av. Framöver höjer en ändring som bryter det publika C-gränssnittet huvudversionsnumret. Bakåtkompatibla tillägg, som stöd för nya modeller och uppdateringar av hårdvarustödet, höjer delversionen. Buggfixar som inte ändrar gränssnittet höjer patchversionen. Enligt Superpower Daily, som Tbreak citerar, är versionen en signal till utvecklare och innebär inte att ändringar fryses.
Version 1.0 tar bort det gamla gränssnittet
Version 1.0 bryter själv kompatibiliteten. Enligt versionsinformationen på GitHub stryks llama_set_warmup, 35 funktioner som markerats som föråldrade och inställningen defrag_thold ur headerfilen llama.h. Från kommandoraden försvinner flaggan --defrag-thold. Kod och startkommandon som använder dem måste uppdateras.
NextN-gränssnittet flyttas från headerfilen llama-ext.h till llama.h. Det är avsett för spekulativ avkodning, där huvudmodellen kontrollerar ett utkast till textens fortsättning i ett enda steg. Funktionen llama_set_embd_state_src heter nu llama_set_ctx_state_src. Headerfilen clip.h för multimodalitet har tagits bort, och dess kod har slagits samman med biblioteket mtmd.
Servern kräver separat tillstånd för riskfyllda åtgärder
Servern llama-server skyddades mot SSRF-attacker, där en angripare får servern att hämta adresser i det interna nätverket. Dessutom rättades hanteringen av inställningen --cors-origins och skyddet mot DNS rebinding-attacker. Instanser som servern har startat går inte längre att nå direkt från webbläsaren.
Enligt ändringsloggen måste verktyg nu tillåtas separat med flaggan --allow-unauthenticated-tools när de används utan autentisering via en annan adress än den lokala datorns (loopback). Media kan bara hämtas från privata nätverksadresser med flaggan --media-allow-private-urls. Servern skickar numera HF_TOKEN bara till huggingface.co-servrar. Om klienten kopplar från eller en tidsgräns överskrids, avbryter servern pågående MCP-verktygsanrop och meddelar MCP-servern.
Övriga nyheter
Nytt är en KV-cache i FP8-format, där modellen lagrar mellanresultaten från redan bearbetad text. Andra tillägg är en cache i arbetsminnet för MoE-modellers expertdelar, de nya textmodellerna Kimi-K3.1-Pro, Ripple och xing4_0, talsyntesen drama-3, ett OpenAI-kompatibelt /v1/audio/speech-gränssnitt och ett förnyat webbgränssnitt.
Enligt bloggen stöder llama.cpp, som är öppen källkod, fler än 150 varianter av modellarkitekturer. På GitHubs releasesida finns färdigkompilerade versioner för Linux, macOS, Windows, Android och iOS. Biblioteket distribueras också via bland annat Docker, Debian, Homebrew och Winget, skriver bloggen.
Läs mer: Modeller