Ny version av llama.cpp kör Inkling 2 med text och bilder
Förhandspubliceringen b12406 av llama.cpp kan konvertera Thinking Machines Labs modell Inkling 2 till GGUF-formatet och köra den med text och bilder. Konverteringen har ännu inte testats med en riktig modellfil.
Projektet llama.cpp publicerade version b12406 på GitHub den 15 november. llama.cpp är ett program för att köra språkmodeller på den egna datorn. GGUF är programmets filformat för modellvikter. Enligt ändringsloggen konverterar den nya versionen Inkling 2:s vikter till GGUF-formatet, kör modellen med text och läser stillbilder. Versionen är markerad som förhandspublicering på GitHub, uppger den japanska webbplatsen Signal Yomi och nyhetssammanställningen Briefed Today.
Thinking Machines Labs modellkort anger att Inkling 2 tar emot text och bilder och svarar med text, skriver Signal Yomi. Webbplatsen uppger också att företaget meddelade den 12 november att modellvikterna för Inkling 2 Small finns att ladda ner.
Stödet är begränsat till enskilda bilder. Utvecklarna tog bort medelvärdesbildningen av videobildrutor och det ljudstöd de först hade lagt till. De sköt upp hanteringen av alfakanalen till senare. Övriga ändringar gäller bland annat flash attention-beräkningar på CUDA-grafikkort.
Version b12413, som publicerades samma dag, rättar placeringen av bildens start- och sluttoken i indata. Enligt Signal Yomi sa en underhållare att det före rättningen lades in ett tomt textblock före bilden. Nu motsvarar ordningen modellens referensmall. Webbplatsen rekommenderar b12413 eller senare för försök med bilder och påpekar att inga mätresultat har presenterats för bildigenkänningens precision eller hastighet.
Konverteraren packar upp komprimerade vikter i små block
Inkling 2 är en MoE-modell. Den består av flera expertnätverk, och varje token använder bara en del av dem. I originalfilen är experternas vikter packade i formaten NVFP4 och MXFP8, där ett tal bara upptar några bitar. Konverteraren packar upp dem till 32-bitars flyttal, 128 rader per expert åt gången.
Enligt ändringsloggen upptar ett block med w13-vikter 2,25 MiB. Att packa upp hela lagret på en gång skulle kräva 30,375 GiB. Utvecklarna uppskattar minnesbehovet till cirka 16 MiB per viktmatris, exklusive körtidsminne, andra tensorer och operativsystemets cache.
GGUF-vikter som konverterats från packade syntetiska vikter stämde bit för bit med vikter som packats upp separat med vLLM. I logits som beräknades på processorn, alltså modellens poängvärden för nästa token, var det absoluta felet högst 3,1e-6. Det mest sannolika nästa token var detsamma i samtliga fall. Konvertering av en riktig modellfil har inte testats, uppger ändringsloggen.
Färdiga filer och minnessiffror
Unsloth delar färdigkvantiserade GGUF-filer på Hugging Face, skriver Signal Yomi. För text räcker modellfilen. För bilder behövs dessutom en fil för den visuella projektorn, som omvandlar bilderna till ett format som modellen kan bearbeta. Filen anges med flaggan mmproj vid start. Enligt Unsloths tabell är modellfilen för den minsta kvantiseringen, UD-IQ1_S, på 171,7 GB.
Enligt webbplatsen anger Thinking Machines Labs modellkort att den officiella NVFP4-versionen kräver minst 500 GB GPU-minne totalt. Signal Yomi påpekar att siffrorna mäter olika saker. Ingen av dem visar hur mycket minne som krävs för att köra GGUF-modellen med llama.cpp.
Färdiga byggen för macOS, Linux, Windows och Android finns att ladda ner från llama.cpp:s releasesida på GitHub.
Läs mer: Modeller