En utvecklare som kallar sig Synchopate hävdar i GitHub-projektet llama-modchip att DeepSeek-V4-Flash fungerar enbart på processorn i en dator med 64 gigabyte. Projektet blev populärt på Hacker News den 8 november. Siffrorna är utvecklarens egna mätningar på en enda dator med en 16-kärnig AMD Ryzen 9 9955HX. WindowsForum hittade ingen oberoende upprepning av resultatet.

Hur modellen ryms i minnet

DeepSeek-V4-Flash är en MoE-modell. Den har 284,33 miljarder parametrar, men 13,17 miljarder används för att beräkna varje token. Varje lager väljer sex av 256 experter och dessutom en gemensam expert. Processorn behöver alltså bara läsa en liten del av vikterna per token.

llama-modchip är en samling ändringar i llama.cpp. Den komprimerar modellen till en fil på 56,56 GiB med i genomsnitt 1,71 bitar per vikt. De flesta experter har en precision på omkring 1,56 bitar.

Som utgångspunkt anger README Unsloths version UD-IQ1_S, som är 76,87 GiB eller 82,5 gigabyte och inte ryms i minnet. Samcodeman.com och WindowsForum beskrev utgångsversionen som en IQ2_XXS-kvantisering. Enligt Samcodeman.com påpekade en kommentator på Hacker News att Unsloths IQ2_XXS-fil är 91 gigabyte.

Med ett kontextfönster på 256 000 token används 57,61–58,9 GiB minne. Enligt README finns omkring 62,5 GiB tillgängligt på en Linuxdator med 64 gigabyte. WindowsForum uppger att omkring 59,6 GiB är tillgängligt, vilket lämnar 0,7–2 GiB till annat.

Hastighet och kvalitet

Enligt README ökade hastigheten i promptbehandlingen från 25,0 till 44,36 token per sekund. Med standardinställningarna genererar modellen svar med 9,06–9,95 token per sekund, medan den oförändrade utgångsversionen gav 5,91. Samcodeman.com påpekar att README för samma utgångsversion på en dator med 64 gigabyte också anger att minnet tar slut eller att sidväxling sker.

Det snabbaste resultatet med standardinställningarna, 11,5–14,7 token per sekund, nås med spekulativ avkodning. En utkastmodell, Stockfish-PVS på 1,64 megabyte, föreslår token och den stora modellen kontrollerar dem. Vinsten beror på hur stor andel av förslagen som godtas, så hastigheten varierar med uppgiften.

Vid agentanvändning är promptbehandlingen det långsammaste steget. Enligt Samcodeman.coms beräkning tar behandlingen av en ny prompt på 10 000 token omkring 225 sekunder. Programmet återställer tidigare behandlad kontext på 13,1–32,6 millisekunder, uppger README. Det hjälper dock bara om början av prompten förblir densamma.

README kallar standardinställningen förlustfri. Jämförelsen gäller dock inte originalmodellen utan samma komprimerade modell utan projektets ändringar. För 284B-modellen redovisar README varken någon jämförelse med modellen i full precision eller några uppgiftstester. Enligt Samcodeman.com sade en kommentator på Hacker News att redan en kvantisering på 97 gigabyte avviker tydligt från modellen i full precision.

Om varje lager använder fyra experter i stället för sex och beräkningen förenklas även på andra sätt, ökar genereringshastigheten till högst 10,74 token per sekund. Resultatet avviker då något från standardinställningen.

Driftsättning

Filerna använder en egen tensortyp, så varken vanliga llama.cpp, Ollama eller LM Studio kan öppna dem. Projektet har licensen Apache 2.0. Modellfilerna och en färdig server för Linux x86_64 laddas ned från Hugging Face, och instruktionerna finns i README i kodförrådet. Optimeringarna för 284B-modellen är gjorda för AVX-512BW-instruktioner. För datorer med 16–32 gigabyte erbjuder README modellen Nemotron-3.5-30B-A3B på 14,35 GiB.