Synchopate-nimimerkillä toimiva kehittäjä väittää llama-modchip-nimisessä GitHub-projektissaan, että DeepSeek-V4-Flash toimii pelkällä prosessorilla 64 gigatavun koneessa. Projekti nousi suosituksi Hacker Newsissa 8. marraskuuta. Luvut ovat kehittäjän omia mittauksia yhdellä koneella, jossa on 16-ytiminen AMD Ryzen 9 9955HX. WindowsForum ei löytänyt tulokselle riippumatonta toistoa.

Miten malli mahtuu muistiin

DeepSeek-V4-Flash on MoE-malli: parametreja on 284,33 miljardia, mutta kunkin tokenin laskemiseen käytetään 13,17 miljardia. Jokainen kerros valitsee 256 asiantuntijaosasta kuusi ja lisäksi yhden yhteisen. Prosessorin tarvitsee siis lukea tokenia kohden vain pieni osa painoista.

llama-modchip on joukko llama.cpp-ohjelman muutoksia. Se pakkaa mallin 56,56 GiB:n tiedostoksi, jossa painoa kohden on keskimäärin 1,71 bittiä. Suurin osa asiantuntijoista on noin 1,56 bitin tarkkuudella.

Lähtökohdaksi README nimeää Unslothin UD-IQ1_S-version, jonka koko on 76,87 GiB eli 82,5 gigatavua ja joka ei mahdu muistiin. Samcodeman.com ja WindowsForum kuvasivat lähtöversion IQ2_XXS-kvantisoinniksi. Samcodeman.comin mukaan Hacker Newsin kommentoija huomautti, että Unslothin IQ2_XXS-tiedosto on 91 gigatavua.

256 000 tokenin konteksti-ikkunalla muistia kuluu 57,61–58,9 GiB. README:n mukaan 64 gigatavun Linux-koneessa on käytettävissä noin 62,5 GiB. WindowsForumin mukaan käytettävissä on noin 59,6 GiB, joten muulle jää 0,7–2 GiB.

Nopeus ja laatu

Kehotteen käsittely nopeutui README:n mukaan 25,0:sta 44,36 tokeniin sekunnissa. Vastausta malli tuottaa oletusasetuksilla 9,06–9,95 tokenia sekunnissa, kun muuttamaton lähtöversio tuotti 5,91. Samcodeman.com huomauttaa, että README merkitsee samalle lähtöversiolle 64 gigatavun koneessa myös muistin loppumisen tai sivutuksen.

Oletusasetuksilla nopein tulos, 11,5–14,7 tokenia sekunnissa, syntyy spekulatiivisella dekoodauksella: 1,64 megatavun Stockfish-PVS-luonnostelija ehdottaa tokeneita, ja iso malli tarkistaa ne. Hyöty riippuu hyväksyttyjen ehdotusten osuudesta, joten nopeus vaihtelee tehtävän mukaan.

Agenttikäytössä hitain vaihe on kehotteen käsittely. Samcodeman.comin laskelman mukaan uuden 10 000 tokenin kehotteen käsittely kestää noin 225 sekuntia. README:n mukaan ohjelma palauttaa aiemmin käsitellyn kontekstin 13,1–32,6 millisekunnissa. Se auttaa kuitenkin vain, jos kehotteen alku pysyy samana.

README kutsuu oletusasetusta häviöttömäksi. Vertailukohta ei kuitenkaan ole alkuperäinen malli vaan sama pakattu malli ilman projektin muutoksia. README ei raportoi 284B-mallille vertailua täyden tarkkuuden malliin eikä tehtävätestejä. Samcodeman.comin mukaan Hacker Newsissa eräs kommentoija sanoi, että jo 97 gigatavun kvantisointi poikkeaa selvästi täyden tarkkuuden mallista.

Jos kerros käyttää neljää asiantuntijaa kuuden sijaan ja laskentaa oiotaan muutenkin, tuottaminen nopeutuu enimmillään 10,74 tokeniin sekunnissa. Tulos poikkeaa silloin hieman oletusasetuksesta.

Käyttöönotto

Tiedostot käyttävät omaa tensorityyppiä, joten tavallinen llama.cpp, Ollama ja LM Studio eivät avaa niitä. Projektin lisenssi on Apache 2.0. Mallitiedostot ja valmis Linux x86_64 -palvelin ladataan Hugging Facesta, ja ohjeet ovat repositorion README:ssä. 284B-mallin nopeutukset on tehty AVX-512BW-käskyille. 16–32 gigatavun koneisiin README tarjoaa 14,35 GiB:n Nemotron-3.5-30B-A3B-mallia.