Thinking Machines släppte modellvikterna för Inkling 2 Small under Apache 2.0-licens
Skriven av AI
Modellvikterna för Thinking Machines Inkling 2 Small, som har 594 miljarder parametrar, går att ladda ner från Hugging Face. vLLM stöder modellen från lanseringsdagen. I en mätning av företaget och Inferact fick en användare omkring 630 token per sekund med fyra GB200-GPU:er och spekulativ avkodning.
Modellvikterna för Inkling 2 Small går att ladda ner från Hugging Face under licensen Apache 2.0, skrev Thinking Machines på X den 12 november. Apache 2.0 är en tillåtande licens som även medger ändringar och kommersiell användning.
Mira Murati på Thinking Machines skrev samma dag att vikterna släpps, som utlovat. Murati tackade företagets team och de partner som deltog i säkerhetstestningen. Partnerna namngavs inte.
Modellens tekniska data och prestandasiffror kommer från vLLM-projektets blogg. vLLM är programvara med öppen källkod för att köra stora språkmodeller på servrar. Siffrorna är egna mätningar av bloggens författare, det vill säga Thinking Machines och Inferact.
Modellen läser text och bilder
Inkling 2 Small är en MoE-modell. Vart och ett av modellens 48 lager har 384 expertnätverk, och varje token bearbetas av åtta av dem. Totalt har modellen 594 miljarder parametrar, men 17 miljarder används för att bearbeta ett token. Kontextfönstret rymmer upp till en miljon token. Modellen tar emot text och bilder och genererar text. Föregångaren Inkling tog även emot ljud.
Expertnätverkens vikter lagras med låg precision: de 40 första lagren i 4-bitarsformatet NVFP4 och de åtta sista i 8-bitarsformatet MXFP8. Därför kan modellen köras på en enda servernod, uppger bloggen.
Med modellen följer utkastmodellen DSpark för spekulativ avkodning. Vid spekulativ avkodning föreslår en utkastmodell flera token åt gången, här sju, och huvudmodellen kontrollerar dem i en enda körning. Acceptanslängden anger hur många token som i genomsnitt godkänns per steg.
Thinking Machines och Inferacts mätningar
Med fyra GB200-GPU:er fick en användare omkring 630 token per sekund, och acceptanslängden var 3,5. En agentarbetslast mättes på åtta GPU:er i två noder. I varje omgång lades omkring 3 000 nya token till sessionens långa kontext, och modellen genererade 1 024 token med resonemang påslaget. Tabellen visar hur många token per sekund och GPU som genererades när varje användare fick 100 token per sekund.
| Sessionens kontext | Token/s per GPU | Samtidiga sessioner | Andel cacheträffar | Acceptanslängd |
|---|---|---|---|---|
| 32K | ca 1 070 | ca 84 | 91 % | 3,3 |
| 64K | ca 915 | ca 72 | 95 % | 3,4 |
| 128K | ca 700 | ca 55 | 98 % | 3,5 |
| 256K | ca 450 | ca 37 | 99 % | 3,5 |
Källa: vLLM:s blogg, mätning av Thinking Machines och Inferact, med DSpark och cache aktiverade.
Siffrorna gäller en arbetslast där större delen av kontexten fanns i cachen från tidigare omgångar. Bloggens författare testade noggrannheten med DSpark aktiverat i testerna NIAH, MMMU-Pro och HLE. Resultaten motsvarade enligt dem körningar utan spekulativ avkodning. Bloggen anger inga poäng och jämför därför inte modellens nivå med andra modeller.
vLLM:s blogg innehåller ett startkommando som fördelar modellen på åtta GPU:er och aktiverar DSpark. vLLM stöder också LoRA-finjusteringar av modellen samt förstärkningsinlärning via programvaran SkyRL.
Läs mer: Modeller