NVIDIA publicerade modellen Nemotron 3.5 Bolt 74B-A9B 24GB på Hugging Face den 15 oktober. Sam Witteveen, som testar AI-modeller på YouTube, beskrev i en video som publicerades den 9 november hur modellen togs fram.

Bolt är en MoE-modell med öppna vikter: för varje token använder den bara en del av sina delnätverk, som kallas experter. Av modellens 74 miljarder parametrar används 9 miljarder per token. NVIDIA utformade modellen för AI-agenter som körs lokalt och dimensionerade den efter minnet i RTX Spark.

Vid kvantisering lagras modellvikterna med färre bitar. Enligt Witteveen fungerar avrundning av vikterna i en färdig modell oftast ned till fyra bitar, men mellan två och tre bitar försämras kvaliteten kraftigt.

Beskärning först, kvantisering sist

Enligt modellkortet tog NVIDIA fram Bolt genom att beskära Nemotron 3.5 Super VL, som har 120 miljarder parametrar. En arkitektursökning valde antalet experter och deras bredd lager för lager så att den kvantiserade modellen ryms på under 24 gigabyte med ett kontextfönster på 128 000 token. Antalet experter som används per token sjönk från 22 till nio.

Den beskurna modellen återfick sin förmåga genom att lära av modermodellen. Därefter finjusterade NVIDIA modellen och tränade den med förstärkningsinlärning. Till sist lärde företaget den kvantiserade modellen att efterlikna den okvantiserade versionen. Modellen lär sig på så sätt att fungera med få bitar, säger Witteveen.

Alla experter lagrades med 2,0625 bitar per vikt. Mamba-lagren är i 4-bitarsformatet NVFP4 och inbäddnings- och utdatalagren är 8-bitars, så modellen är inte helt 2-bitars.

NVIDIA motiverar lösningen med tidigare forskning, bland annat förhandspubliceringarna ParetoQ och Quest. Enligt dem kan dubbelt så stora lager fungera bättre med två bitar än de ursprungliga med fyra. Witteveen är fortfarande skeptisk eftersom det är svårt för utomstående att upprepa sådan träning.

Jämförelsesiffrorna är NVIDIA:s egna

I de flesta av de 13 benchmarkarna i NVIDIA:s modellkort får Bolt i 2-bitarsversion bättre resultat än tre mindre MoE-modeller som mättes okvantiserade i BF16-format. Tabellen visar fem av dem.

Bolt är inte bäst i varje test i tabellen: i PinchBench ligger Qwen3.6 knappt före, och i båda måtten i AA-Omniscience får en del av jämförelsemodellerna bättre resultat. Enligt de NVIDIA-siffror som Witteveen presenterade sänkte kvantiseringen resultatet i PinchBench från omkring 90 till 88 och i GPQA Diamond från omkring 89 till 86. Den okvantiserade versionen tar 148 gigabyte, uppger han.

Witteveen: Smartare, inte snabbare

I NVIDIA:s hastighetstabell genererar Bolt omkring 84 token per sekund på RTX Spark, färre än Qwen 3.6 och Gemma 4, enligt Witteveen. Han beskriver Bolt som en modell som är smartare per gigabyte minne men inte snabbare.

I Witteveens eget test fick Bolt 10/10 i grundtesterna av verktygsanrop. Ibland misslyckades den med att avvärja promptinjektion, liksom Super. Han anser att Bolt passar för enheter i Spark-klassen, men med en kraftfullare GPU kan en större modell vara ett bättre val.

Modellen kan laddas ned från Hugging Face under licensen OpenMDW-1.1, som tillåter kommersiell användning. Det finns också en GGUF-version. Enligt instruktionerna i modellkortet körs modellen med en utvecklingsversion av vLLM eller nyare. Modellkortet anger de GPU:er som stöds olika på olika ställen: antingen A100-, H100- och Blackwell-GPU:er eller bara Blackwells SM120- och SM121-kretsar.