NVIDIA julkaisi Nemotron 3.5 Bolt 74B-A9B 24GB -mallin Hugging Facessa 15. lokakuuta. Tekoälymalleja YouTubessa testaava Sam Witteveen kävi 9. marraskuuta julkaistulla videollaan läpi, miten malli tehtiin.

Bolt on avointen painojen MoE-malli: se käyttää kullekin tokenille vain osaa osaverkoistaan, joita kutsutaan asiantuntijoiksi. Sen 74 miljardista parametrista käytössä on 9 miljardia tokenia kohden. NVIDIA suunnitteli mallin paikallisesti ajettaville tekoälyagenteille ja mitoitti sen RTX Spark -laitteen muistiin.

Kvantisoinnissa mallin painot tallennetaan pienemmällä bittimäärällä. Witteveenin mukaan valmiin mallin painojen pyöristys toimii yleensä neljään bittiin asti, mutta kahden ja kolmen bitin välillä laatu heikkenee jyrkästi.

Karsinta ensin, kvantisointi viimeisenä

Mallikortin mukaan NVIDIA karsi Boltin 120 miljardin parametrin Nemotron 3.5 Super VL -mallista. Arkkitehtuurihaku valitsi kerroksittain asiantuntijoiden määrän ja leveyden niin, että kvantisoitu malli mahtuu alle 24 gigatavuun 128 000 tokenin konteksti-ikkunalla. Tokenia kohden käytettävien asiantuntijoiden määrä laski 22:sta yhdeksään.

Karsittu malli palautti osaamistaan oppimalla emomallista. Sen jälkeen NVIDIA hienosääti mallia ja koulutti sitä vahvistusoppimisella. Lopuksi se opetti kvantisoidun mallin jäljittelemään kvantisoimatonta versiotaan. Witteveenin mukaan malli oppii näin toimimaan pienellä bittimäärällä.

Kaikki asiantuntijat tallennettiin 2,0625 bitillä painoa kohden. Mamba-kerrokset ovat 4-bittisessä NVFP4-muodossa, upotus- ja tulostekerrokset 8-bittisiä, joten malli ei ole kokonaan 2-bittinen.

NVIDIA perustelee ratkaisua aiemmalla tutkimuksella, kuten ParetoQ- ja Quest-esijulkaisuilla. Niiden mukaan kaksi kertaa suuremmat kerrokset voivat kahdella bitillä toimia paremmin kuin alkuperäiset neljällä. Witteveen on yhä epäileväinen, koska ulkopuolisten on vaikea toistaa tällaista koulutusta.

Vertailuluvut ovat NVIDIAn omia

NVIDIAn mallikortin 13 vertailutestistä 2-bittinen Bolt saa useimmissa paremman tuloksen kuin kolme pienempää MoE-mallia, jotka mitattiin kvantisoimattomina BF16-muodossa. Taulukossa on viisi niistä.

Bolt ei ole taulukossa paras joka testissä: PinchBenchissä Qwen3.6 on niukasti edellä, ja AA-Omniscience-testin molemmissa mittareissa osa vertailumalleista saa paremman tuloksen. Witteveenin esittelemien NVIDIAn lukujen mukaan kvantisointi laski PinchBench-tulosta noin 90:stä 88:aan ja GPQA Diamond -tulosta noin 89:stä 86:een. Kvantisoimaton versio vie hänen mukaansa 148 gigatavua.

Witteveen: fiksumpi, ei nopeampi

Witteveenin mukaan NVIDIAn nopeustaulukossa Bolt tuottaa RTX Sparkilla noin 84 tokenia sekunnissa, vähemmän kuin Qwen 3.6 ja Gemma 4. Hän kuvaa Boltia malliksi, joka on muistigigatavua kohden fiksumpi mutta ei nopeampi.

Witteveenin omassa testissä Bolt sai työkalukutsujen perustesteistä 10/10. Kehoteinjektion torjumisessa se epäonnistui välillä, kuten myös Super. Hänen mielestään Bolt sopii Spark-luokan laitteisiin, mutta tehokkaammalla GPU:lla isompi malli voi olla parempi valinta.

Mallin voi ladata Hugging Facesta OpenMDW-1.1-lisenssillä, joka sallii kaupallisen käytön. Siitä on myös GGUF-versio. Mallikortin ohjeissa ajoon käytetään vLLM:n kehitysversiota tai uudempaa. Mallikortti listaa tuetut GPU:t eri kohdissa eri tavoin: joko A100-, H100- ja Blackwell-GPU:t tai vain Blackwellin SM120- ja SM121-piirit.