Latent Space, som skriver för AI-ingenjörer, inledde den 10 november en serie där publikationen bedömer nya modeller. Först ut var Naive-N0.5-Flash från kinesiska NaiveAI, som Gabriele Beltramo testade.

Naive-N0.5-Flash är en modell med öppna vikter för kodning. Den är inställd på att generera så många token per sekund som möjligt. NaiveAI har byggt den genom att vidareträna Xiaomis MiMo-V2.5. MiMo-V2.5 är en MoE-modell med 310 miljarder parametrar, varav 15 miljarder används för att beräkna varje token.

Hastighetssiffran är tillverkarens toppvärde

Siffran 2 100 token per sekund är utvecklarnas egen mätning, som Latent Space återger. Utvecklarna mätte den på en enda server med åtta Blackwell-GPU:er och NaiveAI:s egen inferensmotor NaiveRT. Inställningarna var optimerade för att hålla fördröjningen för enskilda förfrågningar låg, inte för att hantera många förfrågningar samtidigt.

Hastigheten bygger på att en liten utkastmodell föreslår nästa token och att den egentliga modellen kontrollerar dem i ett svep (spekulativ avkodning). Ju fler förslag som godtas, desto snabbare uppstår texten. Med resonemang påslaget godtog modellen 43,4 procent av förslagen, utan resonemang 70,6 procent. Under resonemangsfasen var hastigheten omkring 984 token per sekund och under svarsfasen 1 816. Enligt Latent Space är 2 100 en topp under en enda sekund som ska behandlas som en övre gräns och inte som normal hastighet.

Lätta frågor gick snabbt, svåra långsamt

Latent Space ställde 30 frågor till Naive-N0.5-Flash och till jämförelsemodellerna DeepSeek V4.1 Flash 1017 och Z.ai:s GLM 5.3 Flash. Tio av frågorna var lätta (MATH-500), tio medelsvåra (GPQA-Diamond) och tio svåra (HLE-Diamond). Tabellen visar tiden från förfrågan till färdigt svar.

Latent Spaces mätning, 30 frågor per modell; inom parentes resonemangsinställning.

Tabellen säger inget om svarens kvalitet. Latent Space kontrollerade inte om svaren var rätt, och urvalet var litet. Publikationen anger ingen exakt hastighetsskillnad, eftersom siffrorna för token per sekund kom från olika källor: Naive-modellens från servern, de övrigas från OpenRouter.

Särskilt Naive-modellens medelvärde drevs upp av några mycket långa resonemang. På de svåra frågorna genererade Naive-N0.5-Flash i genomsnitt omkring 108 500 token, ungefär 11 gånger så många som DeepSeek och nio gånger så många som GLM. Den besvarade dem på i genomsnitt 89,8 sekunder, DeepSeek på 79,7 sekunder.

Tre webbläsarappar

Modellerna byggde tre webbläsarappar utifrån samma promptar: en 3D-vy av solsystemet, ett 3D-träd som svajar i vinden och en webbläsarversion av strålföljningsprogrammet i boken Ray Tracing in One Weekend. Enligt Latent Spaces bedömning byggde Naive-N0.5-Flash med resonemang påslaget det bästa solsystemet, och dess träd var lika bra som DeepSeeks. I strålföljningen kom den knappt tvåa, eftersom dess JavaScript-kod var mindre effektiv. Utan resonemang fick den inte trädappen användbar. GLM var svagast.

NaiveAI:s målpriser per miljon token är 0,10 dollar för indata, 0,40 dollar för text som modellen genererar och 0,01 dollar för token som läses från cache. Enligt Latent Space kostade en fråga något mer än med jämförelsemodellerna, och den slutliga kostnaden beror på hur många token som förbrukas.