Tekoälyinsinööreille kirjoittava Latent Space aloitti 10. marraskuuta sarjan, jossa se arvioi uusia malleja. Ensimmäisenä Gabriele Beltramo testasi kiinalaisen NaiveAI:n Naive-N0.5-Flashia.

Naive-N0.5-Flash on koodaukseen tehty avointen painojen malli, joka on viritetty tuottamaan mahdollisimman monta tokenia sekunnissa. NaiveAI on rakentanut sen jatkokouluttamalla Xiaomin MiMo-V2.5:tä. MiMo-V2.5 on 310 miljardin parametrin MoE-malli, joista kunkin tokenin laskentaan käytetään 15 miljardia.

Nopeusluku on valmistajan huippuarvo

Luku 2 100 tokenia sekunnissa on kehittäjien oma mittaus, jota Latent Space referoi. Kehittäjät mittasivat sen yhdellä kahdeksan Blackwell-GPU:n palvelimella NaiveAI:n omalla NaiveRT-inferenssimoottorilla. Asetukset oli viritetty pitämään yksittäisen pyynnön viive pienenä, ei käsittelemään monta pyyntöä yhtä aikaa.

Nopeus perustuu siihen, että pieni luonnosmalli ehdottaa seuraavia tokeneita ja varsinainen malli tarkistaa ne kerralla (spekulatiivinen dekoodaus). Mitä useampi ehdotus hyväksytään, sitä nopeammin teksti syntyy. Päättely päällä malli hyväksyi ehdotuksista 43,4 prosenttia, ilman päättelyä 70,6 prosenttia. Päättelyvaiheessa nopeus oli noin 984 ja vastausvaiheessa 1 816 tokenia sekunnissa. Latent Spacen mukaan 2 100 on yhden sekunnin huippu, jota pitää käsitellä ylärajana eikä tavallisena nopeutena.

Helpot kysymykset sujuivat nopeasti, vaikeat hitaasti

Latent Space esitti 30 kysymystä Naive-N0.5-Flashille sekä vertailumalleille DeepSeek V4.1 Flash 1017:lle ja Z.ai:n GLM 5.3 Flashille. Kysymyksistä kymmenen oli helppoja (MATH-500), kymmenen keskivaikeita (GPQA-Diamond) ja kymmenen vaikeita (HLE-Diamond). Taulukossa on aika pyynnöstä valmiiseen vastaukseen.

Latent Spacen mittaus, 30 kysymystä mallia kohden; suluissa päättelyasetus.

Taulukosta ei voi päätellä vastausten laatua: Latent Space ei tarkistanut, olivatko vastaukset oikein, ja otos oli pieni. Latent Space ei esitä tarkkaa nopeuseroa, koska tokenia sekunnissa -luvut tulivat eri lähteistä: Naive-mallin luvut palvelimelta, muiden OpenRouterista.

Etenkin Naive-mallin keskiarvoa nostivat muutamat hyvin pitkät päättelyt. Vaikeissa kysymyksissä Naive-N0.5-Flash tuotti keskimäärin noin 108 500 tokenia, noin 11 kertaa DeepSeekin ja yhdeksän kertaa GLM:n määrän. Niihin se vastasi keskimäärin 89,8 sekunnissa, DeepSeek 79,7 sekunnissa.

Kolme selainsovellusta

Mallit rakensivat samoista kehotteista kolme selainsovellusta: aurinkokunnan 3D-näkymän, tuulessa heiluvan 3D-puun ja selainversion Ray Tracing in One Weekend -kirjan säteenseurantaohjelmasta. Latent Spacen arvion mukaan Naive-N0.5-Flash teki päättely päällä parhaan aurinkokunnan, ja sen puu oli yhtä hyvä kuin DeepSeekin. Säteenseurannassa se jäi niukasti toiseksi, koska sen JavaScript-koodi oli tehottomampaa. Ilman päättelyä se ei saanut puusovellusta käyttökelpoiseksi. GLM oli heikoin.

NaiveAI:n tavoitehinnat miljoonaa tokenia kohden ovat 0,10 $ syötteelle, 0,40 $ mallin tuottamalle tekstille ja 0,01 $ välimuistista luetuille tokeneille. Latent Spacen mukaan kysymys maksoi hieman enemmän kuin vertailumalleilla, ja lopullinen lasku riippuu kulutettujen tokenien määrästä.