Kernelin testissä Gemini 4 Carbon teki noin 7 kertaa enemmän työvaiheita kuin GPT-6 Astra
Kernelin omassa virheenkorjaustestissä Googlen Gemini 4 Carbon käytti tehtäviin lähes tunnin, kun Opus ja GPT-6 Astra selvisivät minuuteissa. Kernelin mukaan hitaampi inferenssi selitti vain osan erosta, ja puolet Carbonin vaiheista meni työhön, jota tehtävä ei vaatinut.
Kernel kertoo kernel.dev-blogissaan tehneensä vertailun omalla, julkaisemattomalla testillään. Siinä koodausagentti saa koodin virheen korjausta välittömästi edeltävässä tilassa sekä raportin, joka kuvaa vain virheen oireet. Agentin pitää löytää virheen syy ja korjata se tekemättä muita muutoksia.
Ensin Kernel erotti inferenssin osuuden eli sen, kuinka kauan yksittäinen vaihe kestää jonotuksineen ja tekstin tuottamisineen. Hitaampi inferenssi selitti 16–30 prosenttia Carbonin lisäajasta Astraan verrattuna ja 45–49 prosenttia Opukseen verrattuna. Loppu johtui siitä, että Carbonin ajoissa oli enemmän vaiheita. Carbon teki keskimäärin noin seitsemän kertaa enemmän vaiheita kuin Astra ja 11 kertaa enemmän toimintoja, kuten tiedostojen lukuja ja komentoja. Jokaisessa vaiheessa malli saa koko pitenevän keskustelun uudelleen, joten Carbon käsitteli yli 16 kertaa enemmän syötettä.
Kernelin luokittelun mukaan puolet Carbonin vaiheista meni työhön, jota raportti ei pyytänyt. Löydettyään syyn Carbon laajensi tarkastusta kaikkiin siihen liittyviin polkuihin ja koodiin, johon korjauksen ei tarvinnut koskea. Se myös suojasi koodin tilanteilta, jotka raportti oli jo sulkenut pois. Lisäksi Carbon teki vaihetta kohden noin yhden työkalukutsun, Astra yli kaksi. Carbonin lukemista riveistä 39 prosenttia oli luettu jo aiemmin, Astran 7 prosenttia. Kernelin arvion mukaan nämä kaksi tehottomuutta selittävät noin neljänneksen Carbonin lisäajasta.
Esimerkkiajossa Carbon löysi syyn noin kuudessa minuutissa, mutta alkoi muokata koodia vasta 25 minuuttia myöhemmin. Kernel muokkasi harnessia eli agenttia ohjaavaa ohjelmaa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Muokattu harness kysyi viiden vuoron välein, onko mallilla jo tarpeeksi tietoa korjaukseen. Ajo lyheni 37 minuutista 28 minuuttiin. Kokeilu tehtiin ajamalla uudelleen yksi aiemmista ajoista. Kernelin tulkinnan mukaan hitaus näyttää johtuvan Carbonin toimintatavasta eikä tiedon puutteesta.
Kernel ajoi Carbonin high-päättelytasolla ja Astran korkeimmalla tasolla. Kernelin mukaan eri yhtiöiden päättelytasot eivät ole suoraan vertailukelpoisia. Matalalla tasolla Carbon jätti virheen usein korjaamatta. Kun Kernel vaihtoi harnessiksi opencoden tai mini-SWE-agentin, tulos ei muuttunut merkittävästi.
Myös inferenssin nopeus vaihtelee. Googlen kehittäjäfoorumilla eräs maksava käyttäjä kertoi, että hänen 75 Carbon-vastauksestaan 12 kesti 17.11. Gemini Developer API:ssa yli kaksi minuuttia. Käyttäjän mukaan Googlen tilasivu näytti hitaan jakson aikana kaikkien palvelujen toimivan.
Googlen ohjeen mukaan Carbonia voivat käyttää Gemini Enterprise Agent Platformilla varmennetut yritysasiakkaat valituilla alueilla.
Lue lisää: Mallit