Artificial Analysis: GPT-6.2 Astra ei parantunut koodausagenttien indeksissä
Artificial Analysisin mittauksessa GPT-6.2 Astra nousi toiseksi Claude Fable 5.2:n jälkeen. Koodausagenttien indeksissä Astra pysyi kuitenkin edeltäjänsä tasolla, ja GPT-6.2 Solin tulos laski kolme pistettä.
OpenAI julkaisi 17. marraskuuta kaksi uutta mallia. GPT-6.2 Astra on tarkoitettu vaativaan asiantuntijatyöhön ja GPT-6.2 Sol arkikäyttöön. Malleja vertaileva Artificial Analysis julkaisi omat mittaustuloksensa samana päivänä.
Artificial Analysisin Intelligence Index v5 yhdistää yhdeksän testiä tietotyöstä, koodauksesta, tieteestä ja yleistiedosta. Astra sai indeksissä viisi pistettä enemmän kuin GPT-6 Astra ja ohitti Googlen Gemini 4 Carbonin (60) ja Anthropicin Claude Opus 5.5:n (59). The Decoder -sivuston mukaan Artificial Analysisin kaaviossa Astralla on 62 pistettä ja kärjessä olevalla Claude Fable 5.2:lla 65.
Artificial Analysisin mukaan suurin osa tehtäväkohtaisen kustannuksen Pareto-rintamasta on OpenAI:n malleja. Rintamalla ovat mallit, joista mikään muu malli ei ole sekä halvempi että parempi. Sol sai 57 pistettä ja yltää GPT-6 Astran tasolle noin 15 prosentilla tämän tehtäväkohtaisesta kustannuksesta.
Hyvä kokonaissija ei kuitenkaan kerro, miten malli toimii koodausagentissa. Artificial Analysis mittaa tätä Coding Agent Indexillä. Mittauksessa käytetään OpenAI:n Codexin harnessia eli agenttia ohjaavaa ohjelmaa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Mallit ajetaan suurimmalla päättelytasolla.
Astra pysyi indeksissä GPT-6 Astran tasolla, ja Sol menetti kolme pistettä GPT-6.1 Soliin verrattuna. Solin pudotus johtuu SWE-Atlas-QnA-AA-testistä, jossa sen tulos laski 14 pistettä. Sol jättää vastauksistaan pois keskeisiä tietoja useammin kuin edeltäjänsä.
Indeksin tulos ei kuitenkaan kata kaikkea agenttikoodausta. Artificial Analysisin X-julkaisun kuvassa molemmat uudet mallit paransivat edeltäjiensä tuloksia muutamalla prosenttiyksiköllä yksittäisissä agenttikoodauksen testeissä, kuten FrontierCode-AA 2.0:ssa ja Terminal-Bench 4:ssä. Astra ja Sol ovat lisäksi useilla päättelytasoilla kustannusrintamalla.
AA-Omniscience-testin hallusinaatioaste oli suurimmalla päättelytasolla Astralla 59 ja Solilla 55 prosenttia. Mittari kertoo, kuinka usein malli arvaa vastauksen faktakysymykseen tietämättä oikeaa vastausta. The Decoderin mukaan kysymykset ovat poikkeuksellisen vaikeita, joten luvut eivät kuvaa arkikäytön virhetasoa.
Malleja voivat käyttää ChatGPT Workissa ja Codexissa Plus-, Pro-, Enterprise- ja Edu-tilaajat. Kehittäjät saavat ne OpenAI:n rajapinnasta. Astran rajapintahinta on 8 $ miljoonalta syötetokenilta ja 40 $ miljoonalta tulostetokenilta. Hinta on 20 prosenttia pienempi kuin GPT-6 Astralla ja Simon Willisonin mukaan sama kuin Claude Fable 5.2:lla. Sol maksaa 2 $ syötteeltä ja 10 $ tulosteelta miljoonaa tokenia kohden.
Lue lisää: Miten agentti toimii · Mallit