Epoch AI: Ingen av sex modeller nådde en anställds nivå i Epochs arbetsuppgifter
GPT-6.2 Astra och Claude Fable 5.2 ligger preliminärt lika i toppen av Epochs kapacitetsindex. I Epochs egna arbetsuppgifter nådde Fable 5.2 dock i genomsnitt 82 procent och Astra 65 procent av den nivå som förväntas av en anställd.
GPT-6.2 Astra fick 174 poäng i Epoch AI:s kapacitetsindex (Epoch Capabilities Index, ECI), lika mycket som Claude Fable 5.2. Epoch meddelade det på X den 17 november 2026. Astras siffra bygger på tester som Epoch gjorde före lanseringen med enbart egna benchmarkar. Indexet uppdateras när fler resultat kommer in, så siffran kan fortfarande ändras.
Astra löste sju av 68 problem i benchmarket FrontierMath Erdős med en budget på omkring 240 dollar per fråga. Problemen var olösta i augusti 2026. Enligt Epoch kontrollerades lösningarna med bevisprogrammet Lean, och för ett av problemen var ingen tidigare lösning känd.
En rapport som Epoch publicerade samma dag ger en annan bild. I testet Epoch Automation Reports utför modellerna Epochs egna arbetsuppgifter. De lägger till exempel in ett datacenter i Epochs databas eller planerar ett forskningsexperiment. En anställd på Epoch jämför resultaten manuellt med företagets kvalitetskrav. Hundra procent motsvarar den nivå som förväntas av en anställd.
Ingen av de sex modellerna nådde dit i någon uppgift. Fable 5.2 fick i genomsnitt 82 procent. Astra låg 17 procentenheter efter och kom fyra. Goda resultat i vanliga benchmarkar syns inte alltid i verkligt arbete, uppger Epoch. Epoch påpekar dock att varje modell kördes bara en gång per uppgift och att bedömningen delvis är subjektiv. De kvalitativa iakttagelserna säger mer än de exakta siffrorna, menar Epoch.
Enligt OpenAI:s lanseringsmeddelande gick Astra förbi Fable 5.2 med 5,5 poäng i Agents’ Last Exam, ett test av professionellt arbete i flera steg. Det är ett annat test och ett påstående från företaget självt, och i resultaten för Fable 5.2 saknas nio uppgifter.
I datacenteranalysen gav Epoch Fable 5.2 97,5 procent och Claude Opus 5.5 87,5 procent. Det motsvarar nivån hos Epochs uppdragstagare, uppger Epoch. En uppdragstagare behöver ungefär 16 timmar för ett datacenter. Opus 5.5 gjorde arbetet på under tre timmar och till lägre kostnad, medan Fable 5.2 behövde omkring 6,5 timmar och blev dyrare än en människa. Astra avstod av överdriven försiktighet från att uppskatta beräkningskapaciteten, trots att uppgifterna hade räckt för det.
Modellerna bedömde också sitt eget arbete dåligt. Epoch gav dem sina bedömningskriterier och bad dem jämföra det egna resultatet med ett mönstersvar gjort av en människa, utan att avslöja vilket som var vilket. Modellerna valde sitt eget varje gång utom en: Gemini 4 Argon valde människans arbete. I sina motiveringar betonade modellerna oftast skenbar grundlighet, till exempel antalet körda experiment. Tillförlitlig självbedömning skulle kunna hjälpa modellerna att nå kraven, skriver Epoch, men än så länge var den ett undantag.
Enligt OpenAI finns GPT-6.2 Astra i ChatGPT Work och Codex för användare av Plus, Pro, Enterprise och Edu. I API:t kostar en miljon token i indata 8 dollar och en miljon token i utdata 40 dollar.