Artificial Analysis: Claude Fable 5.2 och Opus 5.5 i topp i Coding Agent Index
Claude Fable 5.2 och Claude Opus 5.5 fick 58 poäng i Artificial Analysis uppdaterade Coding Agent Index. I Claude Code kostade Fable 5.2 44,22 dollar per uppgift på den högsta resonemangsnivån. Där fick modellen lägre poäng än på nivån high, som kostade 7,51 dollar.
Artificial Analysis, som jämför AI-modeller, publicerade den 14 november version 2.1 av sitt Coding Agent Index. Indexet mäter modeller i en harness, alltså det program som styr agenten, ger modellen verktyg och kör dess arbetssteg. Samma modell kan finnas flera gånger på listan med olika harnessar eller resonemangsnivåer.
Indexet är ett oviktat medelvärde av tre benchmarkar. Varje uppgift körs tre gånger.
Nya benchmarkar sänkte poängen
FrontierCode-AA 2.0 ersatte Cognitions FrontierCode 1.1. Det har 132 uppgifter i verkliga kodförråd med öppen källkod. Bedömningen bygger på om en underhållare skulle godkänna agentens ändring. En lösning får noll om den inte klarar alla obligatoriska kontroller. Annars får den 70–100 procent.
Terminal-Bench 4.1 har samma 66 kommandoradsuppgifter som version 4.0. Kontrollprogrammen är dock mer tillförlitliga och står bättre emot reward hacking, alltså knep som får agenten att klara kontrollen utan att lösa uppgiften. Kvar i indexet finns Scale AI:s SWE-Atlas-QnA-AA, vars 124 frågor mäter kodförståelse.
Enligt Artificial Analysis är resultaten i den nya versionen i genomsnitt 5 poäng lägre på grund av FrontierCode-AA 2.0. Tjänsten rekommenderar att resultat jämförs inom samma uppsättning benchmarkar, och sänkningen visar därför inte att modellerna har blivit sämre. Bara för Codex med GPT-6.1 Terra (max) sjönk resultatet inte, utan det låg kvar inom en poäng från det tidigare.
Fable 5.2:s högsta resonemangsnivå höjde inte poängen
I topp med 58 poäng ligger Claude Fable 5.2 i Claude Code på nivåerna high och xhigh. Samma resultat nådde Claude Opus 5.5 (max) både i Claude Code och tillsammans med GPT-6 Luna High i Devin Fusion CLI, Cognitions harness för flera modeller.
På nivån max fick Fable 5.2 56 poäng. Det berodde på att fler försök avbröts av uppgiftens tidsgräns, uppger Artificial Analysis.
Tabellen visar poäng och genomsnittligt pris per uppgift för Claude Code med Fable 5.2 på olika resonemangsnivåer. Som jämförelse ingår den billigaste konfigurationen med minst 48 poäng.
| Harness och modell (resonemangsnivå) | Index | Pris/uppgift |
|---|---|---|
| Claude Code, Fable 5.2 (medium) | 53 | 2,89 dollar |
| Claude Code, Fable 5.2 (high) | 58 | 7,51 dollar |
| Claude Code, Fable 5.2 (xhigh) | 58 | 15,47 dollar |
| Claude Code, Fable 5.2 (max) | 56 | 44,22 dollar |
| Codex, GPT-6.1 Sol (max) | 52 | 1,51 dollar |
Källa: Artificial Analysis Coding Agent Index v2.1.
Priserna visar inte vad abonnenter betalar. De är API-kostnader beräknade utifrån tokenpriser, med cacherabatter inräknade. Artificial Analysis påminner om att många använder harnessar via abonnemang.
I Claude Code ligger Fable 5.2:s nivåer medium, high och xhigh på Paretofronten: ingen konfiguration får fler poäng än de till lägre pris. Nivån max kostade nästan sex gånger så mycket som high. Billigast bland dem med minst 48 poäng var Codex med GPT-6.1 Sol (max), för 1,51 dollar per uppgift. Den dyraste konfigurationen kostade ungefär 30 gånger mer.
Alla resultat och en metodbeskrivning finns på Artificial Analysis webbplats.
Läs mer: Hur en agent fungerar · Modeller