Zihan Dong (Lenovo Group), Qishi Zhan (Marquette University) och Minxuan Hu (Cornell University) publicerade sin studie på arXiv den 10 november. Det är en förhandspublicering som inte har referentgranskats.

Forskarna poängsatte om publicerade körningar från åtta benchmarkar. De flesta agentbenchmarkar kontrollerar en körning med ett uppgiftsspecifikt facit, till exempel tester som härletts ur en referenslösning, och registrerar resultatet som en enda bit: godkänt eller inte. En enda bit räcker inte för att särskilja toppagenterna, och den ger inga extrapoäng för att överträffa referenslösningen, skriver författarna.

Skillnaderna är mindre än felen i testerna

På SWE-bench Verified ryms de tio bästa agenternas resultat inom 3,6 procentenheter, och den största skillnaden mellan två närliggande agenter är 1,4 procentenheter. Topptio bildar en enda nivågrupp, alltså en grupp som benchmarket inte statistiskt kan skilja från toppen.

De skärpta SWE-ABS-testerna underkände 17,7 procent av medianagentens godkända korrigeringar. På listan över de 30 bästa agenterna vände skärpningen ordningen i åtta av de 18 par av närliggande agenter som skilde sig åt. Att slumpmässigt ta bort lika stor andel av de godkända körningarna vände ungefär lika många. Ordningen mellan närliggande agenter är alltså brus, skriver författarna. Analysen förutsätter att de skärpta testerna är felfria, och felaktiga underkännanden har forskarna bara uppskattat genom simulering.

Resultat som är bättre än referensen räknas inte

I ALE-Benchs 40 optimeringstävlingar delar den officiella tävlingspoängen in topptio i tre nivågrupper. När samma körningar poängsattes som godkänt eller underkänt mot medianmänniskan hamnade alla tio i samma grupp, trots att 47,8 procent av körningarna slog medianmänniskan. När forskarnas stegvisa poängsättning gav extrapoäng för att överträffa referensen delades toppen åter i tre grupper.

Att höja tröskeln i samma ALE-Bench-uppgifter löste inte problemet. Med tävlingsvinnarens resultat som tröskel delades topptio bland modeller som publicerats efter 2025 i två grupper, men 89 procent av de tidigare modellerna fick noll på varje uppgift. En del av de senare modellernas publiceringsdatum har forskarna uppskattat i efterhand. En ny version som också skulle få nya uppgifter simulerade forskarna inte.

Kontinuerlig poängsättning hjälper inte alltid: i MLE-bench särskiljer facit toppen redan på egen hand, och i METR:s uppgifter överträffade få körningar referensen.

Forskarna körde om 13 uppgifter i Terminal-Bench 2.0 med fyra modeller, tre gånger per modell. Tre modeller låg lika i godkända körningar, men i uppgiften om portföljoptimering var medianuppsnabbningen 10,9 gånger för claude-opus-5:s lösningar och 1,3 gånger för de två andra modellernas. Eftersom det bara fanns tre upprepningar betraktar forskarna den samlade åtskillnaden mellan modellerna som ett gränsfall.

Förslag: Godkännande, kvalitet och kostnad var för sig

I forskarnas förslag godkänns en körning först med en skärpt kontroll. Därefter poängsätts en uppmätt storhet, till exempel körtid, som en logaritmisk kvot: utgångsnivån får noll, referenslösningen ett och taket är tre. Utgångsnivån och referensen låses med datum så att benchmarkets versioner förblir jämförbara.

Kostnaden redovisas separat. De fyra prissatta agenterna i topptio på Terminal-Bench 2.0 låg lika i godkända körningar, men deras mediankostnad varierade mellan 0,44 och 2,47 dollar per körning.

Poängsättningen passar bara uppgifter som har en mätbar storhet. Av Terminal-Bench 2.0:s 89 uppgifter jämför 18 ett tal med ett tröskelvärde. I de små stickproven från SWE-bench Verified, OSWorld-Verified och τ²-bench fanns inga sådana uppgifter, men eftersom stickproven är små kan författarna inte utesluta en andel på upp till 10–15 procent.