Förhandspublicering: Agenters självutveckling stannar av när utvärderingen inte skiljer förbättring från brus
I en förhandspublicering på arXiv testades sju metoder för agentutveckling med sex modeller. I resultaten från nio publikationer inom området är en ny metods försprång gentemot den starkaste konkurrenten i median 3,4 procentenheter. Det är enligt forskarna mindre än skillnaden mellan två körningar av samma metod.
En forskargrupp under ledning av ShanghaiTech University publicerade studien den 17 november som förhandspublicering på arXiv. Den är inte referentgranskad. Studien handlar om agenters självutveckling där den stora språkmodellens vikter lämnas orörda. Ett program skriver nya promptar, skills, minne eller en harness åt agenten. Harnessen är programmet som styr agenten: det ger modellen verktyg och kör dess arbetssteg. Den kandidat som får högst poäng i testet används.
Författarna kallar sin idé resolutionshypotesen. Enligt den stannar utvecklingen inte av på grund av dåliga förslag utan för att utvärderingen inte känner igen de bättre. Agentens prestation varierar från körning till körning, så en liten verklig förbättring drunknar i bruset.
Forskarna gick igenom 171 resultat från nio publikationer inom området, och inget av dem redovisades med felmarginal. I sina egna experiment gjorde de 1 030 utvecklingskörningar. Tabellen visar hur många körningar som krävs för att upptäcka en skillnad på 3,4 procentenheter. Den visar också hur ofta en enda körning utser rätt metod av fyra som den bästa.
| Benchmark | Körningar per metod | En körning träffar den bästa |
|---|---|---|
| SpreadsheetBench | 5 | 67 % |
| OfficeQA | 10 | 51 % |
| ALFWorld | 19 | 73 % |
| Terminal-Bench v2.1 | 23 | 33 % |
Källa: arXiv 2611.23068. Antal körningar vid 80 procents statistisk styrka när varje körnings resultat bedöms en gång. En slumpmässig gissning träffar den bästa i 25 procent av fallen.
Resultatet visar inte att metoderna är lika bra. Det visar att en jämförelse med en enda körning inte räcker för att skilja dem åt.
Bland kandidaterna i Terminal-Bench fanns verkligt användbara skills, uppger författarna. Ändå valde det poängbaserade urvalet den bättre av två kandidater bara ungefär varannan gång. Valfelen ackumulerades omgång för omgång, så poängen steg men skillsen blev inte bättre. Författarna testade inte detta på andra benchmarkar.
De största publicerade vinsterna förklaras ofta av kryphål i utvärderingen, skriver författarna. Bedömaren i SpreadsheetBench läste formelceller utan att beräkna dem, så varje formel tolkades som tom. Därför steg resultatet för GPT-5.4 nano med 29 procentenheter bara genom att modellen instruerades att skriva färdiga värden i stället för formler. Samma utvecklade versioner poängsattes sedan med en korrigerad bedömare som beräknar formlerna före jämförelsen. Då krympte fördelen gentemot grundversionen från 31,1 till 6,7 procentenheter. En enda instruktion upprepade dock inte vinsten på alla benchmarkar.
Författarna rekommenderar att både utvärderingens brus och variationen mellan körningar redovisas. Dessutom bör förslagsgeneratorn och väljaren testas var för sig. Resultaten gäller bara utveckling där modellvikterna inte ändras. Författarna utesluter inte att framtida modeller har mindre brus. De planerar att publicera materialet om artikeln accepteras.
Läs mer: Hur en agent fungerar · Modeller