Forskare från kinesiska universitet och ett kinesiskt forskningsinstitut, University of California, Berkeley och Simple Agent Lab lade den 5 november ut en förhandspublicering på arXiv som inte har sakkunniggranskats. De undersökte om bättre testpoäng från automatisk vidareutveckling innebär en bättre AI-agent.

Metoderna utvecklar en harness, alltså ett program som styr agenten: det ger modellen verktyg och kör dess arbetssteg. Metoderna ändrar harnessens promptar, skills eller kod utifrån testresultaten. Modellvikterna förblir oförändrade.

Varje version förlorade uppgifter

Forskarna utvecklade två harnessar med fyra metoder (AHE, HyperAgents, A-Evolve och GEPA). I MiniSWE fick metoden även ändra källkoden, i Codex bara de yttersta delarna. Uppgifterna var τ³-Banking, som efterliknar bankärenden, och kodningsbenchmarket Terminal-Bench 2. Forskarna jämförde var och en av de 16 vidareutvecklade versionerna med utgångsversionen i åtta körningar.

Tillförlitligheten, alltså den genomsnittliga andelen lyckade försök, förbättrades i 11 versioner. Täckningen, alltså andelen uppgifter som löstes minst en gång, förbättrades i tio. Ändå misslyckades varje version helt med vissa uppgifter som utgångsversionen hade löst. Antalet förlorade uppgifter var 2–10 och antalet nya 1–15. Enligt författarna bytte en del av förändringarna i τ³-Banking riktning när författarna jämförde första och andra halvan av körningarna.

I tabellen steg tillförlitligheten för den version som utvecklats med HyperAgents med 5,2 procentenheter, trots att versionen förlorade tio uppgifter. Siffrorna från en enda uppställning säger inget om vilken metod som generellt är bättre.

τ³-Banking, MiniSWE. Kostnaden är den uppskattade driftkostnaden för åtta körningar per uppgift. AGE är författarnas egen metod.

Av de 11 versioner som förbättrade tillförlitligheten kostade åtta mer per körning än utgångsversionen. En dyrare version kan ändå bli billigare om den behöver färre försök. Den MiniSWE-version som utvecklats med AHE löste 56,7 procent av uppgifterna i τ³-Banking på fyra körningar. Utgångsversionen löste 54,6 procent på åtta körningar och till högre kostnad.

I körloggarna var misslyckanden kopplade till exempelvis ett felaktigt datum, ett arbete som avbröts i förtid eller en lösning som bara fungerade i agentens egen arbetsmiljö.

Högst poäng förutsade inte den fortsatta utvecklingen

Versionen med högst poäng gav inte den största genomsnittliga förbättringen vid fortsatt utveckling i någon av de fyra jämförelsegrupperna. Precisa ändringar förbättrade tillförlitligheten mer än allmänna påminnelser i 15 fall av 16. När ändringar kombinerades kunde nyttan dock förändras.

När versionerna prövades på andra benchmarkar utan ytterligare ändringar sjönk täckningen i regel på allmänna uppgifter men steg på kodningsuppgifter med Codex-harnessen.

Utifrån sina iakttagelser byggde författarna arbetsflödet EvoAudit och med hjälp av det AGE, en variant av A-Evolve. I författarnas egna tester förbättrade AGE tillförlitligheten och täckningen jämfört med A-Evolve i alla fyra uppställningarna. Författarna betonar att varken testpoäng eller experters stöd för EvoAudits förslag visar att agenten är säker att använda.

Studiens kod finns på GitHub i kodförrådet RSIHub.