Forskare vid bland annat University of Science and Technology of China och University of California, Berkeley lade ut en förhandspublicering på arXiv den 5 november. Enligt förhandspubliceringen kan poängen i ett benchmark dölja de uppgifter där en självutvecklande AI-agent börjar misslyckas. Studien är inte referentgranskad.

Vid självutveckling förblir modellvikterna oförändrade. Ändringarna görs i harnessen, det vill säga programmet som styr agenten, ger modellen verktygen och kör dess arbetssteg. Utvecklingsmetoden väljer en tidigare version och kör uppgifter med den. Sedan letar den efter orsakerna till felen, ändrar harnessen och avgör om ändringen får stå kvar.

Forskarna jämförde fyra metoder: AHE, HyperAgents, A-Evolve och GEPA. I harnessen MiniSWE fick metoden ändra källkoden, i Codex bara yttre delar som promptar och skills. Som benchmarkar användes τ³-Banking för bankärenden och Terminal-Bench 2 för kodning. I alla körningar var modellen GPT-5.4. Varje start- och slutversion kördes i åtta omgångar.

Tillförlitlighet är andelen lyckade försök av alla försök. Täckning är andelen uppgifter som agenten löste minst en gång.

Poängen steg, uppgifter föll bort

Tillförlitligheten förbättrades i 11 av 16 uppställningar och täckningen i 10. I fyra uppställningar rörde sig måtten åt olika håll. Alla 16 versioner löste uppgifter som startversionen inte hade löst en enda gång. Samtidigt misslyckades de med uppgifter som startversionen hade löst. I τ³-Banking gav den första och den andra halvan av omgångarna delvis motstridiga resultat. Författarna tolkar inte varje förändring som inlärd eller förlorad förmåga.

Tabellen visar resultaten i τ³-Banking jämfört med startversionen. HyperAgents höjde MiniSWE:s tillförlitlighet med 5,2 procentenheter, trots att metoden förlorade tio uppgifter som startversionen hade löst.

Källa: tabell 10 i förhandspubliceringen, åtta körningsomgångar. AGE är författarnas egen metod.

Utifrån tabellen går det inte att rangordna metoderna generellt, eftersom varje kombination kördes i ett enda utvecklingsförlopp.

Av de 11 versioner som förbättrade tillförlitligheten kostade åtta mer per försök än startversionen. En version som är dyrare per försök kan ändå bli billigare totalt. AHE:s MiniSWE-version löste 56,7 procent av uppgifterna i τ³-Banking på fyra omgångar, startversionen 54,6 procent på åtta. AHE-versionens kostnad blev lägre.

I andra benchmarkar sjönk täckningen för sju av åtta versioner i τ²-bench, som mäter allmänna uppgifter, men steg för sju av åtta i kodningsbenchmarket DeepSWE v1.1. Tillförlitligheten för alla fyra MiniSWE-versioner steg däremot i τ²-bench men sjönk i DeepSWE.

Versionen med högst poäng gav inte den största genomsnittliga förbättringen vid vidareutveckling i något av de fyra experimenten. En striktare godkännanderegel behöll den bästa kandidaten i 6 av 16 upprepade experiment, de ursprungliga reglerna i 15.

Korrigerad metod förlorade färre uppgifter

Utifrån sina iakttagelser byggde författarna arbetsflödet EvoAudit. Det föreslog fyra ändringar som författarna lade in i A-Evolve. Resultatet, AGE, förbättrade tillförlitligheten och täckningen jämfört med A-Evolve i alla fyra uppställningar. I tre av dem förlorade AGE färre uppgifter som startversionen hade löst. Varken benchmarkpoäng eller expertbedömning visar att det är säkert att använda agenten, uppger författarna.

Författarnas kod RSIHub finns på GitHub.