Muun muassa Kiinan tiede- ja teknologiayliopiston ja Kalifornian yliopiston Berkeleyn tutkijat julkaisivat 5. marraskuuta arXivissa esijulkaisun. Sen mukaan vertailutestin pisteet voivat kätkeä tehtävät, joissa itseään kehittävä tekoälyagentti alkaa epäonnistua. Tutkimusta ei ole vertaisarvioitu.

Itsekehityksessä mallin painot pysyvät ennallaan. Muutokset tehdään harnessiin eli agenttia ohjaavaan ohjelmaan, joka antaa mallille työkalut ja ajaa sen työvaiheet. Kehitysmenetelmä valitsee aiemman version ja ajaa sillä tehtäviä. Sitten se etsii virheiden syitä, muokkaa harnessia ja päättää, jääkö muutos voimaan.

Tutkijat vertasivat neljää menetelmää: AHE, HyperAgents, A-Evolve ja GEPA. MiniSWE-harnessissa menetelmä sai muuttaa lähdekoodia, Codexissa vain ulompia osia, kuten kehotteita ja skillejä. Vertailutesteinä olivat pankkiasioinnin τ³-Banking ja koodauksen Terminal-Bench 2. Kaikissa ajoissa malli oli GPT-5.4. Jokaisella alku- ja loppuversiolla ajettiin kahdeksan kierrosta.

Luotettavuus on onnistuneiden yritysten osuus kaikista yrityksistä. Kattavuus on niiden tehtävien osuus, jotka agentti ratkaisi ainakin kerran.

Pisteet nousivat, tehtäviä putosi pois

Luotettavuus parani 11 asetelmassa 16:sta ja kattavuus 10:ssä. Neljässä asetelmassa mittarit muuttuivat eri suuntiin. Kaikki 16 versiota ratkaisivat tehtäviä, joita alkuversio ei ollut ratkaissut kertaakaan. Samalla ne epäonnistuivat tehtävissä, jotka alkuversio oli ratkaissut. τ³-Bankingissa kierrosten ensimmäinen ja jälkimmäinen puolisko antoivat osin ristiriitaisia tuloksia. Tekijät eivät tulkitse jokaista muutosta opituksi tai menetetyksi osaamiseksi.

Taulukossa ovat τ³-Bankingin tulokset alkuversioon verrattuna. HyperAgents nosti MiniSWE:n luotettavuutta 5,2 prosenttiyksikköä, vaikka se menetti kymmenen alkuversion ratkaisemaa tehtävää.

Lähde: esijulkaisun taulukko 10, kahdeksan ajokierrosta. AGE on tekijöiden oma menetelmä.

Taulukon perusteella menetelmiä ei voi asettaa yleiseen paremmuusjärjestykseen, koska kustakin yhdistelmästä ajettiin yksi kehityskulku.

Luotettavuutta parantaneista 11 versiosta kahdeksan maksoi yritystä kohden enemmän kuin alkuversio. Yritystä kohden kalliimpi versio voi silti tulla kokonaisuutena halvemmaksi. AHE:n MiniSWE-versio ratkaisi τ³-Bankingissa neljällä kierroksella 56,7 prosenttia tehtävistä ja alkuversio kahdeksalla 54,6 prosenttia. AHE-version kustannus jäi pienemmäksi.

Muissa vertailutesteissä kattavuus laski yleisten tehtävien τ²-benchissä seitsemällä versiolla kahdeksasta mutta nousi koodaustesti DeepSWE v1.1:ssä seitsemällä kahdeksasta. Kaikkien neljän MiniSWE-version luotettavuus taas nousi τ²-benchissä mutta laski DeepSWE:ssä.

Korkeimmat pisteet saanut versio ei tuottanut jatkokehityksessä suurinta keskimääräistä parannusta yhdessäkään neljästä kokeesta. Tiukempi hyväksymissääntö säilytti parhaan ehdokkaan 6 toistokokeessa 16:sta, alkuperäiset säännöt 15:ssä.

Korjattu menetelmä menetti vähemmän tehtäviä

Tekijät rakensivat havainnoistaan EvoAudit-työnkulun ja lisäsivät sen ehdottamat neljä muutosta A-Evolveen. Näin syntynyt AGE paransi luotettavuutta ja kattavuutta A-Evolveen verrattuna kaikissa neljässä asetelmassa. Kolmessa asetelmassa se menetti vähemmän alkuversion ratkaisemia tehtäviä. Tekijöiden mukaan vertailupisteet tai asiantuntija-arvio eivät osoita, että agenttia olisi turvallista käyttää.

Tekijöiden RSIHub-koodi on saatavilla GitHubissa.