Tutkimus: 16 kehitettyä agenttia ratkaisi uusia tehtäviä mutta menetti osan vanhoista
Tekoälyn kirjoittama
Esijulkaisun mukaan agentin ohjausohjelmaa automaattisesti muokkaavat menetelmät nostivat usein testipisteitä, mutta useimmat parannukset myös lisäsivät kuluja. Jokainen kehitetty versio jätti lisäksi ratkaisematta tehtäviä, jotka alkuperäinen agentti ratkaisi.
Kiinalaisten yliopistojen ja tutkimuslaitoksen, Kalifornian yliopiston Berkeleyn ja Simple Agent Labin tutkijat julkaisivat 5. marraskuuta arXivissa esijulkaisun, jota ei ole vertaisarvioitu. He selvittivät, tarkoittavatko automaattisen kehityksen tuottamat paremmat testipisteet parempaa tekoälyagenttia.
Menetelmät kehittävät harnessia eli agenttia ohjaavaa ohjelmaa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Ne muokkaavat harnessin kehotteita, skillejä tai koodia testitulosten perusteella. Mallin painot pysyvät ennallaan.
Jokainen versio menetti tehtäviä
Tutkijat kehittivät kahta harnessia neljällä menetelmällä (AHE, HyperAgents, A-Evolve ja GEPA). MiniSWE:ssä menetelmä sai muuttaa myös lähdekoodia, Codexissa vain uloimpia osia. Tehtävinä olivat pankkiasiointia jäljittelevä τ³-Banking ja koodausvertailutesti Terminal-Bench 2. Tutkijat vertasivat kutakin 16 kehitettyä versiota lähtöversioon kahdeksalla ajokerralla.
Luotettavuus eli keskimääräinen onnistumisosuus parani 11 versiossa. Kattavuus eli ainakin kerran ratkenneiden tehtävien osuus parani kymmenessä. Silti jokaiselta versiolta jäi kokonaan ratkaisematta joitakin tehtäviä, jotka lähtöversio oli ratkaissut. Menetettyjä tehtäviä oli 2–10 ja uusia 1–15. Tekijöiden mukaan osa τ³-Bankingin muutoksista vaihtoi suuntaa, kun he vertasivat ajojen ensimmäistä ja jälkimmäistä puoliskoa.
Taulukossa HyperAgentsilla kehitetyn version luotettavuus nousi 5,2 prosenttiyksikköä, vaikka versio menetti kymmenen tehtävää. Yhden asetelman luvuista ei voi päätellä menetelmien yleistä paremmuutta.
| Versio | Luotettavuus, % | Muutos, %-yks. | Uudet | Menetetyt | Kulu, $ |
|---|---|---|---|---|---|
| Lähtöversio | 27,4 | – | – | – | 6,2 |
| AHE | 32,9 | +5,4 | 15 | 4 | 7,1 |
| HyperAgents | 32,6 | +5,2 | 13 | 10 | 6,6 |
| A-Evolve | 26,3 | −1,2 | 7 | 6 | 5,5 |
| GEPA | 28,2 | +0,8 | 10 | 6 | 7,9 |
| AGE | 34,0 | +6,6 | 13 | 2 | 6,1 |
τ³-Banking, MiniSWE. Kulu on kahdeksan ajon arvioitu käyttökulu tehtävää kohden. AGE on tekijöiden oma menetelmä.
Luotettavuutta parantaneista 11 versiosta kahdeksan maksoi ajokertaa kohden enemmän kuin lähtöversio. Kalliimpi versio voi silti tulla halvemmaksi, jos se tarvitsee vähemmän yrityksiä. AHE:lla kehitetty MiniSWE ratkaisi τ³-Bankingissa neljällä ajolla 56,7 % tehtävistä, lähtöversio kahdeksalla ajolla 54,6 % ja suuremmin kuluin.
Ajolokeissa epäonnistumisiin liittyi esimerkiksi väärä päivämäärä, työn lopettaminen kesken tai vain agentin omassa työympäristössä toimiva ratkaisu.
Korkein pistemäärä ei ennustanut jatkoa
Eniten pisteitä saanut versio ei tuottanut jatkokehityksessä suurinta keskimääräistä parannusta yhdessäkään neljästä vertailuryhmästä. Täsmälliset muutokset paransivat luotettavuutta yleisiä muistutuksia enemmän 15 tapauksessa 16:sta. Kun muutoksia yhdistettiin, niiden hyöty saattoi kuitenkin muuttua.
Kun versioita kokeiltiin muissa vertailutesteissä ilman lisämuokkausta, kattavuus yleensä laski yleistehtävissä mutta nousi koodaustehtävissä Codex-harnessilla.
Havaintojensa pohjalta tekijät rakensivat EvoAudit-työnkulun ja sen avulla A-Evolven muunnelman AGE:n. Tekijöiden omissa testeissä AGE paransi luotettavuutta ja kattavuutta A-Evolveen verrattuna kaikissa neljässä asetelmassa. Tekijät korostavat, etteivät testipisteet tai asiantuntijoiden tuki EvoAuditin ehdotuksille osoita agentin olevan turvallinen käyttöön.
Tutkimuksen koodi on GitHubissa RSIHub-repositoriossa.
Lue lisää: Miten agentti toimii · Mallit