TokenEconomizer laski koodausagenttien kuluja 18,4–30,9 % tekijöiden SWE-Bench-testissä
Microsoft Researchin ja UC Berkeleyn avoimen lähdekoodin lisäosa oppii koodausagentin aiemmista istunnoista samassa repositoriossa ja karsii turhaa työtä. Tekijöiden testeissä kulut laskivat, ja tehtävien onnistuminen pysyi pääosin ennallaan.
Microsoft Research esitteli TokenEconomizer-lisäosan 16. marraskuuta blogissaan ja X-tilillään. Se kehitti lisäosan yhdessä UC Berkeleyn ja Microsoft Securityn kanssa. Lisäosa toimii koodausagentin rinnalla eikä muuta agenttia tai sen mallia.
Tutkijoiden lähtökohta on, että agentti aloittaa istunnon usein tyhjästä. Kehittäjä kuitenkin työskentelee samassa repositoriossa päivästä toiseen. Tutkijat ajoivat Claude Codea 60 tehtävällä SWE-Bench-vertailutestistä, joka koostuu avoimen lähdekoodin Python-projektien todellisista virheenkorjauksista. Kun repositoriossa oli tehty vähintään viisi tehtävää, 30 prosenttia työkalukutsuista toisti jo aiemmassa tehtävässä tehdyn toiminnon. Agentti sai jokaisella vuorolla kuvaukset 23 työkalusta, joista 16:ta se ei kutsunut kertaakaan. Epäonnistuneita tehtäviä oli 17 prosenttia, mutta ne veivät 32 prosenttia kuluista.
Kolme keinoa karsia hukkaa
Jokaisen istunnon jälkeen TokenEconomizer lukee sen lokin ja päivittää tietojaan repositoriosta. Keinoja on kolme:
- Yhden rivin muistiinpanot eli micro-skills kuvaavat repositorion erityispiirteitä. Lisäosa liittää muistiinpanon agentin alkukontekstiin vasta, kun useampi istunto on vahvistanut havainnon. Jos myöhemmät istunnot kumoavat havainnon, lisäosa poistaa muistiinpanon.
- Työkalujen karsinta poistaa työkalut, joita agentti aiempien istuntojen perusteella tuskin käyttää. Komentojen ajamisen ja tiedostojen muokkauksen perustyökalut säilyvät, ja poistetut voi palauttaa.
- Agentin törmätessä toistuvasti samaan virheeseen arvioijamalli päättää, onko agentti jumissa. Jos on, agentti saa lyhyen ehdotuksen kokeilla toista lähestymistapaa. Jos jumi jatkuu, avoimen lähdekoodin versio ilmoittaa kehittäjälle eikä keskeytä työtä itse.
Kulut laskivat, onnistuminen pysyi pääosin ennallaan
Tekijät testasivat lisäosaa 277 SWE-Bench-tehtävällä kuudessa repositoriossa viidellä agentin ja mallin yhdistelmällä. Testi alkoi jokaisessa repositoriossa ilman istuntohistoriaa. Keskimääräinen kustannus tehtävää kohden laski oletusasetuksiin verrattuna 18,4–30,9 prosenttia, ja luvuissa on mukana lisäosan omien mallikutsujen hinta. Tulokset ovat tekijöiden omia.
Ensimmäisellä yrityksellä ratkaistujen tehtävien osuus (Pass@1) nousi neljässä yhdistelmässä viidestä. Tekijöiden mukaan onnistumisosuudet pysyivät pääosin ennallaan. Päättelytason laskeminen säästi yhtä paljon tai enemmän, mutta heikensi tuloksia selvästi.
Säästö ei synny heti: alussa tehtävät voivat maksaa enemmän, kun lisäosa vasta oppii. Claude Codella kertyneet kulut painuivat oletusta pienemmiksi jokaisessa repositoriossa viimeistään kuudennessa tehtävässä. Web-Bench-testin web-kehitystehtävissä kulut laskivat 16,0–21,2 prosenttia. Tietoturvatarkastuksissa, joissa jokainen tehtävä oli uudessa repositoriossa, lasku oli 6,4–19,6 prosenttia.
Lisäosa on saatavilla avoimena lähdekoodina GitHubissa. Se ei tarvitse omaa API-avainta ja säilyttää oppimansa tiedot kehittäjän koneella.
Lue lisää: Miten agentti toimii · Mallit