Esijulkaisu: mallien porrastus vähensi koodausagentin GPU-tunteja 16 % simulaatiossa
AMD:n ja NTU Singaporen tutkijoiden simulaatiossa pieni malli yritti ohjelmointitehtävää ensin, ja iso malli otti sen vasta epäonnistumisen tai aikakatkaisun jälkeen. GPU-tunnit vähenivät 16,4 % ratkaisuosuuden heikkenemättä, mutta tehtävät kestivät pidempään.
AMD Singaporen ja NTU Singaporen tutkijat julkaisivat 18. marraskuuta arXivissa esijulkaisun, jossa he vertasivat 36:ta avointen painojen mallia SWE-bench Verified -vertailutestissä. Testissä koodausagentti korjaa oikeiden ohjelmistojen vikoja. Tehtävä on ratkaistu vain, jos korjaus läpäisee kaikki testit. Kaikkia malleja ohjasi sama mini-swe-agent-harness eli agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet.
Pienet mallit jäivät suurista jälkeen etenkin vaikeissa tehtävissä. GLM-4.7-Flash (30 mrd. parametria) ratkaisi helpoista tehtävistä 62 %, keskivaikeista 36 % ja vaikeista 2 %. Saman malliperheen GLM-4.7 (355 mrd.) ratkaisi vastaavasti 77 %, 68 % ja 36 %. Helppoja ja keskivaikeita tehtäviä oli 91 %.
Porrastuksessa pieni malli yrittää jokaista tehtävää ensin aikarajan puitteissa. Jos korjaus epäonnistuu tai aika loppuu, iso malli aloittaa tehtävän alusta. Tutkijoiden mukaan jo aikakatkaisu kertoo karkeasti tehtävän vaikeudesta. Pieni malli saa kykyjensä mukaiset tehtävät yleensä valmiiksi ajassa, ja muut siirtyvät isolle mallille.
Vertailukohtana oli reititin, joka päättää ennen ajoa: helpot ja keskivaikeat tehtävät pienelle mallille, vaikeat suoraan isolle. Pienen mallin epäonnistumiset siirtyvät isolle mallille. Taulukko vertaa molempia pelkkään isoon malliin:
| Tapa | Ratkaisuosuus | GPU-tunnit | Vähennys |
|---|---|---|---|
| Vain GLM-4.7 | 71,2 % | 2 585 | – |
| Porrastus, 120 min aikaraja | 73,4 % | 2 160 | 16,4 % |
| Reititin, täydellinen vaikeustieto | 73,4 % | 2 122 | 17,9 % |
Lähde: esijulkaisu. Luvut on simuloitu jälkikäteen kummankin mallin erillisten ajojen lokeista 466 tehtävässä. GPU-tunnit on laskettu tehtäväkohtaisesti, eivätkä ne vastaa laitteiston todellista kulutusta.
Helpoissa tehtävissä porrastus vähensi 120 minuutin aikarajalla GPU-tunteja 821:stä 546:een eli 33,5 %. Ratkaisuosuuden pieni nousu voi johtua sattumasta, koska kukin malli ajettiin jokaisella tehtävällä vain kerran.
Reititintä tutkijat simuloivat tehtävien valmiiksi tiedetyillä vaikeusluokituksilla, joten sen 17,9 % on yläraja. Heidän mukaansa pelkkä aikaraja saavutti siitä suurimman osan ilman luokittimen koulutusta.
Porrastus pidentää tehtävien kestoa. Pelkällä isolla mallilla tehtävä kesti keskimäärin 41,6 minuuttia. Porrastuksessa kesto oli 65,5 minuuttia 30 minuutin aikarajalla ja 84,5 minuuttia 120 minuutin aikarajalla. Siksi tutkijat suosittelevat porrastusta taustalla ajettaviin tehtäviin eikä keskustelevaan työhön.
Tulos koskee yhtä mallipariä ja yhtä vertailutestiä. Jos valtaosa tehtävistä olisi vaikeita, porrastus kuluttaisi tutkijoiden mukaan lähes yhtä paljon kuin pelkkä iso malli, ja pienen mallin turhat yritykset tulisivat lisäksi. He neuvovat selvittämään oman tehtäväjakauman ennen reitittimen rakentamista.
Hugging Face -käyttäjä narcolepticchicken raportoi README-tiedoston aiemmassa versiossa, että hänen porrastuksensa oli dollarikustannuksiltaan 56 % halvempi kuin kärkimalli, joka sai uusintayrityksen. Koulutettu reititin oli tekijän mukaan epäonnistunut, eikä tulosta ollut varmistettu SWE-benchin Docker-ympäristössä. Myöhempi README esittelee kolme koulutettua apumallia, joista yksi valitsee mallitason.
Lue lisää: Miten agentti toimii · Mallit