Replitin testissä 32 Opus-agentin parvi nopeutti NumPy-työkuormia 18,9-kertaisesti
Replitin omassa testissä 32 Opus 5.5 -agentin parvi nopeutti NumPyn 13 työkuormaa kahdessa tunnissa mediaanina 18,9-kertaisesti, yksi agentti 3,7-kertaisesti. Tutkijoiden mukaan Anthropicin mallien parvissa nopeutus oli sitä suurempi, mitä enemmän riippumatonta työtä koodikanta tarjosi.
Replitin tutkijat kertoivat 19. marraskuuta blogissaan kokeesta, jossa koodausagenttien piti nopeuttaa avoimen lähdekoodin kirjastoja muuttamatta niiden tulosteita. Jokaisella agentilla oli oma hiekkalaatikko, 8 vCPU:ta ja kaksi tuntia aikaa. Samassa ajassa 32 agentin parvi käytti siis moninkertaisesti laskentatehoa. Agentit saivat itse päättää työnjaosta.
Alkuperäisen ja muutetun koodin rakensi erillinen kone, jolle agentit eivät päässeet. Kone vertasi versioiden tulosteita myös agenteilta piilotetuilla syötteillä ja ajoi niitä vuorotellen satunnaisessa järjestyksessä. Tulos on työkuormien nopeutusten mediaani.
NumPyssä yksi Claude Opus 5.5 -agentti nopeutti työkuormia 3,66-kertaisesti ja 32 agentin parvi 18,92-kertaisesti. Esimerkiksi searchsorted-funktio etsii, mihin kohtaan järjestettyä taulukkoa kukin arvo kuuluu. Opus-parvi muutti sen käsittelemään 256 hakuavainta kerrallaan, jolloin erä mahtuu välimuistiin. Lisäksi se ohittaa hitaamman NaN-turvallisen vertailun, kun kummassakaan taulukossa ei ole NaN-arvoja. Float64-syötteillä, joissa avaimia on paljon, funktio nopeutui 8,7–13,1-kertaisesti.
NumPyssä, SQLitessä ja SQLGlotissa Opuksen parvet pärjäsivät kuitenkin paremmin kuin yksin vahvimman mallin parvet. Yksin vahvin oli GPT-6.2 Astra kaikissa neljässä raportoidussa tehtävässä, mutta 32 agentin parvena se jäi yksin saavuttamaansa tulosta heikommaksi NumPyssä, SQLGlotissa ja Gitissä. Gitissä kaikki seitsemän työkuormaa koskivat samoja 15 tiedostoa. Siellä Anthropicin mallien parvetkaan eivät juuri parantaneet yksittäisen agentin tulosta, ja GPT-6.2 Astra pärjäsi kaikilla parvikoilla Opuksen veroisesti tai paremmin.
Tutkijoiden mukaan agenttien järjestäytyminen vaikutti parven tulokseen enemmän kuin mallin oma tulos yksin. Opus lähetti 82 prosenttia viesteistään yhteiselle taululle, jolla työntekijäagentit varasivat työkuormia ja kertoivat löydöksistään. GPT-6 Astran työntekijät lähettivät koordinaattorille keskimäärin noin 22 suoraa viestiä ja GPT-6.1 Solin noin 20, mutta Opuksen 1,4. Kun parvi kasvoi 16 agentista 32:een, Solin koordinaattori sai SQLGlot-tehtävässä 356 viestin sijaan 631.
Replit sai tulokset omalla testillään ja alustallaan, eikä lähteissä kerrota riippumattomasta toistosta. Blogi käsittelee neljää testin 14 tehtävästä. Tehtävien määrittelyt ja arviointiohjelma ovat GitHubissa Apache 2.0 -lisenssillä, mutta virallisesti kelpaavaan tulokseen tarvitaan Replitin määrittämä Google Cloud -kone.
Lue lisää: Miten agentti toimii · Agenttikartta