Tekijät: pi-agenttiin sovitettu Qwen3.8-27B ratkaisi 62,7 % SWE-bench Pro -osajoukosta
Qwen3.8-27B:n päälle vahvistusoppimisella koulutettu LoRA-adapteri nosti tekijöiden mittauksessa tuloksen pi-koodausagentissa 29,4 %:sta 62,7 %:iin SWE-bench Pron 51 vaikeimmassa tehtävässä. Hyöty on mitattu vain pi:n kanssa.
Harness-hub julkaisi adapterin Hugging Facessa 16. marraskuuta. Hugging Facen toimitusjohtaja Clement Delangue kertoi X:ssä seuraavana päivänä, että adapterin tekijät sovittivat Qwenin mallin nimenomaan pi-koodausagenttia varten. Pi on harness eli agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet.
LoRA-adapteri on pieni joukko lisäpainoja, jotka ladataan perusmallin painojen päälle. Perusmalli itse ei muutu. Mallikortin mukaan adapteri koulutettiin pi:ssä 1 050 ohjelmointi- ja komentorivitehtävällä. Palkkio määräytyi tehtävän tarkistimen arviosta, ja vähäisistä työkalukutsuista sai lisäksi pienen bonuksen.
Mallikortin taulukossa adapteria verrataan perusmalliin samoissa tehtävissä. Molemmat ajettiin pi:ssä, ja kumpikin sai yhden yrityksen tehtävää kohden.
| Vertailutesti | Tehtäviä | Perusmalli | Adapteri | Ero (%-yks.) |
|---|---|---|---|---|
| Terminal-Bench 2.1 | 86 | 39,5 % | 55,8 % | +16,3 ± 9,1 |
| Terminal-Bench 2.1, valinnassa käyttämättömät | 68 | 39,7 % | 55,9 % | +16,2 ± 10,6 |
| SWE-bench Pro, 51 vaikeinta | 51 | 29,4 % | 62,7 % | +33,3 ± 14,2 |
Lähde: harness-hubin mallikortti. ± on 95 %:n väli. Lämpötila oli 0,8 ja Qwenin ajattelutila pois päältä. Kortin tekstissä Terminal-Benchin tehtäviä on 89, taulukossa 86.
Luvut koskevat nimenomaan pi:hin tehtyä sovitusta. Kortin mukaan pi käyttää ilman asetusta "api": "openai-completions" Responses-rajapintaa, jolla adapteria ei koulutettu eikä testattu. Asetus lisätään pi:n mallimäärityksiin (~/.pi/agent/models.json).
Tekijät valitsivat koulutusvaiheen 160 SWE-bench Pron ja 18 Terminal-Bench-tehtävän tulosten perusteella. Siksi SWE-bench Pron tulos ei ole valinnasta riippumaton. Terminal-Benchin 68 tehtävässä, joita valinnassa ei käytetty, ero oli 16,2 prosenttiyksikköä.
Adapteri teki kaikkien tehtävien keskiarvona 62 % vähemmän työkalukutsuja Terminal-Benchissä ja 55 % vähemmän SWE-bench Prossa. Molempien mallien ratkaisemissa tehtävissä kutsuja oli vastaavasti 48 % ja 59 % vähemmän. Kortin esimerkissä adapteri korjasi Ansible-funktion kahdeksalla työkalukutsulla, kun perusmalli haki ja ajoi koodinpätkiä 100 askeleen rajaan asti.
Adapteri toimii vain Qwen3.8-27B:n päällä. Kortti neuvoo ajamaan sen vLLM:llä testien asetuksin tai llama.cpp:llä GGUF-versiona. GGUF-versiota ei ole testattu uudelleen. Kortin mukaan sen toiminta poikkeaa koulutetusta sitä enemmän, mitä voimakkaammin perusmalli kvantisoidaan.
Lue lisää: Miten agentti toimii · Agenttikartta