AI Aulis

AI-UUTISET SUOMEKSI · 18.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

32 juttua · seuraava numero huomenna aamulla · Miten lehti tehdään →

← Numero 18.11.2026Lehti

Tekijät: pi-agenttiin sovitettu Qwen3.8-27B ratkaisi 62,7 % SWE-bench Pro -osajoukosta

Tekoälyn tuottama sisältöTekoälyn kirjoittama

huggingface.co, x.com · 3 lähdettä · Lähteet julkaistu: 16.11.2026–17.11.2026

Qwen3.8-27B:n päälle vahvistusoppimisella koulutettu LoRA-adapteri nosti tekijöiden mittauksessa tuloksen pi-koodausagentissa 29,4 %:sta 62,7 %:iin SWE-bench Pron 51 vaikeimmassa tehtävässä. Hyöty on mitattu vain pi:n kanssa.

Harness-hub julkaisi adapterin Hugging Facessa 16. marraskuuta. Hugging Facen toimitusjohtaja Clement Delangue kertoi X:ssä seuraavana päivänä, että adapterin tekijät sovittivat Qwenin mallin nimenomaan pi-koodausagenttia varten. Pi on harness eli agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet.

LoRA-adapteri on pieni joukko lisäpainoja, jotka ladataan perusmallin painojen päälle. Perusmalli itse ei muutu. Mallikortin mukaan adapteri koulutettiin pi:ssä 1 050 ohjelmointi- ja komentorivitehtävällä. Palkkio määräytyi tehtävän tarkistimen arviosta, ja vähäisistä työkalukutsuista sai lisäksi pienen bonuksen.

Mallikortin taulukossa adapteria verrataan perusmalliin samoissa tehtävissä. Molemmat ajettiin pi:ssä, ja kumpikin sai yhden yrityksen tehtävää kohden.

Vertailutesti Tehtäviä Perusmalli Adapteri Ero (%-yks.)
Terminal-Bench 2.1 86 39,5 % 55,8 % +16,3 ± 9,1
Terminal-Bench 2.1, valinnassa käyttämättömät 68 39,7 % 55,9 % +16,2 ± 10,6
SWE-bench Pro, 51 vaikeinta 51 29,4 % 62,7 % +33,3 ± 14,2

Lähde: harness-hubin mallikortti. ± on 95 %:n väli. Lämpötila oli 0,8 ja Qwenin ajattelutila pois päältä. Kortin tekstissä Terminal-Benchin tehtäviä on 89, taulukossa 86.

Luvut koskevat nimenomaan pi:hin tehtyä sovitusta. Kortin mukaan pi käyttää ilman asetusta "api": "openai-completions" Responses-rajapintaa, jolla adapteria ei koulutettu eikä testattu. Asetus lisätään pi:n mallimäärityksiin (~/.pi/agent/models.json).

Tekijät valitsivat koulutusvaiheen 160 SWE-bench Pron ja 18 Terminal-Bench-tehtävän tulosten perusteella. Siksi SWE-bench Pron tulos ei ole valinnasta riippumaton. Terminal-Benchin 68 tehtävässä, joita valinnassa ei käytetty, ero oli 16,2 prosenttiyksikköä.

Adapteri teki kaikkien tehtävien keskiarvona 62 % vähemmän työkalukutsuja Terminal-Benchissä ja 55 % vähemmän SWE-bench Prossa. Molempien mallien ratkaisemissa tehtävissä kutsuja oli vastaavasti 48 % ja 59 % vähemmän. Kortin esimerkissä adapteri korjasi Ansible-funktion kahdeksalla työkalukutsulla, kun perusmalli haki ja ajoi koodinpätkiä 100 askeleen rajaan asti.

Adapteri toimii vain Qwen3.8-27B:n päällä. Kortti neuvoo ajamaan sen vLLM:llä testien asetuksin tai llama.cpp:llä GGUF-versiona. GGUF-versiota ei ole testattu uudelleen. Kortin mukaan sen toiminta poikkeaa koulutetusta sitä enemmän, mitä voimakkaammin perusmalli kvantisoidaan.

Ilmoita virheestä tässä jutussa