Hugging Face: Pi-sovitin nosti Qwenin vaikeissa SWE-bench Pro -tehtävissä 39:stä 65 %:iin
Hugging Face koulutti vahvistusoppimisella Qwen3.8-27B-mallille oman sovittimen kullekin kolmesta harnessista ja julkaisi reseptin. Yhtiön omissa testeissä jokainen paransi tulosta omassa harnessissaan ja teki yli puolet vähemmän työkalukutsuja tehtävissä, jotka myös perusmalli ratkaisi.
Hugging Face kertoi 20. marraskuuta blogissaan kouluttaneensa Qwen3.8-27B-mallille oman sovittimen kullekin kolmesta harnessista: Pi, OpenCode ja Hermes Agent. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Sovitin on LoRA-tekniikalla tehty pieni lisäpainojen joukko. Se koulutetaan mallin painojen päälle muuttamatta niitä.
Yhtiön mukaan mallit viritetään yleiseen suorituskykyyn, ei tiettyyn harnessiin tai tehtäviin. Siksi se koulutti mallia vahvistusoppimisella itse harnessissa eikä sen jäljitelmässä. Palkkion antoi ratkaisun testaava tarkistin, ja säästeliäästä työkalujen käytöstä sai pienen lisän.
Seulonnassa yhtiö suosi tehtäviä, jotka perusmalli ratkaisi osalla yrityksistä mutta ei kaikilla. Käytetty GRPO-menetelmä vertaa saman tehtävän yrityksiä keskenään. Siksi tehtävä, joka onnistuu aina tai ei koskaan, ei opeta mallille mitään. Ehdon täytti 171 pisteytetyistä 442 tehtävästä.
Yhtiön omissa mittauksissa kukin sovitin paransi tulosta omassa harnessissaan kummassakin vertailutestissä. Taulukossa on ratkaistujen tehtävien osuus, kun mallin päättelytila oli pois päältä.
| Harness | Vertailutesti | Perusmalli | Oma sovitin | Supersovitin |
|---|---|---|---|---|
| Pi | SWE-bench Pro | 40,0 % | 64,0 % | 46,0 % |
| Hermes Agent | SWE-bench Pro | 29,4 % | 43,1 % | 47,1 % |
| OpenCode | SWE-bench Pro | 35,3 % | 51,0 % | 45,1 % |
| Pi | Terminal-Bench 2.1 | 40,0 % | 56,5 % | 48,2 % |
| Hermes Agent | Terminal-Bench 2.1 | 44,7 % | 58,8 % | 55,3 % |
| OpenCode | Terminal-Bench 2.1 | 47,6 % | 52,4 % | 52,4 % |
Lähde: Hugging Face. Mukana ovat tehtävät, jotka arvioitiin kaikissa ajoissa (SWE-bench Pron vaikeimmista 50–51, Terminal-Bench 2.1:stä 82–85). Yksi yritys tehtävää kohden.
Taulukon perusteella harnesseja ei voi verrata keskenään, koska ne ajettiin oletusasetuksin. Esimerkiksi Pi ei säilytä aiempia päättelyvaiheita. Kun mukana olivat kaikki SWE-bench Pron 51 vaikeinta tehtävää, Pi-sovitin nosti tuloksen 39,2 %:sta 64,7 %:iin.
Supersovitin yhdistää kolme sovitinta yhdeksi, joka toimii kaikissa kolmessa harnessissa. Ilman päättelytilaa oman harnessin sovitin oli edellä neljässä vertailussa kuudesta, ja yhtiö suosittelee sitä tällöin. Päättelytila päällä supersovitin oli yhtiön arvioimista malleista vahvin. Sen yhdistelypaino valittiin Terminal-Bench 2.1:n avulla, joten Terminal-Bench-luvut ovat yhtiön mukaan hieman optimistisia.
Tehtävissä, jotka sekä perusmalli että sovitin ratkaisivat, sovittimet tekivät SWE-bench Prossa 56–72 % ja Terminal-Bench 2.1:ssä 53–70 % vähemmän työkalukutsuja.
Yhtiön mukaan on yhä epäselvää, mitä malli oikeastaan oppi. Ilman päättelytilaa sovitettu malli kirjoittaa ennen työkalukutsua lyhyen tekstin, joka voi muistuttaa päättelyä. Hugging Face kutsuu ilmiötä päättelyn vuotamiseksi mutta pitää tuloksia silti pätevinä. Yhtiön mukaan sovittimet olivat samalla token-budjetilla selvästi perusmallia parempia ja yltivät vähemmillä tokeneilla perusmallin päättelytilan tasolle.
Liiketoiminnan automaatiota mittaavassa AutomationBenchissä sovittimia ajettiin testin omalla agent loopilla, ja ne pysyivät lähellä perusmallia. Yhtiön mukaan erot olivat kohinan rajoissa, paitsi ehkä Hermes-sovittimella: se sai 17,7 %, kun perusmalli sai 23,0 %.
Sovittimet ja koulutustehtävät ovat Hugging Facen kokoelmassa. Resepti perustuu TRL-kirjaston AsyncGRPOTrainer-luokkaan sekä OpenEnviin ja Harboriin. Yhden sovittimen koulutukseen käytettiin kahta Nvidian B200-GPU:ta.
Lue lisää: Miten agentti toimii · Agenttikartta