Hugging Face: Pi-adapter lyfte Qwen från 39 till 65 procent på svåra SWE-bench Pro-uppgifter
Hugging Face har med förstärkningsinlärning tränat en egen adapter för Qwen3.8-27B till var och en av tre harnessar och publicerat receptet. I företagets egna tester förbättrade varje adapter resultatet i sin egen harness. I uppgifter som även basmodellen löste gjorde adaptrarna mindre än hälften så många verktygsanrop.
Hugging Face har tränat en egen adapter för modellen Qwen3.8-27B till var och en av tre harnessar: Pi, OpenCode och Hermes Agent. Det skrev företaget i ett blogginlägg den 20 november. En harness är ett program som styr agenten, ger modellen verktyg och kör dess arbetssteg. Adaptern är en liten uppsättning extra vikter som tas fram med LoRA-tekniken. Den tränas ovanpå modellvikterna utan att ändra dem.
Enligt företaget optimeras modeller för allmän prestanda, inte för en viss harness eller vissa uppgifter. Därför tränade företaget modellen med förstärkningsinlärning i själva harnessen och inte i en efterbildning av den. Belöningen gavs av en verifierare som testade lösningen, och sparsam verktygsanvändning gav en liten bonus.
Vid urvalet föredrog företaget uppgifter som basmodellen löste i en del av försöken men inte i alla. Metoden GRPO jämför försök på samma uppgift med varandra. En uppgift som alltid eller aldrig lyckas lär därför inte modellen något. Villkoret uppfylldes av 171 av de 442 poängsatta uppgifterna.
I företagets egna mätningar förbättrade varje adapter resultatet i sin egen harness på båda benchmarkarna. Tabellen visar andelen lösta uppgifter med modellens resonemangsläge avstängt.
| Harness | Benchmark | Basmodell | Egen adapter | Superadapter |
|---|---|---|---|---|
| Pi | SWE-bench Pro | 40,0 % | 64,0 % | 46,0 % |
| Hermes Agent | SWE-bench Pro | 29,4 % | 43,1 % | 47,1 % |
| OpenCode | SWE-bench Pro | 35,3 % | 51,0 % | 45,1 % |
| Pi | Terminal-Bench 2.1 | 40,0 % | 56,5 % | 48,2 % |
| Hermes Agent | Terminal-Bench 2.1 | 44,7 % | 58,8 % | 55,3 % |
| OpenCode | Terminal-Bench 2.1 | 47,6 % | 52,4 % | 52,4 % |
Källa: Hugging Face. Tabellen omfattar de uppgifter som utvärderades i alla körningar (50–51 av de svåraste i SWE-bench Pro, 82–85 i Terminal-Bench 2.1). Ett försök per uppgift.
Harnessarna kan inte jämföras med varandra utifrån tabellen, eftersom de kördes med standardinställningar. Till exempel sparar Pi inte tidigare resonemangssteg. Med alla de 51 svåraste uppgifterna i SWE-bench Pro höjde Pi-adaptern resultatet från 39,2 till 64,7 procent.
Superadaptern slår ihop de tre adaptrarna till en som fungerar i alla tre harnessarna. Utan resonemangsläge låg den egna harnessens adapter före i fyra av sex jämförelser, och företaget rekommenderar den i det fallet. Med resonemangsläget påslaget var superadaptern den starkaste av de modeller som företaget utvärderade. Dess sammanslagningsvikt valdes med hjälp av Terminal-Bench 2.1, så siffrorna för Terminal-Bench är något optimistiska, uppger företaget.
I de uppgifter som både basmodellen och adaptern löste gjorde adaptrarna 56–72 procent färre verktygsanrop i SWE-bench Pro och 53–70 procent färre i Terminal-Bench 2.1.
Det är fortfarande oklart vad modellen egentligen lärde sig, säger företaget. Utan resonemangsläge skriver modellen med adapter en kort text före verktygsanropet, och texten kan likna resonemang. Hugging Face kallar fenomenet resonemangsläckage men anser ändå att resultaten är giltiga. Med samma tokenbudget var adaptrarna klart bättre än basmodellen, och med färre token nådde de basmodellens nivå med resonemangsläge, uppger företaget.
I AutomationBench, som mäter affärsautomation, kördes adaptrarna med benchmarkets egen agent loop, och de hamnade nära basmodellen. Enligt företaget låg skillnaderna inom mätbruset, utom möjligen för Hermes-adaptern: den fick 17,7 procent mot basmodellens 23,0 procent.
Adaptrarna och träningsuppgifterna finns i en samling hos Hugging Face. Receptet bygger på klassen AsyncGRPOTrainer i biblioteket TRL samt på OpenEnv och Harbor. För att träna en adapter användes två av Nvidias B200-GPU:er.
Läs mer: Hur en agent fungerar · Agentkarta