AI Aulis

AI-NYHETER PÅ SVENSKA · 18 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

32 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 18 november 2026Tidningen

Utvecklarna: Qwen3.8-27B anpassad för pi löste 62,7 procent av en delmängd i SWE-bench Pro

AI-genererat innehållSkriven av AI

huggingface.co, x.com · 3 källor · Källornas publiceringsdatum: 16–17 november 2026

En LoRA-adapter som tränats med förstärkningsinlärning ovanpå Qwen3.8-27B höjde i utvecklarnas mätning resultatet i kodningsagenten pi från 29,4 till 62,7 procent på de 51 svåraste uppgifterna i SWE-bench Pro. Vinsten har bara mätts med pi.

Adaptern publicerades av harness-hub på Hugging Face den 16 november. Dagen därpå skrev Hugging Faces vd Clement Delangue på X att adapterns utvecklare hade anpassat Qwens modell just för kodningsagenten pi. Pi är en harness, alltså ett program som styr agenten. Det ger modellen verktyg och kör modellens arbetssteg.

En LoRA-adapter är en liten uppsättning extra vikter som läses in ovanpå basmodellens vikter. Själva basmodellen ändras inte. Enligt modellkortet tränades adaptern i pi på 1 050 programmerings- och kommandoradsuppgifter. Belöningen byggde på bedömningen från uppgiftens verifierare, och få verktygsanrop gav dessutom en liten bonus.

I modellkortets tabell jämförs adaptern med basmodellen på samma uppgifter. Båda kördes i pi och fick ett försök per uppgift.

Benchmark Uppgifter Basmodell Adapter Skillnad (procentenheter)
Terminal-Bench 2.1 86 39,5 % 55,8 % +16,3 ± 9,1
Terminal-Bench 2.1, ej använda vid urvalet 68 39,7 % 55,9 % +16,2 ± 10,6
SWE-bench Pro, de 51 svåraste 51 29,4 % 62,7 % +33,3 ± 14,2

Källa: harness-hubs modellkort. ± anger ett 95-procentigt intervall. Temperaturen var 0,8 och Qwens tankeläge avstängt. I kortets text anges 89 uppgifter i Terminal-Bench, i tabellen 86.

Siffrorna gäller just anpassningen till pi. Utan inställningen "api": "openai-completions" använder pi enligt modellkortet Responses-gränssnittet, som adaptern varken tränades eller testades med. Inställningen läggs till i pi:s modelldefinitioner (~/.pi/agent/models.json).

Utvecklarna valde träningssteg 160 utifrån resultaten i SWE-bench Pro och på 18 uppgifter i Terminal-Bench. Resultatet i SWE-bench Pro är därför inte oberoende av urvalet. På de 68 uppgifter i Terminal-Bench som inte användes vid urvalet var skillnaden 16,2 procentenheter.

Räknat som genomsnitt över alla uppgifter gjorde adaptern 62 procent färre verktygsanrop i Terminal-Bench och 55 procent färre i SWE-bench Pro. På uppgifter som båda modellerna löste var anropen 48 respektive 59 procent färre. I kortets exempel rättade adaptern en Ansible-funktion med åtta verktygsanrop, medan basmodellen sökte och körde kodsnuttar tills den nådde gränsen på 100 steg.

Adaptern fungerar bara ovanpå Qwen3.8-27B. Kortet rekommenderar att den körs med vLLM och testernas inställningar eller med llama.cpp som GGUF-version. GGUF-versionen har inte testats på nytt. Ju hårdare basmodellen kvantiseras, desto mer avviker GGUF-versionens beteende från det tränade, uppger kortet.

Tidigare om ämnet

Anmäl ett fel i artikeln