AI Aulis

AI-NYHETER PÅ SVENSKA · 20 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

41 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 20 november 2026Tidningen

Förhandspublicering: Agenters självutveckling stannar av när utvärderingen inte skiljer förbättring från brus

AI-genererat innehållSkriven av AI

arXiv, huggingface.co, github.com, wkqdzkd.github.io, franklineh.com, alphaxiv.org, roboaidigest.com, microsoft.com · 9 källor · Källornas publiceringsdatum: 3 juli–19 november 2026 · Publiceringstidpunkten är okänd för vissa källor

I en förhandspublicering på arXiv testades sju metoder för agentutveckling med sex modeller. I resultaten från nio publikationer inom området är en ny metods försprång gentemot den starkaste konkurrenten i median 3,4 procentenheter. Det är enligt forskarna mindre än skillnaden mellan två körningar av samma metod.

En forskargrupp under ledning av ShanghaiTech University publicerade studien den 17 november som förhandspublicering på arXiv. Den är inte referentgranskad. Studien handlar om agenters självutveckling där den stora språkmodellens vikter lämnas orörda. Ett program skriver nya promptar, skills, minne eller en harness åt agenten. Harnessen är programmet som styr agenten: det ger modellen verktyg och kör dess arbetssteg. Den kandidat som får högst poäng i testet används.

Författarna kallar sin idé resolutionshypotesen. Enligt den stannar utvecklingen inte av på grund av dåliga förslag utan för att utvärderingen inte känner igen de bättre. Agentens prestation varierar från körning till körning, så en liten verklig förbättring drunknar i bruset.

Forskarna gick igenom 171 resultat från nio publikationer inom området, och inget av dem redovisades med felmarginal. I sina egna experiment gjorde de 1 030 utvecklingskörningar. Tabellen visar hur många körningar som krävs för att upptäcka en skillnad på 3,4 procentenheter. Den visar också hur ofta en enda körning utser rätt metod av fyra som den bästa.

Benchmark Körningar per metod En körning träffar den bästa
SpreadsheetBench 5 67 %
OfficeQA 10 51 %
ALFWorld 19 73 %
Terminal-Bench v2.1 23 33 %

Källa: arXiv 2611.23068. Antal körningar vid 80 procents statistisk styrka när varje körnings resultat bedöms en gång. En slumpmässig gissning träffar den bästa i 25 procent av fallen.

Resultatet visar inte att metoderna är lika bra. Det visar att en jämförelse med en enda körning inte räcker för att skilja dem åt.

Bland kandidaterna i Terminal-Bench fanns verkligt användbara skills, uppger författarna. Ändå valde det poängbaserade urvalet den bättre av två kandidater bara ungefär varannan gång. Valfelen ackumulerades omgång för omgång, så poängen steg men skillsen blev inte bättre. Författarna testade inte detta på andra benchmarkar.

De största publicerade vinsterna förklaras ofta av kryphål i utvärderingen, skriver författarna. Bedömaren i SpreadsheetBench läste formelceller utan att beräkna dem, så varje formel tolkades som tom. Därför steg resultatet för GPT-5.4 nano med 29 procentenheter bara genom att modellen instruerades att skriva färdiga värden i stället för formler. Samma utvecklade versioner poängsattes sedan med en korrigerad bedömare som beräknar formlerna före jämförelsen. Då krympte fördelen gentemot grundversionen från 31,1 till 6,7 procentenheter. En enda instruktion upprepade dock inte vinsten på alla benchmarkar.

Författarna rekommenderar att både utvärderingens brus och variationen mellan körningar redovisas. Dessutom bör förslagsgeneratorn och väljaren testas var för sig. Resultaten gäller bara utveckling där modellvikterna inte ändras. Författarna utesluter inte att framtida modeller har mindre brus. De planerar att publicera materialet om artikeln accepteras.

Tidigare om ämnet

Anmäl ett fel i artikeln