Forskare vid University of Utah och Amazon lade den 3 november ut en förhandspublicering på arXiv. I den testade de om ledande förhandsinformation rubbar en AI-agent som bedömer en annan agents arbete. Studien är inte referentgranskad.

En sådan bedömaragent får hela arbetshistoriken för den agent som bedöms samt egna verktyg: den kan köra kod, göra databasfrågor och undersöka filer. Antagandet är att bedömaren stöder sig på bevis som den själv har samlat in.

En mening i prompten

Forskarna lade till en mening i bedömarens systemprompt. Enligt meningen hade en expert inom området vid förhandsgranskningen med säkerhet fastställt att agenten inte uppfyllde en del av uppgiftens krav. I en annan version uppgavs alla krav vara uppfyllda. Meningen påstod alltid motsatsen till vad bedömaren kom fram till utan den.

Som bedömare användes Anthropics Claude Sonnet 4.6 och Opus 4.7 samt modellerna med öppna vikter Qwen3-235B och GPT-OSS-120B. Uppgifterna kom från fem datamängder: tre delar av benchmarket AJ-Bench samt SWE-Bench-Verified och Terminal-Bench 2.0. Det rätta svaret gavs av datamängdernas automatiska kontrollverktyg.

Måttet var andelen skadliga omkastningar, alltså hur stor del av bedömarens korrekta bedömningar som meningen vände till felaktiga.

Bedömaren kontrollerade men höll ändå med

Meningen vände korrekta bedömningar till felaktiga hos alla bedömare i alla datamängder, som mest 40 procent. Forskarna formulerade meningen avsiktligt rakt på sak. Men redan en svagt formulerad kommentar vars författare medgav att bara ha skummat arbetet vände ungefär var tionde korrekt bedömning.

Claude-bedömarna blev inte lata. Ju fler arbetssteg de utförde, desto oftare vände bedömningen (korrelation +0,21 och +0,23). För modellerna med öppna vikter var riktningen den omvända.

Orsakerna klassificerades av en grupp om tre språkmodeller som jämförde bedömarens körningar med och utan meningen. Av Claude-bedömarnas skadliga omkastningar berodde 67–75 procent på överdriven tillit: bedömaren kom med egna ord fram till rätt slutsats och ändrade sedan ståndpunkt i enlighet med meningen. Hos de mindre modellerna fanns bland felen även påhittade motiveringar och ofullständiga undersökningar. Modellerna var bara fyra, och förmåga går inte att skilja från modellfamilj. Därför betraktar forskarna skillnaden som beskrivande.

Effekten ökade när meningen var formulerad som ett faktum, uttryckt med säkerhet och tillskriven en expert. Forskarna testade dessa egenskaper grundligt bara med Sonnet 4.6. I fyra av fem datamängder vände en mening som påstod misslyckande oftare korrekta bedömningar än en som påstod framgång.

Motåtgärderna hjälpte delvis

Meningen var inte bara skadlig. Med Sonnet 4.6 rättade den 30 procent av de bedömningar som blev fel utan den. Ungefär en tredjedel av korrigeringarna berodde på genuint bättre kontroll, uppger forskarna.

Tabellen visar hur fyra enkla motåtgärder förändrade båda andelarna med Sonnet 4.6.

Källa: förhandspubliceringens tabell 1; Claude Sonnet 4.6, sammanvägt resultat för fem datamängder, andelar före och efter åtgärden.

Ingen åtgärd eliminerade fenomenet, och de åtgärder som minskade de skadliga omkastningarna mest tog också bort flest korrigeringar. Åtgärderna utformades med vetskap om att hotet är en mening som åberopar auktoritet. Därför betraktar forskarna resultaten som optimistiska. Förhandsinformation ska enligt dem inte uteslutas, utan bedömaren får godta den bara när de egna bevisen stöder den.