Claude Code-teamet: Claude skriver bättre kod när den kan kontrollera sitt arbete
Man kan ge en kodningsagent mer arbete när den själv kan testa sina ändringar, enligt Anthropics Claude Code-team. Teamet berättar vilka test det föredrar och hur ändringar hindras från att ändra kontrollerna.
Anthropics Claude Code-team berättade den 16 november på bloggen claude.dev och på sitt X-konto hur Claude kontrollerar sitt eget arbete i kodningsagenten Claude Code. Omkring 90 procent av teamets kod är skriven och granskad av Claude, uppger Addy Osmani som skrev texten.
Teamets motivering är praktisk. Om agenten inte själv kan köra kontroller och rätta sitt arbete utifrån dem måste en människa kontrollera allt. Då kan man köra en eller två Claude-agenter parallellt. När agenten själv kontrollerar och rättar sitt arbete kan man köra tiotals eller hundratals, säger teamet.
I ett internt test hos företaget gällde uppgiften att generera strukturerade filer. En separat bedömare som kontrollerade Claudes arbete mot bedömningskriterier förbättrade resultatet med upp till 10 poäng jämfört med en vanlig promptslinga. Nyttan var störst i de svåraste uppgifterna. Siffran har mätts för just den här uppgiftstypen.
Tre typer av test
Osmani rekommenderar i första hand end-to-end-test, som går igenom användarens verkliga väg, till exempel från varukorgen till orderbekräftelsen. Enhetstest är snabbare men kan bli godkända även när funktionen är trasig.
I ett egenskapstest (property test) skriver man en regel som alltid ska gälla, till exempel ”saldot kan inte bli negativt”. Ett testbibliotek, till exempel Hypothesis, försöker motbevisa regeln med tusentals indata. Indatan har inte samma snedvridning som koden agenten skriver.
I ett differentialtest körs det gamla och det nya systemet med samma indata och skillnaderna i resultaten undersöks. Metoden passar stora systemmigreringar där beteendet ska förbli oförändrat.
Opålitliga test lär agenten att köra om testet i stället för att rätta koden, skriver Osmani.
Kontroller utom räckhåll för ändringarna
I kodförrådet sparar teamet instruktionerna för att starta och köra appen som en skill med namnet verify, som Claude använder före en commit. Claude provar ändringen på samma sätt som en människa: en webbapp med ett Chrome-tillägg, en mobilapp via iOS- eller Android-MCP och en backendtjänst lokalt.
Om en kontroll fortfarande misslyckas efter tre rättningsrundor stannar Claude och kallar in en människa. En ändring får inte ändra den kontroll som bedömer den. Code Review läser granskningsinstruktionen REVIEW.md från basgrenen, inte från ändringarna i pull requesten.
Teamets commit-spärr kan stoppa en commit om /verify eller /code-review inte har körts under sessionen. En ny spärr införs först i ett observationsläge som loggar de commitar som skulle stoppas men inte stoppar dem. När spärren har stoppat två commitar i samma session släpper den igenom nästa. På så sätt fastnar Claude inte. Teamet konstaterar att Claude Code inte är perfekt.
Claude får inte hoppa över ett opålitligt test, lägga till väntekommandon i det eller köra om det tills det går igenom. Om Claude inte hittar grundorsaken tar den bort testet och skriver ner orsaken.
Läs mer: Hur en agent fungerar · Agentkarta