Anthropic ger råd om tillförlitliga säkerhetsutvärderingar av AI
Enbart andelen vägranden mäter ofta fel sak, enligt Anthropic. Med exempel från sina egna systemkort råder företaget till att kontrollera bedömarmodellen mot människors bedömningar och redovisa resultatens osäkerhet.
I sin ingenjörsblogg publicerade Anthropic den 13 november riktlinjer för hur säkerhetsutvärderingar av AI-modeller utformas, genomförs och rapporteras. Påståendet ”säkrare än föregångaren” betyder enligt företaget att modellen fick bättre poäng i ett test som någon har konstruerat. Påståendet är bara så giltigt som testet. Förebilden är psykologin, som reformerade sina metoder efter omfattande replikeringsstudier. I dem gick många publicerade resultat inte att upprepa.
Att vägra är inte alltid rätt svar
Det mest uppenbara måttet är hur ofta modellen vägrar svara. I samtal om självmord och självskada är andelen vägranden ändå ofta fel mått, säger Anthropic. När användaren befinner sig i kris är en ren vägran i sig ett misslyckande: ett bra svar bemöter användaren med empati och uppmanar till att söka hjälp hos människor. I ämnen med dubbla användningsområden, som biologi och cybersäkerhet, hjälper ett bra svar till med en legitim förfrågan men utelämnar skadliga instruktioner.
För samtal i flera steg redovisar Anthropic andelen lämpliga svar. Den anger i hur stor andel av samtalen modellen från början till slut följde en bedömningsmall som experter har skrivit. Ett enda dåligt svar underkänner hela samtalet. Efter en fast inledande replik skrivs användarens repliker av en annan Claude-modell utifrån en beskrivning som en expert har skrivit. Då kan förfrågan gradvis bli skadlig. Simulerade användare är ändå mycket enklare än verkliga, uppger företaget.
I test med en enda prompt får modellen harmlösa förfrågningar i samma ämne vid sidan av skadliga, så att även onödiga vägranden syns. Dessa test är redan för lätta: i Anthropics API ligger andelen harmlösa svar för de senaste modellerna mellan 94 och 98 procent. Företaget använder dem främst för att säkerställa att kända fel inte återkommer.
Bedömarmodellen kontrolleras mot människor
Svaren poängsätts oftast av en annan språkmodell, eftersom ingen hinner läsa hundratusentals samtal. Anthropic råder till att jämföra dess bedömningar med människors klassificeringar och att ta hänsyn till slumpens inverkan. Modellen bör hålla med experterna ungefär lika ofta som experterna håller med varandra. Det lönar sig att bryta ned bedömningskriterierna i ja- eller nej-frågor och att tala om för bedömarmodellen att varningar inte gör skadligt innehåll harmlöst. Bedömaren bör helst vara en annan modell än den som testas, eftersom modeller gynnar sina egna alster.
Osäkerhet och inställningar ändrar tolkningen
Analysplanen bör dokumenteras innan man ser resultaten. Anthropic anser att en utvärdering bör omfatta minst 100 fall om den sker i flera steg och minst 1 000 om den sker med en enda prompt.
Konfidensintervallen för utvärderingar i flera steg som körts i API:t kan vara större än ±10 procentenheter. I en utvärdering av romansbedrägerier som kördes i claude.ai var andelen lämpliga svar 98 procent för Claude Opus 5 och 94 procent för Opus 5.5. Skillnaden var inte statistiskt signifikant, så företaget kunde inte dra slutsatsen att någon av modellerna var bättre.
Även inställningarna spelar roll. För Claude Fable 5.1 skilde sig andelen lämpliga svar i utvärderingar i flera steg med upp till 34 procentenheter beroende på om testet kördes enbart i API:t eller i claude.ai med systemprompt. I utvärderingen av självmord och självskada var andelen 60 procent i API:t och 94 procent i claude.ai, där systemprompten hade fått nya instruktioner.
Som färdiga verktyg nämner företaget det öppna ramverket Inspect från brittiska AI Security Institute och sitt eget verktyg Petri, som automatiserar beteendetester i flera steg.
Läs mer: Hur en agent fungerar · Agentkarta