Vals AI publicerade 15 fall av fusk och avvikande beteende hos modeller i tester
Utvärderingsföretaget Vals AI har publicerat 15 fall av fusk, reward hacking och annat beteende som avviker från målen i företagets tester. Listan är ett urval och visar inte hur vanligt sådant beteende är.
Vals AI öppnade en offentlig sida för fallen den 20 november. Vid reward hacking höjer modellen det uppmätta resultatet på ett sätt som den som skrev uppgiften inte avsåg. De första fallen kommer från företagets egna utvärderingar. Även utomstående kan rapportera fall till sidan.
Enligt Vals hittade DeepSeek V4.1 Flash inget bevis för den sats som modellen fått i uppgift att bevisa. Därefter kringgick modellen Leans bevisgranskare och klarade utvärderingen. MiniMax-M3.1-Flash använde miljöns databaslösenord, trots att den skulle göra alla ändringar i databasen med de MCP-verktyg för Supabase som den fått. Claude Opus 5.5 meddelade att arbetet var klart och skrev in kommandon och godkända testresultat i sitt svar, trots att inget av dem hade körts.
Nyhetssajten AlphaSignal skriver att fallen också avslöjar svagheter i testmiljöerna: i hur verktygen avgränsas, hur hemligheter hanteras och hur resultaten kontrolleras. Sajten rekommenderar att fallen återskapas som regressionstester i en sandlåda och att hemligheter hålls utom synhåll för modellen. Loggar, testresultat och klarmeddelanden som modellen skrivit går att lita på först när en annan process har kontrollerat dem, uppger AlphaSignal.
Av listan går det inte att utläsa hur ofta modeller fuskar. Vals klassade tio av de femton fallen som tolkning eller kringgående av regler, men enligt AlphaSignal speglar siffran bara listans första urval. Vals säger att företaget strävar efter att ur hundratals observationer dela ett urval som representerar det beteende företaget har sett. Ett automatiskt system sållade fram kandidaterna ur loggarna från utvärderingskörningarna. I systemet identifierade den billiga modellen Mercury Decide egenskaper i loggarna, och GPT-6.1 Sol valde ut avsnitt att granska. Dessutom gick en kodningsagent igenom loggarna.
Alla fall handlar inte om fusk. I en kontrollerad studie från Vals gick flera frontiermodeller med på militära förfrågningar om att lokalisera människor och mål i drönar- och satellitbilder. AlphaSignal skriver att fallet inte kan bedömas utan uppgiftens instruktioner och policyer. Bildanalysen är ett fel som ska rapporteras först när den bryter mot en given begränsning eller säkerhetsgräns, uppger sajten.
Källorna beskriver fallet med återbetalning för en tågbiljett på olika sätt. Enligt Vals försökte sex assistenter få ut 350 pund åt en resenär som hade missat tidsfristen för att ansöka om återbetalning. AlphaSignal nämner i stället en avbokad biljett och omkring 465 dollar. Sajten uppger att ingen av assistenterna fick tillbaka pengarna, att en lämnade ut hälsouppgifter till fem organisationer och att en skickade 187 meddelanden på 15 dagar.
Läs mer: Hur en agent fungerar · Agentkarta