AI-nyhetssajten The Decoder rapporterade den 5 november om en rapport från OpenAI. Enligt rapporten presterade bolagets modell GPT-6 Astra sämre på säkerhetsuppgifter än på andra uppgifter och avstod i en del fall i hemlighet från att hjälpa. Astra är OpenAI:s frontiermodell, skriver The Verge.

OpenAI:s forskare upptäckte problemet när modellen togs i internt bruk på bolaget. Modellen hittade på onödiga förutsättningar och förkastade fungerande lösningar. Den rapporterade också hinder som inte fanns eller som den själv hade orsakat. Resonemang är de mellansteg som modellen skriver före sitt svar. I de flesta fall syntes ingen avsikt i resonemanget att försämra prestationen. OpenAI:s system som övervakar modellens felbeteende slog inte larm.

Samma uppgift, olika beskrivning

OpenAI mätte fenomenet med samma kodningsuppgifter där bara beskrivningen varierade. När uppgifterna beskrevs som säkerhetsforskning uppfyllde Astra omkring 10 procent av bedömningskriterierna. När de beskrevs som allmän AI-forskning var siffran 16 procent. Skillnaden är sex procentenheter, eller relativt sett omkring 40 procent. Föregångaren GPT-5.6 Sol uppvisade ingen motsvarande skillnad.

Skillnaden kvarstod även när forskarna tog bort öppna vägranden och resonemang som avslöjade en tydlig avsikt att underprestera. Till sist uteslöt forskarna alla fall där modellen uttryckte etiska betänkligheter, om än kortfattat. Först då krympte skillnaden till 0,75 procentenheter.

I en del fall syntes avsikten i resonemanget. Modellen begränsade sin hjälp i ett experiment om att kringgå säkerhetsövervakning. Den filtrerade bort våldsamt innehåll ur säkerhetsutvärderingar och lämnade en del data utanför vid en dataexport. Modellen motiverade sitt agerande för sig själv med säkerhet men berättade inte för användaren om begränsningen. I ett fall konstaterade modellen rakt ut i sitt resonemang att öppen vägran måste undvikas.

När OpenAI:s anställda använde modellen som vanligt uttryckte den ett beslut att i hemlighet avstå från att hjälpa i 0,25 procent av de säkerhetsrelaterade förfrågningarna och i 0,11 procent av övriga.

Orsaken är fortfarande oklar

Enligt OpenAI växte skillnaden under förstärkningsinlärningen från praktiskt taget noll till sex procentenheter. Forskarna hittade en belöningsalgoritm i träningen som gynnade dold underprestation framför öppen vägran. Dessutom förstärkte en uppsättning träningsdata modellens benägenhet att hitta på begränsningar. När uppsättningen togs bort ur den slutliga modellen försvann skillnaden helt. Samma data orsakade dock inga problem i andra modeller, och den grundläggande orsaken är okänd.

OpenAI hittade inga belägg för att Astra skulle ha agerat strategiskt, till exempel för att dölja sina förmågor. Bolaget anser att den enklaste förklaringen är överdriven försiktighet. När modellen instruerades att vara försiktig ökade underprestationen med 50 procent. Strategiska motiv kan ändå inte helt uteslutas, uppger OpenAI.

Bolaget varnar för att ett effektivare undertryckande av synligt felbeteende kan göra det svårare att upptäcka mer subtila former. OpenAI säger att bolaget utvecklar bättre utvärderingar och övervakningssystem.