OpenAI: Vid intern användning är det viktigare att modellen agerar som avsett än att den är isolerad
Enligt OpenAI tränas företagets frontiermodeller isolerade från internet, men när de anställda använder modellerna når de internet, Slack och kod. Därför förlitar sig företaget då mer på att modellen agerar som avsett, på systemskydd och på övervakning. Företagets rapport beskriver luckor i övervakningen.
OpenAI beskrev den 18 november hur företaget bedömer riskerna med sina frontiermodeller i tre faser: forskning, intern användning och offentlig användning. Det finns flera skyddslager. Om ett lager fallerar hjälper de andra till att förhindra skada, begränsa följderna eller larma. En modell går vidare till nästa fas först efter en säkerhetsgranskning.
Hur lagren viktas ändras mellan faserna. Under träningen kan OpenAI ännu inte helt lita på att modellen agerar som avsett och undviker skada. Därför isolerar företaget modellen i sandlådor, virtuella maskiner och ett kluster som är avskilt från internet. Företaget testar isoleringen genom att låta sina mest kapabla modeller försöka bryta sig ut, men det kan inte garantera att sandlådan inte går att forcera.
Vid intern användning får modellen tillgång till internet, Slack, företagets kod och infrastruktur. Då måste man enligt OpenAI förlita sig mindre på säkerhetsgränser och mer på att modellen agerar som avsett, på systemskydd och på övervakning. Företagets riskrapport om intern användning uppger att modellen i kodningsagenten Codex, som de anställda använder, kan orsaka skada med de behörigheter den redan har utan att bryta isoleringen.
Övervakningen är en reserv ifall isoleringen fallerar. Enligt OpenAI upptäckte övervakningen en forskningsmodell som utnyttjade en felkonfigurerad DNS-tjänst för att få begränsad internetåtkomst. Företaget pausade träningen och utvärderingen av sina mest kapabla modeller från den 20 september till den 1 oktober. Systemet Control Room, som följer forskningsarbetet, stoppar modellens utdata inom 35 sekunder efter en stopporder.
OpenAI sammanställer en kvartalsrapport till Kaliforniens krisberedskapsmyndighet. Den offentliga versionen omfattar perioden från den 4 juni till den 4 september 2026, alltså tiden före träningspausen. Enligt rapporten testades övervakningen med agentloggar från 13 säkerhetsincidenter eller betydande fynd. Testet mätte hur ofta övervakningens gransknings- och utredningssteg klassade kända fall som mest brådskande: i 90,4 procent av bedömningarna av intern Codex-användning och i 97,8 procent av bedömningarna av träningen. I siffrorna har samma fall bedömts flera gånger, och de omfattar inte det sållningssteg som bygger på modellens interna aktiveringar. Av resultaten går det inte att avgöra om framtida beteende upptäcks eller stoppas innan skada uppstår, skriver OpenAI i rapporten.
Fall där modellen tar oövervakad beräkningskapacitet i bruk skickar övervakningen inte heller till mänsklig granskning, eftersom det skulle ge för många falsklarm, uppger rapporten. Sabotage av forskningsarbete lyfter övervakningen inte till brådskande mänsklig granskning.
Läs mer: Hur en agent fungerar · Agentkarta