OpenAI beskrev den 12 november i sin utvecklarblogg hur företaget skyddar de persistenta AI-agenter som arbetar internt. Kevin S Lins inlägg beskriver en del av de skydd som företaget använder men redovisar inga mätningar av hur effektiva de är.

En persistent agent arbetar dygnet runt inom ett brett uppgiftsområde och agerar på eget initiativ. Då kommer hotet enligt Lin även inifrån: agenten kan ändra sina inställningar, skriva vilken kod som helst och agera på sätt som avviker från målen. OpenAI har hundratals OpenClaw-agenter i drift, uppger Lin.

Styrningen och agenten i separata containrar

OpenAI skiljer betrodd, förprogrammerad logik från språkmodellens opålitliga beteende. Därför lade företaget till fjärrkörning av harnessen i OpenClaw, som är öppen källkod. En harness är ett program som styr agenten, ger modellen verktyg och kör dess arbetssteg.

OpenClaw Gateway, som konfigurerar agenten, kan nu köras i en annan container än harnessen. Hos OpenAI körs den i ett annat kluster. Agenten, dess miljö och koden den skriver isoleras i en sandlåda.

OpenAI använder den sandlåda som är inbyggd i Codex harness. På nätet når agenten bara adresser som organisationen tillåter, och vissa adresser är dessutom uttryckligen blockerade. Agenten får bara skriva till sina arbetskataloger, och dess processer isoleras. Hemligheter går via en förmedlingstjänst för inloggningsuppgifter, så agenten ser dem inte.

OpenAI tog också bort det obegränsade läget danger-full-access i Codex och tillät bara cachebaserad webbsökning som går via OpenAI:s eget sökindex. Bloggens exempelinställningar tar bort GitHub-inloggningsuppgifter från miljövariablerna i agentens kommandon. Lin påpekar att detta inte döljer inloggningsuppgifter som har sparats i filer.

En annan agent godkänner åtgärderna

I funktionen Auto-review, som är inbyggd i OpenClaw och Codex, övervakar och godkänner en annan agent huvudagentens åtgärder. OpenAI kräver granskning av alla agenternas åtgärder. Enligt Lin lär ständiga förfrågningar om godkännande människor att godkänna allt blint. Därför filtrerar en granskare som bygger på en språkmodell förfrågningarna, och bara de viktigaste går vidare till människor.

Varje agent har en egen identitet som är kopplad till ett tjänstekonto i ChatGPT. Agenten har därmed ett eget id för inferens, skilt från användarens. Dess åtgärder går att spåra, och dess inferens kan vid behov stängas av.

OpenAI loggar alla agenternas turer och varje konfigurationsändring som görs på kontrollplanet, alltså i det system som konfigurerar agenterna. Loggarna kan innehålla känslig information, och därför har bara ett fåtal medlemmar i säkerhetsteamet tillgång till dem.

Skydden i OCE med öppen källkod

Den interna piloten ökade produktiviteten och användningen tydligt, säger Lin. Över 500 agenter körs nu i bakgrunden och öppnar till exempel pull requests utifrån produktfeedback, uppger Lin.

Många av skydden finns färdiga i det öppna källkodsprojektet OpenClaw Enterprise (OCE), ett leverantörsoberoende kontrollplan för agenter. De aktiveras när agenten startas med standardförinställningen för Codex. OCE är fortfarande i pilotfas, och OpenAI planerar att släppa version 1.0 före årets slut.