OpenAI berättade om Control Room i sin blogg och på sitt X-konto den 9 november. Enligt företaget omfattar systemet varje inferensjobb i forskningen, alltså varje körning där en modell genererar utdata. Exempel är agentkörningar vid träning och utvärdering av modeller samt databehandling. Båda publiceringarna är företagets egna och nämner ingen extern utvärdering.

Control Room har införts i OpenAI:s forskningsinfrastruktur, inte i den modelltjänst som erbjuds kunderna. Modelltjänsten är mer centraliserad och har redan en etablerad metod för att snabbt ta modeller ur drift, uppger företaget.

Tillstånd för varje modellanrop

När ett forskningsjobb startar får det en identifierare från Control Room. När jobbet begär fler token från modellen skickar det identifieraren vidare till inferensmotorn, den programvara som kör modellen på GPU:er. Motorn frågar Control Room om tillstånd innan den besvarar förfrågan. Om jobbet har stoppats avvisar motorn förfrågan, och jobbet får inte längre utdata från någon modell på någon motor.

OpenAI placerade kontrollen i inferensen eftersom koden i forskarnas jobb varierar och ändras ofta. Inferensen har däremot mycket få kodvägar, och de är enhetliga. Dessutom använder företaget agenter och programmatiska kontroller för att ständigt söka efter motorer där kontrollen saknas eller har stängts av.

Beslutet att stoppa kan till exempel fattas av ett övervakningssystem när en monitor, alltså en annan modell som övervakar modellen under träning, larmar om ett problem. Enligt OpenAI övervakar monitorn varje förstärkningsinlärningskörning för företagets frontiermodeller. Monitorn upptäckte också den DNS-relaterade incident som företaget nyligen rapporterade.

OpenAI kräver dessutom att varje forskningsjobb som gör agentkörningar har ett godkänt safety case, en skriftlig redogörelse för varför jobbet är tillräckligt säkert.

Fördröjning på 35 sekunder och felsituationer

Ett jobb stannar senast 35 sekunder efter att Control Room har tagit emot en instruktion att stoppa det, uppger företaget. Fördröjningen beror på en cache för tillståndskontrollerna. Cachen behövs på grund av den stora mängden förfrågningar. OpenAI säger att målet är att korta fördröjningen till noll. Blogginläggets inledning och X-inlägget räknar samma 35 sekunder redan från beslutet att ingripa. Av dem framgår alltså inte hur lång tid det tar innan beslutet når fram.

Systemet är enligt företaget byggt för att fungera även när andra system fallerar. Om Control Room kraschar eller någon stänger av det, till exempel genom sabotage, avvisar motorerna alla inferensförfrågningar tills tjänsten är återställd. Skyddet används i alla forskningsjobb med frontiermodeller och utvidgas till övriga forskningsjobb under de närmaste dagarna, uppger OpenAI.