OpenAI ger fyra externa granskare tillgång till sina interna modeller
Apollo Research, METR, Transluce och Goodfire undersöker inom OpenAI om företagets modeller agerar i linje med dess mål och om skydden håller. Åtkomsten är begränsad, och OpenAI kan stryka konfidentiell information ur publiceringarna.
OpenAI meddelade måndagen den 16 november att företaget inleder utvärderingar där experter från externa forskningsorganisationer under lång tid inifrån företaget undersöker modeller som OpenAI tränar eller använder internt, så kallade embedded assessments. Granskare som behöver konfidentiell information arbetar på OpenAI:s kontor med företagets utrustning.
Enligt OpenAI får granskarna efter utvärderingens behov tillgång till en del av samma interna resurser som företagets egna forskare: modeller från mellanliggande träningssteg, källkod, träningsdata och utvärderingsdata, uppgifter från övervakningssystemen och samtal med anställda.
Fram till nyligen har externa parter testat modellerna först strax före lansering, skriver TechCrunch. Granskarna säger att det inte räcker, eftersom man då inte kan undersöka till exempel intrigerande under träningen. Idén med interna granskare kom enligt tidningen från Anthropic, som i oktober gav forskare på METR åtkomst på anställdnivå till sina system.
Fyra granskare, fyra uppdrag
Apollo Research undersöker om modellerna i hemlighet skulle kunna motarbeta utvecklarnas mål och om OpenAI:s skydd skulle upptäcka det. Apollo bedömer fyra påståenden: träningen belönade inte sådant beteende, rigorösa tester framkallar det inte, modellerna har inte försökt med det vid intern användning och det bakomliggande resonemanget skulle gå att upptäcka.
METR letar efter beteende som avviker från målen i OpenAI:s hittills största körning med förstärkningsinlärning, även sådant som kan ha undgått företagets egna tester och övervakning. Inom den valda körningen och den överenskomna åtkomsten bestämmer METR själv vad organisationen undersöker. Omfattningen av en andra utvärdering som testar övervakningssystemen är ännu inte överenskommen.
Transluce bedömer hur väl och heltäckande OpenAI:s tester i efterträningsfasen mäter om modellerna agerar i linje med målen. Parterna planerar att fortsätta med en bredare utvärdering på cirka åtta veckor i början av 2027. Goodfire använder tolkningsbarhetsmetoder för att undersöka vad som händer inuti modellerna under träningen. Dess iakttagelser är i första hand avsedda för OpenAI:s forskare.
Apollo och Goodfire får betalt för sitt arbete, uppger TechCrunch. METR och Transluce får det inte, men de kan ta emot beräkningskapacitet eller API-krediter.
Begränsad åtkomst och publicering
Granskarna publicerar sina resultat själva, men OpenAI kan stryka konfidentiell information ur dem och begära att publiceringen skjuts upp. Vid oenighet avgör i sista hand kommittén för säkerhet och informationssäkerhet i OpenAI-stiftelsens styrelse, som får rapporterna utan strykningar.
Enligt Apollos beskrivning, som TechCrunch återger, är åtkomsten begränsad till överenskomna påståenden, modeller och tidsperioder. OpenAI kan undanhålla information av tekniska skäl eller av hänsyn till informationssäkerhet eller immateriella rättigheter, men inte enbart för att informationen är ofördelaktig för företaget. OpenAI kan också begränsa vilka belägg som får redovisas offentligt, något Apollo har motsatt sig. Ändå kallar Apollo försöket ”ett ambitiöst första steg mot djupare åtkomst och rätt till offentliggörande”.
Apollo får bara tala med anställda som OpenAI har gett behörighet. OpenAI avskedade nyligen tre forskare som påstods ha lämnat konfidentiell information till METR, skriver TechCrunch.
Buck Shlegeris, vd för AI-säkerhetsorganisationen Redwood, skrev i ett inlägg på X som TechCrunch citerar att OpenAI hade talat om att ge granskarna åtkomst liknande anställdas. De avtal som nu offentliggjorts motsvarar enligt Shlegeris inte det. ”Det här är nedslående men inte överraskande.”
Läs mer: Modeller