I OpenAI:s test lyckades 0,2 procent av attackerna extrahera GPT-6.2 Astras resonemang från en tidigare förfrågan
OpenAI uppger att företaget har gjort det svårare att extrahera modellernas resonemang för otillåten destillation. I företagets interna test sjönk den genomsnittliga andelen lyckade försök att extrahera resonemang från en tidigare förfrågan från 54 procent för GPT-6 Astra till 0,2 procent för GPT-6.2 Astra.
Den 20 november publicerade OpenAI en redogörelse för hur företaget motverkar otillåten destillation. Vid destillation tränas en modell på material som en annan modell har tagit fram, till exempel dess svar eller resonemang. En otillåtet destillerad modell kan få en frontiermodells förmågor utan dess skydd, uppger företaget. Då kan den till exempel hjälpa till med en cyberattack som den ursprungliga modellen skulle ha vägrat hjälpa till med.
OpenAI lägger särskild vikt vid att modellernas skyddade resonemang, alltså mellanstegen före svaret, inte ska gå att extrahera. De kan innehålla information som saknas i det slutliga svaret. I en intern studie finjusterade OpenAI samma förtränade modell med lösningar på kodnings- och cyberförsvarsuppgifter. Modellen som lärde sig av exakta resonemangsspår klarade sig i regel bättre i cybertester än modellen som bara fick det innehåll som användaren ser, till exempel sammanfattningar av resonemanget.
Fördelen var inte entydig. Efter lätt förstärkningsinlärning var modellen som lärt sig av exakta spår bättre bara vid den största testade inferensbudgeten, det vill säga mängden beräkningar som används för att svara. Vid mindre budgetar klarade sig modellen som lärt sig av sammanfattningar bättre. OpenAI planerar att undersöka vidare hur resultatet varierar mellan olika modeller och träningsmetoder.
I enskilda förfrågningar är modellen tränad att vägra avslöja sitt resonemang. Klassificerare letar efter extraktionsförsök i indata och efter läckor i svar och i argument till verktygsanrop. I GPT-6.2 Astra och Sol knyter API:et resonemanget till den konversationshistorik som det uppstod ur. Om ett tidigare meddelande ändras utelämnar API:et resonemanget som följer efter det ändrade meddelandet. Äldre modellfamiljer kan inte läsa GPT-6.2-modellernas skyddade resonemang.
OpenAI mätte skydden med ett adaptivt test. I testet ändrade sex automatiserade angriparmodeller sina försök utifrån systemets svar och såg bara det som en extern användare ser. Tabellen visar den genomsnittliga andelen lyckade attacker.
| Attacktyp | GPT-6 Astra, ursprungliga skydd | GPT-6.2 Astra, nya skydd |
|---|---|---|
| Extraktion av resonemang från tidigare förfrågan | 54,0 % | 0,2 % |
| Extraktion av resonemang från aktuell förfrågan | 22,9 % | 0,9 % |
Källa: OpenAI:s interna test, genomsnitt för sex angriparmodeller.
Siffrorna är företagets egna, och i jämförelsen byttes både modellen och skydden. The Decoder återger samma siffror utifrån OpenAI:s pressmeddelande och bekräftar dem alltså inte oberoende. OpenAI inför nu en del av förbättringarna även i GPT-6 Astra.
OpenAI uppger att företaget varje vecka har ingripit mot tusentals eller tiotusentals konton på grund av samordnade kampanjer. I september kopplade företaget en central del av en kampanj till personer med anknytning till Moonshot AI. Moonshot AI utvecklar Kimi.
Läs mer: Modeller