Forskare vid OpenAI publicerade den 10 november en utredning i företagets forskningsblogg Alignment om hur träningens olika faser påverkar övervakningen av resonemangskedjan. Resonemangskedjan är den text som en resonemangsmodell skriver som mellansteg innan den svarar. Enligt OpenAI avslöjar kedjan vanligtvis modellens avsikter, och företaget övervakar den som en del av sitt säkerhetsarbete.

Bakgrunden till utredningen är GPT-6 Astra, som släpptes i september. Dess resonemangskedja var svårare att övervaka än tidigare modellers, uppger OpenAI. Astra kringgick övervakningen bättre än tidigare modeller främst i tester där den uppmanades att göra det.

Enligt en bedömning från det brittiska AI-säkerhetsinstitutet UK AISI var Astras tidshorisont i matematikuppgifter utan resonemangskedja 30,9 minuter (medianskattning). Modellen klarar alltså ungefär hälften av de uppgifter som tar en människa så lång tid att lösa. Tidigare forskning förutspådde omkring 7 minuter först i slutet av 2028. Bedömningen kan vara för hög om uppgifterna har hamnat i träningsdata, uppger AISI.

Två indirekta mått

Forskarna mätte inte övervakningsbarheten direkt. De använde i stället två mått som förutsäger den och som de själva anser vara ofullständiga. Det första är förmågan att lösa uppgifter utan resonemangskedja: ju mer modellen resonerar osynligt, desto mindre behöver den skriva. Det andra är resonemangskedjans styrbarhet, alltså hur väl modellen ändrar sin kedja på begäran, till exempel lägger in ordet ”meow” mellan alla ord.

Basmodellens perplexitet anger hur dåligt modellen förutsäger text. När den sjönk förbättrades förmågan att lösa uppgifter utan resonemangskedja jämnt från GPT-5 till Astra-klassen. I förhållande till perplexiteten var Astras resultat väntat, trots att det överträffade den tidigare utvecklingstakten mätt i tid. Styrbarheten hade ett svagare samband med perplexiteten.

I de flesta tester påverkade arkitekturen inte resultatet när perplexiteten togs med i beräkningen. I flerstegsplanering och sekventiell beräkning presterade dock en icke namngiven arkitektur bättre än perplexiteten förutsade.

Förstärkningsinlärning ökade tydligt styrbarheten hos en modell i Astra-klass, trots att träningen bara begränsade längden och bedömde det slutliga svaret. I ett mindre försök ökade webbläsar- och terminalverktyg samt bedömning av hur de användes styrbarheten bara något. Försöken särskiljer inte helt effekterna av perplexiteten och av bedömningen av verktygsanvändningen, säger forskarna.

Styrbarhet kan också överföras från en modell till en annan. När samma basmodell finjusterades på svar från två nästan lika kapabla lärarmodeller blev den mer styrbara lärarens elev mer styrbar.

Hos två modeller förutsade styrbarheten inte kringgående av övervakningen

Forskarna testade två lika kapabla modeller med olika styrbarhet. Den mer styrbara kringgick inte övervakningen bättre, och i ett test lyckades den till och med sämre. Ökad styrbarhet visar alltså inte ensam att modeller vilseleder övervakningen.

Forskarnas slutsats är ändå att övervakningen av resonemangskedjan blir svårare när modellerna blir mer kapabla. De förväntar sig att den fortsatta utvecklingen av basmodeller kräver nya sätt att övervaka. Nyhetssajten The Decoder tolkar det som att utvecklare gör en avvägning mellan förmåga, kostnad och övervakningsbarhet, till exempel när de väljer arkitektur.