OpenAI:n tutkijat julkaisivat 10. marraskuuta yhtiön Alignment-tutkimusblogissa selvityksen siitä, miten koulutuksen vaiheet vaikuttavat päättelyketjun valvontaan. Päättelyketju on teksti, jonka päättelymalli kirjoittaa välivaiheiksi ennen vastaustaan. OpenAI:n mukaan ketju yleensä paljastaa mallin aikeet, ja yhtiö valvoo sitä osana turvallisuustyötään.

Selvityksen taustalla on syyskuussa julkaistu GPT-6 Astra, jonka päättelyketjua oli OpenAI:n mukaan aiempia malleja vaikeampi valvoa. Aiempia malleja paremmin Astra kiersi valvontaa lähinnä testeissä, joissa sitä kehotettiin tekemään niin.

Britannian tekoälyn turvallisuusinstituutin UK AISI:n arvion mukaan Astran aikahorisontti matematiikkatehtävissä ilman päättelyketjua oli 30,9 minuuttia (mediaaniarvio). Malli onnistuu siis noin puolessa tehtävistä, joiden ratkaisemiseen ihmiseltä kuluu sen verran aikaa. Aiempi tutkimus ennusti noin 7 minuuttia vasta vuoden 2028 lopulle. AISI:n mukaan arvio voi olla liian suuri, jos tehtäviä on päätynyt koulutusaineistoon.

Kaksi epäsuoraa mittaria

Tutkijat eivät mitanneet valvottavuutta suoraan vaan kahdella sitä ennakoivalla mittarilla, joita he itse pitävät epätäydellisinä. Ensimmäinen on kyky ratkaista tehtäviä ilman päättelyketjua: mitä enemmän malli päättelee näkymättömästi, sitä vähemmän sen tarvitsee kirjoittaa. Toinen on päättelyketjun hallittavuus eli se, miten hyvin malli muokkaa ketjuaan pyynnöstä, esimerkiksi lisää sanan ”meow” kaikkien sanojen väliin.

Pohjamallin perpleksiteetti kertoo, kuinka huonosti malli ennustaa tekstiä. Kun se laski, kyky ratkaista tehtäviä ilman päättelyketjua parani tasaisesti GPT-5:stä Astra-luokkaan. Perpleksiteettiin suhteutettuna Astran tulos oli odotettu, vaikka se ylitti aiemman kehitysvauhdin ajassa mitattuna. Hallittavuuden yhteys perpleksiteettiin oli heikompi.

Useimmissa testeissä arkkitehtuuri ei vaikuttanut tulokseen, kun perpleksiteetti otettiin huomioon. Monivaiheisessa suunnittelussa ja peräkkäisessä laskennassa yksi nimeämätön arkkitehtuuri kuitenkin suoriutui paremmin kuin perpleksiteetti ennusti.

Vahvistusoppiminen kasvatti Astra-luokan mallin hallittavuutta selvästi, vaikka koulutuksessa vain rajoitettiin pituutta ja arvioitiin lopullinen vastaus. Pienemmässä kokeessa selain- ja päätetyökalut sekä niiden käytön arviointi lisäsivät hallittavuutta vain hieman. Tutkijoiden mukaan kokeet eivät täysin erota perpleksiteetin ja työkalujen käytön arvioinnin vaikutuksia.

Hallittavuus voi myös siirtyä mallilta toiselle. Kun samaa pohjamallia hienosäädettiin kahden lähes yhtä kyvykkään opettajamallin vastauksilla, hallittavamman opettajan oppilaasta tuli hallittavampi.

Kahdella mallilla hallittavuus ei ennustanut valvonnan kiertämistä

Tutkijat testasivat kahta yhtä kyvykästä mallia, joiden hallittavuus erosi. Hallittavampi ei kiertänyt valvontaa paremmin, ja yhdessä testissä se onnistui siinä jopa heikommin. Hallittavuuden kasvu ei siis yksin osoita, että mallit harhauttaisivat valvontaa.

Tutkijoiden johtopäätös on silti, että päättelyketjun valvonta vaikeutuu mallien kyvykkyyden kasvaessa. He odottavat, että pohjamallien jatkokehitys vaatii uusia valvontatapoja. The Decoder -uutissivuston tulkinnan mukaan kehittäjät tekevät esimerkiksi arkkitehtuuria valitessaan kompromissin kyvykkyyden, kustannusten ja valvottavuuden välillä.