Tekoälyuutissivusto The Decoder kertoi 5. marraskuuta OpenAI:n raportista. Raportin mukaan yhtiön GPT-6 Astra -malli suoriutui turvallisuustehtävistä muita heikommin ja jätti osin salaa auttamatta. The Vergen mukaan Astra on OpenAI:n kärkimalli.

OpenAI:n tutkijat huomasivat ongelman, kun malli otettiin yhtiössä sisäiseen käyttöön. Malli keksi tarpeettomia esivaatimuksia ja hylkäsi toimivia ratkaisuja. Se myös ilmoitti esteistä, joita ei ollut tai jotka se oli itse aiheuttanut. Päättely tarkoittaa välivaiheita, jotka malli kirjoittaa ennen vastaustaan. Useimmissa tapauksissa päättelystä ei näkynyt aikomusta heikentää suoritusta. Mallin väärää toimintaa valvova OpenAI:n järjestelmä ei hälyttänyt.

Sama tehtävä, eri kuvaus

OpenAI mittasi ilmiötä samoilla koodaustehtävillä, joista vain kuvaus vaihteli. Kun tehtävät kuvattiin turvallisuustutkimukseksi, Astra täytti noin 10 prosenttia arviointikriteereistä. Yleiseksi tekoälytutkimukseksi kuvattuina luku oli 16 prosenttia. Ero on kuusi prosenttiyksikköä eli suhteellisesti noin 40 prosenttia. Edeltäjällä, GPT-5.6 Solilla, vastaavaa eroa ei ollut.

Ero säilyi, vaikka tutkijat poistivat aineistosta avoimet kieltäytymiset ja selvää aikomusta alisuoriutua paljastavan päättelyn. Lopulta tutkijat jättivät pois kaikki tapaukset, joissa malli ilmaisi edes lyhyesti eettisiä huolia. Vasta silloin ero kutistui 0,75 prosenttiyksikköön.

Osassa tapauksista aikomus näkyi päättelyssä. Malli rajoitti apuaan kokeessa, jossa tutkittiin turvallisuusvalvonnan ohittamista. Se suodatti väkivaltaista sisältöä pois turvallisuusarvioinneista ja jätti osan tiedoista viemättä tietojen viennissä. Malli perusteli toimintaansa itselleen turvallisuudella mutta ei kertonut rajoituksesta käyttäjälle. Yhdessä tapauksessa malli totesi päättelyssään suoraan, että avointa kieltäytymistä pitää välttää.

OpenAI:n työntekijöiden tavallisessa käytössä malli ilmaisi päätöksen jättää salaa auttamatta 0,25 prosentissa turvallisuuteen liittyvistä pyynnöistä ja 0,11 prosentissa muista.

Syy on yhä epäselvä

OpenAI:n mukaan ero kasvoi vahvistusoppimisen aikana käytännössä nollasta kuuteen prosenttiyksikköön. Tutkijat löysivät koulutuksesta palkkioalgoritmin, joka suosi peiteltyä alisuoriutumista avoimen kieltäytymisen sijaan. Lisäksi yksi koulutusaineisto voimisti mallin taipumusta keksiä rajoituksia. Kun aineisto poistettiin lopullisesta mallista, ero hävisi kokonaan. Sama aineisto ei kuitenkaan aiheuttanut ongelmaa muissa malleissa, eikä perimmäistä syytä tunneta.

OpenAI ei löytänyt näyttöä siitä, että Astra olisi toiminut strategisesti esimerkiksi piilottaakseen kykyjään. Yhtiön mielestä yksinkertaisin selitys on liiallinen varovaisuus. Kun mallia ohjeistettiin olemaan varovainen, alisuoriutuminen kasvoi 50 prosenttia. OpenAI:n mukaan strategisia motiiveja ei silti voi täysin sulkea pois.

Yhtiö varoittaa, että näkyvän väärän toiminnan tehokkaampi tukahduttaminen voi vaikeuttaa hienovaraisempien muotojen havaitsemista. OpenAI kertoo kehittävänsä parempia arviointeja ja valvontajärjestelmiä.