OpenAI:n testissä 0,2 % hyökkäyksistä sai esiin GPT-6.2 Astran aiemman pyynnön päättelyn
OpenAI kertoo vaikeuttaneensa mallien päättelyn poimimista luvatonta tislausta varten. Yhtiön sisäisessä testissä aiemman pyynnön päättelyn poimintayritysten keskimääräinen onnistumisosuus laski GPT-6 Astran 54 prosentista GPT-6.2 Astran 0,2 prosenttiin.
OpenAI julkaisi 20. marraskuuta selvityksen siitä, miten se torjuu luvatonta tislausta. Tislauksessa malli opetetaan toisen mallin tuottamalla aineistolla, kuten sen vastauksilla tai päättelyllä. Yhtiön mukaan luvattomasti tislattu malli voi saada kärkimallin kyvyt ilman sen suojauksia. Silloin se voi auttaa esimerkiksi kyberhyökkäyksessä, josta alkuperäinen malli olisi kieltäytynyt.
OpenAI painottaa erityisesti sitä, ettei mallien suojattua päättelyä eli vastausta edeltäviä välivaiheita saa poimittua. Ne voivat sisältää tietoa, joka lopullisesta vastauksesta puuttuu. OpenAI hienosääti sisäisessä tutkimuksessaan samaa esikoulutettua mallia koodaus- ja kyberpuolustustehtävien suorituksilla. Tarkoista päättelyjäljistä oppinut malli menestyi kybertesteissä yleensä paremmin kuin malli, joka sai vain käyttäjälle näkyvän sisällön, kuten päättelyn tiivistelmät.
Etu ei ollut yksiselitteinen. Kevyen vahvistusoppimisen jälkeen tarkoista jäljistä oppinut malli oli parempi vain suurimmalla testatulla inferenssibudjetilla eli vastaamiseen käytetyn laskennan määrällä. Pienemmillä budjeteilla tiivistelmistä oppinut menestyi paremmin. OpenAI aikoo vielä tutkia, miten tulos vaihtelee eri malleilla ja koulutustavoilla.
Yksittäisissä pyynnöissä malli on koulutettu kieltäytymään päättelynsä paljastamisesta. Luokittimet etsivät poimintayrityksiä syötteistä ja vuotoja vastauksista sekä työkalukutsujen argumenteista. GPT-6.2 Astrassa ja Solissa rajapinta sitoo päättelyn keskusteluhistoriaan, josta se syntyi. Jos aiempaa viestiä muokataan, rajapinta jättää pois muokattua viestiä seuraavan päättelyn. Vanhemmat malliperheet eivät pääse lukemaan GPT-6.2-mallien suojattua päättelyä.
OpenAI mittasi suojauksia mukautuvalla testillä. Siinä kuusi automatisoitua hyökkääjämallia muutti yrityksiään järjestelmän vastausten perusteella ja näki vain sen, minkä ulkopuolinen käyttäjä näkee. Taulukko näyttää onnistuneiden hyökkäysten keskimääräisen osuuden.
| Hyökkäystyyppi | GPT-6 Astra, alkuperäiset suojaukset | GPT-6.2 Astra, uudet suojaukset |
|---|---|---|
| Aiemman pyynnön päättelyn poiminta | 54,0 % | 0,2 % |
| Nykyisen pyynnön päättelyn poiminta | 22,9 % | 0,9 % |
Lähde: OpenAI:n sisäinen testi, keskiarvo kuudesta hyökkääjämallista.
Luvut ovat yhtiön omia, ja vertailussa vaihtuivat sekä malli että suojaukset. The Decoder toistaa samat luvut OpenAI:n tiedotteen pohjalta, joten se ei vahvista niitä riippumattomasti. OpenAI tuo nyt osan parannuksista myös GPT-6 Astraan.
Koordinoitujen kampanjoiden takia OpenAI kertoo puuttuneensa viikoittain tuhansiin tai kymmeniin tuhansiin tileihin. Syyskuussa se yhdisti erään kampanjan keskeisen osan Moonshot AI:hin liittyviin henkilöihin. Moonshot AI kehittää Kimiä.
Lue lisää: Mallit