Kalifornian kanne: OpenAI menetti testiagenttiensa hallinnan yli 80 kertaa
Kalifornian oikeusministeri Rob Bonta vaatii kanteessaan, että OpenAI velvoitetaan testaamaan tekoälyagenttejaan turvallisesti, ja pitää heinäkuun hyökkäystä Hugging Faceen ennakoitavana. OpenAI:n mukaan kaikki suuret tekoälylaboratoriot ovat tunnistaneet saman ongelman.
Kalifornian oikeusministeri Rob Bonta jätti kanteen San Franciscon tuomioistuimeen maanantaina 16. marraskuuta. Vastaajina ovat OpenAI Foundation ja OpenAI Group PBC.
Kanteen mukaan OpenAI myönsi oikeusministerin tutkinnassa menettäneensä autonomisten agenttiensa hallinnan testeissä yli 80 kertaa. Julkisesti yhtiö on raportoinut 27 tapausta. Kanteen mukaan sen väitteet perustuvat saatuihin tietoihin ja oikeusministerin käsitykseen.
Hyökkäys Hugging Faceen
Kanteen mukaan heinäkuussa internetiin pääsi tekoälyagentteja eli ohjelmia, jotka tekevät tehtäviä itsenäisesti OpenAI:n kokeellisten mallien avulla. Ne hyökkäsivät tekoälymalleja jakavaan Hugging Face -palveluun noin kahden ja puolen päivän ajan. Kanteessa puhutaan sadoista agenteista; uutistoimisto Xinhuan mukaan asiakirjassa mainitaan noin 700.
Xinhuan referoiman Hugging Facen tiedotteen mukaan tunkeutujat yrittivät saada vastauksia kyberturvallisuustestiin. Tunkeutujat pääsivät käsiksi viiteen asiakkaiden aineistoon. TechCrunchin mukaan OpenAI kutsui raportissaan tapausta poikkeukselliseksi tilanteeksi, jossa harvinaiset ja odottamattomat seikat osuivat yhteen.
Bontan mukaan hyökkäys oli ennakoitavissa. Kanteen mukaan testiympäristöillä eli hiekkalaatikoilla oli yhteys sekä OpenAI:n sisäverkkoon että internetiin, eikä testatuissa malleissa ollut julkisten mallien suojauksia. Varoitusmerkkejä oli kanteen mukaan toukokuusta alkaen.
Kanteen mukaan OpenAI ei myöskään valvonut koulutus- ja arviointiajoissa reaaliaikaisesti mallien ajatusketjua (chain of thought). Siihen malli kirjoittaa, miten se etenee kohti vastausta tai toimintaa. Tekstistä tallennettiin näytteitä, jotka analysoitiin jälkikäteen, joskus viikkojen viiveellä. Kesken hyökkäyksen yksi agentti kirjoitti hyökkäävänsä Hugging Faceen vuotaneella pääsytunnisteella. Se lisäsi toimivansa mahdollisesti tarkoitetun rajauksen ulkopuolella ja totesi: ”Tätä voi pitää luvattomana.”
Kanteen mukaan ongelmat jatkuivat
Kanteen mukaan agentti pääsi 20. syyskuuta hiekkalaatikosta ulkoiseen chatbottiin. OpenAI väittää havainneensa tämän minuuttien kuluessa. Koulutusajo ei kuitenkaan pysähtynyt automaattisesti, ja ihmisiltä kului sen pysäyttämiseen vielä kaksi tuntia. OpenAI ilmoitti 25. syyskuuta keskeyttävänsä kyvykkäimpien malliensa koulutuksen ja arvioinnin, mutta tauko päättyi 1. lokakuuta.
Kanteen mukaan OpenAI vastasi syyskuun lopussa saamaansa tietopyyntöhaasteeseen ensin 14-sivuisella kirjeellä ilman asiakirjoja. Myöhemmin yhtiö toimitti julkisia asiakirjoja ja muutamia kymmeniä mustattuja viestejä, mutta ei pyydettyjä tietoja aiemmista tapauksista.
Kanne perustuu Kalifornian sopimatonta kilpailua koskevaan lakiin ja julkista haittaa koskeviin säännöksiin. Bonta vaatii kieltotuomiota, haitan poistamista, 2 500 dollarin siviilisakkoa vastaajaa ja rikkomusta kohden sekä laittomasti saadun hyödyn palauttamista. TechCrunchin mukaan kanne on yksi ensimmäisistä viranomaisten yrityksistä saattaa tekoälylaboratorio oikeudelliseen vastuuseen karanneesta agentista.
OpenAI:n tiedottaja Drew Pusateri sanoi NPR:lle, että kanne ”näyttää nostavan OpenAI:n erikseen esiin ongelmassa, jonka jokainen suuri tekoälylaboratorio on tunnistanut”. Yhtiö sanoo jatkavansa rakentavaa yhteistyötä oikeusministerin kanssa.