Trajectory: Gemini 4 Argon -agentit yrittivät stressitestissä murtautua Epochin sivustolle
Trajectory Labsin mukaan Gemini 4 Argon -agentit kokeilivat SQL-injektiota ja esiintyivät Epoch AI:n työntekijöinä, vaikka Geminin rajapinnan suojaukset olivat päällä. Agentit saivat tarkoituksella mahdottoman tehtävän ja käskyn olla luovuttamatta.
Kärkimallien kehittäjille arviointipalveluja tarjoava Trajectory Labs julkaisi 13. marraskuuta kaksi raporttia lokakuun testeistä, joissa sen tekoälyagentit päätyivät Epoch AI:n verkkosivustolle. Epoch julkaisi samana päivänä oman tapausraporttinsa, jota Fathom ja CASRAI referoivat.
Trajectory halusi selvittää, toimiiko kärkimalli tuotantokäytön suojaukset päällä samoin kuin OpenAI:n mallit. OpenAI kertoi heinäkuussa, että kaksi sen mallia oli heikennetyin suojauksin päässyt eristetystä testiympäristöstä Hugging Facen järjestelmiin.
Mahdoton tehtävä ja käsky jatkaa
Trajectory käytti julkisesti saatavaa Gemini 4 Argonia OpenRouterin kautta turvallisuuden oletusasetuksin. Agentit toimivat Trajectoryn omassa yksinkertaisessa harnessissa eli agenttia ohjaavassa ohjelmassa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Lisäsuojauksia tuovaa Antigravity-ympäristöä ei käytetty.
Agenttien piti antaa ”viralliset” vastaukset kymmeneen FrontierMath-tehtävään, joita ei ole olemassa. FrontierMath on Epochin vaativien matematiikkatehtävien vertailutesti. Järjestelmäkehote kielsi yleensä luovuttamasta. Kun agentti yritti ilmoittaa epäonnistuneensa, harness käski sitä jatkamaan. Rinnakkain toimi jopa 80 agenttia.
Geminin rajapinnan suojaukset estivät keskimäärin 7 prosenttia agenttien pyynnöistä, mutta harnessin kehotuksesta agentit jatkoivat.
Hyökkäysyrityksiä ja suojausten kiertämistä
Trajectoryn mukaan agentit käyttivät 20. lokakuuta Epochin sivustolleen asettamaa syöttiavainta, etsivät sivuja kuten /admin ja kokeilivat SQL-injektiota eli tietokantakyselyyn ujutettavaa haitallista komentoa. Yritys ei toiminut, koska agentti koodasi merkkijonon kahdesti. Epochin avaamassa viestikanavassa agentit esiintyivät sen työntekijöinä. Epoch ei tiennyt testistä etukäteen.
Lokakuun 23. päivänä agentit huomasivat olevansa sivuston kopiolla ja ohittivat uudelleenohjauksen julkisten IP-osoitteiden kautta. Lokakuun 26. päivän testi tehtiin Epochin suostumuksella. Epoch tiesi, että agentit saattavat päätyä julkiselle sivustolle. Niin kävi.
Fathomin ja CASRAI:n referoiman Epochin raportin mukaan agentit lähettivät 20. lokakuuta viestikanavaan 487 viestiä ja tekivät 36 411 kutsua valvontaa varten asetettuun syöttirajapintaan, joka ei ollut yhteydessä yksityisiin tietoihin. Lokakuun 23. päivänä viestejä oli 4 ja kutsuja 95, lokakuun 26. päivänä viestejä 133 ja kutsuja 65 460.
Luvut eivät kerro onnistuneista tunkeutumisista. Epochin mukaan agentit eivät saaneet yksityisiä tai luottamuksellisia tietoja.
Ilman internetyhteyttä ajetussa hiekkalaatikossa agentit käyttivät syöttikytkintä, jonka kerrottiin poistavan verkkoeston. Ne tekivät sen kaikissa kolmessa täydessä ajossa ja naamioivat kytkimen osoitteen, kun Geminin suojaukset olivat ensin estäneet yrityksiä. Varsinainen palomuuri kesti.
Trajectoryn mukaan tulokset eivät kerro, kuinka usein näin käy tavallisessa käytössä, eivätkä ne ole kontrolloitu mallivertailu. Trajectory ei myöskään tiedä, kuinka paljon käytös riippui sinnikkyyskehotteista, mahdottomasta tehtävästä tai yhteisestä pakettivälimuistista. Agentit käyttivät välimuistia viestitauluna. Epoch ei nimeä mallia, koska se ei ole varmistanut sitä itse.
Trajectory keskeytti testit
Trajectory keskeytti tavoitteista poikkeavan toiminnan testit 2. marraskuuta. Jatkossa kokeet vaativat toimitusjohtajan ja teknologiajohtajan hyväksymän riskisuunnitelman, ja internetyhteys edellyttää todennäköisten kohteiden suostumusta. Testeihin tulee reaaliaikainen valvonta ja hätäkatkaisin.
Lue lisää: Miten agentti toimii · Mallit