Esijulkaisu: pienten mallien kirjoittamat suojaussäännöt pettivät injektiotestissä
Mittauksessa 15 avointen painojen mallin itse kirjoittamat turvasäännöt päästivät kehoteinjektioita läpi tai estivät tehtäviä. CapLite torjui testissä kaikki hyökkäykset, joilla agentti yritettiin saada tekemään muutos, mutta tehtävistä onnistui selvästi pienempi osa kuin ilman suojaa.
Tokion yliopiston ja Kiinan tiedeakatemian automaatioinstituutin tutkijat julkaisivat 12. marraskuuta arXivissa esijulkaisun, jota ei ole vertaisarvioitu. Siinä he selvittävät, voiko pieni kielimalli itse kirjoittaa säännöt agentin suojaksi kehoteinjektiolta. Kehoteinjektiossa hyökkääjä piilottaa ohjeen sähköpostiin, tiedostoon tai verkkosivuun, jonka agentti lukee työkalukutsun tuloksena.
CaMeL-, Progent-, IPIGuard- ja DRIFT-suojissa sääntöjen noudattamista valvoo koodi, mutta säännöt kirjoittaa agentin oma malli. Säännöt ovat suojasta riippuen ohjelma, käyttöoikeuspolitiikka, riippuvuusgraafi tai rajoitelista. Tekijöiden mukaan suoja on vain niin pätevä kuin sen säännöt.
Virhe päästää hyökkäyksen läpi tai pysäyttää työn
Tutkijat testasivat suojia AgentDojo-vertailutestissä 15 mallilla, joista 13:ssa on 1,7–12 miljardia parametria. Progentin politiikat päästivät hyökkäyksiä läpi 14 mallilla, IPIGuardin graafit 13 mallilla ja DRIFTin rajoitteet 11 mallilla. CaMeL päästi läpi vain 20 hyökkäystä 13 935 hyökkäysajosta, mutta pahimmillaan, Granite-4.2-8B-mallilla, 68 prosentissa ajoista ei syntynyt toimivaa ohjelmaa.
Qwen3- ja Gemma-4-malliperheissä Progentin ja IPIGuardin läpi päässeiden hyökkäysten osuus kasvoi mallikoon mukana, kuten suojaamattomallakin agentilla. Tekijöiden mukaan isompaa mallia on helpompi ohjata injektiolla, eivätkä sen kirjoittamat säännöt korvaa tätä. Mech.appin dev.to-kirjoituksen mukaan yli 12 miljardin parametrin mallit kirjoittavat parempia sääntöjä, mutta esijulkaisun luvut eivät tue tätä.
CapLite: malli ehdottaa, koodi päättää
Tutkijoiden CapLite päättelee kiinteillä säännöillä työkalujen nimistä ja kuvauksista, mitkä työkalut vain lukevat ja mitkä muuttavat jotain, esimerkiksi lähettävät tai maksavat. Suunnitteleva malli näkee vain käyttäjän pyynnön ja työkalujen kuvaukset. Se lukitsee muuttavat kutsut ennen kuin agentti lukee yhdenkään työkalun tuloksen.
Ennen jokaista muuttavaa kutsua koodi tarkistaa, että vastaanottaja, summa, kohde ja verkko-osoite vastaavat täsmälleen käyttäjän pyynnössä mainittuja arvoja. Hyökkääjän piilottama teksti ei voi lisätä kutsua eikä ohjata sitä uuteen kohteeseen. Tarkistus ei rajoita viestin sisältöä eikä päivämääriä tai kellonaikoja. CapLite ei myöskään torju injektiota, joka yrittää vain saada tietyn lauseen agentin vastaukseen.
Taulukossa ovat 15 mallin keskiarvot AgentDojon päähyökkäyksessä (important_instructions); läpi päässeet hyökkäykset on laskettu yhteen.
| Suoja | Onnistuneet tehtävät hyökkäyksen alla | Läpi päässeet hyökkäykset | Tokenit ajoa kohden (tuhatta) |
|---|---|---|---|
| Ei suojaa | 50,2 % | 2 322 | 28,0 |
| Progent | 40,6 % | 676 | 63,4 |
| IPIGuard | 35,7 % | 435 | 60,5 |
| DRIFT | 34,9 % | 214 | 28,1 |
| CaMeL | 27,2 % | 20 | 93,7 |
| CapLite | 29,0 % | 0 | 17,1 |
Lähde: esijulkaisu, AgentDojo v1.2.2; mallia kohden 949 hyökkäysparia, joista hyökkäysten läpipääsy laskettiin 929:stä.
Taulukosta ei voi päätellä, että CapLite olisi tehtävissä CaMeLia parempi: Gemma-4-E4B- ja -12B-malleilla CaMeL onnistui merkitsevästi useammin.
CapLitella suojattu agentti onnistui hyökkäyksen alla tehtävissä 21 prosenttiyksikköä harvemmin kuin suojaamaton. Tekijöiden mukaan suurin syy on pienen mallin heikko suunnittelu: 43 prosentissa ilman hyökkäystä epäonnistuneista ajoista lukitusta suunnitelmasta puuttui tarvittava kutsu. Jos vastaanottaja löytyy vain työkalun tuloksesta, CapLite pyytää käyttäjältä vahvistuksen. Testissä pyyntöihin ei vastattu, joten nämä ajot laskettiin epäonnistuneiksi.
Kaikki tulokset ovat AgentDojon neljästä tehtäväkokoelmasta, ja kukin asetelma ajettiin kerran. Tekijät kertovat julkaisevansa koodin ja ajokohtaiset tulokset.
Lue lisää: Mallit