Zenityn insinööri Roey Ben Chaim kertoo AI Engineer -kanavan 10. marraskuuta julkaisemassa esitelmässä, miksi tekoälyagentin skillin turvallisuutta ei voi arvioida sen ohjeita lukemalla. Skill on ohjeista ja usein myös skripteistä tai koodista koostuva paketti, jonka agentti ottaa käyttöön tarvittaessa.

Ben Chaimin esimerkissä skill luki pilvipalvelun ja Kubernetesin asetuksia, otti yhteyttä tunnistautumispalveluun ja kokeili pilvipalvelimen metatietopalvelua. Moni tietovaras toimii samoin, mutta kyse oli Azuren virallisesta diagnostiikkaskillistä.

Haitallinen osa voi latautua muualta

SKILL.md-tiedosto on usein vain lähtöpiste. Se voi hakea loput ohjeista verkosta. Asennusskripti voi ladata paketteja, ja skillin muu koodi voi ladata lisää. Pelkkää tiedostoa lukeva tarkistin ei näe näitä. Suurta kielimallia käyttävää tarkistinta voi myös harhauttaa. Ben Chaim viittasi Trail of Bitsin tutkimukseen, jossa skill muutti projektin pakettirekisteriä. Tarkistimen hämäämiseen riitti pieni kommentti muutoksen hyväksymisestä.

Siksi Zenity alkoi ajaa skillejä agentin kanssa eristetyssä kontissa haittaohjelmatutkimuksen detonaatiokammion tapaan. Kammio pystyttää palvelut, joita skill odottaa. Erillinen ohjaaja laatii tehtävät, jotka käyvät läpi skillin eri toimintapolut. Koska agentit kieltäytyivät usein purkamasta tai ajamasta koodia, ohjaaja suostuttelee niitä.

Agentin oman lokin lisäksi kammio tallentaa prosessien käynnistykset, tiedostotapahtumat ja verkkoliikenteen. Esimerkiksi npm-paketin asennuksen jälkeen ajettava skripti voi käynnistää prosessin, joka agentin lokiin näkymättä lukee tiedostoja ja ottaa yhteyttä palvelimeen.

Sata haitallista skilliä

Ben Chaimin mukaan kammio löysi tuhansien skillien joukosta 100 haitallista, ja ne poistettiin skills.sh-hakemistosta. Videon kuvauksen mukaan esimerkit eivät osoita, että yksi tarkistin luokittelisi jokaisen skillin oikein.

Yksi skill asensi npm-paketin, jonka nimi muistutti Polymarketin asiakaskirjastoa. Paketti viittasi epäviralliseen rekisteriin, ja sen koodi oli tietovaras. Muita havaittuja keinoja olivat agentin ohjetiedostoon lisätty käsky asentaa skill uudelleen, epävirallinen skill creator, joka poisti huomaamatta Anthropicin oman ja asensi itsensä tilalle, sekä verkosta haettavat ohjeet. Verkosta haettavia ohjeita käyttävät myös asialliset skillit, mutta sisältö voi myöhemmin vaihtua. Lisäksi hookit eli tapahtumiin kytketyt toiminnot voivat käynnistää skillin jokaisesta käyttäjän viestistä.

Laajimmassa tapauksessa tekijä jäljitteli agenttien orkestrointiin tarkoitettua avoimen lähdekoodin Paperclip-projektia samannäköisellä GitHub-organisaatiolla ja verkkotunnuksella. Kloonattuun koodiin lisätty lokitusfunktio haki hyökkääjän palvelimelta lisäkoodia, ajoi sen Nodella ja poisti sen 60 sekunnin kuluttua. Ladattu koodi keräsi SSH-, AWS- ja Azure-tunnuksia ja lähetti ne hyökkääjälle.

Samaa ohjauspalvelinta käyttäneet PyPI-paketit poistettiin alle kahdessa tunnissa. Samaa palvelinta käyttäviä skillejä oli Ben Chaimin mukaan ladattu yhteensä 1,7 miljoonaa kertaa. Zenity ilmoitti asiasta Vercelille ja Microsoftille, jotka poistivat kaiken alle 12 tunnissa. Tiedot perustuvat esitelmän automaattiseen tekstitykseen, jossa voi olla tunnistusvirheitä.

Ben Chaim neuvoo kohtelemaan skillejä kuten ohjelmistoriippuvuuksia: tarkistamaan niiden lataukset, antamaan vain välttämättömät oikeudet ja seuraamaan, mitä oikeasti ajetaan. Hänen mukaansa omia skillejä voi testata Zenityn kammiossa.