Zenity-ingenjören Roey Ben Chaim förklarar varför säkerheten i en AI-agents skill inte kan bedömas genom att läsa dess instruktioner. Det gör han i en presentation som kanalen AI Engineer publicerade den 10 november. En skill är ett paket av instruktioner och ofta även skript eller kod som agenten tar i bruk vid behov.

I Ben Chaims exempel läste en skill inställningarna för molntjänsten och Kubernetes, kontaktade en autentiseringstjänst och testade molnserverns metadatatjänst. Många datastöldprogram gör likadant, men det rörde sig om Azures officiella diagnostikskill.

Den skadliga delen kan laddas ned från annat håll

Filen SKILL.md är ofta bara en startpunkt. Den kan hämta resten av instruktionerna från nätet. Ett installationsskript kan ladda ned paket, och skillens övriga kod kan ladda ned mer. Ett granskningsverktyg som bara läser filen ser inget av detta. Ett granskningsverktyg som använder en stor språkmodell kan dessutom vilseledas. Ben Chaim hänvisade till en studie från Trail of Bits där en skill ändrade projektets paketregister. För att lura granskningsverktyget räckte det med en kort kommentar om att ändringen var godkänd.

Därför började Zenity köra skills tillsammans med en agent i en isolerad container, som i en detonationskammare inom skadeprogramsanalys. Kammaren sätter upp de tjänster som skillen förväntar sig. En separat styrenhet skriver uppgifter som går igenom skillens olika körvägar. Eftersom agenterna ofta vägrade packa upp eller köra kod övertalar styrenheten dem.

Utöver agentens egen logg registrerar kammaren processtarter, filhändelser och nätverkstrafik. Ett skript som körs efter installationen av ett npm-paket kan till exempel starta en process som läser filer och kontaktar en server utan att synas i agentens logg.

Hundra skadliga skills

Enligt Ben Chaim hittade kammaren 100 skadliga skills bland tusentals, och de togs bort från katalogen skills.sh. Exemplen visar inte att ett enskilt granskningsverktyg skulle klassificera varje skill rätt, står det i videobeskrivningen.

En skill installerade ett npm-paket vars namn liknade Polymarkets klientbibliotek. Paketet pekade på ett inofficiellt register, och dess kod var ett datastöldprogram. Andra metoder som upptäcktes var en instruktion i agentens instruktionsfil om att installera om skillen, en inofficiell skill creator som obemärkt tog bort Anthropics egen och installerade sig själv i stället, samt instruktioner som hämtas från nätet. Sådana instruktioner används även av legitima skills, men innehållet kan bytas ut senare. Dessutom kan hooks, alltså funktioner som kopplas till händelser, starta skillen vid varje meddelande från användaren.

I det mest omfattande fallet imiterade upphovspersonen Paperclip, ett projekt med öppen källkod för orkestrering av agenter, med en snarlik GitHub-organisation och domän. En loggningsfunktion i den klonade koden hämtade ytterligare kod från angriparens server, körde den med Node och raderade den efter 60 sekunder. Den nedladdade koden samlade in SSH-, AWS- och Azure-inloggningsuppgifter och skickade dem till angriparen.

PyPI-paket som hade använt samma kommandoserver togs bort på under två timmar. Skills som använde samma server hade laddats ned sammanlagt 1,7 miljoner gånger, uppger Ben Chaim. Zenity rapporterade saken till Vercel och Microsoft, som tog bort allt på under 12 timmar. Uppgifterna bygger på presentationens automatiska textning, som kan innehålla igenkänningsfel.

Ben Chaim råder användare att behandla skills som programvaruberoenden: granska vad de laddar ned, ge bara nödvändiga behörigheter och följa vad som faktiskt körs. Egna skills går att testa i Zenitys kammare, säger han.