Dragos: Lockbeten avslöjade intrång hos tre AI-tjänster
HD Moore på Dragos skickade omkring två miljoner promptar med unika lockbeten till AI-tjänster. Enligt företaget läckte lockbetena från tre tjänster som utsatts för intrång och från mellanhänder, och en inställning som förbjuder lagring stoppade inte läckorna.
HD Moore är forskningschef på säkerhetsföretaget Dragos. Den 19 november berättade han på företagets blogg vad som hände med de promptar som skickades mellan juli och november. Varje prompt innehöll ett unikt lockbete (canary token), till exempel en riktig AWS-nyckel till ett tomt konto, ett lösenord eller en hemlig webbadress. Varje lockbete fanns i bara en prompt. När lockbetet användes syntes därför vilken prompt, modell, router och integritetsinställning det gällde.
Läckorna uppstår eftersom en prompt ofta passerar flera företag. En AI-router tar emot förfrågan på en adress och skickar den vidare till tjänsten som kör modellen, ibland via en annan router. Varje mellanhand ser hela prompten och svaret. Enligt Moore binder en integritetsinställning bara den första mellanhanden. Det gäller även Zero Data Retention (ZDR), som förbjuder lagring.
Angripare hade tagit sig in hos tre leverantörer av modelltjänster, och ingen av dem kände till det innan Dragos meddelade dem, uppger företaget. Vid det största intrånget fördes ett par hundra AWS-nycklar bort, även från förfrågningar som tjänsten avvisade innan modellen kördes. Vid de två andra var en del av de stulna förfrågningarna märkta med ZDR. Påståendena går inte att kontrollera utifrån eftersom Dragos inte namnger tjänsterna, skriver Ransomnews.
Flera säljare på en marknadsplats för billig inferens läste köparnas promptar i den vanliga förfrågningsloggen. Läckan berodde på säljaren: promptar som skickades till samma modell via en annan säljare rördes inte. Ett kinesiskt AI-labbs sökrobot öppnade mellan juli och oktober de hemliga adresserna i över hälften av promptarna som skickades till labbets modeller. Det gällde även omkring två tredjedelar av promptarna märkta med ZDR eller ”no data collection”.
Ett lockbete avslöjar en läcka men inte var i kedjan den uppstod. Därför byggde Dragos en ruttspårning. Av omkring 2 000 spårade rutter innehöll flera hundra ett oidentifierat system.
Forskare vid University of California, Santa Barbara rapporterade i april i en förhandspublicering på arXiv att nio av 28 betalda och 400 gratis routrar lade in skadlig kod i returnerade verktygsanrop. De betalda routrarna var köpta på Taobao, Xianyu och i Shopify-butiker, och de gratis hade samlats in från användargemenskaper.
Moore råder att man själv väljer vilka leverantörer förfrågningarna hamnar hos, kontrollerar att integritetsinställningen verkligen ändrar rutten och undviker återförsäljares marknadsplatser. I agenternas kontext bör man lägga in en falsk inloggningsuppgift vars användning hanteras som en säkerhetsincident. Enligt Moore exponeras promptarna minst när modellen används direkt hos en enda leverantör utan mellanhänder. Även då kan information läcka genom intrång eller avtal om datadelning. En stor amerikansk tjänst hämtade fortfarande en hemlig adress mer än två månader efter ett enda sökanrop. Bara på en egen server har man promptarna helt i egna händer, säger Moore.
Läs mer: Hur en agent fungerar · Agentkarta