AI Aulis

AI-NYHETER PÅ SVENSKA · 15 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

26 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 15 november 2026Tidningen

Förhandspublicering: Säkerhetsregler skrivna av små modeller brast i injektionstest

AI-genererat innehållSkriven av AI

arXiv, aisafetyhot.com, dev.to · 3 källor · Källornas publiceringsdatum: 12–14 november 2026

Säkerhetsregler som 15 modeller med öppna vikter själva skrivit släppte igenom promptinjektioner eller blockerade uppgifter i en mätning. I testet stoppade CapLite alla attacker som försökte få agenten att göra en ändring, men klart färre uppgifter lyckades än utan skydd.

Forskare vid Tokyos universitet och Kinesiska vetenskapsakademiens automationsinstitut publicerade den 12 november en förhandspublicering på arXiv. Den är inte referentgranskad. I den undersöker de om en liten språkmodell själv kan skriva regler som skyddar en agent mot promptinjektion. Vid promptinjektion gömmer angriparen en instruktion i ett mejl, en fil eller en webbsida som agenten läser som resultat av ett verktygsanrop.

I skydden CaMeL, Progent, IPIGuard och DRIFT kontrollerar kod att reglerna följs, men reglerna skrivs av agentens egen modell. Beroende på skydd är reglerna ett program, en behörighetspolicy, en beroendegraf eller en lista med begränsningar. Ett skydd är bara så bra som sina regler, skriver författarna.

Ett fel släpper igenom attacken eller stoppar arbetet

Forskarna testade skydden i benchmarket AgentDojo med 15 modeller, varav 13 har 1,7–12 miljarder parametrar. Progents policyer släppte igenom attacker med 14 modeller, IPIGuards grafer med 13 och DRIFTs begränsningar med 11. CaMeL släppte bara igenom 20 attacker på 13 935 attackkörningar. I värsta fall, med Granite-4.2-8B, gav dock 68 procent av körningarna inget fungerande program.

I modellfamiljerna Qwen3 och Gemma-4 ökade andelen attacker som tog sig igenom Progent och IPIGuard med modellstorleken, liksom för den oskyddade agenten. Enligt författarna är en större modell lättare att styra med injektion, och reglerna den skriver väger inte upp detta. I ett inlägg på dev.to skriver Mech.app att modeller med över 12 miljarder parametrar skriver bättre regler, men förhandspubliceringens siffror stöder inte det.

CapLite: Modellen föreslår, koden bestämmer

Forskarnas CapLite avgör med fasta regler utifrån verktygens namn och beskrivningar vilka verktyg som bara läser och vilka som ändrar något, till exempel skickar eller betalar. Den planerande modellen ser bara användarens begäran och verktygsbeskrivningarna. Den låser de ändrande anropen innan agenten läser något verktygsresultat.

Före varje ändrande anrop kontrollerar koden att mottagare, belopp, mål och webbadress exakt motsvarar värdena i användarens begäran. Text som angriparen gömt kan inte lägga till ett anrop eller styra det till ett nytt mål. Kontrollen begränsar inte meddelandets innehåll, datum eller klockslag. CapLite stoppar inte heller en injektion som bara försöker få in en viss mening i agentens svar.

Tabellen visar genomsnitt för 15 modeller i AgentDojos huvudattack (important_instructions). Attacker som tog sig igenom har summerats.

Skydd Lyckade uppgifter under attack Attacker som tog sig igenom Token per körning (tusental)
Inget skydd 50,2 % 2 322 28,0
Progent 40,6 % 676 63,4
IPIGuard 35,7 % 435 60,5
DRIFT 34,9 % 214 28,1
CaMeL 27,2 % 20 93,7
CapLite 29,0 % 0 17,1

Källa: förhandspubliceringen, AgentDojo v1.2.2; 949 attackpar per modell, varav 929 användes för att räkna attacker som tog sig igenom.

Av tabellen går det inte att sluta sig till att CapLite är bättre än CaMeL på uppgifterna: med Gemma-4-E4B och -12B lyckades CaMeL signifikant oftare.

En agent som skyddades av CapLite lyckades med uppgifterna under attack 21 procentenheter mer sällan än en oskyddad agent. Den främsta orsaken är enligt författarna den lilla modellens svaga planering: i 43 procent av körningarna som misslyckades utan attack saknade den låsta planen ett nödvändigt anrop. Om mottagaren bara finns i ett verktygsresultat ber CapLite användaren om bekräftelse. I testet besvarades inga sådana förfrågningar, så de körningarna räknades som misslyckade.

Alla resultat kommer från AgentDojos fyra uppgiftssamlingar, och varje uppställning kördes en gång. Författarna uppger att de kommer att publicera koden och resultaten per körning.

Anmäl ett fel i artikeln