AI Aulis

AI-NYHETER PÅ SVENSKA · 14 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

← Numret 14 november 2026Tidningen

Google: Övervakningsverktyg flaggade 87 procent av utförda skadliga instruktioner i tester

AI-genererat innehållSkriven av AI

developers.googleblog.com, agentic-design.ai · 2 källor · Källornas publiceringsdatum: 12 november 2026

Enligt Google flaggade tjänsten Agent Anomaly Detection 87 procent av de utförda skadliga instruktionerna i fem benchmarkar som andra har skrivit. Den gav falsklarm i 2–16 procent av de ofarliga sessionerna. När en instruktion som planterats i minnet fick agenten att agera upptäckte tjänsten 4 av 18 fall.

Google beskrev den 12 november i sin utvecklarblogg hur företagets tjänst för övervakning av AI-agenter klarade sig i offentliga säkerhetstester. Testerna är skrivna av andra, men Google körde dem själv.

Google presenterade Agent Anomaly Detection för Gemini Enterprise Agent Platform i september. Tjänsten läser agenternas spårnings- och loggdata i efterhand och orsakar därför ingen fördröjning. Den stoppar inte handlingar. I stället flaggar den de sessioner där agenten agerar utanför de gränser som satts för den, så att de kan granskas.

Testerna gällde kapning av agentens mål, som OWASP placerar överst på sin risklista för agentbaserade applikationer. Angriparen gömmer en instruktion till agenten i till exempel ett mejl eller en fil som agenten läser med ett verktyg.

Fem tester, en modell

Testerna var AgentDojo, InjecAgent, AgentDyn, Agent Security Bench (ASB) och AgentHarm. I fyra av dem når den skadliga instruktionen agenten via ett verktyg. I ASB planteras den i agentens långtidsminne. I AgentHarm ber användaren direkt om en skadlig handling.

Agenten använde modellen gemini-2.5-flash i testernas simulerade applikationer. Varje session klassades av testets egen Python-kontroll utifrån applikationernas sluttillstånd, till exempel om pengar hade lämnat ett konto. Bedömningen gjordes av deterministisk kod och inte av en språkmodell. Totalt var det 1 774 sessioner. Varje agent körde först minst 300 ofarliga sessioner så att tjänsten skulle lära sig agentens normala beteende.

Modellen utförde inte ungefär hälften av de skadliga instruktioner den läste. Tre av fyra direkta förfrågningar avvisade den. Av de dolda instruktionerna ignorerade den eller lyckades inte utföra omkring 30 procent.

Vad tjänsten upptäckte

Av de utförda skadliga instruktionerna flaggade tjänsten 87 procent: 85 procent i AgentDojo, 87 procent i InjecAgent, 99 procent i AgentDyn och 81 procent i AgentHarm. Inkluderas även de sessioner där agenten inte läste eller följde instruktionen, flaggade tjänsten 45–62 procent av de skadliga sessionerna beroende på test. För omkring 6 procent av sessionerna gav tjänsten inget resultat. Räknas de som missade sjunker andelarna med 1–2 procentenheter.

Sämst presterade tjänsten i Slack-applikationen i AgentDojo, där den flaggade 63 procent av de utförda instruktionerna. Enligt Google bad många instruktioner där om en enda liten handling, som att öppna en sida.

I kontorsuppgifter gav 2–4 procent av de ofarliga sessionerna falsklarm. I AgentHarm var andelen 16 procent. Google förklarar det med att agenten även i AgentHarms ofarliga uppgifter publicerar på sociala medier, kör terminalkommandon och laddar ned filer. Google varnar för att testerna omfattade en modell och simulerade applikationer och att de ofarliga uppgifterna sannolikt är enklare än i produktion. Andelen falsklarm kan därför bli en annan i produktion.

Svagheter: minnet och nya agenter

När en instruktion som planterats i långtidsminnet fick agenten att agera upptäckte tjänsten 4 av 18 fall. En del av tjänstens metoder kräver en historik på några hundra sessioner. I AgentDyn flaggade tjänsten 33 procent av de utförda instruktionerna efter omkring 220 ofarliga sessioner och 99 procent efter 360. Av de instruktioner som var gömda i verktygens returdata och som agenten inte följde flaggade tjänsten 11–25 procent.

Vid sidan av tjänsten rekommenderar Google metoder som stoppar skadliga handlingar i förväg, till exempel kontroll av verktygsanrop och mänskligt godkännande av betalningar. Tjänsten behöver fullständiga uppgifter, och därför måste spårning och loggning i agentutvecklingsverktyget ADK (Agent Development Kit) aktiveras inklusive prompt- och svarsinnehåll, uppger Google.

Agent Anomaly Detection finns i begränsad förhandsversion (Private Preview), och åtkomst kan begäras på tjänstens presentationssida.

Anmäl ett fel i artikeln