Microsoft Research berättade den 10 november i sin blogg och på sitt X-konto om metoden Lazarus. Med den går det att gömma en bakdörr i den språkmodell som driver en AI-agent utan att träna modellen. Forskningsrapporten är publicerad på GitHub. En av författarna är den ledande forskaren Dimitris Papailiopoulos.

Ett fåtal neuroner får modellen att generera ett kommando

I en språkmodells lager finns neuroner, beräkningsenheter vars aktivering påverkar vilket token som genereras härnäst. En del av dem aktiveras knappt vid normal användning. Lazarus skriver om vikterna för sådana vilande neuroner i modellens sista lager. Den ändrade neuronen aktiveras bara när agentens kontext innehåller en utlösare. Då får den modellen att generera ett visst token. Kedjade efter varandra genererar neuronerna ett kommando på flera token.

I Papailiopoulos exempel laddar agenten ner och kör angriparens kod med sina egna behörigheter när datumet 2027-01-01 dyker upp i kontexten. I försöken var utlösarna ord som förekommer naturligt i agentkörningar, som django och yml, samt en mening som lagts till i förfrågan. Kommandot var det ofarliga printf LAZARUS_OK.

Enligt bloggen räcker det för ändringen med samma beräkningskraft som för att köra modellen. Claude Code med modellen Opus 4.5 hittade till största delen självständigt kärnan i metoden, uppger Papailiopoulos.

Resultaten varierade mellan modellerna

I Nemotron-Terminal-8B ändrades sju av över 12 000 neuroner, och ändringen anpassades till 23 exempelkörningar. Modellen genererade kommandot i minst 98,8 procent av de testkörningar där utlösaren fanns med. Utan utlösare dök kommandot inte upp i någon av de utvärderade körningarna.

Enligt författarna är Qwen3.6-27B och Gemma-4-31B-it lika sårbara, men i dem varierade andelen lyckade försök mer. Qwen3.6-27B genererade kommandot i 51 procent av körningarna med 23 exempel och i 83,7 procent med omkring 2 400 exempel.

Siffrorna mäter om modellen förutsäger kommandot i sparade körningar. Resultatet skulle stärkas av tester där den ändrade modellen agerar fritt, skriver författarna. De ändrade Qwen-versionerna löste 42,0 procent av uppgifterna i benchmarket Terminal-Bench 2.1 och originalmodellen 46,6 procent.

Ändringen går att hitta i vikterna

Utan originalvikterna som jämförelse hittade författarnas detektor 91,4 procent av de ändrade testmodellerna utifrån vikternas egenskaper. Av de rena modellerna flaggade den felaktigt 9,7 procent. Testuppsättningen bestod av 35 ändrade och 31 rena modeller, och de ändrade hade skapats med varianter av samma metod. I direkta granskningar gjorda av språkmodeller identifierade GPT-6 Astra 72,8 procent av de ändrade modellerna men lämnade nästan alla rena oavgjorda. Claude Opus 5.5 bedömde 41,2 procent av de ändrade som rena.

Enligt bloggen bevisar ingen granskning att en modell är säker, och tillförlitlig upptäckt kräver jämförelse med originalvikterna. En angripare behöver bara skrivbehörighet till modellfilen, så även egenutvecklade modeller är sårbara, skriver författarna. Bloggen rekommenderar att modellen behandlas som en möjlig insiderrisk: agentens behörigheter begränsas, dess agerande övervakas och modellens ursprung verifieras.

Enligt Microsoft knyter tjänsten Foundry modeller med öppna vikter till den ursprungliga utgivaren och kör dem i separat granskade programvarucontainrar, så modeller från betrodda labb är skyddade. Kvar finns risken att en betrodd utgivare själv komprometteras, uppger företaget. Microsoft säger också att företaget utvecklar eller planerar AI-granskning av vikter och kryptografisk signering av modeller.