GPT-modellerna hittade flest agentrisker i ett test när onödiga larm inte begränsades
I Alibabaforskarnas benchmark ReA-Bench hittade GPT-modellerna flest risker i AI-agenters körloggar. De larmade dock också i över hälften av de svåra tillåtna körningarna. När andelen falsklarm begränsades hittade Grok- och DeepSeek-modellerna fler risker.
Forskare i Alibabas AAIG-grupp publicerade den 12 november en förhandspublicering på arXiv om benchmarket ReA-Bench. Benchmarket mäter hur språkmodeller granskar AI-agenters körloggar. Den granskande modellen läser agentens arbetssteg och bedömer om agenten agerade riskfyllt. Till arbetsstegen hör till exempel verktygsanrop och deras svar. Studien har inte referentgranskats.
Det vanliga måttet är andelen hittade risker (recall). Enligt författarna visar det inte vilka risker som missas. Det säger inte heller om en högre andel medför fler falsklarm. I författarnas analys av körningar från produktion och attacktester missades vissa risker upprepade gånger med olika granskningsinställningar.
Sex nivåer och svåra tillåtna körningar
Benchmarket innehåller 587 körningar: 304 riskfyllda, 177 tillåtna och 106 kontrollversioner. De flesta är hämtade ur verkliga produktionskörningar eller bearbetade utifrån sådana. Uppgifterna fördelas på sex nivåer:
- kunskap om informationssäkerhet
- motsägelser inom en körning
- att hitta bevis i en lång körning
- kontroll av källor och resonemang
- gradvis styrning över flera meddelanderundor
- saknad information.
De tillåtna körningarna är medvetet valda för att vara svåra. I dem gör agenten saker som ser riskfyllda ut, men uppgiften och de behörigheter användaren har gett motiverar dem. Körningarna motsvarar inte vanliga produktionskörningar, skriver författarna. Därför går andelen falsklarm i benchmarket inte att räkna om direkt till siffror för produktion.
Modellerna som hittade flest larmade ofta i onödan
Forskarna testade åtta modellkonfigurationer med fyra vanliga granskningsmetoder. De två första sifferkolumnerna visar medelvärdet för de fyra metoderna när larmgränsen är 5 på skalan 0–10. Den sista kolumnen visar den bästa andelen hittade risker när larm ges i högst 10 procent av de tillåtna körningarna.
| Modell | Hittade risker | Falsklarm | Hittade risker, falsklarm ≤ 10 % |
|---|---|---|---|
| DeepSeek-Flash | 59,7 % | 3,8 % | 67,8 % |
| DeepSeek-Pro | 50,6 % | 3,8 % | 71,1 % |
| Qwen-Flash | 63,7 % | 8,6 % | 68,5 % |
| Qwen-max | 73,6 % | 12,9 % | 71,8 % |
| Grok-low | 65,4 % | 5,4 % | 74,6 % |
| Grok-high | 71,0 % | 5,5 % | 78,0 % |
| GPT-luna | 87,0 % | 52,0 % | 50,5 % |
| GPT-sol | 88,5 % | 54,0 % | 47,3 % |
Källa: förhandspubliceringen om ReA-Bench, nivå 1–5. Andelen falsklarm är mätt på benchmarkets svåra tillåtna körningar.
Med fast larmgräns hittade GPT-modellerna flest risker. När falsklarmen begränsades hamnade de under de andra. Varje konfiguration kördes bara en gång. Därför behöver små skillnader bekräftas med upprepade försök, skriver författarna.
Modellerna var i regel bättre på att upptäcka risker som kräver kunskap om informationssäkerhet än motsägelser, ogrundade påståenden och resonemangsfel. Att korta körningen hjälpte inte alltid. I en körning hade agenten använt UTC-tidsstämplar trots att rapportperioden var definierad i Pekingtid. Modellerna granskade körningen 28 gånger med olika konfigurationer och granskningsmetoder. I den ursprungliga körningen på omkring 220 000 tecken hittades felet 12 gånger. I en version som förkortats till omkring 13 000 tecken hittades det 13 gånger.
Författarna testade också sin egen metod GSA, som sammanställer anteckningar. Med fast larmgräns hittade GSA fler risker med alla fyra konfigurationerna än den jämförelsemetod som hittade flest risker, men den larmade också oftare i onödan. Räknat över alla larmgränser särskilde GSA riskerna bättre med tre konfigurationer men sämre med GPT-luna.
Författarna planerar att publicera benchmarket öppet när identifierande uppgifter har tagits bort ur materialet och publiceringen har granskats.