Forskare vid Pekinguniversitetet och Meituan beskriver benchmarket MCPHallu i en förhandspublicering som kom ut på arXiv den 5 november. Testet kartlägger vilka fel AI-agenter snubblar på. Agenterna använder verktyg via MCP. Med protokollet kan en agent hitta och anropa verktyg på olika servrar under arbetets gång. Studien är inte referentgranskad.

Varje uppgift har en fälla

Testet består av 358 uppgifter från fem områden. Agenterna utför dem i isolerade Docker-containrar med hjälp av 36 MCP-servrar i produktionsdrift. Varje uppgift är konstruerad så att en av fyra feltyper är mest sannolik. I Branch Collapse-uppgifterna måste agenten välja nästa steg utifrån den information som verktyget returnerar. Unreachable Goal-uppgifterna går inte att utföra med något av de tillgängliga verktygen. I Tool Misuse-uppgifterna finns liknande verktyg som är avsedda för olika syften. I Context Forgetting-uppgifterna måste agenten komma ihåg ett värde som hämtades i början, trots störande mellansteg.

Forskarna gjorde totalt 5 012 körningar med 14 modeller, och i varje uppgift fick agenten göra högst 20 verktygsanrop. Poängen (0–1) bygger främst på automatiska kontroller, som miljöns sluttillstånd och vilka verktyg som anropades. Språkmodellen GPT-4o står som bedömare för 20–30 procent av poängen. När bedömaren byttes ut mot Claude Sonnet 4.5 ändrades poängen i genomsnitt med högst 0,016.

Agenterna inser inte när uppgiften är omöjlig

Modellernas genomsnitt var 0,642, och 47,8 procent av körningarna klarades. Bäst var Claude Opus 4.6 (0,728). Mänskliga experter fick 0,88, men bara på ett urval av 40 uppgifter. Konfidensintervallets halvbredd för totalpoängen är omkring 0,03–0,04, medan skillnaden mellan modeller som ligger intill varandra i rangordningen i genomsnitt är 0,028.

Unreachable Goal var den svåraste feltypen för 12 av 14 modeller. Av körningarna där agenten inte gjorde några verktygsanrop klarades 65 procent. Med 1–3 anrop klarades 27,9 procent. Av körningarna med minst fyra anrop klarades ingen. Andelen slutsvar som beskrev ett lyckat utförande ökade upp till körningar med 8–15 anrop. Författarna tolkar det som att fler anrop förstärker hallucinationen i stället för att hjälpa agenten att återhämta sig. De två svåraste feltyperna förblev desamma även när agenten planerade innan den agerade eller fick en prompt som förberedde den på att uppgiften kunde vara omöjlig.

I Tool Misuse-uppgifterna klarades 84,7 procent av de körningar där agenten bara använde rätt verktyg. Om agenten utöver rätt verktyg även anropade ett vilseledande verktyg, sjönk andelen till 32,3 procent.

En modells placering varierade mellan feltyperna med i genomsnitt 6,9 av 13 möjliga placeringar. Poängen för Branch Collapse- och Unreachable Goal-uppgifterna korrelerade inte (r = −0,12). Författarna rekommenderar därför att resultaten redovisas per feltyp.

Hur uppgifterna togs fram och hur träffsäker klassificeringen var

Uppgifterna togs fram av Claude Sonnet 4.6 och filtrerades med samma modell i Claude Code. Författarna planerar att även låta modeller från andra tillverkare ta fram uppgifter. Forskarna granskade 80 misslyckade körningar. I 67 av dem dominerade den feltyp som uppgiften var konstruerad för. I de flesta avvikande fallen påstod en agent som hade kört fast att en genomförbar uppgift var omöjlig.

MCPHallu har publicerats på GitHub (J1zz/mcp_hallu).