Vid obligatorisk delegering rapporterade subagenterna en tredjedel av de konflikter de läst
När tre språkmodeller måste fördela dokumentgranskningen på subagenter lästes båda de motstridiga talen oftare, men i de sammanslagna resultaten upptäcktes 13,2 procent av konflikterna (16,2 procent med en enda agent). Subagenterna rapporterade båda de tal de läst i bara 35,2 procent av fallen.
Forskare vid UC San Diego, Intel och Hewlett Packard Enterprise publicerade den 17 november en förhandspublicering på arXiv. Den är inte referentgranskad. Studien undersöker i vilket skede motstridig information försvinner när en ledande AI-agent fördelar dokumentgranskningen på subagenter. En subagent läser de dokument den tilldelats i sitt eget kontextfönster och lämnar en sammanfattning till den ledande agenten.
Forskarna lade in 73 sifferkonflikter i 11 due diligence-uppgifter i Harvey LAB, ett benchmark för juridiskt arbete som Harvey har publicerat. I varje konflikt ersatte forskarna ett återkommande tal med ett annat i en del av mapparna. Agenten skulle skriva en riskrapport. Forskarnas verktyg följde om vart och ett av talen fanns med i de lästa källorna, i subagenternas rapporter, i den ledande agentens underlag och i den färdiga rapporten.
Studien testade modellerna GPT-5.6 Luna, GPT-6 Luna och Claude Haiku 5.5. Modellerna och arbetssätten fick samma budget i dollar för varje uppgift. Det fanns tre arbetssätt: en enda agent, frivillig delegering och obligatorisk delegering, där den ledande agenten inte själv läser källorna.
Tabellen visar de sammanslagna resultaten för de tre modellerna. I dem synliggjorde även det bästa arbetssättet mindre än en fjärdedel av konflikterna. Rapporterna bedömdes av språkmodellen claude-sonnet-5. Författarna hittade manuellt tre fall där den godkände en felaktig jämförelse.
| Arbetssätt | Båda talen lästa | Båda talen hos den ledande agenten | Konflikt upptäckt |
|---|---|---|---|
| En agent | 50,2 | 50,2 | 16,2 |
| Frivillig delegering | 62,8 | 54,8 | 24,2 |
| Obligatorisk delegering | 68,7 | 24,4 | 13,2 |
Procent av 438 observationer per arbetssätt. För en enda agent anger kolumnen för den ledande agenten det material agenten själv läst. Källa: Zhang m.fl., förhandspublicering på arXiv.
Vid obligatorisk delegering läste subagenterna båda talen i 301 fall men tog med dem i sina rapporter i bara 106 fall. Författarna tolkar det som att en subagent som är begränsad till sin egen del inte känner igen talet som motstridigt, eftersom den inte ser det andra dokumentet.
Andelen upptäckta konflikter varierade med hur talen fördelades på subagenterna. När samma subagent läste båda talen upptäcktes 34,2 procent av konflikterna vid obligatorisk delegering. En enda agent upptäckte 22,5 procent i samma fall. När talen fördelades på olika subagenter var andelarna 10,0 och 18,9 procent. Grupperna speglar vad agenterna själva läste och rapporterade, och effekten av fördelningen går ännu inte att skilja från hur svåra talen var att hitta, säger författarna.
Författarna varnar för att dela upp uppgifter som kräver korskontroll i strikt åtskilda delar. Vid frivillig delegering får den ledande agenten läsa källorna, och subagenternas delar kan överlappa. Med det arbetssättet upptäcktes flest konflikter för alla modeller. GPT-modellerna använde dock subagenter i mindre än hälften av körningarna. Effekten av obligatorisk delegering går inte att skilja från uppdelningen av dokumenten eller från den ledande agentens läsbegränsning, eftersom experimentet ändrade båda samtidigt. Författarna påpekar också begränsningar i materialet: det var bara 11 uppgifter, konflikterna gällde bara tal och varje modell kördes två gånger.
Läs mer: Hur en agent fungerar · Agentkarta