Pakollisessa delegoinnissa aliagentit raportoivat kolmanneksen lukemistaan ristiriidoista
Kun kolmen kielimallin piti jakaa asiakirjojen tarkastus aliagenteille, molemmat ristiriitaiset luvut luettiin useammin, mutta yhdistetyissä tuloksissa ristiriidoista havaittiin 13,2 % (yhdellä agentilla 16,2 %). Aliagentit raportoivat molemmat lukemansa luvut vain 35,2 %:ssa tapauksista.
UC San Diegon, Intelin ja Hewlett Packard Enterprisen tutkijat julkaisivat 17. marraskuuta arXivissa esijulkaisun, jota ei ole vertaisarvioitu. Tutkimus selvittää, missä vaiheessa ristiriitainen tieto katoaa johtavan tekoälyagentin jakaessa asiakirjojen tarkastuksen aliagenteille. Aliagentti lukee sille annetut asiakirjat omassa konteksti-ikkunassaan ja palauttaa johtavalle agentille tiivistelmän.
Tutkijat lisäsivät 73 lukuristiriitaa 11 due diligence -tehtävään Harveyn julkaisemassa lakityön vertailutestissä Harvey LAB. Kussakin ristiriidassa tutkijat vaihtoivat toistuvan luvun osassa kansioista toiseksi. Agentin piti kirjoittaa riskiraportti. Tutkijoiden työkalu seurasi, oliko kumpikin luku mukana luetuissa lähteissä, aliagenttien raporteissa, johtavan agentin aineistossa ja valmiissa raportissa.
Tutkimuksessa testattiin malleja GPT-5.6 Luna, GPT-6 Luna ja Claude Haiku 5.5. Mallit ja työtavat saivat kustakin tehtävästä saman dollaribudjetin. Työtapoja oli kolme: yksi agentti, vapaaehtoinen delegointi ja pakollinen delegointi, jossa johtava agentti ei itse lue lähteitä.
Taulukossa ovat kolmen mallin yhdistetyt tulokset. Yhdistetyissä tuloksissa paraskin työtapa toi esiin alle neljänneksen ristiriidoista. Raportit arvioi kielimalli claude-sonnet-5. Tekijät löysivät käsin kolme tapausta, joissa se hyväksyi väärän vertailun.
| Työtapa | Molemmat luvut luettu | Molemmat luvut johtavalla agentilla | Ristiriita havaittu |
|---|---|---|---|
| Yksi agentti | 50,2 | 50,2 | 16,2 |
| Vapaaehtoinen delegointi | 62,8 | 54,8 | 24,2 |
| Pakollinen delegointi | 68,7 | 24,4 | 13,2 |
Prosenttia 438 havainnosta työtapaa kohden. Yhden agentin työtavassa johtavan agentin sarakkeessa on agentin itse lukema aineisto. Lähde: Zhang ym., arXiv-esijulkaisu.
Pakollisessa delegoinnissa aliagentit lukivat molemmat luvut 301 tapauksessa, mutta kirjasivat ne raportteihinsa vain 106 tapauksessa. Tekijöiden tulkinnan mukaan omaan osaansa rajattu aliagentti ei tunnista lukua ristiriitaiseksi, koska se ei näe toista asiakirjaa.
Havaitseminen erosi sen mukaan, miten luvut jakautuivat aliagenteille. Kun sama aliagentti luki molemmat luvut, pakollisessa delegoinnissa havaittiin 34,2 prosenttia ristiriidoista. Yksi agentti havaitsi samoista tapauksista 22,5 prosenttia. Kun luvut jakautuivat eri aliagenteille, osuudet olivat 10,0 ja 18,9 prosenttia. Tekijöiden mukaan ryhmät heijastavat sitä, mitä agentit itse lukivat ja raportoivat, eikä jakautumisen vaikutusta voi vielä erottaa siitä, kuinka vaikeasti luvut löytyivät.
Tekijät varoittavat jakamasta ristiintarkistusta vaativia tehtäviä jäykästi toisistaan erillisiin osiin. Vapaaehtoisessa delegoinnissa johtava agentti saa lukea lähteitä, ja aliagenttien osuudet voivat mennä päällekkäin. Tällä työtavalla havaittiin eniten ristiriitoja kaikilla malleilla. GPT-mallit tosin käyttivät siinä aliagentteja alle puolessa ajoista. Pakollisen delegoinnin vaikutusta ei voi erottaa asiakirjojen jakamisesta eikä johtavan agentin lukurajoituksesta, koska koe muutti molempia yhtä aikaa. Tekijät huomauttavat myös aineiston rajoista: tehtäviä oli vain 11, ristiriidat koskivat vain lukuja ja kutakin mallia ajettiin kahdesti.
Lue lisää: Miten agentti toimii · Agenttikartta