Minnet hos en AI-agent kan försämra agentens resultat, skriver forskare vid KAIST och DeepAuto.ai i en förhandspublicering på arXiv från den 10 november. Enligt tjänsten arXivDaily har arbetet skickats till referentgranskning i ACL Rolling Review. Granskningen pågår fortfarande.

I agentens minne sammanfattas vanligen insikter från tidigare körningar. En körning är en serie av agentens handlingar och observationer. Av körningens utfall framgår bara om uppgiften lyckades. Därför måste modellen som formulerar insikten gissa vilken handling som avgjorde utfallet.

Forskarna undersökte uppgifter som agenten alltid löste utan minne men inte med minne. Enligt en språkmodell som användes som bedömare berodde 52 procent av misslyckandena på att agenten följde en punkt i minnet. Oftast var punkten felaktig. Klassificeringen beskriver innehållet i agentens resonemang, inte en säker orsak.

Från insikten till källkörningen

WikiTrace sparar varje insikt tillsammans med den oförändrade källkörningen och en sammanfattning av varför körningen lyckades eller misslyckades. Agenten får alla insikter i början av uppgiften. Innan agenten agerar kan den läsa de länkade filerna med kommandoradsverktyg och rätta en insikt som är ofullständig, motsäger en annan eller kommer från en misslyckad körning.

Resultat i fem benchmarkar

De fem benchmarkarna omfattade sammanlagt åtta deltester, bland annat textbaserade hushålls- och vetenskapsuppgifter samt användning av API:er. Alla metoder använde samma agent och modellen DeepSeek V4 Flash, och varje test kördes tre gånger.

Tabellen visar medelvärdet av deltesterna. Medelvärdet är inte resultatet av ett enda mått, eftersom deltesterna mäter olika saker, till exempel andel lyckade uppgifter eller poäng.

Källa: tabell 1 i förhandspubliceringen. Siffrorna är medelvärden av tre körningar över åtta deltester.

Regression är andelen uppgifter som agenten löste utan minne men inte med minne. Med WikiTrace var regressionen 4,5 procent. Med Insights Only, alltså samma insikter utan källkörningar, var den 6,5 procent. När agenten kördes om utan minne blev 9,7 procent av de lyckade uppgifterna misslyckanden enbart på grund av variationen mellan körningar.

Insights Only saknade också den prompt som uppmanar agenten att kontrollera källorna. Fördelen kommer både från källmaterialet och från denna prompt, enligt författarna.

I tre textbaserade tester öppnade agenten källkörningen i 22 procent av de lätta och i 44 procent av de svåra uppgifterna. Lätta var de uppgifter som agenten löste utan minne alla tre gånger, svåra de som den inte löste en enda gång.

När agenten öppnade källkörningen efter att ha kört fast eller misstänkt en insikt låg WikiTrace 10,4 poäng före Insights Only, enligt bedömarmodellens klassificering. Vid övriga öppningar var skillnaden 3,7 poäng. Agenten bestämde själv om den skulle öppna källkörningen, så skillnaderna visar inte att just öppnandet orsakade dem.

Länken bevisar inte att insikten stämmer

Med länken kan agenten kontrollera en insikt, men länken garanterar inte att insikten är korrekt, skriver författarna. Även sammanfattningens förklaring till ett misslyckande kan vara fel. Alla insikter ges till agenten i det första meddelandet, så prompten växer med minnet. Författarna lämnar öppet hur agenten skulle hitta de insikter den behöver i ett större minne.

Koden har publicerats på GitHub (github.com/yukyeongleee/wikitrace). Installationen kräver Python, Node, Docker och verktyget uv, uppger Blockchain.news.