Anthropic kertoi 6. marraskuuta insinööriblogissaan kokeista, joissa se selvitti, mitä Clauden muistin eri osat tuovat agentin työhön. Claude kirjoittaa muistiinpanoja työn aikana. Uneksimisessa (dreaming) se käy myöhemmin läpi aiempien istuntojen lokeja, korjaa muistiinpanoja ja kokoaa niistä uusia.

Vahvat mallit hyötyivät vapaudesta valita muistettava

Continual Learning Bench 1.0 -vertailutestin tietokantatehtävässä jokainen kysymys alkoi uudessa istunnossa, mutta muistihakemisto säilyi. Testatuista malleista Opus 5 oli ensimmäinen, joka kirjasi muistiin tarkistettuja sääntöjä ja sen, mistä se tiesi niiden pitävän.

Yhtiön mukaan vahvoille malleille kannattaa kertoa, mihin muisti on tarkoitettu, mutta ei, miten sitä käytetään. Kun Opus 5 ja Opus 4.7 saivat säännön kirjata vain epäonnistumiset, ne menettivät suuren osan muistin tuomasta hyödystä. Vanhemmalla Sonnet 4.6:lla kehotus lukea muisti ennen vastaamista ja testata teoriansa lähes kaksinkertaisti tuloksen.

Uneksiminen korjaa ja kokoaa

Pokémon Red -pelissä Claude kirjasi väärin, kummalla puolella Mt. Moon -vuorta sen maamerkki oli, ja joutui toistuvasti takaisin edelliselle reitille. Uneksiessaan se vertasi muistiinpanoa istunnon lokiin ja korjasi virheen. Yksittäisessä ajossa korjatulla muistiinpanolla se pääsi vuoren ohi, korjaamattomalla ei.

Uneksimalla Claude voi myös koota wikin eli itse ylläpitämänsä kokoelman toisiinsa linkitettyjä sivuja. Opus 5 -agentit rakensivat wikiä 128 istunnossa Stainless-yhtiön noin 350 000 sisäisestä tiedostosta. Pelkällä wikillä Claude täytti 25 kysymyksen arviointikriteereistä 13 % kahden istunnon ja 48 % 128 istunnon jälkeen. Haun ja wikin yhdistelmällä osuus nousi wikin kasvaessa 54 %:sta 61 %:iin, kun pelkällä haulla se oli 53 %. Yhdistelmä säästi noin 20 000 tokenia kysymystä kohden.

Useita asiakirjoja vaativissa yrityskauppakysymyksissä Claude sai wikin avulla 87 % ja pelkällä haulla 73 %. Yhdessä tehtävässä, jossa kriteerit löytyivät usein yhdestä asiakirjasta, wiki ei tuonut selvää etua. Toisessa tehtävässä wiki kasvoi suuremmaksi kuin asiakirjat itse.

Kun useat agentit kirjoittivat samaan sopimusehtotaulukkoon, ne kirjoittivat toistensa työn päälle, ja wikiin jäi 41 arvioidusta 57 sopimustiedosta. Claude muotoili kokoamisohjeet uudelleen virheidensä perusteella: kukin sopimus sai yhden agentin kirjoittaman sivun, jossa ehdot lainattiin sanatarkasti. Silloin kaikki 57 säilyivät.

Ladattava muisti pidettävä pienenä

Uneksiminen voi myös nostaa muistiinpanoja tasolle, jonka harness eli agenttia ohjaava ohjelma lataa jokaisen istunnon alkuun. Anthropic varoittaa, että tämä kuluttaa tokeneita, virheellinen muistiinpano voi kulkeutua jokaiseen istuntoon ja pitkiä ohjetiedostoja noudatetaan heikommin. Claude Coden automaattinen muisti lataa MEMORY.md-tiedostosta vain ensimmäiset 200 riviä tai 25 kilotavua.

Uneksiminen vaatii laskentaa, eikä kaikkien muistojen jatkuva tarkistaminen yhtiön mukaan välttämättä ole käytännöllistä. Anthropic on julkaissut uneksimisen ja wikien käyttöönottoon esimerkkiohjeita (cookbooks).