I sin ingenjörsblogg berättade Anthropic den 6 november om försök där företaget undersökte vad de olika delarna av Claudes minne tillför agentens arbete. Claude skriver anteckningar under arbetet. Vid drömmande (dreaming) går Claude senare igenom loggar från tidigare sessioner, rättar anteckningarna och sammanställer nya utifrån dem.

Starka modeller gynnades av att själva välja vad de minns

I databasuppgiften i benchmarket Continual Learning Bench 1.0 började varje fråga i en ny session, men minneskatalogen fanns kvar. Av de testade modellerna var Opus 5 den första som antecknade verifierade regler i minnet och hur den visste att de höll.

Enligt företaget lönar det sig att tala om för starka modeller vad minnet är till för, men inte hur de ska använda det. När Opus 5 och Opus 4.7 fick regeln att bara anteckna misslyckanden förlorade de en stor del av nyttan med minnet. Med den äldre Sonnet 4.6 ledde en prompt om att läsa minnet före svaret och testa sina teorier till ett nästan dubbelt så högt resultat.

Drömmande rättar och sammanställer

I Pokémon Red antecknade Claude fel om på vilken sida av berget Mt. Moon dess landmärke låg. Därför fick Claude gång på gång gå tillbaka till den föregående rutten. Under drömmandet jämförde Claude anteckningen med sessionens logg och rättade felet. I en enskild körning tog sig Claude förbi berget med den rättade anteckningen, men inte med den orättade.

Genom drömmande kan Claude också sammanställa en wiki, alltså en samling sammanlänkade sidor som Claude själv underhåller. Opus 5-agenter byggde under 128 sessioner en wiki av omkring 350 000 interna filer från företaget Stainless. Med enbart wikin uppfyllde Claude 13 procent av bedömningskriterierna för 25 frågor efter två sessioner och 48 procent efter 128. Med kombinationen av sökning och wiki steg andelen från 54 till 61 procent i takt med att wikin växte, jämfört med 53 procent med enbart sökning. Kombinationen sparade omkring 20 000 token per fråga.

I frågor om företagsförvärv som krävde flera dokument fick Claude 87 procent med wikin och 73 procent med enbart sökning. I en uppgift där kriterierna ofta fanns i ett enda dokument gav wikin ingen tydlig fördel. I en annan uppgift blev wikin större än själva dokumenten.

När flera agenter skrev i samma tabell över avtalsvillkor skrev de över varandras arbete. I wikin fanns 41 av 57 bedömda avtalsuppgifter kvar. Claude formulerade om instruktionerna för sammanställningen utifrån sina misstag: varje avtal fick en sida som skrevs av en enda agent och där villkoren citerades ordagrant. Då bevarades alla 57.

Minnet som laddas måste hållas litet

Drömmande kan också lyfta anteckningar till den nivå som harnessen, alltså programmet som styr agenten, laddar i början av varje session. Anthropic varnar för att detta förbrukar token, att en felaktig anteckning kan följa med in i varje session och att långa instruktionsfiler följs sämre. Claude Codes automatiska minne laddar bara de första 200 raderna eller 25 kilobyte av filen MEMORY.md.

Drömmande kräver beräkningskraft. Att ständigt kontrollera alla minnen är inte nödvändigtvis praktiskt, uppger företaget. Anthropic har publicerat exempelguider (cookbooks) för att börja använda drömmande och wikier.