Forskare från Zhejiang Gongshang University, University of Sussex och två andra organisationer lade ut en förhandspublicering på arXiv den 9 november. Den är inte referentgranskad och mäter hur en resonemangsmodells förmåga att lyckas förändras när resonemangsspår från tidigare turer tas bort.

Ett resonemangsspår är den text som modellen skriver innan den agerar. I en session med flera turer läser modellen de tidigare spåren vid nästa tur. Enligt författarna knyter leverantörerna spåret till den som skapade det, så en förfrågan som skickas till en annan leverantör kommer fram utan spår.

Samma session på tre sätt

Forskarna körde 794 verktygsuppgifter med flera turer från benchmarket BFCL v4 på sju modeller med öppna vikter. Varje uppgift kördes tre gånger: med spåren kvar, med spåren från alla tidigare turer borttagna och med spåren borttagna bara från sessionens första del, ungefär 40 procent av turerna. Verktygsanropen med resultat och spåret från den pågående turen behölls alltid. BFCL:s officiella kontrollverktyg bedömde sessionens sluttillstånd utan att veta hur spåren hade hanterats. Körningarna upprepades med tre slumpfrön. Baichuan-M2-32B och Olmo-3-7B-Think kördes bara på 200 uppgifter.

Effekten varierade mellan modellerna

Tabellen jämför andelen lyckade uppgifter när alla tidigare spår behölls respektive togs bort.

Källa: Jia m.fl., arXiv 2611.13223. Sammanslagna resultat för tre frön. En positiv skillnad betyder att borttagningen försämrade resultatet.

R1-Distill-14B förbättrades från en utgångsnivå där modellen lyckades med 1,3 procent av uppgifterna. Olmos skillnad bygger på tio respektive två lyckade körningar. Modellstorleken förklarade inte skillnaderna: för de tre modellerna med 32 miljarder parametrar var skillnaderna −0,2, +0,7 och +51,3 procentenheter.

Med Qwen3-32B tog forskarna bort 0–100 procent av historiken i 200 uppgifter. Andelarna lyckade uppgifter vid ytterlägena skilde sig åt med 1,5 procentenheter. Modeller som var känsliga för borttagning testades inte på det sättet.

Upprepade anrop och misslyckanden utan symtom

Borttagningen märktes också i modellernas beteende. När spåren från sessionens första del hade tagits bort upprepade R1-Distill-14B samma anrop med samma argument i 68,7 procent av sessionerna, mot 18,1 procent när spåren behölls. För Olmo ökade andelen från 30,2 till 66,5 procent när alla spår togs bort. Baichuan upprepade sig bara lite oftare men misslyckades ändå. Qwen3-8B gjorde fler anrop efter borttagningen och lyckades lika ofta. Det är en öppen fråga om modellen härleder det borttagna resonemanget på nytt, uppger författarna.

Författarna tolkar känsligheten som en egenskap hos modellen och föreslår en sållning där modellen körs på 200 uppgifter med spåren kvar respektive borttagna. Historiken behålls om skillnadens konfidensintervall ligger helt över 10 procentenheter. Det kräver en punktskattning på över ungefär 20 procentenheter. Sållningen skulle alltså sannolikt klassa till exempel en modell vars resultat försämras med 15 procentenheter som tålig för borttagning.

Resultaten gäller funktionsanropsuppgifter av BFCL-typ. Om de också gäller andra uppgifter är en öppen fråga, skriver författarna. Slutna modeller mättes inte. Författarna lämnar ut sessionsloggarna på begäran.