Daniel Lenton på företaget unify släppte den 10 november en förhandspublicering på arXiv om benchmarket Continual-ARC. Benchmarket mäter om en AI-agent sparar möda i återkommande uppgifter. Studien är inte referentgranskad.

Testet använder bildpussel från ARC-AGI-1. Agenten ska utifrån några exempel lista ut den regel som omvandlar ett rutnät till ett annat. Uppgiftsserien omfattar 200 uppgiftstillfällen. Där återkommer 25 regler efter pauser, varje gång med ny indata. Ett extra exempel och ett felaktigt svar kostar en enhet var. En olöst uppgift kostar hela budgeten på 16 enheter.

Till sist löser en fryst agent nya varianter av kända uppgifter och hundra osedda uppgifter. De förra mäter minnet, de senare förmågan att generalisera. Resultatet är den andel som sparas jämfört med samma agent när minnet töms före varje uppgift.

Harnessarna mindes först med instruktioner

En harness är ett program som styr agenten, ger modellen verktyg och kör dess arbetssteg. Lenton körde tre harnessar med GPT-6 Luna: Prime Agent, Hermes Agent och OpenClaw. Harnessarnas egna minnesfunktioner var påslagna. Minnet gav ingen mätbar besparing på någon resonemangsnivå.

Prime Agent behöll en anteckning till senare sessioner bara om agenten markerade den som global. Det gjorde agenten inte en enda gång. Hermes Agents skills innehöll allmänna råd som inte minskade förbrukningen. OpenClaw förde inte över något till det beständiga minnet.

När harnessarna uppmanades att lagra mycket gav bara Prime Agent en mätbar besparing: en andel på 0,42 i kända uppgifter. Harnessarna sparade 0,62–0,72 i kända uppgifter när instruktionerna sa åt dem att skriva ett Python-program för varje uppgift, kontrollera det mot exemplen och återanvända det. Lenton tolkar det som att harnessarna kunde nå ett bra resultat, men att varken modellens omdöme eller harnessarnas förvalda promptar fick agenten att lagra rätt saker.

Träning av vikterna hjälpte i nya uppgifter

Ingen harnessmetod förbättrade resultatet mätbart i osedda uppgifter. Under uppgiftsserien tränade Lenton vikterna i Qwen3.5-9B, en modell med öppna vikter, att efterlikna modellen GLM-5.3 Flash. Med denna metod, DAgger, sparade modellen en andel på 0,29 i nya uppgifter.

Tabellen visar Qwens resultat med olika metoder.

Sparad andel jämfört med versionen med tomt minne; högre värde är bättre. Programbiblioteket lagrar för varje uppgift ett program som har kontrollerats mot exemplen. Källa: förhandspubliceringen om Continual-ARC, ARC-AGI-1.

Med undantag för träningen skiljer sig siffrorna för nya uppgifter inte statistiskt från noll. Inte heller Prime Agents rader gör det, inte ens för kända uppgifter.

En del av nyttan med träningen var att modellen lärde sig använda harnessen. Otränad löste Qwen 18 av 100 nya uppgifter när den styrdes av Prime Agent, och 31 i en enkel loop utan verktyg. Den tränade modellen löste 47–52, så enligt Lenton lärde den sig också av själva uppgifterna. DAgger kräver en starkare lärarmodell vars resonemangstoken är tillgängliga.

Lenton skrev på X att harnessarna inte mindes något av värde. Förhandspubliceringen begränsar resultatet till harnessar som körts med standardinställningar. De flesta körningar gjordes med relativt små modeller och på det lättaste av de tre ARC-spåren. Hur harnessar lär sig inom andra områden är en öppen fråga, enligt Lenton. Lentons arbetsgivare unify utvecklar själv kontinuerlig inlärning som bygger på träning av modellvikter.

Koden finns på GitHub under licensen Apache-2.0 och loggarna från körningarna under CC BY 4.0. Den som betalar modellanropen i förväg kan få sin lösning kontrollerad mot unifys hemliga uppgiftsmängd.