Unify-yhtiön Daniel Lenton julkaisi 10. marraskuuta arXiv-palvelussa esijulkaisun Continual-ARC-vertailutestistä. Testi mittaa, säästääkö tekoälyagentti vaivaa toistuvissa tehtävissä. Tutkimusta ei ole vertaisarvioitu.

Testi käyttää ARC-AGI-1:n kuvapulmia. Agentin pitää päätellä muutamasta esimerkistä sääntö, joka muuttaa ruudukon toiseksi. Tehtäväsarjassa on 200 tehtäväkertaa, ja 25 sääntöä palaa taukojen jälkeen aina uudella syötteellä. Lisäesimerkki ja väärä vastaus maksavat kumpikin yhden yksikön, ratkaisematon tehtävä koko 16 yksikön budjetin.

Lopuksi jäädytetty agentti ratkaisee tuttujen tehtävien uusia versioita ja sata näkemätöntä tehtävää. Edelliset mittaavat muistamista, jälkimmäiset yleistämistä. Tulos on säästetty osuus verrattuna samaan agenttiin, jonka muisti tyhjennetään ennen jokaista tehtävää.

Harnessit muistivat vasta ohjeistettuina

Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Lenton ajoi GPT-6 Luna -mallilla kolmea harnessia niiden omat muistitoiminnot päällä: Prime Agentia, Hermes Agentia ja OpenClaw’ta. Muisti ei säästänyt mitattavasti millään päättelytasolla.

Prime Agent säilytti merkinnän seuraaviin istuntoihin vain, jos agentti merkitsi sen yleiseksi. Agentti ei tehnyt niin kertaakaan. Hermes Agentin skillit sisälsivät yleisiä neuvoja, jotka eivät vähentäneet kulutusta. OpenClaw ei siirtänyt mitään pysyvään muistiin.

Kun harnesseja kehotettiin tallentamaan runsaasti, vain Prime Agent säästi mitattavasti: tutuissa tehtävissä osuuden 0,42. Harnessit säästivät tutuissa tehtävissä 0,62–0,72, kun ohjeet käskivät kirjoittaa jokaiselle tehtävälle Python-ohjelman, tarkistaa sen esimerkeillä ja käyttää sitä uudelleen. Lentonin tulkinnan mukaan harnessit pystyivät hyvään tulokseen, mutta mallin harkinta ja harnessien oletuskehotteet eivät ohjanneet agenttia tallentamaan oikeita asioita.

Uusissa tehtävissä auttoi painojen koulutus

Yksikään harness-menetelmä ei parantanut tulosta mitattavasti näkemättömissä tehtävissä. Lenton koulutti tehtäväsarjan aikana avointen painojen mallin Qwen3.5-9B painoja jäljittelemään GLM-5.3 Flash -mallia. Tällä DAgger-menetelmällä malli säästi uusissa tehtävissä osuuden 0,29.

Taulukossa ovat Qwenin tulokset eri menetelmillä.

Säästetty osuus tyhjämuistiseen versioon verrattuna; suurempi luku on parempi. Ohjelmakirjasto tallentaa kullekin tehtävälle esimerkeillä tarkistetun ohjelman. Lähde: Continual-ARC-esijulkaisu, ARC-AGI-1.

Koulutusta lukuun ottamatta uusien tehtävien luvut eivät eroa tilastollisesti nollasta, eivätkä Prime Agentin rivit tutuissakaan tehtävissä.

Osa koulutuksen hyödystä oli harnessin käytön oppimista. Kouluttamaton Qwen ratkaisi Prime Agentin ohjaamana 18 sadasta uudesta tehtävästä, yksinkertaisessa silmukassa ilman työkaluja 31. Koulutettu malli ratkaisi 47–52, joten Lentonin mukaan se oppi myös tehtävistä itsestään. DAgger tarvitsee vahvemman opettajamallin, jonka päättelytokenit ovat saatavilla.

Lenton kirjoitti X:ssä, etteivät harnessit muistaneet mitään arvokasta. Esijulkaisu rajaa tuloksen oletusasetuksin ajettuihin harnesseihin. Suurin osa ajoista tehtiin suhteellisen pienillä malleilla ja helpoimmalla kolmesta ARC-radasta. Lentonin mukaan on avoinna, miten harnessit oppivat muilla alueilla. Lentonin työnantaja unify kehittää itse painojen koulutukseen perustuvaa jatkuvaa oppimista.

Koodi on GitHubissa Apache-2.0-lisenssillä ja ajojen tallenteet CC BY 4.0 -lisenssillä. Oman ratkaisunsa voi tarkistuttaa unifyn salaisella tehtäväjoukolla, kun maksaa mallikutsut etukäteen.