Wenhui Chu New Yorkin osavaltionyliopistosta Albanysta julkaisi 4. marraskuuta arXivissa esijulkaisun kontekstin tiivistyksestä. Tiivistyksessä agentti korvaa kertyneen historiansa itse kirjoittamallaan tiivistelmällä, jonka varassa seuraava instanssi eli seuraaja jatkaa työtä. Claude Code ja Codex tiivistävät kontekstin automaattisesti.

Lupakirjanpito ja uusinta-ajo

Synteettisissä tietueiden ylläpito-, raportointi- ja koodaustehtävissä oli ulkoinen lupakirjanpito, joka kertoi, mitkä toimet vaativat hyväksynnän. Agentit toimivat kolmella 8–21 miljardin parametrin avointen painojen mallilla: Qwen3-8B, Qwen3-14B ja gpt-oss-20b. Chun mukaan kärkimallit ja kaupalliset agenttituotteet voivat toimia toisin.

Chu testasi epäillyn virkkeen vaikutusta palauttamalla ympäristön tiivistyshetkeen. Seuraaja ajettiin neljästi alkuperäisellä tiivistelmällä ja neljästi versiolla, jossa virke oli korvattu neutraalilla täytteellä.

Sääntöpohjaisen tunnistimen merkitsemät tiivistelmät luki kaksi tekoälylukijaa, molemmat Claude Opus 5.5 -mallin kopioita. Pienessä tarkistuksessa ihmisten arviot vastasivat niiden arvioita vain rajallisesti.

Perusteettomat luvat ja rajoitukset

Tehtäväpohjilla, joita ei käytetty kehitysvaiheessa, perusteeton rajoitus oli 1,2 prosentissa Qwen3-8B:n ja 2,4 prosentissa gpt-oss-20b:n tiivistelmistä. Perusteeton lupa oli vastaavasti 0,1 ja 1,3 prosentissa. Jos tekoälylukijoiden arviot pitävät paikkansa, osuudet ovat alarajoja, koska vain merkityt tiivistelmät luettiin.

Selvimmissä tapauksissa hyväksyntä oli annettu ja peruttu, mutta tiivistelmä jätti perumisen pois. Jälkikäteisessä analyysissä perusteetonta lupaa väittävien virkkeiden neutralointi vähensi luvattomia toimia kahdessa jatkokokeessa 24:stä 7:ään 120 ajosta. Kaikki vähennys tuli gpt-oss-20b:n ajoista. Myöhemmässä 48 ajon erässä tilastollisesti merkitsemätön lasku oli 17:stä 11:een.

Kehitysaineiston kartoittavassa analyysissä agentti pyysi vahvistusta 98 prosentissa ajoista, mutta rajoitusten neutraloinnin jälkeen 59 prosentissa. Uusilla pohjilla ennalta määritetty testi ei toistanut tulosta (p = 0,58). Nollatuloksen jälkeen suunniteltu jatkotesti löysi hauraan vaikutuksen, jota Chu ei laske toistoksi.

Jälkikäteisen tarkastelun mukaan useimpia rajoituksia uusilla pohjilla näytti edeltävän hylätty pyyntö väärään kohteeseen. Silloin virkkeen poisto ei juuri auttanut, mutta oikean luvan ja sallitun kohteen kertominen poisti useimmat pyynnöt. Kyse oli vertailusta, jossa tiivistelmään kirjoitettiin oikea tieto, ei käyttöön sopivasta korjauksesta. Osassa kokeista se lisäsi sääntörikkomuksia.

Yksi kehotteen virke

Jälkikäteisen jäljityksen mukaan kehitysaineistossa useimpia keksittyjä rajoituksia edelsi agentin arvelu, että tavallinen toimi vaatii hyväksynnän. Chu korvasi järjestelmäkehotteen virkkeen ”Jotkin toimet vaativat hyväksynnän.” virkkeellä, jonka mukaan hyväksyntää vaativat vain säännöissä tai käyttäjän pyynnössä nimetyt toimet. Ennalta määritetyissä testeissä perusteettomien rajoitusten osuus laski kehitysaineistossa 5,0:sta 1,8 prosenttiin ja uusilla pohjilla 1,8:sta 0,3 prosenttiin. Agentti pyysi kirjanpidon vaatimia hyväksyntöjä lähes yhtä usein kuin ennen.

Chu varoittaa, että kirjaamattomien vaatimusten kohdalla uusi virke voi estää tarpeellisia pyyntöjä, mitä ei testattu. Tulos ei myöskään osoita, että vanha virke aiheutti rajoitukset.

Koodi, aineisto ja harness eli agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet, ovat GitHubissa. Harness on paketoitu testiksi malleille, joita tarjotaan OpenAI-yhteensopivan, työkalukutsuja tukevan rajapinnan kautta. Tätä käyttötapaa on toistaiseksi kokeiltu vain skriptattuja palvelimia vastaan.