Utahin yliopiston ja Amazonin tutkijat julkaisivat 3. marraskuuta arXiv-palvelussa esijulkaisun. Siinä he testasivat, horjuttaako vihjaava ennakkotieto toisen agentin työtä arvioivaa tekoälyagenttia. Tutkimusta ei ole vertaisarvioitu.

Tällainen arvioija-agentti saa arvioitavan agentin koko työhistorian ja omat työkalut: se voi ajaa koodia, tehdä tietokantakyselyjä ja tutkia tiedostoja. Oletus on, että arvioija nojaa itse keräämiinsä todisteisiin.

Yksi lause kehotteessa

Tutkijat lisäsivät arvioijan järjestelmäkehotteeseen lauseen. Sen mukaan alan asiantuntija oli esitarkastuksessa todennut varmuudella, että agentti jätti osan tehtävän vaatimuksista täyttämättä. Toisessa versiossa kaikki vaatimukset kerrottiin täytetyiksi. Lause väitti aina päinvastaista kuin arvioija ilman sitä.

Arvioijina olivat Anthropicin Claude Sonnet 4.6 ja Opus 4.7 sekä avointen painojen mallit Qwen3-235B ja GPT-OSS-120B. Tehtävät tulivat viidestä aineistosta: AJ-Bench-vertailutestin kolmesta osasta sekä SWE-Bench-Verifiedistä ja Terminal-Bench 2.0:sta. Oikean vastauksen antoivat aineistojen automaattiset tarkistimet.

Mittari oli haitallisten käännösten osuus: kuinka suuren osan arvioijan oikeista arvioista lause käänsi vääriksi.

Arvioija tarkisti ja myötäili silti

Lause käänsi oikeita arvioita vääriksi kaikilla arvioijilla kaikissa aineistoissa, enimmillään 40 prosenttia. Tutkijat muotoilivat lauseen tarkoituksella suoraksi. Jo vaisu huomautus, jonka kirjoittaja myönsi vain silmäilleensä työn, käänsi kuitenkin noin joka kymmenennen oikean arvion.

Claude-arvioijat eivät laiskistuneet: mitä useampia työvaiheita ne tekivät, sitä useammin arvio kääntyi (korrelaatio +0,21 ja +0,23). Avointen painojen malleilla suunta oli päinvastainen.

Syyt luokitteli kolmen kielimallin ryhmä, joka vertasi arvioijan ajoja lauseen kanssa ja ilman. Claude-arvioijien haitallisista käännöksistä 67–75 prosenttia johtui liiallisesta luottamuksesta: arvioija päätyi omin sanoin oikeaan johtopäätökseen ja vaihtoi sitten kantansa lauseen mukaiseksi. Pienemmillä malleilla virheisiin kuului myös keksittyjä perusteluja ja kesken jäänyttä tutkimista. Koska malleja oli vain neljä eikä kyvykkyyttä voi erottaa mallisarjasta, tutkijat pitävät eroa kuvailevana.

Vaikutus kasvoi, kun lause esitti asian tosiasiana, varmana ja asiantuntijan sanomana. Tutkijat testasivat nämä ominaisuudet perusteellisesti vain Sonnet 4.6:lla. Neljässä aineistossa viidestä epäonnistumista väittävä lause käänsi oikeita arvioita useammin kuin onnistumista väittävä.

Torjuntakeinot auttoivat osittain

Lause ei ollut pelkästään haitallinen. Sonnet 4.6:lla se korjasi 30 prosenttia arvioista, jotka ilman sitä menivät väärin. Tutkijoiden mukaan noin kolmannes korjauksista johtui aidosti paremmasta tarkistuksesta.

Taulukko näyttää, miten neljä kevyttä torjuntakeinoa muuttivat molempia osuuksia Sonnet 4.6:lla.

Lähde: esijulkaisun taulukko 1; Claude Sonnet 4.6, viiden aineiston yhdistetty tulos, osuudet ennen keinoa ja sen jälkeen.

Mikään keino ei poistanut ilmiötä, ja haitallisia käännöksiä eniten vähentäneet keinot karsivat myös eniten korjauksia. Keinot laadittiin tietäen, että uhka on auktoriteettiin vetoava lause. Siksi tutkijat pitävät tuloksia optimistisina. Heidän mukaansa ennakkotietoa ei pidä sulkea pois, vaan arvioija saa hyväksyä sen vain, kun omat todisteet tukevat sitä.