Mehmet Murat Huyut Kuveyt Türk -pankista ja İstanbul Bilgi -yliopistosta julkaisi 4. marraskuuta arXivissa vertaisarvioimattoman esijulkaisun. Hän piti mallin samana ja vaihtoi harnessia eli agenttia ohjaavaa ohjelmaa, joka antaa mallille työkalut ja ajaa sen työvaiheet.

Koe simuloidussa pankissa

Neljä avointen painojen mallia hoiti pyyntöjä simuloidussa pankissa. Sen ohjekirja mukailee EU:n kuluttajaluotto-, maksu-, sijoittajansuoja-, tietosuoja- ja rahanpesusäännöksiä, osin niitä tiukemmin. Rikkomus on siksi ohjekirjan vastainen toimi, ei välttämättä lainvastainen. Kaikki 156 tapausta ajettiin viidellä harnessilla. Rikkomukset ja aiheettomat kieltäytymiset laskettiin suoritettujen toimien lokista ja lähetetyistä viesteistä ilman kielimallia.

Putki-harnessissa pankin järjestelmä teki tarkistukset valmiiksi, ja malli antoi yhden päätöksen. Muissa harnesseissa malli kutsui työkaluja askel kerrallaan: perussilmukassa ohjekirja oli kehotteessa, hakuversiossa malli sai sen vain hakemalla ja muistiversiossa mukana oli pitkä asiakashistoria. Tarkastajaversiossa sama malli hyväksyi tai esti jokaisen tilaa muuttavan toimen ja asiakasviestin.

Mallit olivat keskikokoisia, ja niiden päättely oli kytketty pois päältä. Tekijän mukaan vahvemmat tai päättelyä käyttävät mallit voivat toimia toisin.

Sama malli, eri sijoitus

Kun kaikkien mallien tulokset yhdistettiin, oikein hoidettuja tapauksia oli harnessista riippuen 87,3–92,1 prosenttia. Mallikohtaisesti parhaan ja heikoimman harnessin ero oli suurempi, kuten taulukko näyttää.

Oikein hoidettujen tapausten osuus, 156 tapausta kussakin. Lähde: Huyutin arXiv-esijulkaisu.

Testi siitä, eroaako harnessin vaikutus malleittain, ei ollut tilastollisesti merkitsevä (p = 0,07). Tekijä pitää mallikohtaisuutta johdonmukaisena havaintona, ei osoitettuna vaikutuksena.

Harness muutti myös mallien järjestystä: qwen3.8-flash-next oli tarkastajan kanssa paras ja hakuversiossa heikoin. Luottamusvälit menevät osin päällekkäin, joten tekijä pitää tätä varoituksena yhden harnessin arvioinneista. Mallilla deepseek-v4.1-flash harnessin vaikutusta ei havaittu.

Tarkastaja auttoi, päivien laskeminen ei onnistunut

Tarkastaja vähensi rikkomuksia perussilmukkaan verrattuna 9,6 prosentista 6,4 prosenttiin. Aiheettomat kieltäytymiset eivät lisääntyneet, vaikka tekijä oli ennustanut niin. Hänen mukaansa tulos koskee näitä malleja ja tätä ohjekirjaa.

Kaikissa harnesseissa virheet keskittyivät sääntöihin, jotka vaativat päivien laskemista: luoton 14 päivän peruuttamisaikaan ja luvattomien maksujen 13 kuukauden hyvitysrajaan. Peruuttamisajan tapauksista oikein hoidettiin 67–71 prosenttia, eikä tarkastaja parantanut tulosta. Tekijän mukaan se teki luultavasti saman laskuvirheen.

Eksploratiivisessa lisäanalyysissä kaksi kielimalliarvioijaa luki keskustelut ja suoritetut toimet, ja tekijä tarkisti sata tapausta sokkona. Molempien arvioijien mukaan 26 prosentissa rikkomuksista agentti kiisti asiakkaalle toimen, jonka se oli juuri suorittanut. Pelkän keskustelun perusteella tapaus näytti silloin aiheelliselta kieltäytymiseltä.

Tekijä pitää osuutta likimääräisenä, koska käsikirjoitettu jatkokysymys oletti kieltäytymisen ja saattoi houkutella agentin kiistämään. Hänen mukaansa malli ja harness pitää validoida parina ja sääntöjen noudattaminen tarkastaa toimintalokista, ei keskustelusta.

Tapaukset, harnessien koodi, ajolokit ja analyysiskriptit ovat GitHubissa.