Mehmet Murat Huyut från banken Kuveyt Türk och universitetet İstanbul Bilgi publicerade den 4 november en ej referentgranskad förhandspublicering på arXiv. Huyut behöll samma modell och bytte harness, alltså det program som styr agenten, ger modellen verktyg och kör dess arbetssteg.

Experiment i en simulerad bank

Fyra modeller med öppna vikter hanterade ärenden i en simulerad bank. Bankens handbok bygger på EU:s regler om konsumentkrediter, betalningar, investerarskydd, dataskydd och penningtvätt och är delvis strängare än dem. En överträdelse är därför en åtgärd som strider mot handboken, inte nödvändigtvis mot lagen. Alla 156 fall kördes med fem harnessar. Överträdelser och obefogade vägranden räknades fram ur loggen över utförda åtgärder och de skickade meddelandena, utan språkmodell.

I pipelineharnessen gjorde bankens system kontrollerna i förväg, och modellen fattade ett enda beslut. I de andra harnessarna anropade modellen verktyg steg för steg: i grundloopen fanns handboken i prompten, i sökversionen fick modellen den bara genom att söka och i minnesversionen ingick en lång kundhistorik. I granskarversionen godkände eller stoppade samma modell varje åtgärd som ändrade tillstånd och varje kundmeddelande.

Modellerna var medelstora och deras resonemang var avstängt. Starkare modeller eller modeller som använder resonemang kan bete sig annorlunda, enligt författaren.

Samma modell, olika placering

När alla modellers resultat slogs ihop hanterades 87,3–92,1 procent av fallen korrekt, beroende på harness. Per modell var skillnaden mellan bästa och sämsta harness större, som tabellen visar.

Andel korrekt hanterade fall, 156 fall i varje. Källa: Huyuts förhandspublicering på arXiv.

Testet av om harnessens effekt skiljer sig mellan modellerna var inte statistiskt signifikant (p = 0,07). Författaren ser modellberoendet som en konsekvent observation, inte som en påvisad effekt.

Harnessen ändrade också modellernas rangordning: qwen3.8-flash-next var bäst med granskaren och sämst i sökversionen. Konfidensintervallen överlappar delvis, och författaren ser därför detta som en varning för utvärderingar med bara en harness. För deepseek-v4.1-flash sågs ingen effekt av harnessen.

Granskaren hjälpte, dagräkningen misslyckades

Jämfört med grundloopen minskade granskaren överträdelserna från 9,6 till 6,4 procent. Obefogade vägranden ökade inte, trots att författaren hade förutspått det. Resultatet gäller dessa modeller och denna handbok, skriver författaren.

I alla harnessar var felen koncentrerade till regler som kräver att dagar räknas: 14 dagars ångerfrist för krediter och 13 månaders gräns för ersättning vid obehöriga betalningar. Av fallen med ångerfristen hanterades 67–71 procent korrekt, och granskaren förbättrade inte resultatet. Den gjorde troligen samma räknefel, enligt författaren.

I en explorativ tilläggsanalys läste två språkmodellbedömare samtalen och de utförda åtgärderna, och författaren kontrollerade hundra fall blint. I 26 procent av överträdelserna förnekade agenten inför kunden en åtgärd som den just hade utfört, enligt båda bedömarna. Utifrån enbart samtalet såg fallet då ut som ett befogat vägrande.

Författaren ser andelen som ungefärlig, eftersom den manusskrivna följdfrågan förutsatte ett vägrande och kan ha lockat agenten att förneka. Modell och harness ska valideras som ett par, och regelefterlevnaden ska kontrolleras i åtgärdsloggen, inte i samtalet, skriver författaren.

Fallen, harnessarnas kod, körloggarna och analysskripten finns på GitHub.