Zihan Dong (Lenovo Group), Qishi Zhan (Marquette University) ja Minxuan Hu (Cornell University) julkaisivat tutkimuksensa arXiv-palvelussa 10. marraskuuta. Kyse on esijulkaisusta, jota ei ole vertaisarvioitu.

Tutkijat pisteyttivät uudelleen kahdeksan vertailutestin julkaistut ajot. Useimmat agenttivertailut tarkistavat ajon tehtäväkohtaisella vastausavaimella, esimerkiksi viiteratkaisusta johdetuilla testeillä, ja kirjaavat tulokseksi yhden bitin: läpäisi tai ei. Tekijöiden mukaan yksi bitti ei riitä erottelemaan kärkiagentteja, eikä se anna lisäpisteitä viiteratkaisun ylittämisestä.

Erot ovat testivirheitä pienempiä

SWE-bench Verifiedissä kymmenen parhaan agentin tulokset mahtuvat 3,6 prosenttiyksikön väliin, ja peräkkäisten agenttien suurin ero on 1,4 prosenttiyksikköä. Kymmenikkö muodostaa yhden tasoryhmän eli joukon, jota vertailutesti ei pysty tilastollisesti erottamaan kärjestä.

Tiukennetut SWE-ABS-testit hylkäsivät mediaaniagentin hyväksytyistä korjauksista 17,7 prosenttia. Kolmenkymmenen parhaan agentin listalla tiukennus käänsi järjestyksen kahdeksassa niistä 18 peräkkäisestä parista, joiden välillä oli eroa. Saman osuuden läpäisyistä poistaminen satunnaisesti käänsi suunnilleen yhtä monta. Tekijöiden mukaan peräkkäisten agenttien järjestys on siis kohinaa. Analyysi olettaa tiukennetut testit virheettömiksi, ja virheellisiä hylkäyksiä tutkijat arvioivat vain simuloimalla.

Viitettä parempi tulos jää huomiotta

ALE-Benchin 40 optimointikilpailussa virallinen kilpailupistemäärä jakaa kärkikymmenikön kolmeen tasoryhmään. Kun samat ajot pisteytettiin läpäisynä tai hylkäyksenä mediaani-ihmiseen verrattuna, kaikki kymmenen osuivat samaan ryhmään, vaikka 47,8 prosenttia ajoista voitti mediaani-ihmisen. Kun tutkijoiden porrastettu pisteytys antoi lisäpisteitä viitteen ylittämisestä, kärki jakautui taas kolmeen ryhmään.

Kynnyksen nostaminen samoissa ALE-Benchin tehtävissä ei ratkaissut ongelmaa. Kilpailun voittajan tulos kynnyksenä jakoi vuoden 2025 jälkeen julkaistujen mallien kärkikymmenikön kahteen ryhmään, mutta 89 prosenttia aiemmista malleista sai nollan jokaisesta tehtävästä. Osa myöhempien mallien julkaisupäivistä on tutkijoiden jälkikäteen arvioimia. Uutta versiota, johon tulisi myös uusia tehtäviä, tutkijat eivät simuloineet.

Jatkuva pisteytys ei aina auta: MLE-benchissä vastausavain erottelee kärjen jo sellaisenaan, ja METRin tehtävissä harva ajo ylitti viitteen.

Tutkijat ajoivat uudelleen 13 Terminal-Bench 2.0:n tehtävää neljällä mallilla, kolme kertaa kutakin. Kolme mallia oli läpäisyissä tasoissa, mutta portfolio-optimointitehtävässä claude-opus-5:n ratkaisujen nopeutus oli mediaanina 10,9-kertainen ja kahden muun mallin 1,3-kertainen. Koska toistoja oli kolme, tutkijat pitävät mallien kokonaiserottelua rajatapauksena.

Ehdotus: hyväksyntä, laatu ja kustannus erikseen

Tutkijoiden ehdotuksessa ajo hyväksytään ensin tiukennetulla tarkistuksella. Sen jälkeen mitattu suure, kuten ajoaika, pisteytetään logaritmisena suhteena: lähtötaso saa nollan, viiteratkaisu ykkösen ja yläraja on kolme. Lähtötaso ja viite lukitaan päivättyinä, jotta testin versiot pysyvät vertailukelpoisina.

Kustannus raportoidaan erikseen. Terminal-Bench 2.0:n kärkikymmenikön neljä hinnoiteltua agenttia olivat läpäisyissä tasoissa, mutta niiden mediaanikulu oli 0,44 $:n ja 2,47 $:n välillä ajoa kohden.

Pisteytystapa sopii vain tehtäviin, joissa on mitattava suure. Terminal-Bench 2.0:n 89 tehtävästä 18 vertaa lukua kynnysarvoon. SWE-bench Verifiedin, OSWorld-Verifiedin ja τ²-benchin pienissä otoksissa tällaisia tehtäviä ei ollut, mutta otosten pienuuden vuoksi tekijät eivät voi sulkea pois jopa 10–15 prosentin osuutta.