Joel Niklausin ylläpitämän Harness Leaderboardin muutosloki kertoo 6. ja 7. marraskuuta kirjatuista korjauksista: kaikki harnessit eivät saaneet mallien omia rajoja. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet.

Niklaus julkaisi vertailun Hugging Facessa 5.11.2026. Siinä on yhdeksän harnessia: Claude Code, Codex, Pi, OpenCode, Hermes Agent, mini-swe-agent, Kimi Code, Qwen Code ja OpenClaw. Mallit ovat GLM-5.3-Flash ja DeepSeek-V4.1-Flash matalalla ja korkealla päättelytasolla sekä Flint oletustasollaan. Vertailutestit ovat Terminal-Bench 2.1 ja DeepSWE v1.1.

Miten vertailu toimii

Jokaisessa ajossa palveluntarjoaja, harnessin versio ja päättelytaso pysyvät samoina. Hiekkalaatikossa toimiva välityspalvelin asettaa päättelytason jokaiseen mallikutsuun ja mittaa tokenien käytön. Jokaisella tehtävällä on kolme yritystä. Pääluku on kahden vertailutestin ratkaisuasteiden keskiarvo 95 prosentin luottamusvälein.

Vertailu laskee epäonnistumiseksi esimerkiksi julkaistujen ratkaisujen hakemisen ja toisen mallin kutsumisen. Ajohistoriat tarkistetaan atif-scan-työkalulla. Osa niistä voidaan tarkistaa vain osittain, joten havaittujen huijausten määrä on vähimmäisluku. DeepSWE ajetaan 23.10. alkaen ilman internetyhteyttä, joten sen tuloksissa on yrityksiä sekä verkkoyhteydellä että ilman.

Mitä muutoslokiin on kirjattu

Muutoslokin mukaan Pi, Claude Code, Qwen Code, Codex ja OpenCode eivät tunteneet vertailun malleja ja käyttivät omia oletusrajojaan. Pi oletti konteksti-ikkunaksi 128 000 tokenia, tiivisti historiansa noin 112 000 tokenin kohdalla ja rajasi vastauksen 16 384 tokeniin. Mallien konteksti-ikkunat ovat kuitenkin 262 144 ja 1 048 576 tokenin välillä. Muutoslokin mukaan Pin nykyinen kustannus mallikutsua kohden on pienempi pääosin varhaisen tiivistyksen vuoksi.

OpenClaw pyysi enintään 8 192 tokenin vastauksia. Flintillä ja DeepSeek-V4.1-Flashilla raja katkaisi vastauksia ja usein koko ajon. Kimi Codelle taas kerrottiin, että jokaisen mallin konteksti-ikkuna on miljoona tokenia. Flintillä, jonka ikkuna on 262 144 tokenia, 58 yritystä ylitti rajan ja päättyi siihen. Claude Code ei nähnyt GLM- ja DeepSeek-mallien päättelyä, koska välityspalvelin ei välittänyt sitä Hugging Facen reitittimen käyttämässä muodossa.

Pi, Claude Code, Qwen Code ja Codex saavat mallien omat rajat vasta jatkossa lisättävillä malleilla, eikä niiden nykyisiä tuloksia ajeta uudelleen. Siksi harnessin kustannus mallikutsua kohden uudella mallilla ei muutoslokin mukaan ole verrattavissa nykyisiin. OpenCode ajetaan kaikilla malleilla uudella versiolla 2.2.6 ja mallien omilla konteksti-ikkunoilla; siihen asti taulukossa ovat version 1.19.0 tulokset. OpenClaw ajetaan uudelleen versiolla 2026.11.1, ja taulukko näyttää sen nykyiset tulokset, kunnes uusintakierros on valmis. Nykyiset OpenClaw-ajohistoriat ovat tiivistelmiä ilman työkalukutsuja.

Valmisteilla ovat myös Claude Coden suppea tila, oh-my-pi, DeepSeek Harness, Grok Build ja fx. Ne tulevat taulukkoon, kun ne on ajettu kaikilla malleilla. Ajohistoriat ja tulostiedostot ovat julkisesti saatavilla vertailun Hugging Face -tallennustilassa.