Alla harnessar fick inte modellernas egna gränser. Det framgår av korrigeringar som förts in den 6 och 7 november i ändringsloggen för Harness Leaderboard, som underhålls av Joel Niklaus. En harness är ett program som styr agenten, ger modellen verktygen och kör dess arbetssteg.

Niklaus publicerade jämförelsen på Hugging Face den 5 november 2026. Den omfattar nio harnessar: Claude Code, Codex, Pi, OpenCode, Hermes Agent, mini-swe-agent, Kimi Code, Qwen Code och OpenClaw. Modellerna är GLM-5.3-Flash och DeepSeek-V4.1-Flash på låg och hög resonemangsnivå samt Flint på sin standardnivå. Benchmarkarna är Terminal-Bench 2.1 och DeepSWE v1.1.

Så fungerar jämförelsen

I varje körning är leverantören, harnessens version och resonemangsnivån desamma. En proxyserver i en sandlåda anger resonemangsnivån i varje modellanrop och mäter tokenförbrukningen. Varje uppgift får tre försök. Huvudtalet är medelvärdet av de två benchmarkarnas lösningsgrad med 95 procents konfidensintervall.

Jämförelsen räknar till exempel hämtning av publicerade lösningar och anrop till en annan modell som misslyckanden. Körloggarna granskas med verktyget atif-scan. Vissa av dem kan bara granskas delvis, så antalet upptäckta fall av fusk är en undre gräns. DeepSWE körs sedan den 23 oktober utan internetanslutning, så dess resultat innehåller försök både med och utan nätverksåtkomst.

Vad ändringsloggen tar upp

Enligt ändringsloggen kände Pi, Claude Code, Qwen Code, Codex och OpenCode inte till jämförelsens modeller och använde sina egna standardgränser. Pi utgick från ett kontextfönster på 128 000 token, komprimerade sin historik vid omkring 112 000 token och begränsade svaret till 16 384 token. Modellernas kontextfönster ligger dock mellan 262 144 och 1 048 576 token. Pis nuvarande kostnad per modellanrop är lägre främst på grund av tidig kontextkomprimering, uppger ändringsloggen.

OpenClaw begärde svar på högst 8 192 token. Med Flint och DeepSeek-V4.1-Flash avbröt gränsen svaren och ofta hela körningen. Kimi Code fick i stället veta att varje modell har ett kontextfönster på en miljon token. Med Flint, vars fönster rymmer 262 144 token, överskred 58 försök gränsen och avslutades där. Claude Code såg inte resonemanget hos GLM- och DeepSeek-modellerna, eftersom proxyservern inte vidarebefordrade det i det format som Hugging Faces router använder.

Pi, Claude Code, Qwen Code och Codex får modellernas egna gränser först med modeller som läggs till framöver, och deras nuvarande resultat körs inte om. Därför är harnessens kostnad per modellanrop med en ny modell inte jämförbar med de nuvarande, uppger ändringsloggen. OpenCode körs med alla modeller i den nya versionen 2.2.6 och med modellernas egna kontextfönster. Till dess visar tabellen resultaten för version 1.19.0. OpenClaw körs om med version 2026.11.1, och tabellen visar dess nuvarande resultat tills omkörningen är klar. De nuvarande körloggarna för OpenClaw är sammanfattningar utan verktygsanrop.

Under förberedelse är också Claude Codes avskalade läge, oh-my-pi, DeepSeek Harness, Grok Build och fx. De förs in i tabellen när de har körts med alla modeller. Körloggarna och resultatfilerna är offentligt tillgängliga i jämförelsens lagringsutrymme på Hugging Face.