Forskare vid University of Illinois (UIUC), Georgia Tech och heelo.dev lade ut en förhandspublicering på arXiv den 5 november. Den är inte sakkunniggranskad. Agenter misslyckas med uppgifter i det skede då en tillgänglig resurs ska tillämpas, skriver forskarna. Det skedet kallar de den sista kilometern.

Vid tillämpningen måste till exempel argumenten i ett verktygsanrop härledas ur resultatet av ett tidigare anrop. Ett fel måste spåras till det arbetssteg som orsakade det. Som jämförelse redovisar författarna resultat i benchmarket Terminal-Bench 4.0 på högsta resonemangsnivå: GPT-5.6 Sol löste 37,3 procent av uppgifterna med Codex och Claude Opus 5 löste 51,8 procent med Claude Code.

En egen språkmodell för resursen

En harness är ett program som styr agenten, ger modellen verktyg och kör modellens arbetssteg. Dagens lösningar gör resursen åtkomlig men lämnar tillämpningen åt anroparen, uppger författarna. Därför bygger varje harness upp samma kunnande på nytt.

Som lösning föreslår de en agentprimitiv (agent-native primitive). Det är en återanvändbar enhet där resursen har en egen stor språkmodell. Resursen kan till exempel vara ett verktyg eller en kodkomponent. Modellen tillämpar resursen på varje uppgift och kommunicerar med andra primitiver.

HEELO-systemet hämtar de primitiver som uppgiften kräver ur ett bibliotek och sätter ihop dem till ett uppgiftsspecifikt nätverk. Systemet jämför resultatet med belägg från miljön och rättar de primitiver som felet gäller. Nya primitiver godkänner systemet för biblioteket först när det har validerat dem.

Nyttan kommer från tillämpningen, menar författarna. I ett experiment där kodförråd byggdes förändrades leveranspoängen (skala 0–1) knappt när hämtade kodkomponenter lästes eller anropades oförändrade. Resultaten var 0,3544 och 0,3430, mot 0,3469 utan bibliotek. När komponenterna anpassades till målet steg poängen till 0,5134.

Resultat från författarnas egna tester

Tabellen sammanfattar förhandspubliceringens huvudresultat. En del av dem kommer från författarnas tidigare delstudier.

Källa: författarnas förhandspublicering. Mått och jämförelsepunkter varierar mellan raderna.

Siffrorna visar inte att HEELO förbättrar alla modellers resultat lika mycket. I Terminal-Bench 4.0 var förbättringen minst för Claude Opus 5: 1,5 och 1,2 procentenheter på två resonemangsnivåer. Modellens Claude Code-konfigurationer var de starkaste jämförelsepunkterna.

Författarnas egen plattform heelo.dev har 46 praktiska uppgifter, till exempel att publicera en sida och hantera fakturamejl. Claude Opus 5.5 med Claude Code och GPT-6.1 Sol med Codex slutförde på egen hand nio uppgifter var. Kopplade till HEELO via författarnas MCP-server slutförde de 39 respektive 35.

Skillnaden uppstod i uppgifter där agenten måste agera på ett konto eller i en tjänst, uppger författarna. Utan HEELO fick agenterna noll poäng i 12 av 26 förmågor. De kunde till exempel inte läsa mejl, kalender eller Notion alls.

En kopplad körning kostade mer i de flesta uppgifter, eftersom agenten läste fler token. De kopplade agenterna slutförde ändå fler uppgifter. Per slutförd uppgift gick det därför åt 1,9 respektive 2,3 gånger mindre tid, och kostnaden var 1,55 gånger lägre.

Projektets webbplats är heelo.dev. Tjänsten ArXivSignals markerar studiens kod som publicerad.