Esijulkaisu: GPT-5.6 Sol ratkaisi HEELO-harnessilla 55,5 % Terminal-Bench 4.0 -tehtävistä
Tekoälyn kirjoittama
Tutkijoiden esijulkaisun mukaan tekoälyagentit epäonnistuvat usein, kun niiden pitää soveltaa jo löytämäänsä työkalua tai tietoa. Tutkijoiden HEELO-järjestelmä nosti GPT-5.6 Solin Terminal-Bench 4.0 -tuloksen Codexin 37,3 prosentista 55,5 prosenttiin.
Illinois’n yliopiston (UIUC), Georgia Techin ja heelo.dev:n tutkijat julkaisivat 5. marraskuuta arXivissa esijulkaisun, jota ei ole vertaisarvioitu. Heidän mukaansa agentit epäonnistuvat tehtävissä vaiheessa, jossa saatavilla olevaa resurssia pitäisi soveltaa. Tätä vaihetta he kutsuvat viimeiseksi kilometriksi.
Soveltamisessa työkalukutsun argumentit on esimerkiksi johdettava aiemman kutsun tuloksesta. Virhe on jäljitettävä työhön, josta se johtuu. Vertailukohdaksi tekijät kertovat Terminal-Bench 4.0 -vertailutestin tulokset suurimmalla päättelytasolla: GPT-5.6 Sol ratkaisi Codexin kanssa 37,3 % tehtävistä ja Claude Opus 5 Claude Coden kanssa 51,8 %.
Resurssille oma kielimalli
Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Tekijöiden mukaan nykyiset ratkaisut tuovat resurssin ulottuville, mutta sen soveltaminen jää kutsujalle. Siksi jokainen harness rakentaa saman osaamisen uudelleen.
Ratkaisuksi he ehdottavat agenttiprimitiiviä (agent-native primitive). Se on uudelleenkäytettävä yksikkö, jossa resurssilla on oma suuri kielimalli. Resurssi voi olla esimerkiksi työkalu tai koodikomponentti. Malli soveltaa resurssia kuhunkin tehtävään ja viestii muiden primitiivien kanssa.
HEELO-järjestelmä kokoaa kirjastosta tehtävän tarvitsemat primitiivit tehtäväkohtaiseksi verkoksi. Se vertaa tulosta ympäristöstä saatuun näyttöön, korjaa virheeseen liittyvät primitiivit ja hyväksyy kirjastoon uusia primitiivejä vasta validoituaan ne.
Tekijöiden mukaan hyöty syntyy soveltamisesta. Repositorioiden rakentamiskokeessa haettujen koodikomponenttien lukeminen tai kutsuminen sellaisinaan ei juuri muuttanut toimituspisteitä (asteikko 0–1). Tulokset olivat 0,3544 ja 0,3430, ilman kirjastoa 0,3469. Kun komponentit sovitettiin kohteeseen, pisteet nousivat 0,5134:ään.
Tulokset tekijöiden omista testeistä
Taulukko kokoaa esijulkaisun päätuloksia. Osa niistä on peräisin tekijöiden aiemmista osatutkimuksista.
| Testi | Mittari | Vertailukohta | HEELO |
|---|---|---|---|
| Terminal-Bench 4.0 | ratkaistut tehtävät | 37,3 % (Codex, GPT-5.6 Sol) | 55,5 % |
| SWE-bench Verified, 100 tehtävää | Pass@1 | 73,0 % (mini-SWE-agent) | 80,5 % |
| ToolBench | läpäisyosuus | 55,8 % (DFSDT, Qwen3-8B) | 75,1 % |
| GAIA-Text-103 | tarkkuus | 45,6 % (iteratiivinen harva haku) | 58,3 % |
Lähde: tekijöiden esijulkaisu. Mittarit ja vertailukohdat vaihtelevat riveittäin.
Luvut eivät osoita, että HEELO parantaisi kaikkien mallien tuloksia yhtä paljon. Claude Opus 5:n tulokset paranivat Terminal-Bench 4.0:ssa kahdella päättelytasolla vähiten, 1,5 ja 1,2 prosenttiyksikköä, ja sen Claude Code -asetelmat olivat vahvimmat vertailukohdat.
Tekijöiden omalla heelo.dev-alustalla on 46 käytännön tehtävää, esimerkiksi sivun julkaiseminen ja laskusähköpostin käsittely. Claude Opus 5.5 Claude Coden kanssa ja GPT-6.1 Sol Codexin kanssa saivat yksin valmiiksi yhdeksän tehtävää kumpikin. Kun ne kytkettiin HEELOon tekijöiden MCP-palvelimen kautta, valmiita tehtäviä oli 39 ja 35.
Tekijöiden mukaan ero syntyi tehtävissä, joissa agentin pitää toimia jollakin tilillä tai palvelussa. Ilman HEELOa agentit saivat nolla pistettä 12 kyvyssä 26:sta. Ne eivät voineet lukea lainkaan esimerkiksi sähköpostia, kalenteria tai Notionia.
Kytketty ajo maksoi useimmissa tehtävissä enemmän, koska agentti luki enemmän tokeneita. Kytketyt agentit saivat kuitenkin useamman tehtävän valmiiksi. Valmista tehtävää kohden aikaa kului siksi 1,9 ja 2,3 kertaa vähemmän, ja kustannus oli 1,55 kertaa pienempi.
Projektin sivusto on heelo.dev. ArXivSignals-palvelu merkitsee tutkimuksen koodin julkaistuksi.
Lue lisää: Miten agentti toimii · Mallit