Alma oli FrontierHarness-testin välituloksissa kolmas, lopulta läpäisyosuudella kuudes
Riippumattoman kehittäjän yetonen tekemä Alma oli Runtan FrontierHarness v1.1 -vertailutestin keskeneräisessä tilannekuvassa kolmas. Valmiissa tulostaulussa se on läpäisyosuudessa kuudes ja läpäisykohtaisessa kustannuksessa 13:s.
Kiinan teknologia-alaa seuraava uutissivusto Pandaily vertasi 15. marraskuuta vertailutestin keskeneräistä tilannekuvaa valmiiseen tulostauluun. Sen mukaan harnessien järjestys muuttui testin aikana.
FrontierHarness v1.1 on agenttiinfrastruktuuriyhtiö Runtan avoin vertailutesti koodausagenttien harnesseille. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Testissä on 21 harness-kokoonpanoa, muun muassa Claude Code, Codex CLI ja OpenCode. Ne ratkovat viidellä avointen painojen mallilla 62 tehtävää ohjelmistokehityksen, tieteen, datan, järjestelmien, koneoppimisen ja tietoturvan aloilta. Harness saa kullakin mallilla neljä pisteytettyä yritystä tehtävää kohden. Tulokseen lasketaan vain varmennetut läpäisyt.
Välitilanne ja lopputulos erosivat
Kiinalainen teknologiamedia Zhixingxing kertoi 11. marraskuuta otetusta tilannekuvasta, jonka aikaan ajo oli vielä kesken ja järjestys muuttui päivittäin. Pandailyn mukaan Zhixingxing kertoi Alman onnistumisosuuden olleen tuolloin 72,7 prosenttia. Edellä olivat Codex CLI (77,9 %) ja Pi (72,8 %), ja Claude Code jäi taakse 70,0 prosentilla. Alman kustannus oli noin 0,80 dollaria onnistunutta tehtävää kohden, Claude Coden 0,94 dollaria.
Valmiissa tulostaulussa on 26 040 pisteytettyä yritystä, ja harnessien onnistumisosuudet ovat yleisesti välitilannetta pienempiä. Taulukossa on kuusi parasta läpäisyosuuden mukaan.
| Harness | Läpäisyosuus |
|---|---|
| ZCode | 61,9 % |
| Codex CLI | 61,1 % |
| KimiCode | 60,2 % |
| Grok Build | 60,0 % |
| Hermes Agent | 59,9 % |
| Alma | 59,7 % |
Lähde: FrontierHarness v1.1:n valmis tulostaulu Pandailyn 15.11. tarkistamana.
Kärkikuusikon erot ovat pieniä: toisen ja kuudennen sijan välillä on 1,4 prosenttiyksikköä. Pandaily ei kerro, ovatko erot tilastollisesti merkitseviä. Kaikkien 21 harnessin läpäisyosuudet ovat 50,6 ja 61,9 prosentin välillä.
Tulostaulu järjestää harnessit oletuksena läpäisykohtaisen kustannuksen mukaan. Sillä mittarilla Alma on 13:s 1,22 dollarilla. Codex CLI:n kustannus on 0,937 ja Claude Coden 1,55 dollaria. Alman paras läpäisyosuus, 64,1 prosenttia, syntyi Kimi-K3-mallilla.
Mitä Alma tekee
Alma lukee ja muokkaa tiedostoja, ajaa komentoja päätteessä, hakee verkosta ja tukee skillejä, MCP:tä ja monia malleja. Lisäominaisuuksista Pandaily kertoo Zhixingxingin arvion ja Alman verkkosivun perusteella. Työkalukutsuille voi valita erillisen mallin (Tool Model), jolloin yksinkertaisiin toimiin ei tarvitse käyttää kalliimpaa päämallia. Pitkäaikainen muisti hakee aiemmista keskusteluista merkityksen perusteella: se muotoilee kyselyn ensin uudelleen ja suodattaa tulokset samankaltaisuuskynnyksellä. herdr-integraatio kokoaa Claude Coden, Codexin ja Pin istunnot yhteen ikkunaan tilan mukaan ryhmiteltyinä, esimerkiksi Working, Done ja Needs You.
iPhone- ja Android-sovellukset ovat julkisessa betavaiheessa. Niillä voi etänä seurata työn etenemistä, vastata agentin kysymyksiin ja hyväksyä komentoja. Etäkäyttöä varten yetone julkaisi avoimena lähdekoodina Alma Relay -välityspalvelimen, jonka voi ajaa Cloudflare Workersissa tai Dockerilla. Relayn dokumentaation mukaan päästä päähän -salaus on oletuksena päällä, ja silloin välityspalvelin näkee vain salattua tietoa eikä tallenna mitään levylle.
Alman verkkosivu on alma.now, ja Alma Relayn koodi on GitHubissa (yetone/alma-relay).
Lue lisää: Miten agentti toimii · Agenttikartta