Alma var trea i FrontierHarness-testets mellanresultat, till slut sexa i andel godkända försök
Alma, som den oberoende utvecklaren yetone har byggt, var trea i en ofärdig ögonblicksbild av Runtas benchmark FrontierHarness v1.1. I den färdiga resultattabellen är Alma sexa i andel godkända försök och 13:e i kostnad per godkänt försök.
Pandaily, en nyhetssajt som bevakar Kinas teknikbransch, jämförde den 15 november en ofärdig ögonblicksbild av benchmarket med den färdiga resultattabellen. Ordningen mellan harnessarna ändrades under testets gång, skriver sajten.
FrontierHarness v1.1 är ett öppet benchmark från agentinfrastrukturföretaget Runta för kodningsagenters harnessar. En harness är programmet som styr agenten. Den ger modellen verktyg och kör dess arbetssteg. I testet ingår 21 harnesskonfigurationer, bland dem Claude Code, Codex CLI och OpenCode. Med fem modeller med öppna vikter löser de 62 uppgifter inom mjukvaruutveckling, vetenskap, data, system, maskininlärning och informationssäkerhet. Varje harness får fyra poängsatta försök per uppgift med varje modell. Bara verifierade godkända försök räknas.
Mellanläget och slutresultatet skilde sig åt
Det kinesiska teknikmediet Zhixingxing rapporterade om en ögonblicksbild från den 11 november. Då pågick körningen fortfarande, och ordningen ändrades dagligen. Enligt Pandaily uppgav Zhixingxing att Almas andel lyckade försök då var 72,7 procent. Före Alma låg Codex CLI (77,9 procent) och Pi (72,8 procent), medan Claude Code kom efter med 70,0 procent. Alma kostade omkring 0,80 dollar per lyckad uppgift och Claude Code 0,94 dollar.
Den färdiga resultattabellen omfattar 26 040 poängsatta försök, och harnessarnas andelar är överlag lägre än i mellanläget. Tabellen visar de sex bästa efter andel godkända försök.
| Harness | Andel godkända försök |
|---|---|
| ZCode | 61,9 % |
| Codex CLI | 61,1 % |
| KimiCode | 60,2 % |
| Grok Build | 60,0 % |
| Hermes Agent | 59,9 % |
| Alma | 59,7 % |
Källa: FrontierHarness v1.1:s färdiga resultattabell, granskad av Pandaily den 15 november.
Skillnaderna i toppsexan är små. Mellan andra och sjätte plats skiljer det 1,4 procentenheter. Pandaily anger inte om skillnaderna är statistiskt signifikanta. Alla 21 harnessar ligger mellan 50,6 och 61,9 procent godkända försök.
Som standard rangordnar resultattabellen harnessarna efter kostnad per godkänt försök. Med det måttet är Alma 13:e med 1,22 dollar. Codex CLI kostar 0,937 dollar och Claude Code 1,55 dollar. Almas bästa andel godkända försök, 64,1 procent, nåddes med modellen Kimi-K3.
Vad Alma gör
Alma läser och redigerar filer, kör kommandon i terminalen, söker på webben och stöder skills, MCP och många modeller. Övriga funktioner beskriver Pandaily utifrån Zhixingxings bedömning och Almas webbplats. För verktygsanrop går det att välja en separat modell (Tool Model), så att enkla åtgärder inte kräver den dyrare huvudmodellen. Långtidsminnet söker i tidigare konversationer utifrån betydelse. Det omformulerar först frågan och filtrerar sedan resultaten med en likhetströskel. herdr-integrationen samlar sessioner från Claude Code, Codex och Pi i ett fönster, grupperade efter status, till exempel Working, Done och Needs You.
Apparna för iPhone och Android finns i öppen beta. Med dem kan användaren på distans följa arbetet, svara på agentens frågor och godkänna kommandon. För fjärråtkomst släppte yetone reläservern Alma Relay som öppen källkod. Den kan köras på Cloudflare Workers eller med Docker. Enligt dokumentationen för Alma Relay är totalsträckskryptering påslagen som standard, och då ser reläservern bara krypterade data och sparar ingenting på disk.
Almas webbplats är alma.now, och koden till Alma Relay finns på GitHub (yetone/alma-relay).
Läs mer: Hur en agent fungerar · Agentkarta