AI Aulis

AI-NYHETER PÅ SVENSKA · 21 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

← Numret 21 november 2026Tidningen

Stripes test: 29 procent av kodningsagenternas integrationer uppfyllde alla obligatoriska villkor

AI-genererat innehållSkriven av AI

github.com, stripe.dev, i10x.ai, automater.ai, dev.to · 5 källor · Källornas publiceringsdatum: 19–20 november 2026 · Publiceringstidpunkten är okänd för vissa källor

Stripe testade 14 kombinationer av modell och harness i 69 uppgifter om betalningsintegration. Agenterna uppfyllde i genomsnitt 78,1 procent av bedömningskriterierna, men alla obligatoriska kriterier uppfylldes bara i 29,4 procent av körningarna.

Stripe publicerade den 19 november på sin utvecklarblogg ett benchmark för Stripe-betalningsintegrationer som kodningsagenter har byggt. I testet ingick tre harnessar: Claude Code, Codex och OpenCode. En harness är ett program som styr agenten, ger modellen verktyg och kör dess arbetssteg. Uppgifterna gällde engångsbetalningar, prenumerationer och plattformsbetalningar via Connect. Varje uppgift kördes två gånger utan Stripes agenttillägg (Stripe agent plugin) och två gånger med det.

Agenten får ingen färdig kravlista. En annan AI-modell spelar en utvecklare med en hemlig behovslista och frågar om behoven ett i taget. Till sist bedömer GPT-6.1 Sol samtalet och filerna som agenten har skrivit, kriterium för kriterium. Kriterierna är antingen obligatoriska (MUST) eller rekommenderade (SHOULD).

Skillnaden mellan siffrorna beror på beräkningssättet. Medelvärdet anger hur stor andel av alla kriterier en körning uppfyllde. Om en uppgift har sju obligatoriska och ett rekommenderat kriterium och sex av dem uppfylls, blir resultatet 75 procent. Vid strikt godkännande underkänns körningen om ett enda obligatoriskt kriterium saknas. Enligt Stripe gör många modeller en nästan korrekt implementering men misslyckas med de sista detaljerna. Opus 5.5 kontrollerade till exempel bara att betalningen hade lyckats för en beställning som hållits inne på grund av misstänkt bedrägeri. Beställningen hade kunnat skickas även om betalningen redan hade återbetalats eller bestridits.

Tabellen visar en del av Stripes resultat med båda måtten.

Modell (harness) Medelvärde: utan → tillägg Strikt godkännande: utan → tillägg
GPT-6 Astra (Codex) 85,5 % → 90,0 % 41,9 % → 52,9 %
GPT-6.1 Sol (Codex) 85,6 % → 89,6 % 39,0 % → 50,7 %
Opus 5.5 (Claude Code) 83,5 % → 86,2 % 35,3 % → 36,0 %
Fable 5.2 (Claude Code) 81,1 % → 85,2 % 28,4 % → 43,2 %
Sonnet 5.5 (Claude Code) 78,0 % → 82,6 % 29,4 % → 33,1 %
Gemini 3.8 Flash (OpenCode) 64,8 % → 72,7 % 11,2 % → 21,6 %

Källa: Stripe. Siffrorna bygger på 69 uppgifter och två körningar per upplägg, med GPT-6.1 Sol som bedömare.

Enligt Stripe bör jämförelsen av modellerna ställas mot resultaten per uppgiftskategori, eftersom de agenter som klarade engångsbetalningar och prenumerationer bäst inte var bäst i Connect-uppgifterna.

Testet kör inte heller agentens kod. Stripe medger att en snyggt uppbyggd men icke fungerande integration kan få full poäng. Företagets slutsats att frontiermodellerna kan bygga fungerande integrationer med harnessar bygger alltså på bedömningsmodellens tolkning och inte på körd kod. Strikt godkännande är dessutom känsligt för bedömningsfel, skriver Stripe. När Opus prövades som bedömare gav den genomgående mildare poäng till alla. Poängen förändrades ändå i samma takt som de poäng Sol gav.

Tillägget ger agenten skills som Stripe har skrivit samt MCP-verktyg som dokumentationssökning. Enligt Stripe höjde tillägget medelvärdet för alla 14 kombinationer med ungefär 3–8 procentenheter. Andelen föråldrade parametrar i API-anropen sjönk från 7 till 1,3 procent. Det rör sig om företagets egen mätning av den egna produkten. Siffrorna från Stripes tidigare testsvit på GitHub, som Opus 4.5:s 92 procent, går inte att jämföra med dessa eftersom testsvitens uppgifter och poängsättning var annorlunda.

Stripe publicerade uppgiftsmaterialet och bedömningsprogramvaran Forge som öppen källkod på GitHub (stripe/forge). För att köra ett exempeltest krävs Docker och en API-nyckel från Anthropic för Claude Code, uppger en artikel på Dev.to. Dessutom krävs en nyckel från OpenAI för modellen som spelar utvecklaren och för bedömaren, som båda som standard använder en OpenAI-modell. I Stripes tabell kostade en körning mellan 0,05 och 6,13 dollar beroende på modell.

Anmäl ett fel i artikeln