AI Aulis

AI-UUTISET SUOMEKSI · 21.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

← Numero 21.11.2026Lehti

Stripen testi: koodausagenttien integraatioista 29 % täytti kaikki pakolliset ehdot

Tekoälyn tuottama sisältöTekoälyn kirjoittama

github.com, stripe.dev, i10x.ai, automater.ai, dev.to · 5 lähdettä · Lähteet julkaistu: 19.11.2026–20.11.2026 · osan lähteistä ajankohta ei tiedossa

Stripe testasi 14 mallin ja harnessin yhdistelmää 69 maksuintegraatiotehtävässä. Agentit täyttivät keskimäärin 78,1 % arviointikriteereistä, mutta kaikki pakolliset kriteerit täyttyivät vain 29,4 %:ssa ajoista.

Stripe julkaisi kehittäjäblogissaan 19. marraskuuta vertailutestin koodausagenttien rakentamista Stripe-maksuintegraatioista. Testissä oli kolme harnessia eli agenttia ohjaavaa ohjelmaa, joka antaa mallille työkalut ja ajaa sen työvaiheet: Claude Code, Codex ja OpenCode. Tehtävät koskivat kertamaksuja, tilauksia ja Connect-alustamaksuja. Jokainen tehtävä ajettiin kahdesti ilman Stripen agenttilisäosaa (Stripe agent plugin) ja kahdesti sen kanssa.

Agentti ei saa valmista vaatimuslistaa. Toinen tekoälymalli esittää kehittäjää, jolla on salainen tarvelista, ja kysyy niistä yksi kerrallaan. Lopuksi GPT-6.1 Sol arvioi keskustelun ja agentin kirjoittamat tiedostot kriteeri kerrallaan. Kriteerit ovat joko pakollisia (MUST) tai suositeltuja (SHOULD).

Lukujen ero johtuu laskutavasta. Keskiarvo kertoo, kuinka suuren osan kaikista kriteereistä ajo täytti. Jos tehtävässä on seitsemän pakollista ja yksi suositeltu kriteeri ja niistä täyttyy kuusi, tulos on 75 %. Tiukassa läpäisyssä yksikin puuttuva pakollinen kriteeri hylkää ajon. Stripen mukaan monet mallit tekevät lähes oikean toteutuksen mutta epäonnistuvat viimeisissä yksityiskohdissa. Esimerkiksi Opus 5.5 tarkisti petosepäilyn takia pidätetystä tilauksesta vain, että maksu oli onnistunut. Tilaus olisi voitu toimittaa, vaikka maksu olisi jo palautettu tai riitautettu.

Taulukossa on osa Stripen tuloksista molemmilla mittareilla.

Malli (harness) Keskiarvo: ilman → lisäosa Tiukka läpäisy: ilman → lisäosa
GPT-6 Astra (Codex) 85,5 % → 90,0 % 41,9 % → 52,9 %
GPT-6.1 Sol (Codex) 85,6 % → 89,6 % 39,0 % → 50,7 %
Opus 5.5 (Claude Code) 83,5 % → 86,2 % 35,3 % → 36,0 %
Fable 5.2 (Claude Code) 81,1 % → 85,2 % 28,4 % → 43,2 %
Sonnet 5.5 (Claude Code) 78,0 % → 82,6 % 29,4 % → 33,1 %
Gemini 3.8 Flash (OpenCode) 64,8 % → 72,7 % 11,2 % → 21,6 %

Lähde: Stripe. Luvut perustuvat 69 tehtävään ja kahteen ajoon kummallakin asetelmalla, arvioijana GPT-6.1 Sol.

Stripen mukaan mallien vertailu pitää suhteuttaa tehtäväluokittaisiin tuloksiin, koska kertamaksuissa ja tilauksissa parhaiten pärjänneet agentit eivät olleet parhaita Connect-tehtävissä.

Testi ei myöskään aja agentin koodia. Stripe myöntää, että siististi rakennettu mutta toimimaton integraatio voi saada täydet pisteet. Yhtiön päätelmä kärkimallien kyvystä tehdä harnessien kanssa toimivia integraatioita perustuu siis arvioijamallin tulkintaan eikä ajettuun koodiin. Stripen mukaan tiukka läpäisy on lisäksi herkkä arviointivirheille. Kun arvioijana kokeiltiin Opusta, se antoi kaikille tasaisesti lievempiä pisteitä. Pisteet muuttuivat kuitenkin samassa tahdissa kuin Solin antamat.

Lisäosa antaa agentille Stripen kirjoittamia skillejä ja MCP-työkaluja, kuten dokumentaatiohaun. Stripen mukaan lisäosa nosti kaikkien 14 yhdistelmän keskiarvoa noin 3–8 prosenttiyksikköä. Vanhentuneiden parametrien osuus API-kutsuissa laski 7 prosentista 1,3 prosenttiin. Kyse on yhtiön omasta mittauksesta omalla tuotteellaan. Stripen aiemman GitHubissa julkaistun testisarjan lukuja, kuten Opus 4.5:n 92 %, ei voi verrata näihin, koska sarjan tehtävät ja pisteytys olivat erilaiset.

Stripe julkaisi tehtäväaineiston ja Forge-arviointiohjelmiston avoimena koodina GitHubissa (stripe/forge). Dev.to-kirjoituksen mukaan esimerkkikokeen ajaminen vaatii Dockerin ja Anthropicin API-avaimen Claude Codelle sekä OpenAI:n avaimen kehittäjää esittävälle mallille ja arvioijalle, jotka käyttävät oletuksena OpenAI:n mallia. Stripen taulukossa yhden ajon hinta oli mallista riippuen 0,05 $:n ja 6,13 $:n välillä.

Ilmoita virheestä tässä jutussa