Visas eget benchmark: AI-modeller misslyckades i 42,8 procent av köpkörningarna
Skriven av AI
Visa testade 22 AI-modeller i 15 köpsituationer. Modellen skulle genom samtal ta reda på kundens behov och fatta rätt köpbeslut. Modellerna klarade 57,2 procent av körningarna, och i mer än hälften av de misslyckade körningarna köpte de ändå något.
Betalföretaget Visa publicerade den 5 november 2026 ett eget benchmark. Det mäter hur AI-modeller sköter inköp åt kunden. I den första omgången av Visa Agentic Commerce Benchmark testades modeller från 12 laboratorier. Det som skulle köpas var till exempel en tv, en bärbar dator eller en apparat för personlig vård.
Så fungerar testet
Kunden berättar inte om sina behov på en gång. Modellen måste fråga om till exempel budget, stöd för bildformat och krav för spelanvändning. Om ingen produkt passar ska modellen avstå från att köpa. Kunden spelades av en annan agent, skriver Fortune.
En körning godkänns bara om modellen hittar varje krav som definierats för uppgiften och fattar rätt köpbeslut. Därmed räcker det inte med en lyckosam gissning, enligt Visa. Företaget säger att dess benchmark är det första som kräver båda. Varje modell gjorde tre försök på varje uppgift.
Resultaten och deras begränsningar
Tabellen visar andelen godkända körningar i olika modellgrupper enligt Visas pressmeddelande.
| Grupp | Godkända körningar |
|---|---|
| Alla modeller | 57,2 % |
| De bästa modellerna | 82,2 % |
| Den sämsta modellen | 28,9 % |
| De fem som hittade flest dolda krav | 70,2 % |
| De fem som hittade minst | 44,4 % |
| De fem dyraste (genomsnittligt pris per körning) | 67,1 % |
| De fem billigaste | 50,2 % |
Källa: Visas pressmeddelande 5 november 2026; test som Visa själv har gjort.
Skillnaderna mellan grupperna visar ett samband, inte en orsak. Visa påpekar själv att en dyr modell inte garanterar framgång.
Resultaten varierade också: alla tre försöken lyckades bara i 34,2 procent av kombinationerna av modell och uppgift. Av de misslyckade körningarna slutade 54 procent ändå med ett köp. Modellen rekommenderade antingen en olämplig produkt eller hade inte tagit reda på alla krav.
Testet omfattar än så länge bara kartläggningen av behov och köpbeslutet. Senare planerar Visa att även testa kassan, betalningen och beställningen. Enligt företaget betyder resultaten inte att agenterna inte skulle vara redo för handel. Konsekvens och tillförlitlighet är ändå fortfarande problem, uppger företaget.
Modellnamnen kommer från Fortune
Visas pressmeddelande namnger inte modellerna. Fortunes reporter Jeff John Roberts uppger utifrån Visas resultatsajt att agenter baserade på Googles Gemini och en modell från Meta delade förstaplatsen med 82 procent. En Claude-agent kom trea med 76 procent och OpenAI:s agent sexa med 64 procent. Källorna anger versionerna på olika sätt: Fortune skriver om Gemini-versionen Aragon 4, medan ForkLog, som refererar Fortune, skriver Gemini 4 Argon och Metas Muse Wonder.
Visas globala tillväxtchef Rubail Birwadker sa till Fortune: ”Vi är inte där än, varken när det gäller förtroende eller teknik. Men snart kommer vi in i en värld där konsumenter kan lita på och delegera.”
Visa har delat testet med ledande modellutvecklare för att få återkoppling. På sajten Visa Payments Frontier kan vem som helst prova testet, se inspelningar av modellernas försök och läsa företagets forskningsrapport.
Läs mer: Modeller