Maksuyhtiö Visa julkaisi 5. marraskuuta oman vertailutestin. Se mittaa, miten tekoälymallit hoitavat ostoksia asiakkaan puolesta. Visa Agentic Commerce Benchmarkin ensimmäisellä kierroksella testattiin 12 laboratorion malleja. Ostettavana oli esimerkiksi televisio, kannettava tietokone tai henkilökohtaiseen hoitoon tarkoitettu laite.

Näin testi toimii

Asiakas ei kerro tarpeitaan kerralla. Mallin pitää kysyä esimerkiksi budjetti, kuvaformaattien tuki ja pelikäytön vaatimukset. Jos mikään tuote ei sovi, mallin pitää jättää ostamatta. Fortunen mukaan asiakasta esitti toinen agentti.

Ajo hyväksytään vain, jos malli löytää jokaisen tehtävään määritellyn vaatimuksen ja tekee oikean ostopäätöksen. Visan mukaan näin onnekas arvaus ei riitä. Yhtiö sanoo testinsä olevan ensimmäinen, joka edellyttää molempia. Jokainen malli yritti jokaista tehtävää kolmesti.

Tulokset ja niiden rajat

Taulukossa ovat Visan tiedotteen läpäisyosuudet eri malliryhmissä.

Lähde: Visan tiedote 5.11.2026; Visan itse tekemä testi.

Ryhmien erot kertovat yhteydestä, eivät syystä. Visa huomauttaa itse, ettei kallis malli takaa onnistumista.

Tulokset vaihtelivat myös: kaikki kolme yritystä onnistuivat vain 34,2 %:ssa mallin ja tehtävän yhdistelmistä. Epäonnistuneista ajoista 54 % päättyi silti ostokseen. Malli joko suositteli sopimatonta tuotetta tai ei ollut selvittänyt kaikkia vaatimuksia.

Testi kattaa vasta tarpeiden selvittämisen ja ostopäätöksen. Myöhemmin Visa aikoo testata myös kassan, maksun ja tilauksen. Yhtiön mukaan tulokset eivät tarkoita, etteivätkö agentit olisi valmiita kaupankäyntiin. Johdonmukaisuus ja luotettavuus ovat sen mukaan kuitenkin yhä ongelmia.

Mallien nimet tulevat Fortunelta

Visan tiedote ei nimeä malleja. Fortunen toimittaja Jeff John Roberts kertoo Visan tulossivuston perusteella, että Googlen Geminiin ja Metan malliin perustuvat agentit jakoivat kärjen 82 %:lla. Claude-agentti oli kolmas 76 %:lla ja OpenAI:n agentti kuudes 64 %:lla. Lähteet nimeävät versiot eri tavoin: Fortune kirjoittaa Geminin Aragon 4 -versiosta, Fortunea referoiva ForkLog Gemini 4 Argonista ja Metan Muse Wonderista.

Visan globaali kasvujohtaja Rubail Birwadker sanoi Fortunelle: ”Emme ole vielä perillä luottamuksen emmekä teknologian osalta. Pian olemme kuitenkin maailmassa, jossa kuluttajat voivat luottaa ja delegoida.”

Visa on jakanut testin johtaville mallien kehittäjille palautetta varten. Visa Payments Frontier -sivustolla kuka tahansa voi kokeilla testiä, katsoa tallenteita mallien yrityksistä ja lukea yhtiön tutkimusraportin.