Googlen MKA-testi: Claude Fable 5.2 kärjessä, ero kahteen seuraavaan ei merkitsevä
Tekoälyn kirjoittama
Google DeepMindin ja Artificial Analysisin MKA-testi mittaa, miten tekoälyagentit tekevät asiantuntijatyötä piirustusten, kaavioiden ja kuvien pohjalta. Kolmen kärkimallin tuloserot eivät olleet tilastollisesti merkitseviä, mutta kustannuksissa erot olivat moninkertaiset.
Google DeepMind ja vertailusivusto Artificial Analysis julkaisivat 10. marraskuuta MKA-testin (Multimodal Knowledge Agent). Sen 200 tehtävää laativat asiantuntijat kymmeneltä alalta, esimerkiksi arkkitehdit, sähköinsinöörit, radiologit ja juristit.
Näin testi toimii
Agentti saa tehtävään 2–45 tiedostoa, kuten pohjapiirustuksia, kytkentäkaavioita, röntgenkuvia tai karttoja. Niiden pohjalta sen pitää tuottaa valmis työ, useimmiten taulukko, esitys, tekstiasiakirja tai PDF-raportti.
Kaikki mallit ajettiin Artificial Analysisin avoimessa Stirrup-harnessissa eli agenttia ohjaavassa ohjelmassa, joka antaa mallille työkalut ja ajaa sen työvaiheet. Agentti voi enintään 250 kierroksen ajan suorittaa koodia, hakea verkosta ja katsoa kuvia. Googlen raportin mukaan agentti voi näin hakea osan tiedoista verkosta sen sijaan, että lukisi ne kuvista.
Työn arvioi OpenAI:n GPT-6 Luna -mallilla toimiva agentti. Se avaa tiedostot, katsoo sivut kuvina ja tarkistaa asiantuntijan noin 70 kohdan kyllä/ei-listan avulla esimerkiksi taulukon kaavat. Raportin mukaan arvioija oli 50 tehtävän vertailussa samaa mieltä asiantuntijoiden kanssa 96,2 prosentissa kriteereistä. Vertailu kattoi vain painavimmat kriteerit, joten luku ei välttämättä päde muotoilutarkistuksiin.
Päätulos Climb-WSR on vaikeiden kriteerien painotettu täyttymisosuus. Vaikeiksi luetaan kriteerit, joita vähintään yksi neljästä aiemman sukupolven mallista ei täyttänyt kahdessa ajossa kolmesta. Näistä kaksi oli vanhempia Gemini-malleja. Muissa kriteereissä kaikki neljä raportissa testattua mallia ylsivät yli 95 prosenttiin.
Tulokset ja hinnat
Googlen teknisessä raportissa vertailtiin neljää mallia. Taulukossa ovat niiden tulokset ja kulut tehtävää kohden.
| Malli | Climb-WSR | WSR, kaikki kriteerit | Kierroksia | Hinta/tehtävä |
|---|---|---|---|---|
| Claude Fable 5.2 | 56,6 % | 73,3 % | 128,8 | 35,28 $ |
| Gemini 4 Carbon | 54,3 % | 71,9 % | 46,6 | 5,63 $ |
| Claude Opus 5.5 | 53,0 % | 71,0 % | 91,4 | 10,29 $ |
| GPT-6 Astra | 50,2 % | 69,3 % | 29,0 | 6,03 $ |
Lähde: Google DeepMindin tekninen raportti. Hinnat julkaisuhetken listahinnoin välimuistialennukset huomioiden.
Fable 5.2:n, Carbonin ja Opus 5.5:n erot Climb-WSR:ssä eivät ole tilastollisesti merkitseviä, joten niiden järjestys ei ole varma. Fable 5.2 ja Carbon olivat merkitsevästi GPT-6 Astraa parempia. Kukin malli teki jokaisen tehtävän kerran, ja työ arvioitiin kerran, joten luottamusvälit eivät kata agentin eivätkä arvioijan vaihtelua ajokerrasta toiseen.
Lähteet ilmoittavat eri hintoja. Artificial Analysisin mukaan Fable 5.2 maksaa 31,97 $ ja Carbon 6,29 $ tehtävältä. Google DeepMindin X-julkaisun kuvassa Astran hinta on 6,15 $. Artificial Analysisin mukaan mikään malli ei johda kaikilla kymmenellä alalla.
Google on sekä testin laatija että yhden testatun mallin, Gemini 4 Carbonin, valmistaja. Raportin mukaan arvioija valittiin Googlen ulkopuolelta, jotta se ei suosisi Geminiä.
Kuvien katselu vaikutti tulokseen
Google ajoi Carbonin myös ilman kuvankatselutyökalua. MKA:ssa Climb-WSR laski silloin 5,9 prosenttiyksikköä, ja kierroksia kului 1,28-kertainen määrä. GDPval-testissä tulos ei muuttunut. Agentti yritti korvata näköä koodilla, esimerkiksi tulostamalla kuvia merkkigrafiikkana. Keino auttoi osin selkeissä piirustuksissa mutta ei valokuvissa eikä lääketieteellisissä kuvissa. Kokeilu tehtiin vain Carbonilla.
Tulostaulukko on Artificial Analysisin sivustolla. Kymmenen julkista esimerkkitehtävää on Hugging Facessa. Varsinaiset 200 arviointitehtävää pidetään salassa, jotta ne eivät päädy koulutusaineistoon. Gemini 4 Carbon on käytettävissä Gemini API:n kautta Google AI Studiossa.
Lue lisää: Mallit