Arviointiyhtiö Artificial Analysis julkaisi 12. marraskuuta X:ssä vertailun, jossa se ajoi saman tieteellisten kuvien testin kahdella tavalla. Mallit joko käyttivät työkaluja agentin osana tai vastasivat yhteen pyyntöön ilman työkaluja. Yhtiön mukaan työkalut nostivat mallien tulosta keskimäärin noin 25 prosentista noin 47 prosenttiin.

Mitä testi mittaa

VIALS-AA on Artificial Analysisin toteutus Handshake AI:n VIALS-testistä. Sen 161 tehtävässä malli tulkitsee elämäntieteiden työssä käytettyjä kuvia, kuten blottikuvia, mikroskooppikuvia, virtaussytometrian kuvaajia, plasmidikarttoja ja sukupuita. VIALSin tutkimusartikkeli on julkaistu arXivissa esijulkaisuna.

Oletusmuodossa mallit toimivat Stirrup-harnessissa. Harness on agenttia ohjaava ohjelma, joka antaa mallille työkalut ja ajaa sen työvaiheet. Malli voi ajaa Python-koodia verkottomassa hiekkalaatikossa ja avata kuvia erillisellä työkalulla. Vertailuajossa malli sai kysymyksen ja kuvat yhdessä pyynnössä ilman työkaluja.

Jokainen tehtävä ajetaan kolmesti, ja vastaukset arvostelee GPT-6 Luna -kielimalli. Pistemäärä (pass^3) on niiden tehtävien osuus, joihin malli vastasi oikein kaikilla kolmella kerralla. Kieltäytymisestä tai puuttuvasta vastauksesta saa nollan.

Tulokset

Claude Fable 5.2 (max) sai työkaluilla 67 prosenttia ja ilman niitä 44 prosenttia. Claude Haiku 5.5 (max) ylsi työkaluilla 49 prosenttiin eli korkeammalle kuin Fable ilman työkaluja. Julkaisun kuvan malleista ilman työkaluja paras oli GPT-6 Astra (max), 50 prosenttia.

Luvut kuvaavat työkalujen vaikutusta tässä kuvatulkintatestissä, eivät mallien yleistä paremmuutta.

Kustannukset

Työkalut nostivat jokaisen mallin kulua tehtävää kohden, mutta eri verran. Fable 5.2:n kulu nousi 0,73 dollarista 4,20 dollariin eli 5,8-kertaiseksi, GPT-6 Astran 0,21:stä 0,27 dollariin ja GPT-6.1 Solin 0,05:stä 0,06 dollariin. Kulu kasvoi eniten Qwen3.8 Maxilla (28-kertaiseksi), Gemini 3.8 Flashilla (20-kertaiseksi) ja MiMo-V2.6-Prolla (15-kertaiseksi). Kulut laskettiin tokenmääristä ja mallien hinnoista, ja välimuistiosumien osuus oletettiin tyypilliseksi.

Artificial Analysis päättelee, että halvempi malli harnessissa voi tieteellisten kuvien tulkinnassa päihittää yhteen pyyntöön vastaavan suuren mallin sekä hinnassa että tuloksessa. Yhtiön esimerkissä Haiku saa työkaluilla 49 prosenttia 0,07 dollarilla tehtävää kohden ja Claude Opus 5.5 ilman työkaluja 34 prosenttia 0,33 dollarilla.