Utvärderingsföretaget Artificial Analysis publicerade den 12 november en jämförelse på X. Företaget körde samma test med vetenskapliga bilder på två sätt. Antingen använde modellerna verktyg som del av en agent, eller så svarade de på en enda förfrågan utan verktyg. Verktygen höjde modellernas resultat från omkring 25 procent till omkring 47 procent i genomsnitt, uppger företaget.

Vad testet mäter

VIALS-AA är Artificial Analysis version av Handshake AI:s benchmark VIALS. Testet har 161 uppgifter där modellen tolkar bilder som används i livsvetenskapligt arbete, till exempel blotbilder, mikroskopibilder, flödescytometridiagram, plasmidkartor och fylogenetiska träd. Forskningsartikeln om VIALS finns som förhandspublicering på arXiv.

I standardutförandet arbetar modellerna i harnessen Stirrup. En harness är ett program som styr agenten, ger modellen verktyg och kör arbetsstegen. Modellen kan köra Python-kod i en sandlåda utan nätverksåtkomst och öppna bilder med ett separat verktyg. I jämförelsekörningen fick modellen frågan och bilderna i en enda förfrågan utan verktyg.

Varje uppgift körs tre gånger, och svaren bedöms av språkmodellen GPT-6 Luna. Poängen (pass^3) är andelen uppgifter som modellen besvarade rätt alla tre gångerna. Vägran eller uteblivet svar ger noll.

Resultat

Claude Fable 5.2 (max) fick 67 procent med verktyg och 44 procent utan. Claude Haiku 5.5 (max) nådde 49 procent med verktyg och kom alltså högre än Fable utan verktyg. Bäst av modellerna utan verktyg i publiceringens diagram var GPT-6 Astra (max) med 50 procent.

Siffrorna beskriver verktygens effekt i det här bildtolkningstestet, inte att någon modell är generellt bättre.

Kostnader

Verktygen höjde kostnaden per uppgift för varje modell, men olika mycket. För Fable 5.2 steg kostnaden från 0,73 till 4,20 dollar, alltså till 5,8 gånger så mycket. För GPT-6 Astra steg den från 0,21 till 0,27 dollar och för GPT-6.1 Sol från 0,05 till 0,06 dollar. Mest ökade kostnaden för Qwen3.8 Max (28 gånger), Gemini 3.8 Flash (20 gånger) och MiMo-V2.6-Pro (15 gånger). Kostnaderna beräknades utifrån tokenmängder och modellernas priser, och andelen cacheträffar antogs vara typisk.

Artificial Analysis drar slutsatsen att en billigare modell i en harness vid tolkning av vetenskapliga bilder kan slå en stor modell som svarar på en enda förfrågan, både i pris och resultat. I företagets exempel får Haiku 49 procent med verktyg för 0,07 dollar per uppgift och Claude Opus 5.5 34 procent utan verktyg för 0,33 dollar.