Google DeepMind och jämförelsesajten Artificial Analysis publicerade benchmarket MKA (Multimodal Knowledge Agent) den 10 november. Dess 200 uppgifter har tagits fram av experter inom tio områden, till exempel arkitekter, elingenjörer, radiologer och jurister.

Så fungerar benchmarket

Agenten får 2–45 filer per uppgift, till exempel planritningar, kopplingsscheman, röntgenbilder eller kartor. Utifrån dem ska den leverera ett färdigt arbete, oftast ett kalkylark, en presentation, ett textdokument eller en PDF-rapport.

Alla modeller kördes i Artificial Analysis öppna harness Stirrup, alltså det program som styr agenten, ger modellen verktyg och kör dess arbetssteg. Agenten kan under högst 250 rundor köra kod, söka på webben och titta på bilder. Enligt Googles rapport kan agenten därmed hämta en del uppgifter från webben i stället för att läsa dem ur bilderna.

Arbetet bedöms av en agent som körs på OpenAI:s modell GPT-6 Luna. Den öppnar filerna, tittar på sidorna som bilder och kontrollerar till exempel kalkylarkens formler med hjälp av expertens checklista med ungefär 70 ja/nej-punkter. I en jämförelse av 50 uppgifter höll bedömaren med experterna i 96,2 procent av kriterierna, uppger rapporten. Jämförelsen omfattade bara de tyngst vägande kriterierna, så siffran gäller inte nödvändigtvis formateringskontroller.

Huvudresultatet Climb-WSR är den viktade andelen uppfyllda svåra kriterier. Som svåra räknas kriterier som minst en av fyra modeller från en tidigare generation inte uppfyllde i två körningar av tre. Två av modellerna var äldre Gemini-modeller. På övriga kriterier nådde alla de fyra modeller som testades i rapporten över 95 procent.

Resultat och priser

I Googles tekniska rapport jämfördes fyra modeller. Tabellen visar deras resultat och kostnader per uppgift.

Källa: Google DeepMinds tekniska rapport. Listpriser vid publiceringen, med cacherabatter inräknade.

Skillnaderna i Climb-WSR mellan Fable 5.2, Carbon och Opus 5.5 är inte statistiskt signifikanta, så deras inbördes ordning är osäker. Fable 5.2 och Carbon var signifikant bättre än GPT-6 Astra. Varje modell gjorde varje uppgift en gång och arbetet bedömdes en gång. Konfidensintervallen fångar därför inte hur agenten eller bedömaren varierar mellan körningar.

Källorna anger olika priser. Enligt Artificial Analysis kostar Fable 5.2 31,97 dollar och Carbon 6,29 dollar per uppgift. I bilden i Google DeepMinds inlägg på X är Astras pris 6,15 dollar. Ingen modell leder inom alla tio områden, uppger Artificial Analysis.

Google har både tagit fram benchmarket och utvecklat en av de testade modellerna, Gemini 4 Carbon. Enligt rapporten valdes en bedömare utanför Google för att den inte skulle gynna Gemini.

Bildvisningen påverkade resultatet

Google körde också Carbon utan verktyget för bildvisning. I MKA sjönk Climb-WSR då med 5,9 procentenheter, och antalet rundor blev 1,28 gånger så stort. I benchmarket GDPval ändrades resultatet inte. Agenten försökte ersätta synen med kod, till exempel genom att skriva ut bilder som teckengrafik. Det hjälpte delvis med tydliga ritningar men inte med fotografier eller medicinska bilder. Försöket gjordes bara med Carbon.

Topplistan finns på Artificial Analysis webbplats. Tio offentliga exempeluppgifter finns på Hugging Face. De egentliga 200 utvärderingsuppgifterna hålls hemliga så att de inte hamnar i träningsdata. Gemini 4 Carbon är tillgänglig via Gemini API i Google AI Studio.