Gemini 4 Carbon leder MathArena, men körningen kostar ungefär 15 gånger så mycket som för GPT-6.1 Sol
Googles Gemini 4 Carbon fick det bästa resultatet i matematikbenchmarket MathArena. Skillnaden mot Claude Fable 5.2 och GPT-6.1 Sol ryms dock inom felmarginalerna. Carbons testkörning kostade ungefär 15 gånger så mycket som körningen med GPT-6.1 Sol.
The Decoder rapporterade den 14 november om MathArenas nya resultat utifrån en uppdatering som Jasper Dekoninck publicerat på X. Sajten AI Brief hänvisar till samma siffror i MathArenas resultattabell. Enligt AI Brief är MathArena ett oberoende benchmark där AI-modeller löser nya uppgifter från matematiktävlingar.
MathArena lade till Anthropics Claude Fable 5.2 och Googles Gemini 4 Carbon i jämförelsen den 13 november, uppger Tbreak och AI Brief. Carbon är enligt The Decoder den första modellen på länge från ett annat företag än OpenAI som har tagit sig till toppen. Den gick om OpenAI:s GPT-6.1 Sol, och Fable 5.2 kom tvåa.
Skillnaderna mellan de tre främsta ryms inom felmarginalerna
Tabellen visar MathArenas förväntade resultat och förväntade kostnad på de resonemangsnivåer som modellerna testades på.
| Modell (resonemangsnivå) | Företag | Förväntat resultat | Förväntad kostnad |
|---|---|---|---|
| Gemini 4 Carbon (high) | 85,4 % (±3,0) | 15,70 $ (±1,33 $) | |
| Claude Fable 5.2 (max) | Anthropic | 82,8 % (±5,3) | 40,20 $ (±2,59 $) |
| GPT-6.1 Sol (max) | OpenAI | 80,6 % (±2,7) | 1,07 $ (±0,018 $) |
| Kimi K3.1 Pro (max) | Moonshot AI | 54,3 % (±5,8) | 3,70 $ (±0,27 $) |
Källa: MathArena enligt The Decoder och Tbreak. Resultatets intervall anges i procentenheter.
De tre frontiermodellerna i toppen har överlappande intervall. Därför är konkurrensen jämnare än ordningen i tabellen ger sken av, skriver Tbreak och AI Brief. Fable 5.2 har det bredaste intervallet av de tre. Kimi K3.1 Pro, den bästa modellen med öppna vikter, låg ungefär 31 procentenheter efter Carbon.
The Decoder påpekar att de OpenAI-modeller som påstås nyligen ha löst krävande ekvationer som Navier–Stokes ekvationer ännu inte är allmänt tillgängliga.
Kostnaden gäller hela körningen, inte priset per token
Enligt Tbreak gäller den 15-faldiga skillnaden kostnaden för hela benchmarkkörningen på de resonemangsnivåer som användes i testet, inte priset per token. Sajten Oossa angav samma siffror som priser per tusen token, vilket strider mot Tbreaks förklaring. Fable 5.2:s körning kostade ungefär 40 gånger så mycket som körningen med GPT-6.1 Sol enligt The Decoder och ungefär 38 gånger så mycket enligt Tbreak (räknat på tabellens siffror cirka 38).
Tbreak förklarar kostnadsskillnaden med The Decoders iakttagelser om hur mycket arbete Carbon utför. Carbons vanligaste fel var att överskrida tidsgränsen, och modellen gav nästan aldrig upp. I ett fall startade den ett skript och lät det köra i mer än 11 timmar utan att kontrollera hur det fortskred. Envisheten kan ses både som en positiv och som en negativ egenskap, skriver The Decoder.
Google gjorde Carbon tillgänglig via Gemini API den 10 november. Enligt Tbreak riktar företaget modellen främst mot cybersäkerhet och långvariga uppgifter. Lanseringspriset är 2 dollar per miljon indatatoken och 10 dollar per miljon utdatatoken, uppger Yahoo, som Tbreak hänvisar till. Efter introduktionsperioden höjs priserna till 4 respektive 20 dollar.
Läs mer: Hur en agent fungerar · Modeller