Artificial Analysis mätning: Claude Fable 5.2 tar förstaplatsen i Intelligence Index
Skriven av AI
Två externa utvärderare placerade Anthropics Claude Fable 5.2 i topp i sina jämförelser. På den högsta resonemangsnivån hör modellen dock till de dyraste och långsammaste, och den leder inte alla tester.
Anthropic släppte Claude Fable 5.2 den 9 november. Samma dag redovisade två externa utvärderare, Artificial Analysis och Epoch AI, sina egna mätningar på X. Artificial Analysis Intelligence Index sammanställer nio tester som bland annat mäter kodning, vetenskapligt resonemang och kunskapsarbete.
Fable 5.2 fick 65 poäng i indexet på den högsta resonemangsnivån (max). Resonemangsnivån avgör hur mycket modellen får resonera innan den svarar. Fable har fem nivåer. Närmast bland övriga modeller låg Gemini 4 Carbon (60) och Claude Opus 5.5 (59).
Försprånget kommer från vetenskapligt resonemang, kunskap och kodning, uppger Artificial Analysis. Modellen ledde fem av nio tester. I Artificial Analysis mätningar fick den 80 procent i resonemangstestet HLE-Diamond (tidigare bästa 69 procent), 73 procent på forskningsuppgifterna i Terminal-Bench-Science (65 procent) och 49 procent i FrontierCode 2.0 (46 procent), som mäter mjukvaruutveckling. Anthropics egna resultat i de två senare testerna var nästan desamma: 74,6 och 49,1 procent.
Modellen låg inte i topp i alla tester. I kunskapsarbetstestet AA-Briefcase ryms dess 1 785 Elo-poäng inom konfidensintervallet för Opus 5.5:s resultat (1 800). I kodningstestet Terminal-Bench 4.0 fick den 60 procent på max-nivån, precis som Opus 5.5, och hamnade bakom till exempel Kimi K3.1 Pro (67 procent).
Testerna kördes med den reservmodell som Anthropic erbjuder som standard. Fables säkerhetsklassificerare blockerar bland annat de flesta cybersäkerhetsuppgifter, uppger Anthropic. Då besvaras frågan av en äldre Opus-modell.
Toppresultatet är dyrt och långsamt
På max-nivån kostade en uppgift i indexet i genomsnitt 26,54 dollar. Enligt Artificial Analysis är det ungefär 2,6 gånger kostnaden för Opus 5.5 och ungefär dubbelt så mycket som för Fable 5.1, trots att priset per token sjönk med 20 procent jämfört med föregångaren. Modellen genererade 275 miljoner token under indexkörningen, medan medianen för modeller i samma prisklass var 72,8 miljoner. En uppgift tog i genomsnitt 46,4 minuter (medianen var 12,7).
Fable 5.2 fick 62 poäng på nivåerna high och xhigh, mer än någon annan modell på någon nivå. På lättare nivåer kan den gå om Opus 5.5 och ändå kosta mindre per uppgift, uppger Artificial Analysis. Tabellen visar indexpoäng samt kostnad och tid per uppgift.
| Modell och resonemangsnivå | Index | Kostnad/uppgift | Tid/uppgift |
|---|---|---|---|
| Fable 5.2, max | 65 | 26,54 $ | 46,4 min |
| Fable 5.2, xhigh | 62 | – | 26,3 min |
| Fable 5.2, high | 62 | – | 17,7 min |
| Fable 5.2, medium | 56 | – | 8,3 min |
| Fable 5.2, low | 54 | 3,10 $ | 6,5 min |
| Gemini 4 Carbon, high | 60 | – | – |
| Opus 5.5, max | 59 | 10,0 $ | – |
| Fable 5.1, max | 49 | 12,99 $ | – |
Källa: Artificial Analysis, Intelligence Index v5.0.1. Genomsnitt per uppgift i indexet; – = ej publicerat.
Gemini 4 Carbon mättes på nivån high, Opus 5.5 och Fable 5.1 på nivån max.
Epoch: Nytt rekord, stor osäkerhet
Enligt Epoch AI höjde Fable 5.2 rekordet i Epoch Capabilities Index till 174. Det tidigare rekordet var GPT-6 Astras 169. Resultatet överstiger vad utvecklingstrenden för resonemangsmodeller före GPT-6 Astra skulle ha förutsagt, skriver Epoch. I publikationens diagram når dock resultatets 90-procentiga osäkerhetsintervall in i trendens prognosintervall. Före lanseringen mätte Epoch modellen bara med sina egna tester. Siffran kan ändras.
Fable 5.2 finns på Anthropics Claude Platform under namnet claude-fable-5-2 samt via AWS, Google Cloud och Microsoft Azure. En miljon indatatoken kostar 8 dollar och en miljon genererade token 40 dollar. Anthropic rekommenderar att man börjar de flesta kodnings- och kunskapsarbetsuppgifter med Opus 5.5.
Läs mer: Modeller