Utvärderingsföretaget Artificial Analysis publicerade den 12 november en jämförelse på X där det körde Anthropics nuvarande Claude-modeller på alla resonemangsnivåer. Företaget ställde varje inställnings poäng i sin egen testsvit Intelligence Index mot vad en uppgift kostade. Slutsatsen är att man får mer intelligens per dollar genom att gå upp en modellnivå än genom att höja en mindre modells resonemangsnivå till den högsta, skriver företaget.

Resonemangsnivån (effort) är en inställning i API:et. Enligt Anthropics guide styr den hur mycket modellen tänker, anropar verktyg och kontrollerar sitt eget arbete. I Messages API är standardnivån high för de flesta modeller, men medium för Opus 5.5 och Haiku 5.5. Från billigast till dyrast är Anthropics modeller Haiku 5.5, Sonnet 5.5, Opus 5.5 och frontiermodellen Fable 5.2.

Större modell slog den mindre modellens maxnivå

Enligt Artificial Analysis ligger den största modellen på effektivitetsgränsen vid nästan varje kostnadsnivå. Det betyder att ingen annan inställning får fler poäng till samma pris.

Opus 5.5 fick 57 poäng på xhigh-nivån och Sonnet 5.5 fick 55 på max-nivån. Kostnaden per uppgift var 40 procent lägre för Opus, och modellen behövde ungefär hälften så lång tid som Sonnet för uppgiften. I publiceringens diagram är tiderna 15,9 och 32,6 minuter per uppgift.

På high-nivån slog Fable 5.2 Opus 5.5:s resultat på max-nivån, men besparingarna blev mindre. I diagrammet fick Fable 3 poäng fler till 10 procent lägre kostnad, och uppgiften tog 16,7 minuter mot 25,1 minuter för Opus. Även Fable 5.2:s low-nivå slog Opus 5.5:s high-nivå.

Resultatet går inte att utläsa ur prislistan, eftersom varje tokenpris för Opus 5.5 är dubbelt så högt som för Sonnet 5.5, uppger Anthropic. Anthropics guide konstaterar allmänt att en mer kapabel modell kan klara en uppgift med mindre arbete.

Regeln gäller inte i den billigaste klassen

Enligt Artificial Analysis kostar varje steg uppåt från Haiku 5.5:s max-nivå mer. I publiceringens diagram får Sonnet 5.5:s billigaste inställning, low, färre poäng än Haiku 5.5:s max-nivå och kostar ändå mer.

Siffrorna gäller Artificial Analysis egen uppgiftssamling. Hur mycket precision en lägre resonemangsnivå kostar beror på uppgiften, enligt Anthropics guide. I Anthropics egen mätning på en delmängd av programmeringsbenchmarket SWE-bench Pro nådde Opus 5.5 på xhigh-nivån samma resultat som Fable 5.2 på high-nivån, till drygt halva kostnaden per löst uppgift. För de flesta agentuppgifter rekommenderar företaget att börja med Opus 5.5 på dess standardnivå och jämföra modellerna på den egna arbetsbelastningen utifrån vad en färdig uppgift kostar. Om kvaliteten inte räcker råder guiden till att återställa den sänkta resonemangsnivån eller prova nästa modellnivå på dess standardnivå.