Arviointiyhtiö Artificial Analysis julkaisi 12. marraskuuta X:ssä vertailun, jossa se ajoi Anthropicin nykyiset Claude-mallit kaikilla päättelytasoilla. Se vertasi kunkin asetuksen pisteitä omassa Intelligence Index -testistössään siihen, mitä yksi tehtävä maksoi. Yhtiön johtopäätös on, että nostamalla mallitasoa saa dollaria kohden enemmän älykkyyttä kuin nostamalla pienemmän mallin päättelytason suurimmilleen.

Päättelytaso (effort) on rajapinnan asetus. Anthropicin ohjeen mukaan se määrää, kuinka paljon malli ajattelee, kutsuu työkaluja ja tarkistaa omaa työtään. Messages API:ssa oletustaso on useimmissa malleissa high, mutta Opus 5.5:ssä ja Haiku 5.5:ssä medium. Halvimmasta kalleimpaan Anthropicin mallit ovat Haiku 5.5, Sonnet 5.5, Opus 5.5 ja kärkimalli Fable 5.2.

Isompi malli ohitti pienemmän maksimitason

Artificial Analysisin mukaan suurin malli on lähes jokaisella kustannustasolla tehokkuusrajalla. Se tarkoittaa, ettei mikään muu asetus saa samalla hinnalla enemmän pisteitä.

Opus 5.5 sai xhigh-tasolla 57 pistettä ja Sonnet 5.5 max-tasolla 55. Opusin tehtäväkohtainen kustannus oli 40 % pienempi, ja se käytti tehtävään noin puolet Sonnetin ajasta. Julkaisun kuvassa ajat ovat 15,9 ja 32,6 minuuttia tehtävää kohden.

Fable 5.2 ohitti high-tasolla Opus 5.5:n max-tason tuloksen, mutta säästöt jäivät pienemmiksi. Kuvan mukaan Fable sai 3 pistettä enemmän 10 % pienemmällä kustannuksella, ja tehtävä vei 16,7 minuuttia, kun Opusilta kului 25,1 minuuttia. Myös Fable 5.2:n low-taso ohitti Opus 5.5:n high-tason.

Hinnastosta tulosta ei voi päätellä, sillä Anthropicin mukaan jokainen Opus 5.5:n tokenhinta on kaksinkertainen Sonnet 5.5:n hintaan verrattuna. Anthropicin ohjeessa todetaan yleisesti, että kyvykkäämpi malli voi suoriutua tehtävästä vähemmällä työllä.

Halvimmassa luokassa sääntö ei päde

Artificial Analysisin mukaan Haiku 5.5:n max-tasolta jokainen askel ylöspäin maksaa enemmän. Julkaisun kuvassa Sonnet 5.5:n halvin asetus low saa vähemmän pisteitä kuin Haiku 5.5:n max-taso ja maksaa silti enemmän.

Luvut koskevat Artificial Analysisin omaa tehtäväkokoelmaa. Anthropicin ohjeen mukaan se, kuinka paljon tarkkuutta matalampi päättelytaso vie, riippuu tehtävästä. Anthropicin omassa mittauksessa SWE-bench Pro -ohjelmointitestin osajoukolla Opus 5.5 pääsi xhigh-tasolla Fable 5.2:n high-tason tulokseen hieman yli puolella kustannuksella ratkaistua tehtävää kohden. Yhtiö suosittelee useimpiin agenttitehtäviin aloittamaan Opus 5.5:stä sen oletustasolla ja vertaamaan malleja omalla työkuormalla sen mukaan, mitä valmis tehtävä maksaa. Jos laatu ei riitä, ohje neuvoo palauttamaan lasketun päättelytason tai kokeilemaan seuraavaa mallitasoa sen oletustasolla.