Artificial Analysisin mittaus: Claude Fable 5.2 nousi älykkyysindeksin kärkeen
Tekoälyn kirjoittama
Kaksi ulkopuolista arvioijaa sijoitti Anthropicin Claude Fable 5.2:n vertailujensa kärkeen. Suurimmalla päättelytasolla malli on kuitenkin kalleimpia ja hitaimpia, eikä se johda kaikkia testejä.
Anthropic julkaisi Claude Fable 5.2 -mallin 9. marraskuuta. Samana päivänä kaksi ulkopuolista arvioijaa, Artificial Analysis ja Epoch AI, kertoi X:ssä omista mittauksistaan. Artificial Analysisin älykkyysindeksi kokoaa yhdeksän testiä, jotka mittaavat muun muassa koodausta, tieteellistä päättelyä ja tietotyötä.
Fable 5.2 sai indeksissä 65 pistettä suurimmalla päättelytasolla (max). Päättelytaso määrää, kuinka paljon malli saa pohtia ennen vastaustaan. Fablessa tasoja on viisi. Lähimmät muut mallit olivat Gemini 4 Carbon (60) ja Claude Opus 5.5 (59).
Artificial Analysisin mukaan etumatka syntyy tieteellisestä päättelystä, tietämyksestä ja koodauksesta. Malli johti viittä testiä yhdeksästä. Artificial Analysisin mittauksissa se sai HLE-Diamond-päättelytestissä 80 prosenttia (aiempi paras 69 %), Terminal-Bench-Sciencen tutkimustehtävissä 73 prosenttia (65 %) ja ohjelmistokehitystä mittaavassa FrontierCode 2.0:ssa 49 prosenttia (46 %). Anthropicin omat tulokset kahdessa jälkimmäisessä testissä olivat lähes samat: 74,6 ja 49,1 prosenttia.
Kaikissa testeissä malli ei ollut kärjessä. Tietotyön AA-Briefcase-testissä sen 1 785 Elo-pistettä mahtuu Opus 5.5:n tuloksen (1 800) luottamusväliin. Terminal-Bench 4.0 -koodaustestissä se sai max-tasolla Opus 5.5:n tavoin 60 prosenttia ja jäi esimerkiksi Kimi K3.1 Pron (67 %) taakse.
Testeissä oli käytössä Anthropicin oletuksena tarjoama varamalli. Anthropicin mukaan Fablen turvaluokittelija estää muun muassa useimmat kyberturvallisuustehtävät. Tällöin kyselyyn vastaa vanhempi Opus-malli.
Kärkitulos on kallis ja hidas
Max-tasolla yksi indeksin tehtävä maksoi keskimäärin 26,54 dollaria. Artificial Analysisin mukaan se on noin 2,6 kertaa Opus 5.5:n ja noin kaksi kertaa Fable 5.1:n kustannus, vaikka hinta tokenia kohden laski edeltäjästä 20 prosenttia. Malli tuotti indeksin ajossa 275 miljoonaa tokenia, kun samaan hintaluokkaan kuuluvien mallien mediaani oli 72,8 miljoonaa. Tehtävään kului keskimäärin 46,4 minuuttia (mediaani 12,7).
High- ja xhigh-tasoilla Fable 5.2 sai 62 pistettä, enemmän kuin mikään muu malli millään tasolla. Artificial Analysisin mukaan kevyemmillä tasoilla se voi ohittaa Opus 5.5:n ja maksaa silti vähemmän tehtävää kohden. Taulukossa ovat indeksipisteet sekä kustannus ja aika tehtävää kohden.
| Malli ja päättelytaso | Indeksi | Kustannus/tehtävä | Aika/tehtävä |
|---|---|---|---|
| Fable 5.2, max | 65 | 26,54 $ | 46,4 min |
| Fable 5.2, xhigh | 62 | – | 26,3 min |
| Fable 5.2, high | 62 | – | 17,7 min |
| Fable 5.2, medium | 56 | – | 8,3 min |
| Fable 5.2, low | 54 | 3,10 $ | 6,5 min |
| Gemini 4 Carbon, high | 60 | – | – |
| Opus 5.5, max | 59 | 10,0 $ | – |
| Fable 5.1, max | 49 | 12,99 $ | – |
Lähde: Artificial Analysis, Intelligence Index v5.0.1. Keskiarvot indeksin tehtävää kohden; – = ei julkaistu.
Gemini 4 Carbon on mitattu high-tasolla, Opus 5.5 ja Fable 5.1 max-tasolla.
Epoch: uusi ennätys, suuri epävarmuus
Epoch AI:n mukaan Fable 5.2 nosti Epoch Capabilities Index -kykyindeksin ennätyksen 174:ään. Edellinen ennätys oli GPT-6 Astran 169. Epochin mukaan tulos ylittää sen, mitä päättelymallien kehitystrendi ennen GPT-6 Astraa olisi ennustanut. Julkaisun kuvassa tuloksen 90 prosentin epävarmuusväli kuitenkin ulottuu trendin ennustevälille. Epoch mittasi mallin ennen julkaisua vain omilla testeillään. Luku voi muuttua.
Fable 5.2 on saatavilla Anthropicin Claude Platformilla nimellä claude-fable-5-2 sekä AWS:n, Google Cloudin ja Microsoft Azuren kautta. Miljoona syötetokenia maksaa 8 dollaria ja miljoona tuotettua tokenia 40 dollaria. Anthropic suosittelee aloittamaan useimmat koodaus- ja tietotyöt Opus 5.5:llä.
Lue lisää: Mallit