Riippumaton arviointiyhtiö Artificial Analysis (AA) julkaisi Tencentin suuren kielimallin Hy4:n tulokset 5. marraskuuta. Hy4 sai AA:n Intelligence Index v5 -indeksissä 35 pistettä, saman verran kuin Grok 4.7 (xhigh) ja pisteen vähemmän kuin Claude Haiku 5.5 (max). Kiinalaislaboratorioiden malleista edellä on vain Moonshot AI:n Kimi K3.1 Pro 46 pisteellä.

Indeksi yhdistää yhdeksän vertailutestiä. Tekoälyllä kootun AREX-katsauksen mukaan 60 prosenttia painosta on testeillä, joiden aineisto tai vastaukset eivät ole julkisia. Tulos on kuitenkin yhden arvioijan, ja indeksi on AA:n oma rakennelma. AA:n mallisivulla Hy4 jää samaan hintaluokkaan kuuluvien mallien mediaanin (37) alle.

FrontierCodessa lähellä Claude Fable 5.1:tä

FrontierCode 2.0 on Cognitionin yksityinen vertailutesti. Se pisteyttää tehtävän sen mukaan, hyväksyisikö repositorion ylläpitäjä agentin tekemän muutoksen. Hy4 sai 31 prosenttia, Claude Fable 5.1 32 ja Kimi K3.1 Pro 25 prosenttia. Tulos vastaa Tencentin omaa ilmoitusta.

Terminal-Bench 4.0:ssa AA mittasi 37 prosenttia, noin seitsemän prosenttiyksikköä vähemmän kuin Tencentin ilmoittama 44,4.

Hallusinaatioaste kertoo arvaamisesta

AA-Omniscience v1.1 -tietotestissä Hy4 vastasi oikein 50 prosenttiin kysymyksistä ja Kimi K3.1 Pro 49 prosenttiin. Hy4:n hallusinaatioaste oli kuitenkin 89 ja Kimin 37 prosenttia. Heisen mukaan Hy4 antaa tiedon puuttuessa usein väärän vastauksen eikä jätä kysymystä vastaamatta.

Tencentin mukaan hallusinaatiot vähenivät esiversiosta: tiedotteen mukaan 12,95:stä 7,2 prosenttiin ja blogin mukaan hakuun optimoidussa sisäisessä testissä 15,76:sta 5,45 prosenttiin. AREXin mukaan luvut ovat eri testeistä, eikä niitä voi suoraan verrata AA:n tulokseen.

Hinta, kysyntä ja saatavuus

AREXin ja heisen mukaan AA laski Hy4:n kustannukseksi noin 0,78 dollaria indeksin tehtävää kohden. Samat pisteet saanut Grok 4.7 maksoi noin kymmenen kertaa enemmän, ja pistettä paremman Haiku 5.5:n kustannus oli noin puolet. AA:n mallisivulla luku on nyt 1,03 dollaria. Sivun mukaan Hy4 tuotti testeissä 160 miljoonaa tulostokenia, kun vertailumallien mediaani oli 72,6 miljoonaa.

Listahinta on 0,834 dollaria miljoonalta syötetokenilta ja 2,501 dollaria miljoonalta tulostokenilta. Heisen mukaan Tencent Cloud antaa 50 prosentin alennuksen vuoden loppuun asti.

Tencent kertoi 5. marraskuuta kasvattaneensa Hy4:n inferenssiklusterin kymmenkertaiseksi, koska käyttö WorkBuddy-toimistoagentissa kasvoi nopeasti ja monien käyttäjien käyttökiintiö täyttyi ensimmäisenä päivänä. Yhtiö nosti ilmaisia käyttökiintiöitä mutta varoitti, että ruuhka-aikoina rajoituksia voi yhä tulla.

Yhtiön mukaan Hy4 on Agent Arena -listalla 13:s ja paras avointen painojen malli; listaus on alustava. AREXin mukaan Arena.ai sijoitti mallin julkaisupäivänä 14:nneksi ja kertoi sen jakavan avointen painojen mallien kärkisijan, kun painot julkaistaan. Painoja ei ollut 5. marraskuuta julkaistu, vaikka Tencent lupasi ne lähipäiviksi.

Hy4:ää voi käyttää Tencentin sovelluksissa, Tencent Cloudin rajapinnan ja OpenRouterin kautta sekä Tencentin X-tilin mukaan OpenClaw’ssa.