Det oberoende analysföretaget Artificial Analysis (AA) publicerade den 5 november resultaten för Tencents stora språkmodell Hy4. I AA:s Intelligence Index v5 fick Hy4 35 poäng, lika många som Grok 4.7 (xhigh) och en poäng färre än Claude Haiku 5.5 (max). Bland modellerna från kinesiska labb ligger bara Moonshot AI:s Kimi K3.1 Pro före, med 46 poäng.

Indexet kombinerar nio benchmarkar. Enligt AREX, en översikt sammanställd med AI, står test vars data eller svar inte är offentliga för 60 procent av vikten. Resultatet kommer dock från en enda bedömare, och indexet är AA:s egen konstruktion. På AA:s modellsida hamnar Hy4 under medianen (37) för modeller i samma prisklass.

Nära Claude Fable 5.1 i FrontierCode

FrontierCode 2.0 är ett privat benchmark från Cognition. Det poängsätter en uppgift efter om förvaltaren av kodförrådet skulle godkänna ändringen som agenten gjort. Hy4 fick 31 procent, Claude Fable 5.1 32 och Kimi K3.1 Pro 25 procent. Resultatet stämmer överens med Tencents egen uppgift.

I Terminal-Bench 4.0 uppmätte AA 37 procent, ungefär sju procentenheter lägre än de 44,4 som Tencent uppgett.

Hallucinationsgraden visar gissande

I kunskapstestet AA-Omniscience v1.1 svarade Hy4 rätt på 50 procent av frågorna och Kimi K3.1 Pro på 49 procent. Hy4:s hallucinationsgrad var dock 89 procent och Kimis 37. Enligt heise ger Hy4 ofta ett felaktigt svar när kunskapen saknas, i stället för att lämna frågan obesvarad.

Tencent uppger att hallucinationerna minskade jämfört med förhandsversionen: från 12,95 till 7,2 procent enligt pressmeddelandet och från 15,76 till 5,45 procent i ett internt sökoptimerat test enligt bloggen. Siffrorna kommer från olika test och kan inte jämföras direkt med AA:s resultat, skriver AREX.

Pris, efterfrågan och tillgänglighet

AA beräknade Hy4:s kostnad till cirka 0,78 dollar per uppgift i indexet, uppger AREX och heise. Grok 4.7, som fick samma poäng, kostade ungefär tio gånger mer, och kostnaden för Haiku 5.5, som fick en poäng mer, var ungefär hälften. På AA:s modellsida är siffran nu 1,03 dollar. Hy4 genererade 160 miljoner utdatatoken i testerna, medan medianen för jämförelsemodellerna var 72,6 miljoner, uppger sidan.

Listpriset är 0,834 dollar per miljon indatatoken och 2,501 dollar per miljon utdatatoken. Tencent Cloud ger 50 procents rabatt till årets slut, skriver heise.

Tencent meddelade den 5 november att företaget har tiodubblat inferensklustret för Hy4. Skälet var att användningen i kontorsagenten WorkBuddy ökade snabbt och att många användares användningskvot tog slut redan första dagen. Företaget höjde de kostnadsfria användningskvoterna men varnade för att begränsningar fortfarande kan förekomma vid hög belastning.

Enligt företaget ligger Hy4 på 13:e plats på Agent Arena-listan och är den bästa modellen med öppna vikter; placeringen är preliminär. AREX skriver att Arena.ai på lanseringsdagen placerade modellen på 14:e plats och uppgav att den kommer att dela förstaplatsen bland modeller med öppna vikter när vikterna publiceras. Vikterna hade inte publicerats den 5 november, trots att Tencent lovat dem inom de närmaste dagarna.

Hy4 kan användas i Tencents appar, via Tencent Clouds API och OpenRouter samt, enligt Tencents konto på X, i OpenClaw.