Artificial Analysis: Qwen4-Max fick 43 poäng, tre färre än Kimi K3.1 Pro
I Artificial Analysis mätning gick Alibabas Qwen4-Max upp nio poäng från föregångaren, och en uppgift i indexet kostar ungefär en tredjedel av föregångarens pris. I indexet ligger de västerländska frontiermodellerna fortfarande klart före, och modellen är långsammare än modeller i samma prisklass.
Den oberoende mättjänsten Artificial Analysis publicerade den 16 november sina resultat för Alibabas nya frontiermodell Qwen4-Max. Enligt heise online blev modellen allmänt tillgänglig via API samma dag.
Artificial Analysis Intelligence Index kombinerar nio tester som mäter bland annat programmering som agent, resonemang och kunskap. På högsta resonemangsnivå fick Qwen4-Max 43 poäng, nio fler än föregångaren Qwen3.8-Max. Modellen förbättrades i varje test, skriver heise.
Alibabas Qwen-team skrev samma dag i ett blogginlägg att Qwen4-Max är en MoE-modell. Modellen har 2,4 biljoner parametrar, men för varje token används bara 71 miljarder av dem. Det är en fjärdedel färre än hos föregångaren. Vid långa indata komprimerar tre lager den tidigare texten, och ett fjärde lager plockar ut det väsentliga ur den.
Nära de kinesiska toppmodellerna, efter de västerländska
Bland kinesiska modeller leder Moonshot AI:s Kimi K3.1 Pro indexet med 46 poäng. De västerländska frontiermodellerna ligger fortfarande klart före, uppger heise. Tabellen visar indexpoäng och genomsnittlig kostnad per uppgift i indexet.
| Modell | Indexpoäng | Kostnad/uppgift |
|---|---|---|
| Claude Fable 5.2 | 65 | – |
| Gemini 4 Carbon | 60 | – |
| GPT-6.1 Sol (Max) | 55 | 1,27 $ |
| Claude Sonnet 5.5 | 55 | – |
| Kimi K3.1 Pro | 46 | 3,68 $ |
| Qwen4-Max | 43 | 3,27 $ |
| Qwen3.8-Max | 34 | 10,02 $ |
Källa: Artificial Analysis enligt heise online och The Decoder; – = siffran redovisades inte.
Även om en uppgift blir billigare än med föregångaren är Qwen4-Max inte billigast: GPT-6.1 Sol får 12 poäng fler till mindre än halva kostnaden.
Billigare uppgift, men långsam körning
Besparingen har tre orsaker, skriver The Decoder. In- och utdatatoken är en fjärdedel billigare än hos föregångaren, 1,50 respektive 4,50 dollar per miljon token. Indata som läses från cachen kostar 70 procent mindre än tidigare. Dessutom förbrukar modellen färre token: enligt heise går det åt 32 procent färre indatatoken i hela indexet, och per uppgift genereras omkring 105 000 utdatatoken, jämfört med 171 000 för föregångaren. I agentuppgifter kommer 85–90 procent av kostnaderna från indata eftersom tidigare information skickas till modellen om och om igen, uppger Artificial Analysis.
På sin modellsida beskriver Artificial Analysis Qwen4-Max som påfallande långsam och mycket mångordig. En uppgift i indexet tar i genomsnitt 32,1 minuter, medan medianen för jämförelsegruppen är 13,3 minuter.
En femtedel av de juridiska uppgifterna löstes
Vals AI kör ett test som Harvey har publicerat, där modellen utför juridiskt arbete som agent med filverktyg. I Vals tabell, uppdaterad den 11 november, löste Qwen4-Max 21,25 procent av uppgifterna och kom på sjunde plats bland 39 modeller. Gemini 4 Argon ledde med 27,08 procent. Kimi K3.1 Pro löste 11,67 procent av uppgifterna och Claude Opus 5.5 9,17 procent.
Två språkmodeller bedömer svaren var för sig. Var och en räknar en uppgift som löst bara om varje bedömningskriterium är uppfyllt, och resultatet är bedömarnas medelvärde. Av de enskilda kriterierna uppfyllde Qwen4-Max 95,69 procent.
Qwen4-Max kan användas via QwenCloud-API:et och i Alibabas tjänster QwenWork, Qoder och QwenStudio. Enligt heise går den också att använda via OpenRouter och Vercel AI Gateway. Alibaba publicerar inte modellvikterna. Företaget planerar att senare släppa de mindre Qwen4-modellerna som modeller med öppna vikter, men har inte angett någon tidsplan.
Läs mer: Modeller