Den kinesiska utvärderingsgruppen SuperCLUE publicerade den 5 november novemberresultaten i sin allmänna jämförelse. SuperCLUE utvärderar kinesiskspråkiga stora språkmodeller. Den här gången testades 19 kinesiska och utländska modeller inom fem delområden: agentkodning, matematiskt och vetenskapligt resonemang, hallucinationskontroll, exakt instruktionsföljning och lång kontext.

Två olika ordningar

SuperCLUE rangordnar modellerna efter totalpoäng, men utländska modeller och en del kinesiska saknas i den numrerade rankningen. SuperCLUE visar dem bara som jämförelse. Därför ligger Gemini och GPT överst i tabellen utan placering, medan Kimi har plats 1. SuperCLUE räknar skillnader under en poäng som oavgjorda.

Tabellen visar de åtta modeller som fick flest poäng.

Källa: SuperCLUE:s allmänna jämförelse för november 2026. Siffrorna är poäng i benchmarket.

Koreanska VIDRAFT påpekar i en analys på Hugging Face att poängen inte är felandelar och att totalpoängen inte ska räknas som ett medelvärde av delområdena. Märkningen ”öppen” är SuperCLUE:s egen klassning och inte en oberoende licensbedömning, och resultaten från ett kinesiskspråkigt test bör kontrolleras med egna uppgifter, skriver VIDRAFT.

Olika ledare inom delområdena

GPT-6.1-Sol fick högst poäng i kodning (69,23) och resonemang (76,32). Gemini-4-Argon var bäst i hallucinationskontroll (83,19) och lång kontext (95,63). I instruktionsföljning fick båda 68,97 poäng. En nyhet från sajten Kuai Keji, som återgavs av sajten AET, anger Geminis poäng i instruktionsföljning till 88,97. Siffran avviker från SuperCLUE:s tabell.

Bland de modeller som klassas som öppna fick DeepSeek-V4.1-Flash-1017 lika många poäng i kodning som Gemini (65,38). Kimi-K3.1-Pro fick fler poäng i hallucinationskontroll (67,78) än GPT (63,61). Samma modell kan få mycket olika resultat: GLM-5.3 fick 77,60 poäng i lång kontext men 17,24 i instruktionsföljning.

Utanför rankningen hamnade också VIDRAFT:s egen Darwin-180B-RSI-R3, som klassas som öppen. Den var tvåa i resonemang (73,68) men nia i totalpoäng (43,08).

Sajten Pandaily rapporterade samma dag också om SuperCLUE:s kontorsagenttest från oktober. Pandailys källor är SuperCLUE:s webbplats och en nyhet från IT Home. I testet utförde åtta kinesiska agenter uppgifter i Word, PowerPoint och Excel. ByteDances Doubao Work fick 85,33 poäng, Moonshot AI:s Kimi Work 84,57 och Tencents WorkBuddy 83,99. Pandaily påminner om att resultaten kommer från en enda arrangörs testmiljö och uppgifter.