SuperCLUEn testi: Gemini-4-Argon sai eniten pisteitä, Kimi-K3.1-Pro paras kiinalainen
Tekoälyn kirjoittama
Kiinalaisen SuperCLUEn marraskuun vertailussa eniten pisteitä saivat Googlen Gemini-4-Argon ja OpenAI:n GPT-6.1-Sol. Kiinalaisista malleista kärjessä oli Moonshot AI:n Kimi-K3.1-Pro, jonka SuperCLUE nostaa omalla sijalistallaan ykköseksi.
Kiinalainen arviointiryhmä SuperCLUE julkaisi 5. marraskuuta yleisvertailunsa marraskuun tulokset. SuperCLUE arvioi kiinankielisiä suuria kielimalleja, ja nyt se testasi 19 kiinalaista ja ulkomaista mallia viidellä osa-alueella: agenttikoodaus, matemaattinen ja tieteellinen päättely, hallusinaatioiden hallinta, ohjeiden tarkka noudattaminen ja pitkä konteksti.
Kaksi eri järjestystä
SuperCLUE järjestää mallit kokonaispisteiden mukaan, mutta sen numeroidusta sijoituksesta puuttuvat ulkomaiset mallit ja osa kiinalaisista. SuperCLUE näyttää ne vain vertailukohtana. Siksi Gemini ja GPT ovat taulukon kärjessä ilman sijanumeroa, ja Kimi on sijalla 1. SuperCLUE laskee alle yhden pisteen erot tasapeleiksi.
Taulukossa on kahdeksan eniten pisteitä saanutta mallia.
| Malli | Kehittäjä | SuperCLUEn luokitus | Sija | Kokonaispisteet |
|---|---|---|---|---|
| Gemini-4-Argon | suljettu | – | 73,62 | |
| GPT-6.1-Sol | OpenAI | suljettu | – | 71,76 |
| Kimi-K3.1-Pro | Moonshot AI | avoin | 1 | 61,46 |
| DeepSeek-V4.1-Flash-1017 | DeepSeek | avoin | 2 | 58,95 |
| GLM-5.3 | Zhipu AI | avoin | 3 | 50,66 |
| Grok-4.7 | xAI | suljettu | – | 49,66 |
| GLM-5.3-Flash | Zhipu AI | avoin | 4 | 47,18 |
| Qwen3.8-Max-0902 | Alibaba | suljettu | 5 | 43,22 |
Lähde: SuperCLUEn marraskuun 2026 yleisvertailu. Luvut ovat vertailutestin pisteitä.
Korealainen VIDRAFT huomauttaa Hugging Facessa julkaisemassaan analyysissä, että pisteet eivät ole virheosuuksia eikä kokonaispistettä pidä laskea osa-alueiden keskiarvona. VIDRAFTin mukaan avoin-merkintä on SuperCLUEn oma luokitus eikä riippumaton lisenssiarvio, ja kiinankielisen testin tulokset pitää tarkistaa omilla tehtävillä.
Osa-alueiden kärjet vaihtelevat
GPT-6.1-Sol sai parhaat pisteet koodauksessa (69,23) ja päättelyssä (76,32). Gemini-4-Argon oli paras hallusinaatioiden hallinnassa (83,19) ja pitkässä kontekstissa (95,63). Ohjeiden noudattamisessa molemmat saivat 68,97 pistettä. Kuai Keji -sivuston uutinen, jonka AET-sivusto välitti, kertoo Geminin ohjepisteiksi 88,97. Luku poikkeaa SuperCLUEn taulukosta.
Avoimiksi luokitelluista malleista DeepSeek-V4.1-Flash-1017 sai koodauksessa yhtä paljon pisteitä kuin Gemini (65,38). Kimi-K3.1-Pro sai hallusinaatioiden hallinnassa enemmän pisteitä (67,78) kuin GPT (63,61). Saman mallin tulokset voivat erota paljon: GLM-5.3 sai pitkässä kontekstissa 77,60 mutta ohjeiden noudattamisessa 17,24 pistettä.
Sijoituksen ulkopuolelle jäi myös VIDRAFTin oma avoimeksi luokiteltu Darwin-180B-RSI-R3. Se oli päättelyssä toinen (73,68) mutta kokonaispisteissä yhdeksäs (43,08).
Pandaily-sivusto kertoi samana päivänä myös SuperCLUEn lokakuun toimistoagenttitestistä. Pandailyn lähteinä ovat SuperCLUEn sivut ja IT Homen uutinen. Testissä kahdeksan kiinalaista agenttia teki Word-, PowerPoint- ja Excel-töitä. ByteDancen Doubao Work sai 85,33 pistettä, Moonshot AI:n Kimi Work 84,57 ja Tencentin WorkBuddy 83,99. Pandaily muistuttaa, että tulokset ovat yhden järjestäjän testiympäristöstä ja tehtävistä.