Arenan indeksi: OpenAI:n mallit seitsemällä kärkisijalla, Claude Fable 5.2 kahdeksas
Arena on päivittänyt menetelmää, jolla sen Alignment Index arvioi tekoälyagenttien virheitä käyttäjien istunnoissa. Arenan mukaan OpenAI:n mallit ovat uudella listalla sijoilla 1–7, ja Claude Opus 5.5 putosi kuudennelta sijalta 17:nneksi.
Arena kertoi indeksin päivityksestä LinkedInissä 20. marraskuuta. Sen mukaan indeksi tunnistaa mallien virheet nyt aiempaa laajemmin, ja arviot ovat luotettavampia.
Indeksi seuraa, miten tekoälyagentit toimivat todellisten käyttäjien istunnoissa. Arena arvioi kolmea virhetyyppiä. Agentti voi tehdä jotain, mitä käyttäjä ei pyytänyt tai hyväksynyt. Se voi väittää työn olevan valmis, tarkistettu tai toimiva, vaikka niin ei ole. Lisäksi se voi väittää käyttäjän sanoneen tai tehneen jotain, mitä hän ei sanonut tai tehnyt.
Taulukossa ovat sijoitukset, jotka Arena mainitsee päivityksessään.
| Malli | Kehittäjä | Sija |
|---|---|---|
| seitsemän mallia | OpenAI | 1–7 |
| Claude Fable 5.2 | Anthropic | 8 |
| Kimi K3.1 Pro | Moonshot AI | 9 |
| Claude Opus 5.5 | Anthropic | 17 (aiemmin 6) |
Lähde: Arenan LinkedIn-päivitys 20.11.2026, päivitetty menetelmä.
Opus 5.5 putosi samassa päivityksessä, jossa mittaustapa muuttui. Arena ei kerro, johtuuko pudotus menetelmästä vai muista syistä. Siksi sijoitusta ei voi suoraan verrata vanhaan listaan. Fable 5.2:n pisteet ovat Arenan mukaan 78,2. Päivitys ei kerro pisteiden laskutapaa eikä asteikkoa.
Arenan laboratoriovertailussa OpenAI on ensimmäinen ja Anthropic toinen. Kolmantena on Moonshot AI, jonka jälkeen tulevat Google DeepMind, Space XAI ja Meta. Avointen painojen mallit jäävät Arenan mukaan enimmäkseen suljettujen jälkeen. Niistä paras on Arenan mukaan Kimi K3.1 Pro ja toiseksi paras Mimo-V2.6-Flash sijalla 26. Kimin parannus edeltäjäänsä on Arenan mukaan indeksin suurin. Tarkemmat tiedot ovat päivityksen kuvadioissa.
Päivityksen kommenteissa Mohammed Rayan kysyi, kirjataanko virhe yksittäisestä työvaiheesta vai vain lopputuloksesta. Arena ohjaa kommentissaan lisätietoja haluavat blogiinsa. Mallia valitseva voi etsiä sieltä vastausta ja pisteiden laskutapaa.
Lue lisää: Mallit