Arenas index: OpenAI:s modeller på de sju första platserna, Claude Fable 5.2 på åttonde plats
Arena har uppdaterat metoden som dess Alignment Index använder för att bedöma AI-agenters fel i användarnas sessioner. Enligt Arena ligger OpenAI:s modeller på plats 1–7 på den nya listan, och Claude Opus 5.5 föll från sjätte till 17:e plats.
Arena berättade om uppdateringen av indexet på LinkedIn den 20 november. Indexet upptäcker nu modellernas fel i större omfattning än tidigare, och bedömningarna är mer tillförlitliga, uppger Arena.
Indexet följer hur AI-agenter agerar i verkliga användares sessioner. Arena bedömer tre typer av fel. Agenten kan göra något som användaren inte har bett om eller godkänt. Den kan påstå att arbetet är klart, kontrollerat eller fungerar trots att det inte stämmer. Dessutom kan den påstå att användaren har sagt eller gjort något som hen inte har sagt eller gjort.
Tabellen visar de placeringar som Arena nämner i sin uppdatering.
| Modell | Utvecklare | Placering |
|---|---|---|
| sju modeller | OpenAI | 1–7 |
| Claude Fable 5.2 | Anthropic | 8 |
| Kimi K3.1 Pro | Moonshot AI | 9 |
| Claude Opus 5.5 | Anthropic | 17 (tidigare 6) |
Källa: Arenas LinkedIn-uppdatering 20 november 2026, uppdaterad metod.
Opus 5.5 föll i samma uppdatering där mätmetoden ändrades. Arena uppger inte om fallet beror på metoden eller på andra orsaker. Därför går placeringen inte att jämföra direkt med den gamla listan. Fable 5.2 har 78,2 poäng, enligt Arena. Uppdateringen anger varken hur poängen beräknas eller vilken skala som används.
I Arenas jämförelse av AI-labb är OpenAI etta och Anthropic tvåa. Trea är Moonshot AI, följt av Google DeepMind, Space XAI och Meta. Modeller med öppna vikter hamnar enligt Arena mestadels efter de slutna. Bäst av dem är Kimi K3.1 Pro och näst bäst Mimo-V2.6-Flash på plats 26, skriver Arena. Kimis förbättring jämfört med föregångaren är den största i indexet, uppger Arena. Mer detaljerade uppgifter finns i uppdateringens bildspel.
I kommentarerna till uppdateringen frågade Mohammed Rayan om ett fel registreras för ett enskilt arbetssteg eller bara för slutresultatet. I sin kommentar hänvisar Arena den som vill veta mer till sin blogg. Den som väljer modell kan leta efter svaret och poängberäkningen där.
Läs mer: Modeller