Vals AI:s Legal Index: Wonder Full i topp, två Gemini 4-modeller tätt efter
Skriven av AI
Vals AI:s Legal Index viktar rättsområden efter amerikanska advokatbyråers omsättning, och de tre bästa modellerna skiljer sig åt med mindre än två procentenheter. Toppresultatet på omkring 77 procent visar inte hur stor andel av uppgifterna som löstes helt.
Vals AI publicerade i oktober Vals Legal Index, som mäter juridiska uppgifter, och uppdaterade resultaten den 5 november. Wonder Full leder med 77,86 procent. Därefter följer Gemini 4 Argon (76,72 %) och Gemini 4 Carbon (75,93 %). Enligt Vals är ordningen i toppen inte avgjord.
Webbplatsen BenchLM, som publicerar Vals resultat, uppger att den ledande modellen är Metas Muse Wonder Full. BenchLM har inte kört testerna själv.
Vikter från advokatbyråernas omsättning
Indexet kombinerar tre benchmarkar. Legal Research Bench mäter juridisk informationssökning, HLAB-Vals-1.1 upprättande och granskning av dokument och Tax Agent Bench skatterätt. HLAB bygger på Legal Agent Benchmark, som Harvey har publicerat. Vals kör testerna på benchmarkets opublicerade testmängd.
Vikterna beräknas utifrån Census Bureaus statistik Economic Census, som visar hur de amerikanska advokatbyråernas omsättning fördelades på rättsområden 2022. Affärs- och handelsrätt stod för 37,5 procent av omsättningen och väger 40,5 procent i indexet. Fastighets-, arbets- och arvsrätt mäts bara av HLAB och familjerätt bara av informationssökningstestet. Omkring 7 procent av omsättningen hamnar utanför indexet.
Indextalet visar inte hur många uppgifter som löstes
HLAB bidrar till indexet med andelen godkända kriterier, alltså hur stor del av en uppgifts bedömningskriterier som uppfylldes. Harvey räknar en uppgift som löst bara om varje kriterium är uppfyllt. Skillnaden är stor: Gemini 4 Argon uppfyllde 96,30 procent av kriterierna i HLAB men löste 27,08 procent av uppgifterna helt. Svaren bedömdes av två språkmodeller, GPT 5.5 och Claude Sonnet 4.6.
Tabellen visar indexets tio bästa modeller, kostnaden per test och andelen helt lösta uppgifter i HLAB.
| Plats | Modell | Legal Index | Kostnad/test | HLAB: lösta uppgifter |
|---|---|---|---|---|
| 1 | Wonder Full | 77,86 % | 3,72 $ | 23,33 % |
| 2 | Gemini 4 Argon | 76,72 % | 6,82 $ | 27,08 % |
| 3 | Gemini 4 Carbon | 75,93 % | 7,20 $ | 17,50 % |
| 4 | Wonder | 75,26 % | 4,32 $ | 23,75 % |
| 5 | GLM 5.3 | 74,58 % | 2,68 $ | 14,58 % |
| 6 | Qwen 3.8 Max 0902 | 73,90 % | 4,25 $ | 15,42 % |
| 7 | Inkling 2 Small | 73,89 % | 0,56 $ | 21,67 % |
| 8 | Grok 4.7 | 72,60 % | 5,82 $ | 18,33 % |
| 9 | Claude Opus 5.5 | 72,33 % | 19,94 $ | 9,17 % |
| 10 | MiMo V2.6 Pro | 72,14 % | 0,18 $ | 13,75 % |
Källa: Vals AI, 5 november 2026. Kostnaden är medelvärdet för indexets tre deltest. HLAB-kolumnen är ett annat mått än indexet.
Av indextalet går det inte att utläsa hur ofta en modell får en juridisk uppgift helt rätt. Även ordningen beror på måttet: Muse Spark Open är tvåa bland lösta uppgifter i HLAB (25,00 %) men 22:a i indexet.
Familjerätt är det svagaste området
Ingen modell leder inom alla rättsområden. Gemini 4 Carbon är bäst i familje- och straffrätt. Wonder Full leder i affärs- och handelsrätt, fastighets- och arbetsrätt samt testaments- och arvsfrågor. I familjerätt är modellernas medelvärde 21 procent.
Enligt Vals är standardfelet störst inom de områden som bara mäts av informationssökningstestet. Där finns bara några tiotal frågor per område. Dessutom är indexets standardfel något för små, uppger Vals. BenchLM påpekar att indexet mäter modellers och agenters prestationer på juridiska uppgifter, inte faktiskt juridiskt arbete.
Läs mer: Hur en agent fungerar · Agentkarta