Vals AI:n lakityöindeksi: Wonder Full kärjessä, kaksi Gemini 4 -mallia lähellä
Tekoälyn kirjoittama
Vals AI:n Legal Index painottaa oikeudenaloja Yhdysvaltain asianajotoimistojen liikevaihdon mukaan, ja kolmen parhaan mallin tulokset ovat alle kahden prosenttiyksikön päässä toisistaan. Noin 77 prosentin kärkitulos ei kerro, kuinka suuri osa tehtävistä ratkesi kokonaan.
Vals AI julkaisi lakitehtäviä mittaavan Vals Legal Index -vertailun lokakuussa ja päivitti tulokset 5. marraskuuta. Kärjessä on Wonder Full 77,86 prosentilla. Sen perässä ovat Gemini 4 Argon (76,72 %) ja Gemini 4 Carbon (75,93 %). Valsin mukaan kärjen järjestys ei ole ratkennut.
Valsin tuloksia julkaiseva BenchLM-sivusto kertoo kärkimallin olevan Metan Muse Wonder Full. BenchLM ei ole ajanut testejä itse.
Painot asianajotoimistojen liikevaihdosta
Indeksi yhdistää kolme vertailutestiä. Legal Research Bench mittaa juridista tiedonhakua, HLAB-Vals-1.1 asiakirjojen laatimista ja tarkastamista ja Tax Agent Bench vero-oikeutta. HLAB perustuu Harveyn julkaisemaan Legal Agent Benchmarkiin. Vals ajaa testit sen julkaisemattomalla testijoukolla.
Painot lasketaan Census Bureaun Economic Census -tilastosta, joka kertoo, miten Yhdysvaltain asianajotoimistojen liikevaihto jakautui aloittain vuonna 2022. Liike- ja kauppaoikeuden osuus liikevaihdosta oli 37,5 prosenttia, ja sen paino indeksissä on 40,5 prosenttia. Kiinteistö-, työ- ja perintöoikeutta mittaa vain HLAB ja perheoikeutta vain tiedonhakutesti. Indeksin ulkopuolelle jää noin 7 prosenttia liikevaihdosta.
Indeksiluku ei kerro ratkaistujen tehtävien määrää
HLAB tuo indeksiin kriteerien läpäisyosuuden eli sen, kuinka suuri osa tehtävän arviointikriteereistä täyttyi. Harvey laskee tehtävän ratkaistuksi vain, jos jokainen kriteeri täyttyy. Ero on suuri: Gemini 4 Argon täytti HLAB:ssa 96,30 prosenttia kriteereistä mutta ratkaisi kokonaan 27,08 prosenttia tehtävistä. Vastaukset arvioi kaksi kielimallia, GPT 5.5 ja Claude Sonnet 4.6.
Taulukko näyttää indeksin kymmenen parasta mallia, testikohtaisen kustannuksen ja HLAB:ssa kokonaan ratkaistujen tehtävien osuuden.
| Sija | Malli | Legal Index | Kustannus/testi | HLAB: ratkaistut tehtävät |
|---|---|---|---|---|
| 1 | Wonder Full | 77,86 % | 3,72 $ | 23,33 % |
| 2 | Gemini 4 Argon | 76,72 % | 6,82 $ | 27,08 % |
| 3 | Gemini 4 Carbon | 75,93 % | 7,20 $ | 17,50 % |
| 4 | Wonder | 75,26 % | 4,32 $ | 23,75 % |
| 5 | GLM 5.3 | 74,58 % | 2,68 $ | 14,58 % |
| 6 | Qwen 3.8 Max 0902 | 73,90 % | 4,25 $ | 15,42 % |
| 7 | Inkling 2 Small | 73,89 % | 0,56 $ | 21,67 % |
| 8 | Grok 4.7 | 72,60 % | 5,82 $ | 18,33 % |
| 9 | Claude Opus 5.5 | 72,33 % | 19,94 $ | 9,17 % |
| 10 | MiMo V2.6 Pro | 72,14 % | 0,18 $ | 13,75 % |
Lähde: Vals AI, 5.11.2026. Kustannus on indeksin kolmen osatestin keskiarvo. HLAB-sarake on eri mittari kuin indeksi.
Indeksiluvusta ei voi päätellä, kuinka usein malli saa lakitehtävän kokonaan oikein. Myös järjestys riippuu mittarista: Muse Spark Open on HLAB:n ratkaistuissa tehtävissä toinen (25,00 %) mutta indeksissä 22:s.
Perheoikeus on heikoin ala
Mikään malli ei johda kaikilla oikeudenaloilla. Gemini 4 Carbon on paras perhe- ja rikosoikeudessa. Wonder Full johtaa liike- ja kauppaoikeudessa, kiinteistö- ja työoikeudessa sekä testamentti- ja perintöasioissa. Perheoikeudessa mallien keskiarvo on 21 prosenttia.
Valsin mukaan keskivirhe on suurin aloilla, joita mittaa vain tiedonhakutesti. Siinä alakohtaisia kysymyksiä on vain muutamia kymmeniä. Lisäksi indeksin keskivirheet ovat Valsin mukaan hieman liian pieniä. BenchLM muistuttaa, että indeksi mittaa mallien ja agenttien suorituksia lakitehtävissä, ei varsinaista lakityötä.
Lue lisää: Mallit