Det amerikanska AI-utvärderingsföretaget Vals AI och investeringsorganisationen NextLadder Ventures publicerade den 10 november benchmarket Access to Justice. Det mäter hur väl en AI-modell kan vara första rådgivare åt en person som hanterar sitt juridiska problem utan advokat. Situationerna i testet är typiska för amerikaner med låga inkomster.

Simulerad klient och automatisk bedömare

Testets 252 situationer bygger på verkliga frågor som ställts till rättshjälpsorganisationer. Sex experter på rättshjälp anpassade dem till lagstiftningen i sex delstater och skrev i genomsnitt 15,4 bedömningskriterier för varje situation. Flest situationer gäller familjerätt (110) och boende (65).

Den testade modellen samtalade i högst fem omgångar med en klient som spelades av GPT-5 och fick söka information på webben. Klienten lämnade bakgrundsuppgifter bara när den blev tillfrågad. Den automatiska bedömaren Decider v1.2 poängsatte samtalet: resultatet är andelen uppfyllda kriterier. Ungefär en fjärdedel av kriterierna mäter om modellen tar reda på de väsentliga fakta genom att fråga.

Ingen tydlig vinnare i toppen

Tabellen visar en del av modellerna och Vals AI:s bedömning av om leverantörens gratis- eller betalversion använder modellen.

Källa: Vals AI 10 november 2026. Andel av experternas kriterier i 252 situationer, bedömare Decider v1.2. Streck: modellen ingick inte i jämförelsen mellan gratis- och betalversioner.

Skillnaderna mellan de tre bästa ligger inom felmarginalen, uppger Vals AI, så rangordningen pekar inte ut någon tydlig etta. Längre svar fick i regel fler poäng (korrelation 0,50). Qwen 3.8 Max skrev de längsta slutsvaren, i genomsnitt omkring 3 900 ord. Vals planerar att pröva en poängsättning som tar hänsyn till svarens längd.

Gratisversionernas genomsnitt var 69,7 procent och betalversionernas 70,4 procent. Grupperingen är Vals AI:s bedömning. Modellerna testades via API, så resultatet motsvarar bara ungefär användningen av en chattbottsapp. Bara hos xAI låg betalmodellen klart före: 2,4 procentenheter enligt Vals AI:s webbsida och 2,3 enligt pressmeddelandet.

Modellerna förklarar lagen, men råden om lokal hjälp blir allmänna

Av kriterierna för att förklara lagen i allmänhet uppfylldes 78–87 procent, av dem som gällde specifika hjälpkällor 30–50 procent. Exempel på sådana är ett lokalt rättshjälpsprogram och en rådgivningsdisk vid domstolen. Av modellerna nämnde 21 en nationell katalog som LawHelp.org eller 211-tjänsten i minst 70 procent av sina slutsvar. En lokal rättshjälpsorganisation är mycket mer användbar än en nationell katalog, säger Vals AI:s experter.

Av de webbsidor som modellerna läste var 10 procent rättshjälps- och rådgivningssajter och 42 procent lagar, domstolsregler och rättsfall. Enligt Vals AI:s tolkning läser modellerna tillräckligt med lag för att kunna förklara den men öppnar sällan sidor där nästa lokala steg finns.

Många frågor betydde inte att frågorna träffade rätt. GPT-6.1 Sol avslutade sitt första svar med en fråga i 88 procent av samtalen, men när det gällde att ta reda på väsentliga fakta hamnade den på 18:e plats av 23 modeller (68,1 procent).

Modellerna klarade sig bäst inom boende (75,4 procent) och sämst inom sociala förmåner (57,3 procent), där det bara fanns fem situationer.

Resultaten är Vals AI:s egen mätning: BenchLM återger tabellen utan att köra testet på nytt, och Unite.AI refererar publiceringen. Resultaten och metodbeskrivningen finns på Vals AI:s webbsida. För validering håller Vals ytterligare 252 situationer hemliga.