Gemini 4 Neon tog täten i Vals AI:s benchmark för juridisk research med 56,25 procent
Gemini 4 Neon svarade helt rätt på 56,25 procent av frågorna i Legal Research Bench, men försprånget till de närmaste modellerna är mindre än en procentenhet. I ett annat test av juridiskt arbete kom Neon på åttonde plats.
Vals AI uppdaterade resultaten i sitt benchmark Legal Research Bench den 18 november, och nu ligger Gemini 4 Neon överst på listan. Tvåa är Gemini 4 Carbon och trea Muse Spark 1.3 Max. Google nämner placeringen i sitt pressmeddelande om Neon, men mätningen är gjord av Vals AI.
I testet utreder en AI-agent en amerikansk rättsfråga genom att söka efter rättsfall och information på webben. Därefter skriver den ett motiverat svar. En bedömningslista som jurister har tagit fram anger de punkter som ett korrekt svar måste innehålla. Svaret godkänns bara om varje punkt är uppfylld. Bedömare är språkmodellen GPT 5.4. Den håller med majoriteten av tre experter i 87,4 procent av punkterna i bedömningslistan, uppger Vals AI. För mänskliga bedömare är samma siffra i genomsnitt 83,4 procent.
Tabellen visar att resultaten för de fem bästa modellerna skiljer sig åt med mindre än en procentenhet. Kostnaden per fråga varierar däremot mellan 0,59 och 23,06 dollar.
| Modell | Helt rätt | Kostnad/fråga |
|---|---|---|
| Gemini 4 Neon | 56,25 % | 7,37 $ |
| Gemini 4 Carbon | 55,77 % | 8,74 $ |
| Muse Spark 1.3 Max | 55,29 % | 0,59 $ |
| Claude Opus 5 | 55,29 % | 6,76 $ |
| Claude Fable 5.1 | 55,29 % | 23,06 $ |
Källa: Vals AI, Legal Research Bench, 18 november 2026. Resultaten är beräknade på en opublicerad testuppsättning med 208 frågor.
Utifrån rangordningen går det inte att säga att Neon är bättre än de andra på juridisk research. Testuppsättningen har 208 frågor, så Neons försprång på 0,48 procentenheter mot Carbon motsvarar en fråga. Forskare vid Vals AI beskrev testet i en förhandspublicering på arXiv den 30 september. Listan i förhandspubliceringen omfattade 13 modeller, och av de tolv paren av intilliggande modeller var skillnaden statistiskt signifikant i bara två. Listan visar därför nivågrupper av modeller och inte en exakt rangordning, skriver författarna.
Vilken modell som leder varierar också mellan rättsområden. Neon ledde i frågor om hälsa, förvaltning samt konstitutionell rätt och medborgerliga rättigheter, Carbon i straffrätt och familjerätt.
I Vals AI:s andra benchmark för juridiskt arbete, HLAB-Vals-1.1, löste Neon 19,58 procent av uppgifterna helt och kom på åttonde plats. Testet bygger på Legal Agent Benchmark från företaget Harvey. Där utför agenten juristarbete utifrån tillhandahållna dokument, kalkylblad och presentationer utan internetuppkoppling. Överst ligger Gemini 4 Argon med 27,08 procent, men enligt nyhetsbrevet Latent Space har Argon redan tagits ur bruk. Samma modell kan alltså klara sig bra i juridisk informationssökning och resonemang men halka efter i dokumentarbete.
Neon finns i den betalda nivån av Gemini API. Priset är 3 dollar per miljon indatatoken och 15 dollar per miljon utdatatoken. I Gemini-appen kan prenumeranter på Google AI Pro och Ultra använda modellen.