AI Aulis

AI-NYHETER PÅ SVENSKA · 20 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

41 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 20 november 2026Tidningen

Gemini 4 Neon tog täten i Vals AI:s benchmark för juridisk research med 56,25 procent

AI-genererat innehållSkriven av AI

blog.google, git-aarvin.github.io, latent.space, vals.ai, artificialanalysis.ai, x.com, arXiv · 8 källor · Källornas publiceringsdatum: 30 september–19 november 2026 · Publiceringstidpunkten är okänd för vissa källor

Gemini 4 Neon svarade helt rätt på 56,25 procent av frågorna i Legal Research Bench, men försprånget till de närmaste modellerna är mindre än en procentenhet. I ett annat test av juridiskt arbete kom Neon på åttonde plats.

Vals AI uppdaterade resultaten i sitt benchmark Legal Research Bench den 18 november, och nu ligger Gemini 4 Neon överst på listan. Tvåa är Gemini 4 Carbon och trea Muse Spark 1.3 Max. Google nämner placeringen i sitt pressmeddelande om Neon, men mätningen är gjord av Vals AI.

I testet utreder en AI-agent en amerikansk rättsfråga genom att söka efter rättsfall och information på webben. Därefter skriver den ett motiverat svar. En bedömningslista som jurister har tagit fram anger de punkter som ett korrekt svar måste innehålla. Svaret godkänns bara om varje punkt är uppfylld. Bedömare är språkmodellen GPT 5.4. Den håller med majoriteten av tre experter i 87,4 procent av punkterna i bedömningslistan, uppger Vals AI. För mänskliga bedömare är samma siffra i genomsnitt 83,4 procent.

Tabellen visar att resultaten för de fem bästa modellerna skiljer sig åt med mindre än en procentenhet. Kostnaden per fråga varierar däremot mellan 0,59 och 23,06 dollar.

Modell Helt rätt Kostnad/fråga
Gemini 4 Neon 56,25 % 7,37 $
Gemini 4 Carbon 55,77 % 8,74 $
Muse Spark 1.3 Max 55,29 % 0,59 $
Claude Opus 5 55,29 % 6,76 $
Claude Fable 5.1 55,29 % 23,06 $

Källa: Vals AI, Legal Research Bench, 18 november 2026. Resultaten är beräknade på en opublicerad testuppsättning med 208 frågor.

Utifrån rangordningen går det inte att säga att Neon är bättre än de andra på juridisk research. Testuppsättningen har 208 frågor, så Neons försprång på 0,48 procentenheter mot Carbon motsvarar en fråga. Forskare vid Vals AI beskrev testet i en förhandspublicering på arXiv den 30 september. Listan i förhandspubliceringen omfattade 13 modeller, och av de tolv paren av intilliggande modeller var skillnaden statistiskt signifikant i bara två. Listan visar därför nivågrupper av modeller och inte en exakt rangordning, skriver författarna.

Vilken modell som leder varierar också mellan rättsområden. Neon ledde i frågor om hälsa, förvaltning samt konstitutionell rätt och medborgerliga rättigheter, Carbon i straffrätt och familjerätt.

I Vals AI:s andra benchmark för juridiskt arbete, HLAB-Vals-1.1, löste Neon 19,58 procent av uppgifterna helt och kom på åttonde plats. Testet bygger på Legal Agent Benchmark från företaget Harvey. Där utför agenten juristarbete utifrån tillhandahållna dokument, kalkylblad och presentationer utan internetuppkoppling. Överst ligger Gemini 4 Argon med 27,08 procent, men enligt nyhetsbrevet Latent Space har Argon redan tagits ur bruk. Samma modell kan alltså klara sig bra i juridisk informationssökning och resonemang men halka efter i dokumentarbete.

Neon finns i den betalda nivån av Gemini API. Priset är 3 dollar per miljon indatatoken och 15 dollar per miljon utdatatoken. I Gemini-appen kan prenumeranter på Google AI Pro och Ultra använda modellen.

Anmäl ett fel i artikeln