Gemini 4 Neon nousi Vals AI:n lakitutkimustestin kärkeen 56,25 prosentilla
Gemini 4 Neon vastasi täysin oikein 56,25 prosenttiin Legal Research Benchin kysymyksistä, mutta sen etu seuraaviin malleihin on alle prosenttiyksikön. Toisessa lakityön testissä Neon jäi kahdeksanneksi.
Vals AI päivitti Legal Research Bench -vertailutestinsä tulokset 18. marraskuuta, ja Gemini 4 Neon on nyt listan kärjessä. Toisena on Gemini 4 Carbon ja kolmantena Muse Spark 1.3 Max. Google mainitsee sijoituksen Neonin julkaisutiedotteessa, mutta mittauksen on tehnyt Vals AI.
Testissä tekoälyagentti selvittää yhdysvaltalaisen oikeuskysymyksen hakemalla oikeustapauksia ja tietoa verkosta. Sen jälkeen se kirjoittaa perustellun vastauksen. Juristien laatimassa arviointilistassa on kohdat, joiden pitää löytyä oikeasta vastauksesta. Vastaus hyväksytään vain, jos jokainen kohta täyttyy. Arvioijana toimii kielimalli GPT 5.4. Vals AI:n mukaan se on samaa mieltä kolmen asiantuntijan enemmistön kanssa 87,4 prosentissa arviointilistan kohdista. Ihmisarvioijilla sama luku on keskimäärin 83,4 prosenttia.
Taulukosta näkyy, että viiden kärkimallin tulokset eroavat toisistaan alle prosenttiyksikön. Kustannukset kysymystä kohden ovat kuitenkin 0,59 ja 23,06 dollarin välillä.
| Malli | Täysin oikein | Kustannus / kysymys |
|---|---|---|
| Gemini 4 Neon | 56,25 % | 7,37 $ |
| Gemini 4 Carbon | 55,77 % | 8,74 $ |
| Muse Spark 1.3 Max | 55,29 % | 0,59 $ |
| Claude Opus 5 | 55,29 % | 6,76 $ |
| Claude Fable 5.1 | 55,29 % | 23,06 $ |
Lähde: Vals AI, Legal Research Bench 18.11.2026. Tulokset on laskettu 208 kysymyksen julkaisemattomasta testijoukosta.
Järjestyksen perusteella ei voi sanoa, että Neon olisi lakitutkimuksessa muita parempi. Testijoukossa on 208 kysymystä, joten Neonin 0,48 prosenttiyksikön etu Carboniin vastaa yhtä kysymystä. Vals AI:n tutkijat kuvasivat testin 30. syyskuuta julkaistussa arXiv-esijulkaisussa. Esijulkaisun listalla oli 13 eri mallia, ja niiden kahdestatoista vierekkäisestä parista vain kahdessa ero oli tilastollisesti merkitsevä. Tekijöiden mukaan lista kertoo siksi mallien tasoryhmistä eikä tarkasta järjestyksestä.
Kärkimalli vaihtelee myös oikeudenaloittain. Neon johti terveyttä, hallintoa sekä perustuslakia ja kansalaisoikeuksia koskevissa kysymyksissä, Carbon rikos- ja perheoikeudessa.
Vals AI:n toisessa lakityön testissä, HLAB-Vals-1.1:ssä, Neon ratkaisi kokonaan 19,58 prosenttia tehtävistä ja sijoittui kahdeksanneksi. Testi perustuu Harvey-yhtiön Legal Agent Benchmarkiin. Siinä agentti tekee ilman internetyhteyttä juristin töitä annettujen asiakirjojen, taulukoiden ja esitysten pohjalta. Kärjessä on Gemini 4 Argon 27,08 prosentilla, mutta Latent Space -uutiskirjeen mukaan Argon on jo poistettu käytöstä. Sama malli voi siis pärjätä hyvin oikeudellisessa tiedonhaussa ja päättelyssä mutta jäädä jälkeen asiakirjatyössä.
Neonia voi käyttää Gemini API:n maksullisella tasolla. Hinta on 3 dollaria miljoonalta syötetokenilta ja 15 dollaria miljoonalta tulostetokenilta. Gemini-sovelluksessa sitä voivat käyttää Google AI Pro- ja Ultra-tilaajat.
Lue lisää: Mallit