Astra for Law kärkeen LAB-AA-lakitestissä: täydet pisteet 20,8 prosentista tehtävistä
Artificial Analysisin testissä OpenAI:n lakityöhön sovitettu kokoonpano Astra for Law täytti kaikki vaatimukset ilman olennaista hallusinaatiota 20,8 prosentissa tehtävistä. Valsin vertailukelvottomassa versiossa GPT-6.2 Astra täytti 94,6 % kriteereistä mutta ratkaisi kokonaan 16,25 % tehtävistä.
OpenAI julkaisi 17. marraskuuta päivitetyn Astra for Law -kokoonpanon. Se yhdistää yhtiön uuden GPT-6.2 Astra -kärkimallin oikeudelliseen hakuindeksiin ja ohjeisiin, joiden mukaan malli tutkii kysymyksen, punnitsee oikeuslähteitä ja kirjoittaa vastauksen.
Tulos tulee Harveyn Legal Agent Benchmark -testistä, jonka Artificial Analysis ajaa omana LAB-AA-versionaan. Testissä on 120 tehtävää 24 oikeudenalalta, esimerkiksi liikehuoneiston vuokrasopimuksen tarkastus. Tehtävästä saa pisteen vain, jos vastaus täyttää jokaisen vaatimuksen eikä sisällä olennaista hallusinaatiota eli väitettä, jota lähdeasiakirjat eivät tue.
Artificial Analysisin mukaan Astra for Law sai täydet pisteet 20,8 prosentista tehtävistä ja pelkkä GPT-6.2 Astra 15,0 prosentista. Julkaisun kuvassa kolmantena on Muse Wonder Full 13,1 prosentilla, ja Claude Opus 5.5 saa 4,2 %. Kärkimallikin jäi siis vajaaksi lähes neljässä tehtävässä viidestä.
Vals AI ajaa samaa Harveyn testiä omalla toteutuksellaan, jonka tulokset eivät sen mukaan ole vertailukelpoisia LAB-AA:n kanssa. Siinä vastaukset arvioi kaksi kielimallia. GPT-6.2 Astra täytti 94,6 % yksittäisistä kriteereistä mutta ratkaisi kokonaan 16,25 % tehtävistä ja sijoittui 11:nneksi. Valsin mukaan malli voi täyttää useimmat kriteerit ja jäädä silti ilman tehtävän pistettä. Kärjessä on Gemini 4 Argon 27,08 prosentilla. Astra for Law ei ole mukana tässä Valsin vertailussa.
OpenAI kertoo lisäksi Artificial Analysisin laskeneen, että Astra for Law teki tehtävää kohden keskimäärin 0,03 olennaista hallusinaatiota ja Claude Opus 5.5 0,59. Opus 5.5:n lukema oli muiden kuin OpenAI:n mallien pienin, ja Astra for Law jakoi pienimmän lukeman GPT-6:n kanssa. Yhtiön mukaan Astra for Law tuotti tehtävää kohden noin 64 000 tokenia, kun Muse Wonder Full tuotti 139 000. Valsin oikeudellisen tiedonhaun testissä se sai OpenAI:n mukaan täydet pisteet 112 kysymyksestä 208:sta (53,8 %), kun syyskuussa osuus oli noin 46 %.
ChatGPT Enterprise -asiakkaat voivat pyytää kokoonpanoa käyttöön hallintakonsolin Trusted Access -ohjelman kautta. Jos tiimillä on jo pääsy, kokoonpano valitaan ChatGPT:ssä nimellä gpt-6.2-astra-law. API-käyttöä haetaan OpenAI:n lomakkeella. GPT-6.2 Astran API-hinta on 8 $ syötteen ja 40 $ tulosteen miljoonalta tokenilta.
Lue lisää: Mallit