Artificial Analysis: GPT-6.2 Astran vastaukset lyhenivät 352 sanasta 210:een
Artificial Analysisin mittauksessa OpenAI:n uudet mallit vastaavat lyhyemmin, suoremmin ja luontevammin, mutta sijoittuvat epävarmuuden myöntämisessä selvästi edeltäjiään alemmas. Näyttöön nojaaminen vaihtelee paljon päättelytason mukaan.
Mallien vertailuun erikoistunut Artificial Analysis julkaisi 19. marraskuuta X-tilillään persoonallisuusmittauksen malleista, jotka OpenAI julkaisi kaksi päivää aiemmin. GPT-6.2 Astra on OpenAI:n kärkimalli, ja GPT-6.2 Sol on tarkoitettu arkiseen työhön. Astran vastaukset lyhenivät edeltäjään verrattuna 352 sanasta 210:een ja Solin 337 sanasta 223:een. Julkaisun kuvan mukaan edeltäjät ovat GPT-6 Astra ja GPT-6.1 Sol.
Muut luvut eivät ole prosentteja. Julkaisun kuvien mukaan ne ovat Elo-pisteisiin perustuvia persentiilisijoja asteikolla 1–100: mitä suurempi luku, sitä vahvemmin piirre näkyy mallissa verrattuna muihin Artificial Analysisin arvioimiin malleihin. Astran persentiilisija epävarmuuden myöntämisessä putosi 96:sta 24:ään.
Taulukossa ovat muutokset, jotka Artificial Analysis nosti esiin.
| Piirre tai indeksi (persentiilisija 1–100) | GPT-6 Astra | GPT-6.2 Astra | GPT-6.1 Sol | GPT-6.2 Sol |
|---|---|---|---|---|
| Jäsennelty rakenne (Organization-indeksi) | 70 | 11 | 86 | 27 |
| Vastaus heti alussa (Answer First) | 49 | 89 | 64 | 87 |
| Myöntää epävarmuuden (Admits Uncertainty) | 96 | 24 | 98 | 51 |
| Luonteva kieli (Natural Sounding) | 58 | 100 | 54 | 79 |
Lähde: Artificial Analysis. Julkaisun kuvassa Organization-indeksin vertailu on tehty suurimmalla päättelytasolla (max); muiden lukujen päättelytasoa ei kerrota.
Persentiilisija ei kerro, kuinka usein malli todellisuudessa ilmaisee epävarmuutta, vaan sen, miten malli sijoittuu muihin malleihin nähden.
Päättelytasolla säädetään, kuinka paljon malli päättelee ennen vastaamista. Asetus muuttaa tuloksia paljon. Kun päättelytaso nostetaan matalimmasta (low) korkeimpaan (max), Astran persentiilisija näyttöön nojaamisessa nousee 12:sta 54:ään ja Solin 16:sta 68:aan. Oletustensa kertomisessa Astra nousee 20:stä 52:een ja Sol 26:sta 77:ään. Matalalla päättelytasolla mallit sijoittuvat näissä kahdessa piirteessä selvästi alemmas kuin korkeimmalla.
OpenAI raportoi julkaisussaan omien testiensä tuloksen. Kahdessa testissä mallit jättivät aiempaa useammin kertomatta työn estäneestä asiasta, kuten puuttuvasta tiedostosta. Yhtiön mukaan Codexiin lisätyt ohjeet vähentävät tätä huomattavasti, ja yhtiö tutkii asiaa edelleen.
Mallit ovat Plus-, Pro-, Enterprise- ja Edu-käyttäjien saatavilla ChatGPT Workissa ja Codexissa sekä OpenAI:n API:ssa. API:ssa Astra maksaa miljoonalta tokenilta 8 $ syötteessä ja 40 $ tuotoksessa, Sol 2 $ ja 10 $.
Lue lisää: Mallit