Artificial Analysis: kolmen parhaan päätösmallin ero uudistetussa indeksissä on yksi piste
Tekoälyn kirjoittama
Artificial Analysisin uudistettu Decision Index pisteyttää sekä oikean vastauksen että mallin varmuuden. Päätösmallien kärkikolmikon Drex Max v1.1:n, GLiDE v1.2:n ja Mammoth 27B:n ero on yksi piste, mutta niiden kustannukset eroavat moninkertaisesti.
Tekoälymalleja vertaileva Artificial Analysis julkaisi 8. marraskuuta Decision Index -vertailunsa toisen version X:ssä ja verkkosivuillaan. Ensimmäinen versio ilmestyi 13. lokakuuta.
Vertailu mittaa päätösmalleja. Ne eivät kirjoita vapaata vastausta vaan valitsevat ennalta määritellyistä vaihtoehdoista ja antavat kullekin todennäköisyyden. Yhtiön sivun esimerkissä malli ohjaa asiakkaan viestin oikealle tiimille ja arvioi yhdellä kutsulla sekä viestin kiireellisyyden että kirjoittajan tunnetilan. Yhtiön mukaan tällaiset mallit ovat halpoja ja nopeita, ja niiden kalibrointia voi mitata.
Pisteet riippuvat myös varmuudesta
Uusi päätunnusluku Decision Score palkitsee oikeasta vastauksesta ja kalibroinnista. Kalibrointi kertoo, vastaako mallin ilmoittama varmuus sen oikeiden vastausten osuutta. Oikea vastaus tuottaa 50–100 pistettä ja väärä 0–50 pistettä. Mitä varmempi malli on, sitä kauemmas 50:stä tulos siirtyy suuntaan tai toiseen.
Indeksi on kuuden testin painotettu keskiarvo. Suurin paino, 30 prosenttia, on uudella AA-Paperclip-testillä, jonka aineisto ei ole julkinen. Testissä on 1 500 asiakirjaa, kuten ansioluetteloita, kuitteja, laskuja ja tekoälyn tutkimusartikkeleita. Malli tekee kustakin asiakirjasta 15 päätöstä tai tiedon poimintaa. Asiakirja lasketaan oikeaksi vain, jos kaikki 15 ovat oikein.
Uusi AA-Symmetry-testi vaihtaa 120 kysymyksessä vaihtoehtojen järjestystä tai nimiä tai muotoilee kyllä/ei-kysymyksen kielteiseksi. Se tarkistaa, muuttaako malli silloin vastaustaan. Muut testit mittaavat tietämystä, hallusinaatioita, päättelyä, työkalukutsuja ja työpaikan asiakirjoja koskevia arvioita. Julkaisemattomien aineistojen osuus nousi 25 prosentista 45 prosenttiin. Yhtiön mukaan muutos vaikeuttaa mallien virittämistä pelkkää vertailua varten.
Kärki tasoissa, kustannuksissa moninkertaiset erot
Yhtiön mittauksessa Nace AI:n Drex Max v1.1 ja Fastino Labsin GLiDE v1.2 saivat kumpikin 73 pistettä ja Base Labsin Mammoth 27B 72 pistettä. Artificial Analysis kuvaa Drex Maxin johtoa niukaksi.
Taulukossa ovat indeksipisteet ja kustannus miljoonaa tehtävää kohden. Samoilla pisteillä kustannus voi olla moninkertainen, eikä se riipu pelkästään token-hinnasta.
| Malli | Pisteet | Kustannus / 1 milj. tehtävää |
|---|---|---|
| Drex Max v1.1 | 73 | 102 $ |
| GLiDE v1.2 | 73 | 780 $ |
| Mammoth 27B | 72 | – |
| Decider v1.2 | 70* | 68 $ |
| Clef | 60* | 859 $ |
| GPT-6 Luna (Max), kielimalli | 76 | 1 530 $ |
Artificial Analysisin mittaus, kustannukset nykyisillä token-hinnoilla. *Pisteet on luettu julkaisun kaaviokuvasta.
Yhtiön mukaan useimmat päätösmallit laskuttavat asiakirjan syötteestä kerran kaikkia sen kysymyksiä varten. Näin tekevät esimerkiksi Drex Max v1.1 ja Decider v1.2. GLiDE v1.2 ja Decider Flash v1.2 taas laskuttavat syötteen jokaisesta kysymyksestä erikseen. Siksi GLiDE maksaa lähes kahdeksan kertaa Drex Maxin verran, vaikka sen listahinnat ovat vain kolmanneksen korkeammat.
Kielimalleista Claude Haiku 5.5 (Max) ja GPT-6 Luna (Max) saivat korkeammat pisteet, 77 ja 76. GPT-6 Luna (Max) maksaa kuitenkin 15 kertaa Drex Maxin verran ja käyttää tehtävään 11,34 sekuntia, kun Drex Max tarvitsee 275 millisekuntia. Kielimalleilta laskutetaan syötteen lisäksi niiden tuottamat tokenit, päätösmalleilta vain syöte. OpenAI:n erillinen päätösmalli GPT-6 Luna (Decisions) sai kaaviokuvan mukaan 62 pistettä.
Lue lisää: Mallit