Basetenin mukaan sen avointen painojen bison-1 johtaa päätösmallien indeksiä 76 pisteellä
Baseten julkaisi kaksi Gemma 4:ään perustuvaa päätösmallia, jotka eivät kirjoita tekstiä vaan antavat todennäköisyyden jokaiselle vastausvaihtoehdolle. Yhtiön mukaan bison-1 sai 76 pistettä Artificial Analysisin indeksissä, mutta halvempaa groundhog-1:tä ei ole vielä pisteytetty.
Baseten julkaisi 20. marraskuuta kaksi päätösmallia. bison-1:ssä on 31 miljardia parametria. groundhog-1 on 26 miljardin parametrin MoE-malli, jossa kunkin tokenin käsittelyyn osallistuu noin 4 miljardia parametria. Molemmat on jatkokoulutettu Googlen Gemma 4 -malleista, ja niiden painot voi ladata Hugging Facesta.
Päätösmallille annetaan tilanne eli tekstiä ja halutessa kuvia sekä joukko kysymyksiä. Kysymys voi olla kyllä/ei-kysymys, valinta nimetyistä vaihtoehdoista tai taso järjestetyltä asteikolta. Malli vastaa kaikkiin kysymyksiin yhdellä syötteen läpikäynnillä ja palauttaa todennäköisyyden jokaiselle vaihtoehdolle. groundhog-1:n mallikortin esimerkissä asiakkaan viestistä tuplaveloituksesta kysytään kerralla, pyytääkö asiakas hyvitystä, mille tiimille viesti kuuluu ja kuinka kiireellinen se on.
Kalibroidun mallin todennäköisyyksiin voi luottaa: kun malli antaa vastaukselle 70 prosenttia, sen pitäisi osua oikeaan noin seitsemän kertaa kymmenestä. Brier-luku mittaa ennustettujen todennäköisyyksien ja toteutuneiden vastausten eroa, ja pienempi luku on parempi. MarkTechPost referoi Basetenin julkaisukirjoitusta ja bison-1:n mallikorttia. Sen mukaan Baseten ilmoittaa bison-1:n Brier-luvuksi 0,14 ja arvioi Liquid AI:n d1.2-ultran luvuksi 0,15. Yhtiö selittää bison-1:n hyvää kalibrointia Gemma-pohjalla ja sillä, että koulutusaineistossa on enemmän esimerkkejä, joissa tavoitteena on todennäköisyys eikä yksi oikea vastaus.
Taulukossa on MarkTechPostin vertailusta Artificial Analysis Decision Index v2.1 -indeksin pisteet, konteksti-ikkuna ja hinta.
| Malli | Indeksi v2.1 | Konteksti-ikkuna (tokenia) | Hinta / 1 milj. syötetokenia |
|---|---|---|---|
| bison-1 | 76 | 131 072 | 0,10 $ |
| groundhog-1 | ei pisteytetty | 131 072 | 0,035 $ |
| mammoth-1 (Baseten) | 71 | 16k | 0,10 $ |
| Liquid AI d1.2-ultra | 75 | 65 536 | 0,042 $ |
Lähde: MarkTechPost. Indeksipisteet ovat Basetenin ja Liquid AI:n omia ilmoituksia.
Ero d1.2-ultraan on yksi piste, ja MarkTechPost huomauttaa, että kaikki luvut ovat yhtiöiden itse ilmoittamia. Baseten odottaa groundhog-1:n yltävän mammoth-1:n tasolle, mutta indeksissä sitä ei ole vielä pisteytetty. Indeksin kuudesta osatestistä bison-1 sijoittuu heikoimmin tietoa vaativassa AA-Omniscience-Decision-testissä: 60 pistettä ja sija 11. Basetenin ilmoittamassa LongMemEval M -tuloksessa 128 000 tokenin syötteillä bison-1 sai 84,8 ja groundhog-1 77,4 pistettä.
Koulutettua pituusrajaa pidempiä pyyntöjä ei katkaista, vaan ne hylätään. MarkTechPostin mukaan järjestelmiin, jotka olettavat syötteen katkeavan huomaamatta, tarvitaan siksi pituustarkistus.
Mallit toimivat Baseten Model APIs -palvelussa samalla rajapinnalla kuin yhtiön aiemmat päätösmallit, joten vaihtoon riittää, että mallin nimeksi vaihtaa decision-models/baseten-bison-latest tai decision-models/baseten-groundhog-latest. MarkTechPostin laskelman mukaan BF16-painot vievät noin 62 ja 52 gigatavua. Basetenin muutokset on julkaistu MIT-lisenssillä ja pohjamalli Apache 2.0 -lisenssillä. MarkTechPostin palveluluettelossa Basetenin rajapinnan kontekstiksi on kuitenkin merkitty 33K, mikä ei vastaa ilmoitettua 128k:ta.
Lue lisää: Mallit