Baidu julkaisi ERNIE 5.5 Flash -pohjamallin painot jatkokoulutusta varten
Tekoälyn kirjoittama
Baidun mukaan 280 miljardin parametrin MoE-malli voittaa samankokoiset pohjamallit useimmissa yhtiön omissa testeissä. Uutissivustojen mukaan mallin lisenssi ei salli käyttöä EU:ssa, Britanniassa eikä Etelä-Koreassa.
Baidun ERNIE-tiimi julkaisi 5. marraskuuta Hugging Facessa ERNIE-5.5-Flash-Base-mallin painot sellaisina kuin ne olivat esikoulutuksen päättyessä. Mallia ei ole hienosäädetty eikä opetettu keskustelemaan. Baidu tarjoaa sitä lähtökohdaksi omalle hienosäädölle ja vahvistusoppimisen tutkimukselle.
Koska kyse on pohjamallista, sitä käytetään tekstiä jatkavan rajapinnan kautta eikä keskustelurajapinnan. The Decoderin ja Pandailyn mukaan Baidu aikoo julkaista myöhemmin myös jälkikoulutetun version.
Miten malli säästää laskentaa
Mallissa on 280 miljardia parametria, mutta kunkin tokenin käsittelyyn osallistuu niistä 14 miljardia. Säästö perustuu MoE-rakenteeseen. Mallin 42 MoE-kerroksessa on kussakin 512 erikoistunutta osaverkkoa eli asiantuntijaa, joista malli valitsee jokaiselle tokenille kymmenen. Lisäksi käytössä on yksi kaikille tokeneille yhteinen asiantuntija. Baidun ratkaisussa valinnan tekee usea reititin yhden sijaan.
Malli tallentaa välimuistiin tietoa aiemmista tokeneista. Pitkässä tekstissä tämä vie paljon muistia. Mallin 43 kerroksesta 37 tallentaa yhden merkinnän jokaista 128 tokenia kohden, ja kuusi kerrosta säilyttää pääsyn koko kontekstin jokaiseen tokeniin.
Mallia esikoulutettiin 33,5 biljoonalla tokenilla ja enintään 128 000 tokenin kontekstilla. Baidun mukaan hienosäädössä ja inferenssissä konteksti-ikkuna voi olla miljoona tokenia, vaikka mallia ei koulutettu näin pitkällä kontekstilla.
Baidun omat vertailut
Baidu vertasi mallia DeepSeek-V4-Flash-Baseen, Tencentin Hy3-preview-Baseen ja Xiaomin MiMo-V2.5-Baseen. Yhtiö testasi kaikki mallit samalla arviointiohjelmistolla ja samoilla kehotteilla. MarkTechPostin laskun mukaan ERNIE sai parhaan tuloksen 24:ssä Baidun 30 testistä. Taulukossa on poimintoja sekä voitoista että tappioista.
| Testi | Mittari | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|---|
| MMLU-Pro | EM | 78,4 | 69,2 | 66,9 | 65,7 |
| SimpleQA | kielimalliarvioija | 34,1 | 29,1 | 25,9 | 20,8 |
| GPQA | EM | 60,2 | 55,9 | 50,2 | 51,4 |
| HumanEval+ | pass@1 | 82,3 | 69,5 | 78,0 | 74,4 |
| LiveCodeBench | pass@1 | 40,1 | 31,9 | 33,5 | 32,4 |
| LongBench-v2 | EM | 48,7 | 44,5 | 39,8 | 44,6 |
| ChineseSimpleQA | kielimalliarvioija | 73,0 | 75,3 | 73,2 | 68,8 |
| BBH, ketjupäättely | EM | 89,2 | 87,5 | 90,0 | 89,8 |
| FullStackBench | pass@1 | 54,6 | 43,3 | 56,7 | 54,1 |
| HELMET-Rerank | NDCG@10 | 56,2 | 60,0 | 55,7 | 56,6 |
| InfiniteBench | keskiarvo | 46,5 | 48,0 | 33,0 | 46,7 |
Lähde: Baidun mallikortti, yhtiön omat mittaukset. EM on täsmälleen oikeiden vastausten osuus, pass@1 ensimmäisellä yrityksellä testit läpäisevän koodin osuus.
Tulokset ovat Baidun itse ilmoittamia, ja mittarit vaihtelevat testeittäin. MarkTechPostin mukaan Baidun mittaamat kilpailijoiden luvut poikkeavat hieman valmistajien omista. Esimerkiksi DeepSeek ilmoittaa MMLU-Pro-tulokseksi 68,3, mutta Baidu mittasi 69,2.
Lisenssi rajaa käyttöä
The Decoder kutsuu mallia avoimen lähdekoodin pohjamalliksi, mutta painoihin sovelletaan Baidun omaa lisenssiä. Unite.AI:n ja MarkTechPostin mukaan lisenssin sopimusalue ei kata EU:ta, Britanniaa eikä Etelä-Koreaa. Unite.AI:n mukaan näillä alueilla mallia ei saa käyttää, muokata eikä levittää.
Unite.AI:n juttu on tekoälyn kirjoittama ja toimituksen tarkistama. Sen mukaan ei-kaupallinen käyttö on maksutonta. Jos mallia hyödyntävien tuotteiden vuositulot ovat enintään 50 miljoonaa dollaria, kaupallinen käyttö vaatii kertailmoituksen ja näkyvän ”Powered by ERNIE” -maininnan. Tätä suuremmilla tuloilla tarvitaan Baidun kirjallinen ennakkolupa. Lisenssi kieltää käyttämästä mallia tai sen tuotoksia ERNIEen liittymättömien tekoälyjärjestelmien parantamiseen.
Painot ovat Hugging Facessa ja ModelScopessa FP8- ja BF16-muodossa, ja mallikortti neuvoo ajamaan mallia SGLangilla tai vLLM:llä. MarkTechPostin mukaan Baidu ei kerro tarvittavaa GPU-mallia eikä muistin määrää. Unite.AI:n mukaan NVIDIAn ohjeessa koko mallin hienosäätöön käytetään 16 palvelinta, joissa kussakin on neljä GB300-GPU:ta.
Lue lisää: Mallit