Baidu publicerar modellvikterna till ERNIE 5.5 Flash Base för vidareträning
Skriven av AI
MoE-modellen med 280 miljarder parametrar slår jämnstora basmodeller i de flesta av företagets egna tester, uppger Baidu. Licensen tillåter inte användning i EU, Storbritannien eller Sydkorea, skriver nyhetssajter.
Baidus ERNIE-team publicerade den 5 november modellvikterna till ERNIE-5.5-Flash-Base på Hugging Face. Vikterna är sådana som de var när förträningen avslutades. Modellen är inte finjusterad och har inte tränats för att föra samtal. Baidu erbjuder den som utgångspunkt för egen finjustering och för forskning i förstärkningsinlärning.
Eftersom det är en basmodell används den via ett gränssnitt som fortsätter text, inte via ett chattgränssnitt. Baidu planerar att senare också släppa en eftertränad version, enligt The Decoder och Pandaily.
Hur modellen sparar beräkningskraft
Modellen har 280 miljarder parametrar, men 14 miljarder av dem deltar i bearbetningen av varje token. Besparingen bygger på MoE-arkitekturen. Vart och ett av modellens 42 MoE-lager har 512 specialiserade delnätverk, så kallade experter, och för varje token väljer modellen tio av dem. Dessutom finns en expert som är gemensam för alla token. I Baidus lösning görs valet av flera routrar i stället för en.
Modellen sparar information om tidigare token i en cache. I långa texter tar det mycket minne. Av modellens 43 lager lagrar 37 en enda post per 128 token, medan sex lager behåller åtkomst till varje token i hela kontexten.
Modellen förtränades på 33,5 biljoner token med en kontext på högst 128 000 token. Enligt Baidu kan kontextfönstret vara en miljon token vid finjustering och inferens, trots att modellen inte tränades med så lång kontext.
Baidus egna jämförelser
Baidu jämförde modellen med DeepSeek-V4-Flash-Base, Tencents Hy3-preview-Base och Xiaomis MiMo-V2.5-Base. Företaget testade alla modeller med samma utvärderingsprogramvara och samma promptar. Enligt MarkTechPosts räkning fick ERNIE bäst resultat i 24 av Baidus 30 tester. Tabellen visar ett urval av både vinster och förluster.
| Test | Mått | ERNIE 5.5 Flash Base | DeepSeek-V4-Flash-Base | Hy3-preview-Base | MiMo-V2.5-Base |
|---|---|---|---|---|---|
| MMLU-Pro | EM | 78,4 | 69,2 | 66,9 | 65,7 |
| SimpleQA | språkmodell som bedömare | 34,1 | 29,1 | 25,9 | 20,8 |
| GPQA | EM | 60,2 | 55,9 | 50,2 | 51,4 |
| HumanEval+ | pass@1 | 82,3 | 69,5 | 78,0 | 74,4 |
| LiveCodeBench | pass@1 | 40,1 | 31,9 | 33,5 | 32,4 |
| LongBench-v2 | EM | 48,7 | 44,5 | 39,8 | 44,6 |
| ChineseSimpleQA | språkmodell som bedömare | 73,0 | 75,3 | 73,2 | 68,8 |
| BBH, stegvis resonemang | EM | 89,2 | 87,5 | 90,0 | 89,8 |
| FullStackBench | pass@1 | 54,6 | 43,3 | 56,7 | 54,1 |
| HELMET-Rerank | NDCG@10 | 56,2 | 60,0 | 55,7 | 56,6 |
| InfiniteBench | medelvärde | 46,5 | 48,0 | 33,0 | 46,7 |
Källa: Baidus modellkort, företagets egna mätningar. EM är andelen helt korrekta svar, pass@1 andelen kod som klarar testerna på första försöket.
Resultaten är Baidus egna uppgifter, och måtten varierar mellan testerna. Baidus siffror för konkurrenterna avviker något från tillverkarnas egna, skriver MarkTechPost. DeepSeek uppger till exempel 68,3 för MMLU-Pro, medan Baidu mätte 69,2.
Licensen begränsar användningen
The Decoder kallar modellen en basmodell med öppen källkod, men vikterna omfattas av Baidus egen licens. Enligt Unite.AI och MarkTechPost omfattar licensens avtalsområde inte EU, Storbritannien eller Sydkorea. I dessa områden får modellen inte användas, ändras eller spridas, skriver Unite.AI.
Unite.AI:s artikel är skriven av AI och granskad av redaktionen. Enligt artikeln är icke-kommersiell användning gratis. Om produkter som använder modellen har årsintäkter på högst 50 miljoner dollar kräver kommersiell användning en engångsanmälan och en synlig märkning med ”Powered by ERNIE”. Vid högre intäkter krävs Baidus skriftliga förhandstillstånd. Licensen förbjuder att modellen eller dess utdata används för att förbättra AI-system som inte har med ERNIE att göra.
Vikterna finns på Hugging Face och ModelScope i formaten FP8 och BF16, och modellkortet rekommenderar att modellen körs med SGLang eller vLLM. Baidu anger inte vilken GPU-modell eller hur mycket minne som krävs, uppger MarkTechPost. I NVIDIAs guide finjusteras hela modellen på 16 servrar med fyra GB300-GPU:er vardera, skriver Unite.AI.
Läs mer: Modeller