Marin publicerade alla 57 checkpointar från Mochi med 535 miljarder parametrar
Marinprojektet har på Hugging Face publicerat 57 checkpointar från förträningen av Mochi 535B-A23B, sammanlagt cirka 61 terabyte modellvikter. Enligt modellkortet har basmodellen inte testats eller utvärderats ordentligt, och den är ingen färdig chattmodell.
Marin publicerade den 17 november på Hugging Face alla checkpointar från förträningen av Mochi. Checkpointarna är kopior av modellvikterna som sparats under träningen. Enligt modellkortet täcker de träningsstegen från 6 000 till 393 491. Varje checkpoint ligger i en egen gren, och huvudgrenen innehåller den sista.
Mochi är en MoE-modell, alltså en modell där bara en del av parametrarna bearbetar varje token. Modellen har cirka 535 miljarder lagrade parametrar. Per token är cirka 22,76 miljarder parametrar aktiva, inbäddningslagren oräknade, och A23B i namnet är det talet avrundat till närmaste miljard, uppger modellkortet. Det låga antalet aktiva parametrar minskar dock inte lagringsbehovet: en checkpoint upptar cirka 1,07 terabyte i BF16-format. Alla checkpointar upptar sammanlagt cirka 61 terabyte, och modellen tränades på 18,2 biljoner token, skriver @dlwh, som berättade om publiceringen på X.
Checkpointarna visar också träningens faser. I de tidiga faserna är kontextfönstret 4K token och senare 16K, enligt modellkortet. Stegen 378 000, 384 000 och 390 251 använder ett fönster på 65K, och stegen 390 500–393 491 ett på 262K. Från utökningen till lång kontext har 10 checkpointar publicerats, uppger @dlwh.
Sebastian Raschka skrev på X den 19 november att modellens tekniska rapport motiverar arkitekturens delar med träningsstabilitet och GPU-prestanda. Enligt honom började latent MoE fungera bättre när RMSNorm-normalisering lades till i den latenta representationen. Raschka lyfter också fram förhållandet 3:1 mellan lokal och global attention, korta faltningar och exclusive self-attention (XSA). Enligt bilden i hans inlägg har modellen 48 lager och 384 experter, varav åtta väljs för varje token.
Modellkortet beskriver Mochi som en forskningsartefakt som inte har testats eller utvärderats ordentligt och som inte nödvändigtvis är säker. Det är en basmodell, så den används för att fortsätta text, inte för chatt. Den medföljande tokeniseraren är den version som Hero-träningskörningens egna genereringsinställningar använder. Träningskörningen registrerade tokeniserarens kodförråd men inte dess exakta version.
För att köra modellen krävs Marins vLLM-gren och dess split-expert-laddare. De sista checkpointarna kräver dessutom stöd för query log scaling i de globala lagren, och äldre laddare accepterar dem inte. Numerisk överensstämmelse för hela modellen, textgenerering, vanlig inläsning med Transformers och körinstruktionen har inte validerats. Enbart stöd i laddaren bevisar inte numerisk överensstämmelse, enligt modellkortet. Vikterna finns på Hugging Face under namnet open-athena/Marin-Mochi-535B-A23B, och licensen är OpenMDW 1.1.
Läs mer: Modeller