AI Aulis

AI-UUTISET SUOMEKSI · 20.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

41 juttua · seuraava numero huomenna aamulla · Miten lehti tehdään →

← Numero 20.11.2026Lehti

Marin julkaisi 535 miljardin parametrin Mochi-mallin kaikki 57 välitallennetta

Tekoälyn tuottama sisältöTekoälyn kirjoittama

huggingface.co, x.com · 3 lähdettä · Lähteet julkaistu: 17.11.2026–19.11.2026 · osan lähteistä ajankohta ei tiedossa

Marin-hanke julkaisi Hugging Facessa Mochi 535B-A23B -mallin esikoulutuksen 57 välitallennetta, yhteensä noin 61 teratavua painoja. Mallikortin mukaan perusmallia ei ole kunnolla testattu tai arvioitu, eikä se ole valmis keskustelumalli.

Marin julkaisi 17. marraskuuta Hugging Facessa kaikki Mochin esikoulutuksen aikana tallennetut kopiot mallin painoista eli välitallenteet. Mallikortin mukaan ne kattavat koulutusaskeleet 6 000:sta 393 491:een. Jokainen on omassa haarassaan, ja päähaarassa on viimeinen tallenne.

Mochi on MoE-malli eli malli, jossa jokaista tokenia käsittelee vain osa parametreista. Tallennettuja parametreja on noin 535 miljardia. Mallikortin mukaan tokenia kohden aktiivisia parametreja on upotuskerroksia lukuun ottamatta noin 22,76 miljardia, ja nimen A23B on tämä luku pyöristettynä lähimpään miljardiin. Pieni aktiivinen luku ei kuitenkaan pienennä tallennustarvetta: yksi välitallenne vie BF16-muodossa noin 1,07 teratavua. Julkaisusta X:ssä kertoneen @dlwh:n mukaan kaikki tallenteet vievät yhteensä noin 61 teratavua, ja malli koulutettiin 18,2 biljoonalla tokenilla.

Tallenteista näkee myös koulutuksen vaiheet. Mallikortin mukaan alkuvaiheissa konteksti-ikkuna on 4K tokenia ja myöhemmin 16K. Askeleet 378 000, 384 000 ja 390 251 käyttävät 65K:n ja askeleet 390 500–393 491 262K:n ikkunaa. @dlwh:n mukaan pitkän kontekstin laajennuksesta on julkaistu 10 tallennetta.

Sebastian Raschka kirjoitti X:ssä 19. marraskuuta, että mallin tekninen raportti perustelee rakenteen osat koulutuksen vakaudella ja GPU-suoritusteholla. Hänen mukaansa latentti MoE alkoi toimia paremmin, kun latenttiesitykseen lisättiin RMSNorm-normalisointi. Muita Raschkan poimintoja ovat paikallisen ja globaalin huomion 3:1-suhde, lyhyet konvoluutiot sekä exclusive self-attention (XSA). Hänen julkaisunsa kuvan mukaan mallissa on 48 kerrosta ja 384 asiantuntijaa, joista kutakin tokenia kohden valitaan kahdeksan.

Mallikortti kuvaa Mochia tutkimusartefaktiksi, jota ei ole kunnolla testattu tai arvioitu ja joka ei välttämättä ole turvallinen. Kyse on perusmallista, joten sitä käytetään tekstin jatkamiseen eikä keskusteluun. Mukana tuleva tokenisoija on se versio, jota Hero-koulutusajon omat tekstin tuottamisen asetukset käyttävät. Koulutusajo kirjasi tokenisoijan repositorion mutta ei sen tarkkaa versiota.

Mallin ajaminen vaatii Marinin vLLM-haaran ja sen split-expert-lataajan. Viimeiset tallenteet vaativat lisäksi globaalien kerrosten kyselyskaalauksen tuen, eivätkä vanhemmat lataajat hyväksy niitä. Koko mallin numeerista vastaavuutta, tekstin tuottamista, tavallista Transformers-latausta ja ajo-ohjetta ei ole validoitu. Mallikortin mukaan lataajan tuki ei yksin todista numeerista vastaavuutta. Painot ovat Hugging Facessa nimellä open-athena/Marin-Mochi-535B-A23B, ja niiden lisenssi on OpenMDW 1.1.

Ilmoita virheestä tässä jutussa