Kiinan teknologia-alaa seuraava Pandaily kertoi 8. marraskuuta, että Huawein Ascend-laskentatiimi on sovittanut Moonshot AI:n Kimi K3.1 Pro -mallin LoRA-hienosäätöön. Pandaily nojaa Guandianin uutiseen ja kiinankieliseen tekniseen kirjoitukseen, jotka julkaistiin 6. ja 7. marraskuuta. Tiimin mukaan koulutus on validoitu Atlas 950 SuperPoD -järjestelmässä, jossa on 128 korttia.

LoRA on hienosäätötapa, jossa mallin alkuperäiset painot pidetään ennallaan ja niiden rinnalle koulutetaan pieni joukko uusia parametreja. Koulutus on eri vaihe kuin inferenssi eli valmiin mallin ajaminen. Inferenssituen Ascend ilmoitti jo päivänä, jona Moonshot julkaisi mallin painot. Pandailyn mukaan painot julkaistiin 4. marraskuuta. Asia Dailyn mukaan julkaisuilmoitus tuli varhain aamulla 5. marraskuuta Pekingin aikaa.

Kimi K3.1 Pro on avointen painojen MoE-malli, joka käsittelee tekstin lisäksi kuvia. Parametreja on noin 2,8 biljoonaa. Pandailyn mukaan reititettyjä asiantuntijaosia on 896, joista 16 aktivoituu kutakin tokenia kohden. Konteksti-ikkuna on noin miljoona tokenia.

Muistikuorma jaettiin kiihdyttimille

Pelkät BF16-muotoiset painot vievät Pandailyn mukaan noin 5,6 teratavua. Koulutuksessa muistia kuluttavat lisäksi gradientit, optimoijan tilat ja pitkien syötteiden välitulokset. Ascend jakoi FSDP2-menetelmällä kiihdyttimille parametrit, gradientit ja optimoijan tilat. Asiantuntijaosat se hajautti eri kiihdyttimille. Validoinnissa asetelma oli FSDP2 plus EP64.

Mallin huomiomekanismi eli tapa, jolla malli painottaa syötteen eri kohtia, on hybridi. Noin kolme neljäsosaa huomiolohkoista käyttää KDA-lineaarihuomiota, ja niiden rinnalla on portitettu harva huomio. Tiimi kertoo rakentaneensa KDA-huomiolle suuret yhdistetyt laskentaytimet ja käyttäneensä harvalle huomiolle yhdistettyjä AscendC-operaattoreita. Tiimi väittää niiden olevan yli kaksi kertaa nopeampia kuin aiempi, pienistä operaattoreista koottu toteutus.

Swap Core -niminen valikoiva välimuisti säilyttää valittujen matriisikertolaskujen tulokset porrastetussa HBM- ja DDR-muistissa. Ascendin mukaan se nopeutti koulutusta nykyisessä testiasetelmassa keskimäärin 15 prosenttia. Tiimi ei julkaissut absoluuttista käsittelynopeutta, eikä lukua ole vahvistettu riippumattomasti.

Häviö laski molemmissa ajoissa

Tiimi julkaisi 128 kortin ajoista häviökäyrät. Satunnaisista alkuarvoista aloitetussa koulutuksessa häviö laski yli 400 askeleessa noin 13,5:stä noin 1,7:ään. Julkaistuista painoista aloitetussa LoRA-hienosäädössä häviö laski yli 500 askeleessa noin 1,85:stä ja asettui noin 0,27:ään. Käyrät kertovat koulutuksen edenneen, mutta lähteissä ei ole testituloksia hienosäädetyn mallin laadusta.

Ascendin mukaan malli saatiin toimimaan muutamassa päivässä, koska kehitystyötä ohjasivat tekoälyagentit.

Asia Dailyn mukaan Moonshot jakaa painot Hugging Facessa omalla lisenssillään, joka säätelee kaupallista käyttöä. Yhtiö ei ole julkaissut koulutuskoodia eikä alkuperäistä koulutusaineistoa. Lähteet eivät kerro, onko Ascendin koulutustoteutus muiden saatavilla.