Huaweis beräkningsteam Ascend har anpassat Moonshot AI:s modell Kimi K3.1 Pro för LoRA-finjustering. Det rapporterade Pandaily den 8 november. Pandaily bevakar Kinas teknikbransch och stöder sig på en nyhet från Guandian och en kinesiskspråkig teknisk text som publicerades den 6 och 7 november. Enligt teamet har träningen validerats på ett Atlas 950 SuperPoD-system med 128 kort.

LoRA är en finjusteringsmetod där modellens ursprungliga vikter lämnas orörda och en liten mängd nya parametrar tränas vid sidan av dem. Träning är ett annat steg än inferens, det vill säga körning av en färdig modell. Stöd för inferens meddelade Ascend redan samma dag som Moonshot publicerade modellvikterna. Enligt Pandaily publicerades vikterna den 4 november. Asia Daily uppger att beskedet om publiceringen kom tidigt på morgonen den 5 november Pekingtid.

Kimi K3.1 Pro är en MoE-modell med öppna vikter som hanterar bilder utöver text. Den har omkring 2,8 biljoner parametrar. Enligt Pandaily har modellen 896 routade experter, varav 16 aktiveras per token. Kontextfönstret är omkring en miljon token.

Minnesbelastningen fördelades på acceleratorerna

Enbart vikterna i BF16-format tar upp omkring 5,6 terabyte, skriver Pandaily. Vid träning går det dessutom åt minne till gradienter, optimerartillstånd och mellanresultat för långa indata. Med metoden FSDP2 fördelade Ascend parametrar, gradienter och optimerartillstånd på acceleratorerna. Experterna fördelade Ascend över olika acceleratorer. Vid valideringen användes konfigurationen FSDP2 plus EP64.

Modellens uppmärksamhetsmekanism, alltså hur modellen viktar olika delar av indata, är en hybrid. Omkring tre fjärdedelar av uppmärksamhetsblocken använder linjär KDA-uppmärksamhet, och vid sidan av dem finns grindad gles uppmärksamhet. Teamet uppger att det har byggt stora sammanslagna beräkningskärnor för KDA-uppmärksamheten och använt sammanslagna AscendC-operatorer för den glesa uppmärksamheten. Teamet hävdar att dessa är mer än dubbelt så snabba som den tidigare implementeringen, som var sammansatt av små operatorer.

Den selektiva cachen Swap Core lagrar resultaten av utvalda matrismultiplikationer i skiktat HBM- och DDR-minne. Enligt Ascend snabbade den upp träningen med i genomsnitt 15 procent i den nuvarande testkonfigurationen. Teamet publicerade ingen absolut bearbetningshastighet, och siffran har inte bekräftats av oberoende part.

Förlusten sjönk i båda körningarna

Teamet publicerade förlustkurvor från körningarna på 128 kort. Vid träning från slumpmässiga startvärden sjönk förlusten från omkring 13,5 till omkring 1,7 på över 400 steg. Vid LoRA-finjustering från de publicerade vikterna sjönk förlusten på över 500 steg från omkring 1,85 och planade ut vid omkring 0,27. Kurvorna visar att träningen fortskred, men källorna innehåller inga testresultat för den finjusterade modellens kvalitet.

Ascend uppger att modellen kunde fås att fungera på några dagar eftersom AI-agenter styrde utvecklingsarbetet.

Moonshot distribuerar vikterna på Hugging Face under en egen licens som reglerar kommersiell användning, uppger Asia Daily. Företaget har varken publicerat träningskoden eller de ursprungliga träningsdata. Källorna uppger inte om Ascends träningsimplementering är tillgänglig för andra.