Modellvikterna för Tencents Hy4 flash kan laddas ned – standardversionen tar cirka 440 gigabyte
Modellvikterna för Tencents Hy4 flash kan nu laddas ned till egen hårdvara. Standardversionen tar cirka 440 gigabyte, trots att bara cirka 12 miljarder parametrar deltar i beräkningen per token. Licensen kräver att de största tjänsteleverantörerna har ett separat tillstånd.
Tencent har släppt modellvikterna för Hy4 flash. Det rapporterade Pandaily den 18 november med hänvisning till IT Home. Modellen lanserades via API två dagar tidigare. Tre versioner kan laddas ned: en modell som finjusterats för att följa instruktioner, en FP8-kvantiserad version av den och en förtränad basmodell (base) avsedd för vidareträning.
Hy4 flash är en MoE-modell, så varje token bearbetas bara av en del av modellens nätverk. Enligt Tencents GitHub-sida aktiverar varje token 16 av 512 expertnätverk i varje MoE-lager samt ett nätverk som är gemensamt för alla token. Per token deltar cirka 12 miljarder parametrar i beräkningen, trots att modellen totalt har 220 miljarder parametrar. På företagets webbplats anges det totala antalet till 224 miljarder.
Antalet aktiva parametrar beskriver beräkningsbehovet, men alla vikter måste ändå lagras. Standardversionens vikter tar cirka 440,5 gigabyte och FP8-versionens cirka 287,1 gigabyte, uppger Pandaily. Siffrorna är inte minimikrav på GPU-minne, och kvantiseringen gör inte modellen lämplig för konsumenthårdvara, skriver tidningen. Pandaily kontrollerade att nedladdningen gick att starta. Tidningen laddade inte ned vikterna helt och körde inte modellen.
I Tencents instruktioner för driftsättning körs modellen på åtta GPU:er. I instruktionen för serverprogramvaran vLLM startas modellen med en kontext på 8 192 token, uppger Pandaily. Ett kontextfönster på en miljon token garanterar alltså inte att all hårdvara klarar så lång kontext.
Enligt Pandaily är Tencent Hy License 1.0 inte en Apache 2.0-licens. Ett separat skriftligt tillstånd krävs om ett företag som erbjuder modellen som tjänst har en global omsättning på över 50 miljoner dollar under 12 månader i följd eller om modellen används i en produkt eller tjänst med över 100 miljoner användare per månad. Tidningen beskriver Hy4 flash som en modell med öppna vikter på Tencents villkor.
Prestandasiffrorna är Tencents egna. I företagets interna test WorkIndex fick Hy4 flash 42,1 poäng och Hy4 preview 39,7. Den genomsnittliga kostnaden per uppgift för Hy4 flash var 1/13 av kostnaden för Hy4 preview, uppger Tencent. För komplexa uppgifter, som långa programutvecklingsuppgifter, rekommenderar företaget den mer kapabla Hy4.
Vikterna kan bland annat laddas ned från Hugging Face. Via API kostar modellen 0,07 dollar per miljon inmatade token och 0,281 dollar per miljon genererade token. I Tencent Cloud TokenHub ges 50 procents rabatt på API-priserna till och med den 30 november.
Läs mer: Modeller