Tencent släpper vikterna för frontiermodellen Hy4 – språkmodellstommen har 770 miljarder parametrar
Den instruktionstränade versionen av Hy4, FP8-versionen och basversionen kan nu laddas ned. Tencents egen licens kräver ett separat tillstånd för stora aktörer som erbjuder modellen till andra som en allmän tjänst, uppger Pandaily.
Den 20 november släppte Tencent tre versioner av sin frontiermodell Hy4. Hy4 är en instruktionstränad chattmodell. Hy4-FP8 är en version kvantiserad till det lättare talformatet FP8, och Hy4 base är en förtränad basmodell som inte är en chattmodell. Tencent har erbjudit Hy4 som tjänst sedan den 4 november, uppger teknikmediet Pandaily.
Enligt Tencents modellkort på Hugging Face förstår Hy4 text, bilder och video, och kontextfönstret rymmer 1 048 576 token. Språkmodellstommen har 770 miljarder parametrar, men för varje token används 49 miljarder av dem. Skillnaden beror på MoE-arkitekturen: i varje MoE-lager styrs ett token till åtta av 256 experter och till en expert som är gemensam för alla.
Även i en MoE-modell måste alla vikter i regel hållas i minnet. I modellkortets exempel för vLLM och SGLang fördelas Hy4-FP8 på åtta GPU:er. Instruktionerna visar inte att modellen skulle fungera på en vanlig bärbar dator, skriver Pandaily.
Vikternas licens är Tencent Hy License 1.0, inte Apache 2.0. Enligt Pandailys tolkning gäller licensens kommersiella tilläggsvillkor aktörer som erbjuder andra inferens eller finjustering av modellen som en allmän fjärrtjänst. En sådan aktör behöver ett separat skriftligt tillstånd om dess totala omsättning under någon period om 12 månader överstiger 50 miljoner dollar. Intäkterna behöver inte komma från Hy4. Tillstånd krävs också innan modellen används i en tjänst som under någon kalendermånad har fler än 100 miljoner månatligt aktiva användare.
Som modelltjänst räknas inte slutanvändartjänster med avgränsade funktioner, och inte heller enbart vidarebefordran av förfrågningar till en modelltjänst som någon annan driver, skriver Pandaily. Gränserna gäller alltså inte varje kommersiell användare. Undantaget för intern användning är dock snävt: det förutsätter att varken modellen, modeller som härletts ur den eller deras utdata görs tillgängliga för tredje part.
Tencent anser att Hy4 är en av de starkaste modellerna med öppna vikter. Företaget medger ändå att skillnaden mot de bästa slutna modellerna är tydlig i dess interna benchmarkar, särskilt i matematik på forskningsnivå, långa kodningsuppgifter, modellens självförbättring och krävande frågor om bilder. Pandaily laddade ned en liten del av viktfilen från vart och ett av de tre kodförråden men laddade inte ned hela modellerna och körde dem inte.
Vikterna kan laddas ned från Hugging Face, ModelScope och GitCode. Modellkortet innehåller instruktioner och färdiga containrar för vLLM och SGLang, och för testning finns även en komprimerad GGUF-version.
Läs mer: Modeller