Tencentin Hy4 flashin painot ladattavissa – vakioversio vie noin 440 gigatavua
Tencentin Hy4 flash -mallin painot voi nyt ladata omalle laitteistolle: vakioversio vie noin 440 gigatavua, vaikka tokenia kohden laskentaan osallistuu vain noin 12 mrd. parametria. Lisenssi vaatii erillisen luvan suurimmilta palveluntarjoajilta.
Pandaily kertoi 18. marraskuuta IT Homen tietoihin nojaten, että Tencent on julkaissut Hy4 flashin painot. Rajapinnan kautta malli julkistettiin kaksi päivää aiemmin. Ladattavia versioita on kolme: ohjeiden noudattamiseen hienosäädetty malli, sen FP8-muotoon kvantisoitu versio ja jatkokoulutukseen tarkoitettu esikoulutettu pohjamalli (base).
Hy4 flash on MoE-malli, joten kutakin tokenia käsittelee vain osa mallin verkoista. Tencentin GitHub-sivun mukaan token aktivoi kussakin MoE-kerroksessa 16 asiantuntijaverkkoa 512:sta sekä yhden kaikille tokeneille yhteisen verkon. Laskentaan osallistuu tokenia kohden noin 12 miljardia parametria, vaikka parametreja on kaikkiaan 220 miljardia. Yhtiön verkkosivulla kokonaismääräksi ilmoitetaan 224 miljardia.
Aktiivisten parametrien määrä kuvaa laskennan tarvetta, mutta kaikki painot on silti tallennettava. Pandailyn mukaan vakioversion painot vievät noin 440,5 gigatavua ja FP8-version noin 287,1 gigatavua. Lehden mukaan luvut eivät ole GPU-muistin vähimmäisvaatimuksia, eikä kvantisointi tee mallista kuluttajalaitteelle sopivaa. Lehti varmisti, että latauksen voi aloittaa. Painoja se ei ladannut kokonaan eikä ajanut mallia.
Tencentin käyttöönotto-ohjeissa malli ajetaan kahdeksalla GPU:lla. Pandailyn mukaan vLLM-palvelinohjelmiston ohjeessa malli käynnistetään 8 192 tokenin kontekstilla. Miljoonan tokenin konteksti-ikkuna ei siis takaa, että jokainen laitteisto pystyy käsittelemään niin pitkää kontekstia.
Pandailyn mukaan Tencent Hy License 1.0 ei ole Apache 2.0 -lisenssi. Erillinen kirjallinen lupa tarvitaan, jos mallia palveluna tarjoavan yrityksen maailmanlaajuinen liikevaihto ylittää 50 miljoonaa dollaria 12 peräkkäisen kuukauden aikana tai jos mallia käytetään tuotteessa tai palvelussa, jolla on yli 100 miljoonaa kuukausittaista käyttäjää. Lehti kuvaa Hy4 flashia avointen painojen malliksi Tencentin ehdoin.
Suorituskykyluvut ovat Tencentin omia. Yhtiön sisäisessä WorkIndex-testissä Hy4 flash sai 42,1 pistettä ja Hy4 preview 39,7. Tencentin mukaan Hy4 flashin keskimääräinen tehtäväkohtainen kustannus oli 1/13 Hy4 previewin kustannuksesta. Monimutkaisiin tehtäviin, kuten pitkiin ohjelmistokehitystehtäviin, yhtiö suosittelee kyvykkäämpää Hy4:ää.
Painot ovat ladattavissa muun muassa Hugging Facesta. Rajapinnan kautta malli maksaa 0,07 $ miljoonalta syötetokenilta ja 0,281 $ miljoonalta tuotetulta tokenilta. Tencent Cloud TokenHubissa rajapintahinnoista saa 30. marraskuuta asti 50 prosentin alennuksen.
Lue lisää: Mallit