Thinking Machines kertoi 12. marraskuuta X:ssä, että Inkling 2 Small -mallin painot ovat ladattavissa Hugging Facesta Apache 2.0 -lisenssillä. Apache 2.0 on salliva lisenssi, joka sallii myös muokkaamisen ja kaupallisen käytön.

Thinking Machinesin Mira Murati kirjoitti samana päivänä, että painot julkaistaan, kuten oli luvattu. Hän kiitti yhtiön tiimiä ja turvallisuustestauksessa mukana olleita kumppaneita, joita ei nimetty.

Mallin tekniset tiedot ja suorituskykyluvut ovat vLLM-projektin blogista. vLLM on avoimen lähdekoodin ohjelmisto, jolla suuria kielimalleja ajetaan palvelimella. Luvut ovat blogin kirjoittajien eli Thinking Machinesin ja Inferactin omia mittauksia.

Malli lukee tekstiä ja kuvia

Inkling 2 Small on MoE-malli. Sen jokaisessa 48 kerroksessa on 384 asiantuntijaverkkoa, ja kukin token käsitellään niistä kahdeksalla. Parametreja on yhteensä 594 miljardia, mutta yhden tokenin käsittelyyn käytetään 17 miljardia. Konteksti-ikkuna on enintään miljoona tokenia. Malli ottaa vastaan tekstiä ja kuvia ja tuottaa tekstiä. Edeltäjä Inkling otti vastaan myös ääntä.

Asiantuntijaverkkojen painot on tallennettu pienellä tarkkuudella: 40 ensimmäistä kerrosta 4-bittisessä NVFP4-muodossa ja kahdeksan viimeistä 8-bittisessä MXFP8-muodossa. Blogin mukaan tämän vuoksi mallia voi ajaa yhdellä palvelinsolmulla.

Mallin mukana tulee DSpark-luonnosmalli spekulatiivista dekoodausta varten. Siinä luonnosmalli ehdottaa useita tokeneita kerralla, tässä seitsemän, ja päämalli tarkistaa ne yhdellä ajolla. Hyväksymispituus kertoo, montako tokenia vaihetta kohden keskimäärin hyväksytään.

Thinking Machinesin ja Inferactin mittaukset

Neljällä GB200-GPU:lla yksi käyttäjä sai noin 630 tokenia sekunnissa, ja hyväksymispituus oli 3,5. Agenttityökuormaa mitattiin kahdeksalla GPU:lla kahdessa solmussa. Kullakin kierroksella istunnon pitkään kontekstiin lisättiin noin 3 000 uutta tokenia, ja malli tuotti 1 024 tokenia päättely päällä. Taulukko näyttää, paljonko tokeneita sekunnissa GPU:ta kohden syntyi, kun jokainen käyttäjä sai 100 tokenia sekunnissa.

Lähde: vLLM:n blogi, Thinking Machinesin ja Inferactin mittaus, DSpark ja välimuisti käytössä.

Luvut koskevat työkuormaa, jossa suurin osa kontekstista löytyi välimuistista aiemmilta kierroksilta. Blogin kirjoittajat testasivat tarkkuutta NIAH-, MMMU-Pro- ja HLE-testeillä DSpark käytössä. Heidän mukaansa tulokset vastasivat ajoja ilman spekulatiivista dekoodausta. Blogi ei kerro pisteitä, joten se ei vertaa mallin tasoa muihin malleihin.

vLLM:n blogissa on käynnistyskomento, jossa malli jaetaan kahdeksalle GPU:lle ja DSpark otetaan käyttöön. vLLM tukee mallille myös LoRA-hienosäätöjä sekä vahvistusoppimista SkyRL-ohjelmiston kautta.