AI Aulis

AI-UUTISET SUOMEKSI · 16.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

24 juttua · seuraava numero huomenna aamulla · Miten lehti tehdään →

← Numero 16.11.2026Lehti

llama.cpp:n uusi versio ajaa Inkling 2 -mallia tekstillä ja kuvilla

Tekoälyn tuottama sisältöTekoälyn kirjoittama

github.com, signalyomi.com, briefedtoday.com · 4 lähdettä · Lähteet julkaistu: 15.11.2026

llama.cpp:n esijulkaisu b12406 osaa muuntaa Thinking Machines Labin Inkling 2 -mallin GGUF-muotoon ja ajaa sitä tekstillä ja kuvilla. Muunnosta ei ole vielä testattu oikealla mallitiedostolla.

llama.cpp-projekti julkaisi version b12406 GitHubissa 15. marraskuuta. llama.cpp on ohjelma, jolla kielimalleja ajetaan omalla koneella. GGUF on sen tiedostomuoto mallin painoille. Muutoslokin mukaan uusi versio muuntaa Inkling 2:n painot GGUF-muotoon, ajaa mallia tekstillä ja lukee pysäytyskuvia. Japanilaisen Signal Yomi -sivuston ja Briefed Today -uutiskoosteen mukaan versio on GitHubissa merkitty esijulkaisuksi.

Signal Yomin mukaan Thinking Machines Labin mallikortti kertoo, että Inkling 2 ottaa vastaan tekstiä ja kuvia ja vastaa tekstillä. Sivuston mukaan yhtiö ilmoitti 12. marraskuuta, että Inkling 2 Small -mallin painot ovat ladattavissa.

Tuki rajautuu yksittäisiin kuviin. Kehittäjät poistivat videoruutujen keskiarvoistuksen sekä ensin lisäämänsä äänituen ja jättivät alfakanavan käsittelyn myöhemmäksi. Muut muutokset koskevat muun muassa CUDA-näytönohjainten flash attention -laskentaa.

Samana päivänä julkaistu versio b12413 korjaa kuvan alku- ja loppumerkkien paikan syötteessä. Signal Yomin mukaan ylläpitäjä kertoi, että ennen korjausta kuvan eteen lisättiin tyhjä tekstilohko. Nyt järjestys vastaa mallin viitepohjaa. Sivusto suosittelee kuvakokeiluihin b12413:a tai uudempaa ja huomauttaa, ettei kuvantunnistuksen tarkkuudesta tai nopeudesta ole esitetty mittaustuloksia.

Muunnin purkaa pakatut painot pieninä paloina

Inkling 2 on MoE-malli: se koostuu useista asiantuntijaverkoista, joista jokainen token käyttää vain osaa. Alkuperäisessä tiedostossa asiantuntijoiden painot on pakattu NVFP4- ja MXFP8-muotoihin, joissa luku vie vain muutaman bitin. Muunnin purkaa ne 32-bittisiksi liukuluvuiksi kerrallaan 128 riviä asiantuntijaa kohden.

Muutoslokin mukaan w13-painojen pala vie 2,25 MiB. Koko kerroksen purkaminen kerralla veisi 30,375 GiB. Kehittäjät arvioivat muistitarpeeksi noin 16 MiB painomatriisia kohden ilman ajonaikaista muistia, muita tensoreita ja käyttöjärjestelmän välimuistia.

Pakatuista synteettisistä painoista muunnetut GGUF-painot vastasivat bitilleen vLLM:llä erikseen purettuja painoja. Suorittimella lasketuissa logiteissa eli mallin seuraaville tokeneille antamissa pistearvoissa absoluuttinen virhe oli enintään 3,1e-6, ja todennäköisin seuraava token oli sama kaikissa tapauksissa. Muutoslokin mukaan oikean mallitiedoston muuntamista ei ole testattu.

Valmiit tiedostot ja muistiluvut

Signal Yomin mukaan Unsloth jakaa Hugging Facessa valmiiksi kvantisoituja GGUF-tiedostoja. Tekstiin riittää mallitiedosto. Kuviin tarvitaan lisäksi visuaalisen projektorin tiedosto, joka muuttaa kuvat mallin käsittelemään muotoon ja annetaan käynnistettäessä mmproj-valitsimella. Unslothin taulukon mukaan pienimmän kvantisoinnin, UD-IQ1_S:n, mallitiedosto on 171,7 Gt.

Sivuston mukaan Thinking Machines Labin mallikortissa virallisen NVFP4-version ajamiseen vaaditaan yhteensä vähintään 500 Gt GPU-muistia. Signal Yomi huomauttaa, että luvut mittaavat eri asioita. Kumpikaan ei kerro, paljonko muistia GGUF-mallin ajaminen llama.cpp:llä vaatii.

Valmiit käännökset macOS:lle, Linuxille, Windowsille ja Androidille ovat ladattavissa llama.cpp:n GitHub-julkaisusivulta.

Aiemmin aiheesta

Ilmoita virheestä tässä jutussa