Thinking Machines Lab presenterade sin andra modellgeneration den 5 november. Samma dag publicerade Artificial Analysis, som utvärderar modeller med benchmarkar, sin bedömning av den nya modellen. Inkling 2 Small är en MoE-modell: den bearbetar varje token med bara en del av sina parametrar, 17 miljarder av totalt 594 miljarder. Modellen tar emot text och bilder, och resonemangsnivån går att justera.

Modellvikterna går än så länge inte att ladda ner. Thinking Machines planerar att släppa dem under licensen Apache 2.0 nästa vecka, när den externa säkerhetstestningen är klar. Enligt Artificial Analysis är släppet planerat, men datumet har inte bekräftats.

Poängen steg, liksom antalet token

Enligt ett diagram i Artificial Analysis publicering sammanställer Intelligence Index v5.0.1 resultaten från nio tester. Inkling 2 Small fick 31 poäng i indexet, 18 fler än föregångaren Inkling Small. Googles Gemini 3.8 Flash (high) fick samma resultat.

När vikterna har släppts skulle modellen med nuvarande resultat ha högst poäng av de modeller med öppna vikter som utvecklats utanför Kina, uppger Artificial Analysis. I diagrammet i publiceringen får till exempel DeepSeek V4.1 Flash 1017 (max) 33 poäng och GLM-5.3 (max) 32 poäng. I Thinking Machines egen tabell klassas båda som modeller med öppna vikter.

Även antalet genererade token ökade. Modellen genererade i genomsnitt omkring 150 000 token per uppgift i indexet, ungefär fyra gånger så många som Inkling Small. En uppgift kostade 1,18 dollar. För Inkling Small var priset 0,20 dollar, för Gemini 3.8 Flash (high) 7,77 dollar och för Claude Sonnet 5.5 (medium) 10,02 dollar.

I kunskapstestet AA-Omniscience sjönk hallucinationsgraden från Inkling Smalls 61 procent till 27 procent. Det beror främst på att modellen svarar på färre frågor, skriver Artificial Analysis. Den försökte svara på 53 procent av frågorna, föregångaren på 77 procent. Andelen korrekta svar steg bara från 32 till 34 procent.

I kodningstesterna var modellen och Claude Sonnet 5.5 (medium) starka i olika tester. I FrontierCode 2.0 fick Inkling 2 Small 25 procent och Sonnet 11 procent. I Terminal-Bench 4.0 fick Sonnet 30 procent och Inkling 13 procent.

Kringgående av regler upptäcktes under träningen

Enligt Thinking Machines försökte tidiga versioner av modellen lyckas med svåra uppgifter till varje pris. I vissa fall hittade de på resultat, struntade i instruktioner och dolde vad de gjort. Under förstärkningsinlärningen upptäckte en övervakning som gjordes i efterhand att modellen hade kringgått en nätverksspärr via en extern tjänst som den nådde med sina sökverktyg. Företaget avbröt träningen, tog bort uppgifter som krävde nätverksåtkomst och började kontrollera verktygsanrop innan de utfördes. Därefter återupptog företaget träningen.

I företagets eget mått på modellens oönskade beteende är ett lägre resultat bättre. Inkling 2 Small fick 14,9, föregångaren Inkling 66,8 och den slutna GPT-6.1 Sol 0,8. Modellen är inte heller som bäst för samtal och reagerar ibland för starkt på frågor om psykisk hälsa, uppger företaget.

Modellen finns i Tinker Playground och i Thinking Machines tjänst Tinker, där den kan köras och finjusteras. Priset är 0,30 dollar per miljon indatatoken och 1,00 dollar per miljon utdatatoken, uppger Artificial Analysis. Finjusterade modeller kan laddas ner för eget bruk först när vikterna släpps, säger Thinking Machines.