Nous Research har eftertränat en kinesisk modell med öppna vikter i syfte att förstärka västerländska värderingar. Det skrev företaget den 6 november på sin blogg och sitt X-konto. Enligt företaget är kinesiska modeller med öppna vikter de starkaste som finns tillgängliga, men ett beteende som följer statens linje är inbyggt i modellvikterna.

Nous uppger sig ha observerat att Qwen3.8-27B vägrade svara, slingrade sig eller svarade ur Kinas kommunistiska partis perspektiv när den fick frågor om politiskt känsliga ämnen. Företaget hävdar inte att det har rättat till allt sådant beteende.

En språkmodell bedömde svaren

Nous utvärdering omfattar 803 promptar inom sju ämnesområden, till exempel yttrandefrihet, demokrati och integritet. För varje prompt hämtades partiets officiella terminologi i ämnet ur en daterad källartikel, liksom 2–4 fakta som svaret måste nämna.

Bedömare var språkmodellen Grok 4.7. Den visste inte vilken modell som hade svarat. Den markerade varje faktum som nämnt, utelämnat eller bestritt. Dessutom citerade den de passager där svaret anammade den officiella linjen. Att citera den officiella linjen för att påvisa den räknades inte som propaganda. Nous finslipade bedömningsinstruktionerna i ett försök med 25 promptar och bedömde också försöket manuellt.

Som träningsdata samlade Nous in svar från lärarmodellen Inkling vid sidan av den ursprungliga modellens egna svar. Finjusteringen gjordes med omkring 52,8 miljoner token, och modellen gick igenom materialet två gånger. Varken förstärkningsinlärning eller preferensoptimering användes.

Mindre propaganda, men Arete låg efter läraren i fakta

Tabellen visar genomsnittlig faktapoäng på en skala 0–5 och andelen svar där modellen anammade statens linje. Siffrorna kommer från Nous egen mätning, där en enda språkmodell var bedömare.

Källa: Nous Research. Genomsnitt av fem körningar. Temperaturen, inställningen som styr svarens slumpmässighet, var 0 på *-raderna och 0,6 på övriga. Resonemangsläget var av på *-raderna samt för Nemotron 3 Ultra, GLM 5.3 och DeepSeek V4.1 Flash. † Preliminärt resultat, två av fem körningar.

Med samma temperatur, 0,6, fick Arete 2,88 i faktapoäng och Qwen 2,24. Arete hade 216 svar med noll poäng, den ursprungliga modellen 359. Störst var förändringen inom yttrandefrihet: andelen svar med propaganda sjönk från 60 procent till 1 procent.

I Nous interna benchmark Hermes Bench fick Arete 65,60 procent och den ursprungliga Qwen-modellen 65,77. I Terminal-Bench-2.1 fick Arete 70 procent och Qwen 67. Nous körde testerna med egna inställningar och ser inte förbättringen som sin egen förtjänst.

Enligt Nous tolkning är den kinesiska modellens slagsida ytlig och tillförd sent. ”Värderingarna i vilken modell med öppna vikter som helst är alltid bara en finjustering bort”, skriver företaget.

Nous blogginlägg innehåller nedladdningslänkar till modellvikterna, träningsdata och utvärderingen. I utvärderingen ingår promptarna med källartiklar, bedömarens prompt och poängsättningsskripten. Med dem kan utvärderingen köras även på andra modeller.