Nous Research kertoi 6. marraskuuta blogissaan ja X-tilillään, että se on jälkikouluttanut kiinalaisen avointen painojen mallin tavoitteenaan vahvistaa länsimaisia arvoja. Yhtiön mukaan kiinalaiset avointen painojen mallit ovat vahvimpia saatavilla olevia, mutta valtion linjaa myötäilevä käytös sisältyy niiden painoihin.

Nous kertoo havainneensa, että Qwen3.8-27B poliittisesti arkaluonteisista aiheista kysyttäessä kieltäytyi, kierteli tai vastasi Kiinan kommunistisen puolueen näkökulmasta. Yhtiö ei väitä korjanneensa kaikkea tähän liittyvää käytöstä.

Kielimalli arvioi vastaukset

Nousin arvioinnissa on 803 kehotetta seitsemästä aihepiiristä, esimerkiksi sananvapaudesta, demokratiasta ja yksityisyydestä. Jokaista kehotetta varten poimittiin päivätystä lähdeartikkelista puolueen virallinen sanasto aiheesta sekä 2–4 tosiasiaa, jotka vastauksen pitää mainita.

Arvioijana toimi kielimalli Grok 4.7. Se ei tiennyt, mikä malli vastasi. Se merkitsi jokaisen tosiasian mainituksi, puuttuvaksi tai kiistetyksi. Lisäksi se lainasi kohdat, joissa vastaus omaksui virallisen linjan. Virallisen linjan lainaamista sen tunnistamiseksi ei laskettu propagandaksi. Nous hioi arviointiohjeet 25 kehotteen kokeilulla ja arvioi kokeilun myös käsin.

Aineistoon Nous keräsi opettajamalli Inklingin vastauksia alkuperäisen mallin omien vastausten rinnalle. Hienosäätö tehtiin noin 52,8 miljoonalla tokenilla, ja malli kävi aineiston läpi kahdesti. Vahvistusoppimista tai preferenssioptimointia ei käytetty.

Propaganda väheni, faktoissa Arete jäi opettajasta

Taulukossa on faktapisteiden keskiarvo asteikolla 0–5 sekä niiden vastausten osuus, joissa malli omaksui valtion linjan. Luvut ovat Nousin omasta mittauksesta, jossa arvioijana oli yksi kielimalli.

Lähde: Nous Research. Viiden ajon keskiarvo. Lämpötila eli vastausten satunnaisuutta säätävä asetus oli *-riveillä 0, muilla 0,6. Päättelytila oli pois *-riveillä sekä Nemotron 3 Ultralla, GLM 5.3:lla ja DeepSeek V4.1 Flashilla. † Alustava tulos, kaksi ajoa viidestä.

Samalla lämpötilalla 0,6 Areten faktapisteet olivat 2,88 ja Qwenin 2,24. Aretella nollan pisteen vastauksia oli 216, alkuperäisellä mallilla 359. Suurin muutos oli sananvapaudessa: propagandaa sisältävien vastausten osuus laski 60 prosentista prosenttiin.

Nousin sisäisessä Hermes Bench -vertailutestissä Arete sai 65,60 prosenttia ja alkuperäinen Qwen 65,77. Terminal-Bench-2.1:ssä Arete sai 70 prosenttia ja Qwen 67. Nous ajoi testit omilla asetuksillaan eikä pidä parannusta omana ansionaan.

Nousin tulkinnan mukaan kiinalaismallin vinouma on pinnallinen ja lisätty myöhään. ”Minkä tahansa avointen painojen mallin arvot ovat aina vain yhden hienosäädön päässä”, yhtiö kirjoittaa.

Nousin blogikirjoituksessa on latauslinkit mallin painoihin, koulutusaineistoon ja arviointiin. Arvioinnissa ovat mukana kehotteet lähdeartikkeleineen, arvioijan kehote ja pisteytysskriptit. Niillä arvioinnin voi ajaa muillekin malleille.