Will DePue julkaisi Unemployment Labs -sivustolla 12. marraskuuta selvityksen, joka perustuu pelkästään mallien julkaistuihin painoihin. Blackwell-jälki näkyy selvityksen mukaan DeepSeek-V4-Flashissa ja -V4-Prossa, Moonshot AI:n Kimi K3:ssa ja K3.1-Prossa, MiniMax-M3:ssa ja Ant Groupin Ling-3.1-flashissa. Samojen yhtiöiden aiempien mallien jälki sopii Nvidian vanhempaan Hopper-sukupolveen. CellCogin mukaan DePue kertoo X-profiilissaan työskennelleensä aiemmin OpenAI:lla.

Miten siru jättää jäljen

Ennen koulutusta mallin painot täytetään satunnaisluvuilla, jotka generaattori tuottaa toistettavasti siemenluvusta. PyTorch jakaa työn GPU:n säikeille. Säikeiden määrä riippuu sirun laskentayksiköiden eli SM-yksiköiden määrästä: Hopperissa niitä on 132, B200- ja B300-siruissa 148 sekä GB200- ja GB300-siruissa 152. Sama siemen sijoittaa siksi samat luvut eri kohtiin eri siruilla.

Osa painoista säilyy lähes ennallaan, esimerkiksi koulutuksessa käyttämättömien sanojen rivit. Myös koulutuksessa muuttuneet painot voivat korreloida heikosti alkuarvojensa kanssa, mutta jälki ei säily jokaisessa koulutusajossa. DePue haki siemenen ja säikeiden määrän, jotka toistavat nämä jäljet. Yhdistelmän hän testasi painoilla, joita haussa ei käytetty.

Tulokset ja niiden rajat

Selvityksen tilastomallin mukaan noin 6 biljoonan yhdistelmän haku tuottaisi sattumalta parhaimmillaan noin 8 sigman osuman. Kuuden mallin vahvimmat tulokset ovat 49 ja 1 385 sigman välillä. B300-sirulla DeepSeekin siemen toisti V4-Flashin 469 valitusta rivistä 461 yli 0,99:n korrelaatiolla. Vuokrattu GB200 toisti kaikki Kimi K3:n 13 säilynyttä riviä. Menetelmä osui oikeaan kaikissa 24 tapauksessa, joissa kehittäjä on kertonut mallin laitteiston. DePue pitää tätä johdonmukaisuustarkistuksena eikä tarkkuusmittauksena.

Jälki kertoo vain, millä laitteistolla alkuarvot luotiin. Selvityksen mukaan se tukee mutta ei todista päätelmää, että mallit myös koulutettiin Blackwell-siruilla. Painot eivät kerro, kuka siruja omisti tai missä ne olivat. Blackwell-järjestelmiä voi vuokrata Kiinan ulkopuolelta. Selvitys ei siksi osoita salakuljetusta eikä vientirajoitusten rikkomista.

Ainoa tunnistettu muu laitteisto, joka voi tuottaa saman jäljen, on vientirajoitusten alainen AMD MI300X, kun sen käyttö rajataan 148 tai 152 laskentayksikköön. V4-Flashin kohdalla DePue sulki sen pois lukujen pienten erojen perusteella. Muiden viiden mallin kohdalla hän pitää sitä hyvin epätodennäköisenä.

Väitteet X:ssä ja kokoarviot

CellCogin ja The Agent Timesin mukaan DePue kutsui X-ketjussaan todisteita kiistattomiksi. Selvitys käyttää sanaa vain V4-Flashista. CellCogin mukaan ketjussa kerrotaan OpenAI:n ja Anthropicin tutkijoiden vahvistaneen tuloksen. Selvitys ei nimeä vahvistajia. Koodi ei ole julkinen, ja selvityksen mukaan skriptit annetaan arvioijille pyynnöstä.

Selvitys arvioi, että kukin viidestä koulutusajosta vaati suuruusluokaltaan 1 500–3 500 Blackwell-GPU:ta puolestatoista kolmeen kuukauteen. Se pitää laskelmaa epävarmana. Laskelma olettaa koulutuksen tapahtuneen samalla laitteistolla, jolla alkuarvot luotiin. Unite.AI ja CellCog referoivat samasta selvityksestä pienempiä lukuja, Unite.AI esimerkiksi 500–3 000 GPU:ta ajoa kohden.