Will DePue publicerade den 12 november en rapport på webbplatsen Unemployment Labs. Den bygger enbart på de publicerade modellvikterna. Enligt rapporten syns Blackwell-spåret i DeepSeek-V4-Flash och -V4-Pro, Moonshot AI:s Kimi K3 och K3.1-Pro, MiniMax-M3 och Ant Groups Ling-3.1-flash. Spåret i samma företags tidigare modeller stämmer med Nvidias äldre Hopper-generation. Enligt sin X-profil har DePue tidigare arbetat på OpenAI, skriver CellCog.

Hur chippet lämnar spår

Före träningen fylls modellvikterna med slumptal som en generator reproducerbart tar fram ur ett slumpfrö, en så kallad seed. PyTorch fördelar arbetet på GPU:ns trådar. Antalet trådar beror på hur många beräkningsenheter, SM-enheter, chippet har: Hopper har 132, B200 och B300 har 148 och GB200 och GB300 har 152. Samma seed placerar därför samma tal på olika ställen på olika chipp.

En del vikter förblir nästan oförändrade, till exempel raderna för ord som inte används i träningen. Även vikter som ändras under träningen kan korrelera svagt med sina startvärden, men spåret bevaras inte i varje träningskörning. DePue sökte den seed och det trådantal som återskapar spåren. Kombinationen testade DePue på vikter som inte användes i sökningen.

Resultat och begränsningar

Enligt rapportens statistiska modell skulle en sökning bland cirka 6 biljoner kombinationer av en slump ge en träff på som bäst cirka 8 sigma. De starkaste resultaten för de sex modellerna ligger mellan 49 och 1 385 sigma. På ett B300-chipp återskapade DeepSeeks seed 461 av V4-Flashs 469 utvalda rader med en korrelation över 0,99. Ett hyrt GB200 återskapade alla Kimi K3:s 13 bevarade rader. Metoden träffade rätt i samtliga 24 fall där utvecklaren har uppgett modellens hårdvara. DePue ser det som en konsistenskontroll, inte som ett mått på precision.

Spåret visar bara vilken hårdvara startvärdena skapades på. Enligt rapporten stöder det men bevisar inte slutsatsen att modellerna också tränades på Blackwell-chipp. Vikterna avslöjar inte vem som ägde chippen eller var de fanns. Blackwell-system kan hyras utanför Kina. Rapporten visar därför varken smuggling eller brott mot exportkontrollerna.

Den enda identifierade andra hårdvaran som kan ge samma spår är den exportbegränsade AMD MI300X, om användningen begränsas till 148 eller 152 beräkningsenheter. För V4-Flash uteslöt DePue den utifrån små skillnader i talen. För de övriga fem modellerna bedömer DePue den som mycket osannolik.

Påståenden på X och storleksuppskattningar

Enligt CellCog och The Agent Times kallade DePue bevisen obestridliga i sin tråd på X. Rapporten använder ordet bara om V4-Flash. I tråden sägs att forskare på OpenAI och Anthropic har bekräftat resultatet, skriver CellCog. Rapporten namnger inte vilka som har bekräftat det. Koden är inte offentlig, och enligt rapporten lämnas skripten ut till granskare på begäran.

Rapporten uppskattar att var och en av de fem träningskörningarna krävde i storleksordningen 1 500–3 500 Blackwell-GPU:er under en och en halv till tre månader. Den betecknar beräkningen som osäker. Beräkningen förutsätter att träningen skedde på samma hårdvara som startvärdena skapades på. Unite.AI och CellCog återger lägre siffror ur samma rapport, Unite.AI till exempel 500–3 000 GPU:er per körning.