Forskare: TensorLean bevisade att 83 av 149 kernelinstanser följer specifikationerna
TensorLean från Columbia University och CertiK bygger på Lean. Verktyget hittade 38–39 fel i de övriga 66 instanserna, bland annat i FlashAttention och DeepSeeks DeepGEMM. Verktyget och artikeln har ännu inte publicerats.
GPU-kernlar är program som utför beräkningarna för träning och inferens av AI-modeller på GPU:n. TensorLean kör dem inte med testindata. Verktyget bevisar i stället i bevisassistenten Lean att den PTX-kod som kompilatorn genererar motsvarar den specifikation på tensornivå som utvecklaren har skrivit. PTX är lågnivåinstruktionsspråket för NVIDIAs GPU:er. CertiK offentliggjorde resultaten den 20 november.
Enligt projektets GitHub-sida omfattar beviset tre saker. Koden innehåller inga kapplöpningstillstånd, det vill säga lägen där parallella trådar använder samma minne utan synkronisering. Dessutom terminerar koden och räknar enligt specifikationen inom den tillåtna felmarginalen för flyttal. Beviset gäller för alla indata som uppfyller specifikationens förvillkor och i alla exekveringsordningar. ”Bevisat korrekt” betyder alltså att koden är korrekt just enligt den här specifikationen och dess villkor.
Skillnaden mot testning syns i ett exempel från MarkTechPost. I FlashAttention-4 hittade TensorLean ett kapplöpningstillstånd som inte visade sig under 17 760 testkörningar. Många av felen som listas på GitHub-sidan visar sig först vid extremvärden. Ett exempel är överspill i ett 32-bitarsindex när antalet element eller förskjutningar närmar sig eller överstiger 2³¹.
Av de 149 granskade kernelinstanserna, alltså kompilerade kernlar, kom 102 från FlashAttention. Källorna anger olika antal fel. PANews, som refererar CertiKs pressmeddelande, och MarkTechPost rapporterar 38 fel. Tabellen på GitHub-sidan har 39, eftersom den anger tre fel för DeepGEMM. Tabellen visar felen per bibliotek.
| Bibliotek | GitHub-sidan | MarkTechPost |
|---|---|---|
| FlashAttention-2, -3 och -4 | 23 | 23 |
| Liger Kernel | 7 | 7 |
| TileOPs | 3 | 3 |
| DeepGEMM (DeepSeek) | 3 | 2 |
| TileLang | 2 | 2 |
| Triton | 1 | 1 |
| Totalt | 39 | 38 |
Källor: TensorLeans GitHub-sida och MarkTechPost 21 november 2026. Alla fel har rapporterats till utvecklarna, uppger forskarna.
Antalen går inte att använda för att jämföra bibliotekens kvalitet, eftersom granskningen var inriktad på FlashAttention.
Även Volta från Stanford och Microsoft Research granskar PTX-kod. Artikeln om Volta publicerades på arXiv i november 2025. Volta jämför dock kerneln med en referensimplementation vid fasta tensorstorlekar och lämnar asynkrona operationer, som TMA-minnesöverföringar, till framtida arbete. TensorLean hanterar däremot tensorstorlekar som symboliska parametrar och stöder de asynkrona operationerna i FlashAttention-3 och -4, skriver MarkTechPost.
Resultaten kommer än så länge från forskarna själva och kan inte kontrolleras oberoende. På GitHub-sidan skriver forskarna att de snart kommer att publicera artikeln. De ska också släppa verktyget som öppen källkod tillsammans med dess PTX-semantik, specifikationer och bevis. På en arbetsstation med 16 kärnor tar en granskning i median omkring tio minuter och som mest 50 minuter, uppger MarkTechPost. Via länkarna i tabellen på GitHub-sidan hittar bibliotekens användare felrapporterna och de korrigeringsförslag som har gjorts för en del av felen.