Tutkijat: TensorLean todisti 83 kernel-instanssia 149:stä määrittelyjen mukaisiksi
Columbian yliopiston ja CertiKin Lean-pohjainen TensorLean löysi lopuista 66:sta 38–39 virhettä muun muassa FlashAttentionista ja DeepSeekin DeepGEMMistä. Työkalua ja artikkelia ei ole vielä julkaistu.
GPU-kernelit ovat ohjelmia, jotka tekevät tekoälymallien koulutuksen ja inferenssin laskut näytönohjaimella. TensorLean ei aja niitä testisyötteillä. Se todistaa Lean-todistustyökalussa, että kääntäjän tuottama PTX-koodi eli NVIDIAn näytönohjainten matalan tason käskykieli vastaa kehittäjän kirjoittamaa tensoritason määrittelyä. CertiK julkisti tulokset 20. marraskuuta.
Projektin GitHub-sivun mukaan todistus kattaa kolme asiaa. Koodissa ei ole kilpatilanteita, joissa rinnakkaiset säikeet käsittelevät samaa muistia ilman tahdistusta. Lisäksi koodi päättyy ja laskee määrittelyn mukaisesti liukulukujen sallitun virheen rajoissa. Todistus pätee kaikilla syötteillä, jotka täyttävät määrittelyn ennakkoehdot, ja kaikissa suoritusjärjestyksissä. ”Oikeaksi todistettu” tarkoittaa siis, että koodi on oikein juuri tämän määrittelyn ja sen ehtojen mukaan.
Ero testaamiseen näkyy MarkTechPostin esimerkissä: TensorLean löysi FlashAttention-4:stä kilpatilanteen, joka ei tullut esiin 17 760 testiajossa. Moni GitHub-sivulla listattu virhe ilmenee vasta ääriarvoilla, esimerkiksi 32-bittisen indeksin ylivuotona, kun alkio- tai siirtymämäärä lähestyy 2³¹:tä tai ylittää sen.
Tarkastetuista 149 kernel-instanssista eli käännetystä kernelistä 102 oli FlashAttentionista. Lähteiden virhemäärät eroavat. CertiKin tiedotetta referoiva PANews ja MarkTechPost kertovat 38 virheestä. GitHub-sivun taulukossa niitä on 39, koska siinä DeepGEMMille on merkitty kolme virhettä. Taulukko näyttää virheet kirjastoittain.
| Kirjasto | GitHub-sivu | MarkTechPost |
|---|---|---|
| FlashAttention-2, -3 ja -4 | 23 | 23 |
| Liger Kernel | 7 | 7 |
| TileOPs | 3 | 3 |
| DeepGEMM (DeepSeek) | 3 | 2 |
| TileLang | 2 | 2 |
| Triton | 1 | 1 |
| Yhteensä | 39 | 38 |
Lähteet: TensorLeanin GitHub-sivu ja MarkTechPost 21.11.2026. Tekijöiden mukaan kaikki virheet on ilmoitettu kehittäjille.
Määrien perusteella ei voi verrata kirjastojen laatua, sillä tarkastus painottui FlashAttentioniin.
Myös Stanfordin ja Microsoft Researchin Volta, jonka artikkeli julkaistiin arXivissa marraskuussa 2025, tarkastaa PTX-koodia. Volta kuitenkin vertaa kerneliä viitetoteutukseen kiinteillä tensorikoilla ja jättää myöhempään työhön asynkroniset operaatiot, kuten TMA-muistisiirrot. MarkTechPostin mukaan TensorLean käsittelee tensorikoot symbolisina parametreina ja tukee FlashAttention-3:n ja -4:n asynkronisia operaatioita.
Tulokset ovat toistaiseksi tekijöiden omia, eikä niitä voi tarkistaa riippumattomasti. GitHub-sivun mukaan tekijät julkaisevat pian artikkelin sekä avoimena koodina työkalun, sen PTX-semantiikan, määrittelyt ja todistukset. MarkTechPostin mukaan tarkastus kestää 16-ytimisellä työasemalla mediaanina noin kymmenen minuuttia ja enimmillään 50 minuuttia. Kirjastojen käyttäjät löytävät GitHub-sivun taulukon linkeistä virheilmoitukset ja osaan virheistä tehdyt korjausehdotukset.