Mollicks SatBench: 63 procent av AI-labbens favoritbenchmarkar är lösta
Enligt SatBench, som Ethan Mollick har sammanställt, är 63 procent av de 173 benchmarkar som AI-labben har nämnt sedan 2023 mättade, och takten ökar. Med enbart oberoende mätningar är andelen 24 procent.
Den 14 november publicerade Ethan Mollick på X beräkningen SatBench, som han säger att han satt ihop snabbt. Den mäter hur snabbt de stora AI-benchmarkarna mättas, alltså i praktiken blir slagna. ”AI blir bättre snabbare än våra mätningar”, skriver Mollick.
Vad 63 procent betyder
Enligt bilderna i inlägget ingår de benchmarkar i SatBench som har nämnts i minst tio modellanseringar från AI-labb. Ett benchmark räknas som löst när det bästa AI-resultatet når 85 procent. I november hade gränsen passerats i 109 av 173 benchmarkar. Data kommer från tjänsten Benchmark Almanac, som omfattar Epoch AI:s Benchmarking Hub.
Det bästa resultatet kan komma från vilken källa som helst, även från labbets egen lansering. Räknas bara oberoende körningar är 24 procent lösta, står det i en fotnot till bilden. Skillnaden på 39 procentenheter kommer från benchmarkar där gränsen bara har passerats i mätningar som inte är oberoende, till exempel labbens egna uppgifter.
Andelen lösta låg enligt bilden kring 30 procent i två år, eftersom nya benchmarkar tillkom lika snabbt som gamla föll. SatBenchs version från 2023 omfattade 44 benchmarkar. Den versionen passerade i september 2026 mättnadsgränsen där 85 procent av benchmarkarna är lösta, uppger bilden. Nu är 86 procent av dem lösta.
Nya benchmarkar faller snabbare än tidigare
En andra bild grupperar i stället benchmarkarna efter publiceringsår. Enligt Mollick går mättnaden snabbare för varje år. Av de benchmarkar som publicerades 2023 löstes 17 procent inom ett år, av 2024 års 30 procent och av 2025 års 43 procent, framgår det av bilden.
Av 2026 års benchmarkar löstes 32 procent inom ett halvår, jämfört med 0, 18 och 21 procent tidigare år. Benchmarkar som redan hade passerat gränsen vid publiceringen räknas direkt som lösta.
Benchmarkarna från 2026 har ännu inte kunnat följas i ett år. De kommer dessutom med i beräkningen först efter det tionde omnämnandet i en lansering, så enligt bilden finns det för få benchmarkar från i år i beräkningen. Mediantiden till lösning var 14 månader för 2025 års benchmarkar och 20 månader för benchmarkarna från 2023 och 2024.
OpenAI:s modeller har varit först över 85-procentsgränsen i 20 benchmarkar, oftare än modeller från något annat labb. Under 2026 leder Anthropic med 11 benchmarkar. Jämförelsen omfattar benchmarkar där flera labb rapporterar resultat. Olösta är bland annat Humanity’s Last Exam, där det bästa resultatet är 74 procent, samt MMMU-Pro, SciCode och IFBench.
Beräkningen är ingen prognos
Enligt bilden återstår nu 64 olösta benchmarkar. I modellen faller vart och ett av dem med fem procents sannolikhet per månad, vilket motsvarar takten de senaste 12 månaderna. Om inga nya benchmarkar tillkom skulle 85 procent av de nuvarande vara lösta omkring 2028. Det sista skulle falla omkring 2034, med ett 80-procentigt intervall på 2031–2037.
I en andra beräkning tillkommer i genomsnitt 4,7 nya benchmarkar i månaden, och lösningstakten ökar med en procentenhet per år. Då skulle 85 procent av SatBenchs benchmarkar vara lösta omkring 2030. Mollick påpekar i bilden att beräkningen inte är en prognos.
Läs mer: Modeller