Mollickin SatBench: 63 % tekoälylaboratorioiden suosimista testeistä on ratkaistu
Ethan Mollickin koostaman SatBenchin mukaan tekoälylaboratorioiden vuodesta 2023 mainitsemista 173 vertailutestistä 63 % on kyllästynyt, ja tahti kiihtyy. Riippumattomilla mittauksilla osuus on 24 %.
Ethan Mollick julkaisi 14. marraskuuta X-palvelussa SatBench-laskelman, jonka hän kertoo koonneensa nopeasti. Laskelma mittaa, kuinka pian tekoälyn suuret vertailutestit kyllästyvät eli käytännössä tulevat voitetuiksi. ”Tekoäly paranee nopeammin kuin mittauksemme”, Mollick kirjoittaa.
Mitä 63 prosenttia tarkoittaa
Julkaisun kuvien mukaan SatBenchiin kuuluvat testit, jotka on mainittu vähintään kymmenessä tekoälylaboratorion mallijulkistuksessa. Testi lasketaan ratkaistuksi, kun paras tekoälyn tulos yltää 85 prosenttiin. Marraskuussa raja oli ylittynyt 109 testissä 173:sta. Aineisto on Benchmark Almanac -palvelusta, johon sisältyy Epoch AI:n Benchmarking Hub.
Paras tulos voi tulla mistä tahansa lähteestä, myös laboratorion omasta julkistuksesta. Kuvan alaviitteen mukaan ratkaistuja on 24 prosenttia, kun mukaan otetaan vain riippumattomat ajot. Ero, 39 prosenttiyksikköä, syntyy testeistä, joissa raja on ylittynyt vain muissa kuin riippumattomissa mittauksissa, kuten laboratorioiden omissa ilmoituksissa.
Kuvan mukaan ratkaistujen osuus pysyi kaksi vuotta noin 30 prosentissa, koska uusia testejä tuli yhtä nopeasti kuin vanhoja kaatui. SatBenchin vuoden 2023 versiossa oli 44 testiä. Kuvan mukaan versio ylitti syyskuussa 2026 kyllästymisrajan, jossa 85 prosenttia testeistä on ratkaistu. Nyt niistä on ratkaistu 86 prosenttia.
Uudet testit kaatuvat aiempaa nopeammin
Toinen kuva ryhmittelee testit sen sijaan julkaisuvuoden mukaan. Mollickin mukaan kyllästyminen nopeutuu vuosi vuodelta. Kuvan mukaan vuonna 2023 julkaistuista testeistä ratkaistiin vuoden kuluessa 17 prosenttia, vuoden 2024 testeistä 30 prosenttia ja vuoden 2025 testeistä 43 prosenttia.
Vuoden 2026 testeistä 32 prosenttia ratkaistiin puolessa vuodessa, kun aiempina vuosina osuus oli 0, 18 ja 21 prosenttia. Julkaisuhetkellä jo rajan ylittäneet testit lasketaan ratkaistuiksi heti.
Vuoden 2026 testejä ei ole vielä voitu seurata vuotta. Ne myös tulevat laskentaan vasta kymmenennen julkistusmaininnan jälkeen, joten kuluvan vuoden testejä on kuvan mukaan laskelmassa liian vähän. Ratkaisuun kului mediaanina 14 kuukautta vuoden 2025 testeillä ja 20 kuukautta vuosien 2023 ja 2024 testeillä.
OpenAI:n malli on ollut ensimmäinen 85 prosentin rajan ylittäjä 20 testissä, useammin kuin minkään muun laboratorion malli. Vuonna 2026 kärjessä on Anthropic 11 testillä. Tässä vertailussa ovat mukana testit, joista useampi laboratorio raportoi tuloksia. Ratkaisematta ovat muun muassa Humanity’s Last Exam, jossa paras tulos on 74 prosenttia, sekä MMMU-Pro, SciCode ja IFBench.
Laskelma ei ole ennuste
Kuvan mukaan ratkaisematta on nyt 64 testiä. Mallinnuksessa kukin niistä kaatuu kuukaudessa viiden prosentin todennäköisyydellä, mikä vastaa viimeisen 12 kuukauden tahtia. Jos uusia testejä ei enää tulisi, nykyisistä 85 prosenttia olisi ratkaistu noin 2028. Viimeinen kaatuisi noin 2034, ja 80 prosentin vaihteluväli on 2031–2037.
Toisessa laskelmassa uusia testejä tulee keskimäärin 4,7 kuukaudessa, ja ratkaisutahti kiihtyy prosenttiyksikön vuodessa. Silloin SatBenchin testeistä 85 prosenttia olisi ratkaistu noin 2030. Mollick huomauttaa kuvassa, ettei laskelma ole ennuste.
Lue lisää: Mallit