Tekoälyn riskejä tutkiva yhdysvaltalainen voittoa tavoittelematon järjestö METR julkaisi 5. marraskuuta arvion siitä, kuinka paljon tekoäly nopeuttaa Anthropicin omaa tekoälykehitystä. METR:n työntekijät kävivät yhtiön sisäisiä tietoja läpi elokuusta lokakuun loppuun.

METR:n mukaan Anthropic parantaa nyt mallien kykyjä tarkasti määritellyissä tehtävissä noin kaksi kertaa niin nopeasti kuin maaliskuun 2024 ja lokakuun 2025 välillä. Toisin sanoen yhtiö edistyy vuodessa yhtä paljon kuin ennen kahdessa vuodessa. Arvio on hyvin epävarma: METR ei yllättyisi, jos kerroin olisi lähempänä 1,3:a tai 3:a. ARY Newsin julkaisema Reutersin uutinen lainasi METR:ää luvuilla 1,5 ja 2,5.

Vertailutestien tulokset paranevat nopeammin

Keskeinen mittari on AECI. Se on Anthropicin oma versio Epoch Capabilities Index -indeksistä, joka yhdistää mallin vertailutestien tulokset yhdeksi kykyluvuksi. Lokakuusta 2025 lähtien AECI on kasvanut 1,9 kertaa aiempaa nopeammin (95 %:n luottamusväli 1,5–2,8). Laskelmassa ovat mukana myös julkaisemattomat sisäiset mallit.

Kun testitehtävien vaikeudesta tehtiin eri oletuksia, kerroin oli 1,1:n ja 2,9:n välillä. Kun mukaan otettiin myös muiden yhtiöiden mallit, kerroin oli 1,4. METR:n mukaan kiihtyminen voi johtua osin siitä, että malleja on sovitettu testeihin. Uusin sisäinen malli ylittää jo 50 prosenttia kaikissa sille tehdyissä testeissä, mikä vaikeuttaa mittaamista.

METR pitää varmana, ettei kiihtyminen johdu koulutuksessa käytetyn laskentatehon nopeutuneesta kasvusta.

Tekoäly avustaa tutkijoita mutta ei vielä toimi itsenäisesti

METR:n hyvin epävarman arvion mukaan noin 80 prosenttia nykyisestä kiihtymisestä johtuu tekoälystä. Loppuvuonna 2025 kiihtymiseen vaikuttivat luultavasti myös muut tekijät. Tekoäly nopeuttaa työtä pääosin avustamalla tutkijoita. Merkittävää itsenäistä työtä se ei vielä tee mallien koulutuksen tärkeimmissä vaiheissa, mutta tutkijoiden mukaan siitä on näkynyt ensimmäisiä merkkejä.

Anthropicin työntekijät arvioivat Slack-kyselyissä, että lokakuun tehokkain sisäinen malli nopeuttaa heidän työtään keskimäärin noin 12-kertaisesti. METR pitää tätä hyvin löyhänä näyttönä. Lisäksi yksittäisen työntekijän nopeutuminen ei vastaa koko kehityksen kiihtymistä.

METR ei löytänyt seuraavalle 12 kuukaudelle merkittäviä pullonkauloja, joten kehitys voi kiihtyä vielä lisää. METR:n käsitys pullonkauloista kuitenkin muuttui arvion aikana useaan kertaan.

Anthropic poisti suurimman osan näytöstä

Anthropicilla oli oikeus poistaa raportista kaikki julkaisematon tieto. METR:n mukaan yhtiö poisti suurimman osan näytöstä, jota METR piti johtopäätöstensä kannalta tärkeimpänä. Siksi yleisön on luotettava METR:n harkintaan. Anthropic perusteli poistoja luottamuksellisen tiedon suojaamisella: tieto voisi nopeuttaa muiden tekoälykehittäjien työtä.

Erillisessä arviossa METR pitää mahdollisena, että Anthropicin skaalauslinjauksen (Responsible Scaling Policy) varhaisvaroitusraja ylittyi jo 15. heinäkuuta mennessä. Raja ylittyy, jos kehitys nopeutuu kaksinkertaiseksi tekoälyn vuoksi. Useimmat asiaa tutkineet METR:n ja Anthropicin tutkijat arvioivat silti, ettei raja ylittynyt. METR:n mukaan yhtiön julkinen riskiraportti vähätteli kiihtymistä. Raportin mukaan kiihtyminen jäi alle kaksinkertaiseksi, mutta sisäisen version luvuista METR laski kertoimeksi 1,97.

METR pitää kuitenkin Anthropicin tavoin heinäkuun mallien suoraa katastrofiriskiä pienenä. Riski voi sen mukaan kasvaa nopeasti, jos kehitys kiihtyy selvästi lisää seuraavan puolen vuoden aikana.