METR:n tehtävissä tekoälyagenttien aikahorisontti kaksinkertaistuu 3,6 kuukaudessa
METR:n uusi mittaus kattaa myös harkintaa vaativia tehtäviä. Niissä mallit näyttävät jäävän jälkeen ihmisasiantuntijoista: yksikään mallien rakentama arviointitehtävä ei kelvannut METR:n käyttöön.
Tekoälymalleja arvioiva voittoa tavoittelematon METR julkaisi 20. marraskuuta raportin, jossa se testasi malleja Opus 5.5:een ja GPT-6 Astraan asti. Päämittari on aikahorisontti. Se kertoo, kuinka pitkistä tehtävistä malli selviää puolessa yrityksistä. Tehtävän pituus on aika, jonka taitava ihminen siihen käyttäisi.
Vanhan ja uuden tehtäväsarjan yhdistelmässä aikahorisontti kaksinkertaistuu raportin mukaan noin 3,6 kuukaudessa (95 prosentin luottamusväli 2,1–4,9 kuukautta). METR:n mukaan tahti on samankaltainen kuin vanhalla tehtäväsarjalla aiemmin mitattu 105 päivää. Automaattisesti pisteytettävissä uusissa tehtävissä kärkimallien aikahorisontti on enimmillään 27 tuntia, ja se kaksinkertaistuu 1,65 kuukaudessa.
Nopeampi tahti ei todista, että kehitys kiihtyy. METR pitää mahdollisena myös sitä, että samankaltaisissa tehtävissä mallit selviävät nopeasti pidemmistäkin. Mallien kykyjä kokoavassa indeksissä se ei näe selvää kiihtymistä. TokenPost-sivusto kirjoitti kasvuvauhdin kaksinkertaistuneen ja nimesi mahdolliseksi syyksi tekoälyn käytön tekoälyn kehittämisessä. METR jättää syyn auki. Raportin aika-arvioista vain 9 prosenttia perustuu ihmisten mitattuun työaikaan.
METR epäilee, että halvat ja automaattisesti pisteytettävät testit muistuttavat mallien koulutusympäristöjä. Siksi ne voivat antaa mallien kyvyistä todellista paremman kuvan. METR mittasi asiaa omien sanojensa mukaan hyvin karkealla mittarilla: mitä tehtävän rakentaminen ympäristöksi sekä sen ajaminen ja pisteyttäminen sata kertaa maksaisivat. Tehtävien pituus vakioituna aikahorisontti oli keskimäärin 2,9 kertaa kalliimmissa tehtävissä noin kolmasosa halvempien tasosta. Kehitysvauhti oli molemmissa samankaltainen. Kustannukset arvioi Opus 5.5.
Harkintaa vaativissa tehtävissä mallit näyttävät jäävän jälkeen ihmisasiantuntijoista. Mallit rakensivat METR:lle uusia arviointitehtäviä, mutta yksikään tehtävä ei ollut tarpeeksi hyödyllinen raporttiin. MIT Technology Review’n mukaan Opus 5.5:n kaltaiset uusimmat mallit yltävät rajatasolle, kun vuosi sitten kaikki jäivät selvästi sen alle.
Arvioijana Opus 5.5 antoi GPT-6 Astran tehtäville keskimäärin noin 0,2 pistettä (asteikolla 0–1) enemmän kuin METR:n ihmisarvioija. METR:n mukaan yksinkertaisin selitys on mallien heikko arvostelukyky. Se pitää kuitenkin jokseenkin todennäköisenä, ettei malleista ole saatu tällaisissa tehtävissä kaikkea irti.
Filosofisten argumenttien kritiikkejä pisteyttäessään monien mallien yhtäpitävyys asiantuntija-arvioiden kanssa ylittää viisi minuuttia käyttäneiden asiantuntijoiden arvioidun tason. Kaikki julkiset mallit jäävät kuitenkin 15 minuuttia käyttäneiden tasosta. Tehtävä perustuu 29. heinäkuuta 2026 arXivissa julkaistuun esijulkaisuun. Sen 951 kritiikistä 946 on arvioinut yksi tutkija, Emery Cooper.
Lue lisää: Mallit