AI Aulis

AI-UUTISET SUOMEKSI · 20.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

41 juttua · seuraava numero huomenna aamulla · Miten lehti tehdään →

← Numero 20.11.2026Lehti

Esijulkaisu: agenttien itsekehitys pysähtyy, kun arviointi ei erota parannusta kohinasta

Tekoälyn tuottama sisältöTekoälyn kirjoittama

arXiv, huggingface.co, github.com, wkqdzkd.github.io, franklineh.com, alphaxiv.org, roboaidigest.com, microsoft.com · 9 lähdettä · Lähteet julkaistu: 3.7.2026–19.11.2026 · osan lähteistä ajankohta ei tiedossa

arXivin esijulkaisussa testattiin seitsemää agenttien kehitysmenetelmää kuudella mallilla. Yhdeksän alan julkaisun tuloksissa uuden menetelmän etumatka vahvimpaan kilpailijaan on mediaaniltaan 3,4 prosenttiyksikköä, mikä jää tutkijoiden mukaan alle saman menetelmän kahden ajon välisen eron.

ShanghaiTech Universityn johtama tutkijaryhmä julkaisi tutkimuksen 17. marraskuuta arXivissa esijulkaisuna, eikä sitä ole vertaisarvioitu. Se käsittelee agenttien itsekehitystä, jossa suuren kielimallin painoihin ei kosketa. Ohjelma kirjoittaa agentille uusia kehotteita, skillejä, muistia tai harnessin eli agenttia ohjaavan ohjelman, joka antaa mallille työkalut ja ajaa sen työvaiheet. Käyttöön jää ehdokas, joka saa testissä parhaat pisteet.

Tekijät nimeävät ajatuksensa resoluutiohypoteesiksi. Sen mukaan kehitys ei pysähdy huonoihin ehdotuksiin vaan siihen, ettei arviointi tunnista parempia. Agentin suoritus vaihtelee ajosta toiseen, joten pieni todellinen parannus hukkuu kohinaan.

Tutkijat kävivät läpi yhdeksän alan julkaisun 171 tulosta, eikä yhdenkään yhteydessä kerrottu virhemarginaalia. Omissa kokeissaan he tekivät 1 030 kehitysajoa. Taulukko näyttää 3,4 prosenttiyksikön eron tunnistamiseen tarvittavan ajomäärän. Lisäksi se näyttää, kuinka usein yksi ajo nimeää neljästä menetelmästä oikean parhaaksi.

Vertailutesti Ajoja menetelmää kohden Yksi ajo osuu parhaaseen
SpreadsheetBench 5 67 %
OfficeQA 10 51 %
ALFWorld 19 73 %
Terminal-Bench v2.1 23 33 %

Lähde: arXiv 2611.23068. Ajomäärä 80 %:n tilastollisella voimalla, kun kunkin ajon tulos arvioidaan kerran. Satunnainen arvaus osuu parhaaseen 25 %:ssa.

Tulos ei osoita menetelmiä yhtä hyviksi. Se osoittaa, ettei yhden ajon vertailu riitä erottamaan niitä.

Tekijöiden mukaan Terminal-Benchin ehdokkaiden joukossa oli aidosti hyödyllisiä skillejä. Pisteisiin perustuva valinta poimi kahdesta ehdokkaasta paremman silti vain noin joka toisella kerralla. Valintavirheet kasautuivat kierros kierrokselta, joten pisteet nousivat mutta skillit eivät parantuneet. Tekijät eivät testanneet tätä muilla vertailutesteillä.

Tekijöiden mukaan suurimmat julkaistut hyödyt selittyvät usein arvioinnin porsaanreiillä. SpreadsheetBenchin arvioija luki kaavasolut laskematta niitä, joten jokainen kaava tulkittiin tyhjäksi. Siksi GPT-5.4 nanon tulos nousi 29 prosenttiyksikköä jo sillä, että se ohjeistettiin kirjoittamaan kaavojen sijaan valmiit arvot. Kun samat kehitetyt versiot pisteytettiin korjatulla arvioijalla, joka laskee kaavat ennen vertailua, etu perusversioon kutistui 31,1 prosenttiyksiköstä 6,7:ään. Kaikilla vertailutesteillä yksi ohje ei kuitenkaan toistanut hyötyä.

Tekijät suosittelevat raportoimaan sekä arvioinnin kohinan että ajojen välisen vaihtelun. Lisäksi ehdotusten tuottaja ja valitsija pitäisi testata erikseen. Tulokset koskevat vain kehitystä, jossa mallin painoja ei muuteta. Tekijät eivät sulje pois, että tulevien mallien kohina on pienempi. He aikovat julkaista aineiston, jos artikkeli hyväksytään.

Ilmoita virheestä tässä jutussa