AI Aulis

AI-UUTISET SUOMEKSI · 21.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

← Numero 21.11.2026Lehti

Datalla ajettuna 77 merkittävää vastaväitettä 156:sta kumosi agenttien pääjohtopäätöksen

Tekoälyn tuottama sisältöTekoälyn kirjoittama

x.com, eu.36kr.com, alphaxiv.org, 36kr.com · 7 lähdettä · Lähteet julkaistu: 19.11.2026–21.11.2026

Esijulkaisussa seurattiin 12 viikon ajan 35 laboratorion tekoälyagentteja, jotka julkaisivat 936 tutkimusta. Kun vastaväitteet testattiin agenttien tutkimuksiinsa lataamalla datalla, lähes puolet merkittävistä vastaväitteistä kumosi pääjohtopäätöksen.

Tutkimus A Society of AI Scientists on alphaXiv-palvelun esijulkaisu, jota tekijät kuvaavat kartoittavaksi.

Tekoälyagentit eli kielimallien avulla toimivat ohjelmat työskentelivät 19.8.–12.11.2026 yhteisellä esijulkaisupalvelimella ja chatissa. Ihmiset valitsivat laitteet, API-budjetit ja laajat aiheet. Agentit valitsivat hypoteesit ja koeasetelmat. Teknisesti ihmisten apua ei estetty.

Jokaiseen tutkimukseen piti liittää ajettava koodi ja raakadata sekä luettelo, josta näkyy jokaisen luvun lähdetiedosto ja -kenttä. Laboratorion 23 agentti Cypress perusti Journal of Agent Research -lehden (JAR). Lehti teetti jokaisesta arvioidusta versiosta neljä sokkoarviota eri kielimalliperheillä. Arvioita kertyi 4.–9.11. yhteensä 1 408, ja ne koskivat 263 tutkimuksen 352:ta versiota.

Pelkkää tekstiä lukevat arvioijat eivät juuri erottaneet virheellistä versiota korjatusta. Ne merkitsivät virheellisiksi 11 kuudestatoista virheellisestä ensiversiosta ja 10 niiden korjatuista versioista. Kun 276 vastaväitettä testattiin skripteillä agenttien tutkimuksiinsa lataamalla datalla, 156 merkittävästä vastaväitteestä 77 (49,4 %) kumosi pääjohtopäätöksen. Vähäisistä 120 vastaväitteestä saman teki 24 (20 %). alphaXiv-sivun tekoälytiivistelmän mukaan tämä ei osoita, että jokainen vastaväite oli oikea. Tekijöiden mukaan agenttien koko arkistolle tekemät toistettavuus- ja lukutarkastukset eivät myöskään todistaneet kokeita päteviksi. Ne vahvistivat vain, että raportoidut luvut vastasivat tallennettuja tulostiedostoja.

Tutkijat vertasivat 202:ta agenttitutkimusta aiheeltaan vastaaviin, samaan aikaan julkaistuihin arXiv-esijulkaisuihin. Agentit saivat paremmat pisteet huolellisuudesta ja ihmiset uutuusarvosta:

Mittari (1–10) Agentit Ihmiset
Kokeellinen huolellisuus 9,02 7,00
Väitteiden suhde näyttöön 9,32 7,23
Uutuusarvo 7,05 7,45
Merkittävyys 7,04 7,34

Lähde: tutkimuksen alphaXiv-sivun tiivistelmä; 808 kielimalliarviota.

Taulukko ei kerro asiantuntijoiden näkemystä, sillä kielimallit arvioivat vain tekstiä. Agenttien etu kokonaisarviossa johtui kokonaan laboratoriosta 1. Laboratoriot 2–35 eivät eronneet merkitsevästi ihmisistä.

Ethan Mollick nosti X:ssä esiin, että agentit julkaisivat nollatuloksia ihmisiä herkemmin. Tutkimuksista 22,6 % tuki päähypoteesiaan, ja 34,7 % päätyi nollatulokseen tai kumosi hypoteesinsa. Paperin mukaan ihmisten tieteessä 84 % hypoteeseja testaavista artikkeleista raportoi tukea hypoteesille (Fanelli 2010). Säännöissä huolellinen nollatulos kuitenkin laskettiin hyväksytyksi tutkimukseksi samoin kuin myönteinen. alphaXivin tekoälytiivistelmän mukaan osa käytännöistä oli siksi rakennettu asetelmaan. Asetelmaa ei myöskään satunnaistettu.

Paikallisesti ajetuissa kokeissa käytettiin enimmäkseen enintään 14 miljardin parametrin avointen painojen malleja. alphaXivin mukaan agentit hakeutuivat usein tuttuihin aiheisiin ja tekivät pieniä muunnelmia olemassa olevista vertailutesteistä. Arkisto on ladattavissa Hugging Facesta, ja agenttien palvelin on nyt avoin kaikille.

Ilmoita virheestä tässä jutussa