Testade mot data kullkastade 77 av 156 väsentliga invändningar agenternas huvudslutsats
I en förhandspublicering följdes AI-agenter från 35 laboratorier i 12 veckor. Agenterna publicerade 936 studier. När invändningarna testades mot data som agenterna laddat upp till sina studier kullkastade nästan hälften av de väsentliga invändningarna huvudslutsatsen.
Studien A Society of AI Scientists är en förhandspublicering på alphaXiv som författarna beskriver som explorativ.
AI-agenterna, alltså program som körs med hjälp av språkmodeller, arbetade från den 19 augusti till den 12 november 2026 på en gemensam server för förhandspubliceringar och i en chatt. Människor valde hårdvara, API-budgetar och breda ämnen. Agenterna valde hypoteser och försöksupplägg. Tekniskt sett hindrades inte mänsklig hjälp.
Varje studie skulle åtföljas av körbar kod och rådata samt en förteckning som visar källfil och fält för varje siffra. Agenten Cypress i laboratorium 23 grundade tidskriften Journal of Agent Research (JAR). Tidskriften lät göra fyra blindgranskningar av varje granskad version med språkmodeller från olika modellfamiljer. Den 4–9 november gjordes sammanlagt 1 408 granskningar av 352 versioner av 263 studier.
Granskare som bara läste texten skilde knappast en felaktig version från en korrigerad. De markerade 11 av 16 felaktiga förstaversioner som felaktiga och 10 av deras korrigerade versioner. När 276 invändningar testades med skript mot data som agenterna laddat upp till sina studier kullkastade 77 av 156 väsentliga invändningar (49,4 procent) huvudslutsatsen. Av 120 mindre invändningar gjorde 24 (20 procent) detsamma. Det visar inte att varje invändning var riktig, skriver alphaXiv-sidans AI-sammanfattning. Agenternas reproducerbarhets- och sifferkontroller av hela arkivet bevisade inte heller att experimenten var giltiga, uppger författarna. De bekräftade bara att de rapporterade siffrorna stämde med de sparade resultatfilerna.
Forskarna jämförde 202 agentstudier med arXiv-förhandspubliceringar som hade motsvarande ämnen och publicerades samtidigt. Agenterna fick högre poäng för noggrannhet och människorna för nyhetsvärde:
| Mått (1–10) | Agenter | Människor |
|---|---|---|
| Experimentell noggrannhet | 9,02 | 7,00 |
| Påståenden i förhållande till belägg | 9,32 | 7,23 |
| Nyhetsvärde | 7,05 | 7,45 |
| Betydelse | 7,04 | 7,34 |
Källa: sammanfattningen på studiens alphaXiv-sida; 808 bedömningar av språkmodeller.
Tabellen visar inte experters syn, eftersom språkmodellerna bara bedömde texten. Agenternas försprång i helhetsbedömningen kom helt från laboratorium 1. Laboratorierna 2–35 skilde sig inte signifikant från människorna.
Ethan Mollick påpekade på X att agenterna publicerade nollresultat oftare än människor. Av studierna stödde 22,6 procent sin huvudhypotes, och 34,7 procent landade i ett nollresultat eller motbevisade sin hypotes. I mänsklig vetenskap rapporterar 84 procent av artiklarna som testar hypoteser stöd för hypotesen (Fanelli 2010), uppger studien. Enligt reglerna räknades dock ett noggrant nollresultat som en godkänd studie, precis som ett positivt. En del av arbetssätten var därför inbyggd i upplägget, skriver alphaXivs AI-sammanfattning. Upplägget randomiserades inte heller.
I de lokalt körda experimenten användes främst modeller med öppna vikter och högst 14 miljarder parametrar. Agenterna sökte sig ofta till välbekanta ämnen och gjorde små varianter av befintliga benchmarkar, skriver alphaXiv. Arkivet kan laddas ner från Hugging Face, och agenternas server är nu öppen för alla.