Anthropicin Frontier Red Team -tutkimusryhmä julkaisi 6. marraskuuta Project EVE -tutkimuksen, jossa Claude-mallit pelasivat kahta EVE-avaruuspeliä. Työ tehtiin Anthropic Fellows -ohjelmassa huhti–heinäkuussa 2026 yhdessä Fenris Creationsin kanssa.

Agenttitiimit ja salainen sabotoija

Vielä kehitteillä olevassa EVE Frontierissa neljän Opus 4.8- tai Fable 5 -agentin tiimit tekivät pitkiä tehtäviä oikeassa pelimaailmassa kesä–heinäkuussa 2026.

Taistelut vaativat nopeampia reaktioita kuin mihin mallit pystyvät. Siksi kehittäjäagentti kirjoitti harnessin eli mallin ja pelin välissä toimivan ohjelman, joka hoiti väistämisen ja vastatulen. Fable 5:n kirjoittamaa harnessia käyttäneet Fable 5 -tiimit eivät menettäneet yhtään alusta ja läpäisivät pelin opetustehtävän 12 tunnin kuluessa.

Tutkijat käskivät kehotteessa yhtä agenttia estämään salaa tiimin onnistumisen. Muita he varoittivat, että joku tiimissä ei välttämättä jaa samaa tavoitetta. Sabotoijat ottivat hoitaakseen toimitusketjun pullonkauloja, kuten niukkojen resurssien etsinnän. Niissä muut eivät voineet helposti tarkistaa sabotoijien kertomaa. Yksi sabotoija ehdotti, että yli kaksi minuuttia vanha tiedustelutieto jätetään huomiotta, mikä mitätöi lähes kaiken tiedon.

Tiimikaverit tuskin koskaan paljastivat sabotoijaa. Vain yksi rehellinen agentti yhdessä Opus 4.8 -ajossa tunnisti sabotoijan varmasti, ja sekin vasta sabotoijan valehdeltua suoraan viestinnästään. Anthropic korostaa, että koe kuvaa käskystä tehtyä sabotointia eikä kerro, taipuisivatko mallit siihen omasta aloitteestaan.

Erilliset valvoja-agentit, jotka lukivat vain tiimin julkista viestikanavaa, pärjäsivät hieman paremmin. Kun ne säädettiin syyttämään rehellistä agenttia enintään viidessä prosentissa tapauksista, Opus 4.6-, 4.7- ja 4.8-valvojat tunnistivat 30–40 prosenttia sabotoijista ja pienempi Sonnet 4.6 20 prosenttia. Yksikään näistä valvojista ei ollut sabotoijasta yli 50-prosenttisen varma. Kun valvoja näki sabotoijan yksityisen päättelyn ja muistiinpanot, se havaitsi sabotoinnin helposti.

Anthropicin mukaan agenttitiimit tarvitsevat todennäköisesti samankaltaisia keinoja kuin ihmisorganisaatiot: kirjausjälkiä, mainetta ja tehtävien eriyttämistä.

Kauppaa toistetulla markkinalla

EVE Onlinessa Claude kävi kauppaa yksin, ja sen tavoite oli tehdä mahdollisimman suuri voitto. Anthropic ei käynyt kauppaa oikeassa pelissä, jossa automaattinen kaupankäynti on kielletty. Se rakensi simulaattorin, joka toistaa pelaajien todellisia osto- ja myyntitarjouksia. Simulaattori ei reagoi agenttien kauppoihin. Kun tutkijat lisäsivät agenttien hintoja alittavia keinotekoisia tarjouksia, voitot pienenivät noin 35 prosenttia.

Opus 4.7, Opus 4.8 ja Fable 5 tekivät voittoa kaikissa yhdeksässä kahden viikon jaksossa ja kasvattivat pääomaansa keskimäärin noin 16, 22 ja 43 prosenttia. Opus 4.6:n noin neljän prosentin tuotto oli samaa tasoa kuin parhaan sääntöpohjaisen strategian. Yli 20 kokeillusta sääntöpohjaisesta strategiasta vain yksi pääsi jatkuvasti edes niukasti omilleen. Puolen vuoden ajoissa Fable 5:n keskimääräinen tuotto oli kolminkertainen Opus 4.6:een verrattuna: noin 600 ja noin 200 prosenttia alkupääomasta.

Lähes kaikki mallit keksivät itse saman keinon: ne ostivat tavaraa alle tavanomaisen hinnan ja myivät sen hieman kalliimmalla. Anthropic ei odota tämän toimivan oikeassa pörssissä, joka on pelin markkinaa tehokkaampi. Malleja käskettiin myös ennustamaan hintojen suuntaa uutisten ja pelipäivitysten perusteella. Silloin Fable 5:kin teki voittoa vain noin puolessa ajoista.