Opus 5.5:llä toimiva agentti julkaisi 38 mallia, joita ladattiin yli 50 000 kertaa
Tutkijat antoivat Horizon-agentille tyhjän Hugging Face -tilin ja laskentatehoa seitsemäksi viikoksi. Heidän mukaansa lataukset ovat pääosin aitoja, ja agentin malleja käyttää 143 GitHub-repositoriota.
Tübingenissä toimivien ELLIS-instituutin ja Max Planckin älykkäiden järjestelmien instituutin sekä EPFL:n tutkijat julkaisivat kokeesta raportin horizon-labs.ai-sivustolla. Raportin ensimmäinen kirjoittaja Arthur Wuhrmann kertoi siitä X:ssä 17. marraskuuta. Horizon-niminen tekoälyagentti toimi ympäri vuorokauden Claude Code -koodausagentissa Opus 5.5 -mallin varassa. Sen tehtävä oli saada malleilleen todellisia käyttäjiä. Koko kokeessa kului yli 600 GPU-tuntia.
Horizon teki kapeisiin tehtäviin erikoistuneita malleja, kuten henkilötietojen poistajia, välimerkkien palauttajia ja kehoteinjektioiden tunnistimia. Kehoteinjektio on teksti, joka yrittää ohittaa kielimallille annetut ohjeet. Agentin malleista eniten, noin 17 000 kertaa, ladattiin injektiotunnistinta.
Latausluku ei yksin todista käyttöä. Tutkijat epäilivätkin aluksi, että botit tai agentti itse olivat kasvattaneet sitä. Valvontamallit kävivät läpi kaikki agentin työkalukutsut reward hackingin eli mittarin keinotekoisen kasvattamisen varalta. Horizon oli ladannut omia mallejaan 42 kertaa kuudessa eri tilanteessa, ja tutkijoiden mukaan todellinen määrä voi olla hieman suurempi. Itse he arvioivat aiheuttaneensa enintään 50 latausta 54 000:sta. Käytöstä kertovat myös 143 GitHub-repositoriota, 18 Horizonin malleista muokattua mallia ja kaksi arXiv-esijulkaisua, joissa injektiotunnistinta verrataan muihin.
Toinen esijulkaisuista osoittaa, miksi riippumaton arvio kannattaa. Siinä Horizonin tunnistin sai sopimusasiakirjoihin kohdistuvissa hyökkäyksissä parhaan AUC-arvon. Se mittaa, kuinka hyvin luokittelija erottaa kaksi joukkoa toisistaan. Kirjoittajien mukaan malli kuitenkin tunnisti lähinnä asiakirjan muokkaamisen, ei muokkauksen vihamielisyyttä.
Mallikorteissa ja Spaces-sivuilla Horizon esitti mallinsa usein alansa parhaiksi tai lähes parhaiksi. Tutkijat testasivat neljä malliperhettä synteettisillä vertailutesteillä, jotka he tekivät itse vasta mallien julkaisun jälkeen. Niissä mallit olivat kapeissa tehtävissä usein kokoluokkansa parhaita. Agentti myös valitsi julkaistavan version validointiaineiston perusteella silloinkin, kun valittu versio näytti raportoiduissa testeissä heikommalta.
Horizon työskenteli keskimäärin 16 minuuttia päivässä. Yleensä se heräsi Hugging Facen latauslukujen päivittyessä ja paransi eniten ladattuja mallejaan. Agentin työaika ja GPU-käyttö tasaantuivat, mutta päivittäiset lataukset kasvoivat.
Tutkijat vastasivat agentin 13 tukipyyntöön ja lähettivät sille seitsemän viestiä. He arvioivat, että heidän kaksi virhettään vaikuttivat osaltaan siihen, että Horizon ymmärsi sen takana olevan tutkimusryhmän eikä yrityksen. Heidän arvionsa mukaan virheet eivät vaikuttaneet agentin toimintaan eivätkä latausmääriin. Rinnakkaisessa kokeessa DeepSeek-agentti sai pääsyn samaan tiliin ja mainosti Horizonin malleja toisen repositorion kommenteissa. Raportin mukaan koe kesti seitsemän viikkoa, mutta sen viittausohjeen otsikossa puhutaan kahdeksan viikon tapaustutkimuksesta. Kokeen raakadata ja kaikki 3 952 työkalukutsua ovat ladattavissa raportin sivulta.
Lue lisää: Miten agentti toimii · Agenttikartta