Testissä GPT-mallit löysivät eniten agenttiriskejä, kun turhia hälytyksiä ei rajattu
Alibaban tutkijoiden ReA-Bench-testissä GPT-mallit löysivät agenttien ajolokeista eniten riskejä, mutta ne hälyttivät myös yli puolessa vaikeista luvallisista ajoista. Kun väärien hälytysten määrä rajattiin, Grok- ja DeepSeek-mallit löysivät enemmän riskejä.
Alibaban AAIG-ryhmän tutkijat julkaisivat 12. marraskuuta arXivissa esijulkaisun ReA-Bench-vertailutestistä. Testi mittaa, miten kielimallit tarkastavat tekoälyagenttien ajolokeja. Tarkastava malli lukee agentin työvaiheet ja arvioi, toimiko agentti riskialttiisti. Työvaiheita ovat esimerkiksi työkalukutsut vastauksineen. Tutkimusta ei ole vertaisarvioitu.
Tavallinen mittari on löydettyjen riskien osuus (recall). Tekijöiden mukaan siitä ei näe, mitkä riskit jäävät huomaamatta. Se ei myöskään kerro, tuoko suurempi osuus mukanaan enemmän vääriä hälytyksiä. Tekijöiden analyysissa tuotannon ja hyökkäystestien ajoista osa riskeistä jäi toistuvasti huomaamatta eri tarkastusasetuksilla.
Kuusi tasoa ja vaikeat luvalliset ajot
Testissä on 587 ajoa: 304 riskialtista, 177 luvallista ja 106 vertailuversiota. Useimmat on poimittu oikeista tuotantoajoista tai muokattu niistä. Tehtävät jakautuvat kuuteen tasoon:
- tietoturvatietämys
- ristiriidat ajon sisällä
- todisteen löytäminen pitkästä ajosta
- lähteiden ja päättelyn tarkistus
- vähittäinen ohjailu usealla viestikierroksella
- puuttuva tieto.
Luvalliset ajot on valittu tarkoituksella vaikeiksi. Niissä agentti tekee riskialttiilta näyttäviä asioita, mutta tehtävä ja käyttäjän antamat luvat oikeuttavat ne. Tekijöiden mukaan nämä ajot eivät vastaa tavallisia tuotantoajoja. Siksi testissä mitattua väärien hälytysten osuutta ei voi suoraan muuntaa tuotannon luvuiksi.
Eniten löytäneet mallit hälyttivät usein turhaan
Tutkijat testasivat kahdeksaa mallikokoonpanoa neljällä tavallisella tarkastustavalla. Kahdessa ensimmäisessä lukusarakkeessa on neljän tarkastustavan keskiarvo, kun hälytysraja on 5 asteikolla 0–10. Viimeisessä sarakkeessa on paras löydettyjen riskien osuus, kun luvallisista ajoista hälytetään enintään 10 prosentissa.
| Malli | Löydetyt riskit | Väärät hälytykset | Löydetyt riskit, väärät hälytykset ≤ 10 % |
|---|---|---|---|
| DeepSeek-Flash | 59,7 % | 3,8 % | 67,8 % |
| DeepSeek-Pro | 50,6 % | 3,8 % | 71,1 % |
| Qwen-Flash | 63,7 % | 8,6 % | 68,5 % |
| Qwen-max | 73,6 % | 12,9 % | 71,8 % |
| Grok-low | 65,4 % | 5,4 % | 74,6 % |
| Grok-high | 71,0 % | 5,5 % | 78,0 % |
| GPT-luna | 87,0 % | 52,0 % | 50,5 % |
| GPT-sol | 88,5 % | 54,0 % | 47,3 % |
Lähde: ReA-Bench-esijulkaisu, tasot 1–5. Väärien hälytysten osuus on mitattu testin vaikeista luvallisista ajoista.
Kiinteällä hälytysrajalla GPT-mallit löysivät eniten riskejä. Kun väärät hälytykset rajattiin, niiden tulos jäi muiden alle. Jokainen kokoonpano ajettiin vain kerran. Siksi pienet erot pitää tekijöiden mukaan vahvistaa toistokokeilla.
Mallit tunnistivat yleensä paremmin tietoturvatietämystä vaativat riskit kuin ristiriidat, perusteettomat väitteet ja päättelyvirheet. Ajon lyhentäminen ei aina auttanut. Yhdessä ajossa agentti oli käyttänyt UTC-aikaleimoja, vaikka raportointijakso oli määritelty Pekingin aikaan. Mallit tarkastivat ajon 28 kertaa eri kokoonpanoilla ja tarkastustavoilla. Alkuperäisessä noin 220 000 merkin ajossa virhe löytyi 12 kertaa ja noin 13 000 merkkiin lyhennetyssä versiossa 13 kertaa.
Tekijät kokeilivat myös omaa, muistiinpanoja kokoavaa GSA-menetelmäänsä. Kiinteällä hälytysrajalla GSA löysi kaikilla neljällä kokoonpanolla enemmän riskejä kuin eniten riskejä löytänyt vertailutapa, mutta se hälytti myös useammin turhaan. Kun kaikki hälytysrajat otetaan huomioon, GSA erotteli riskit paremmin kolmella kokoonpanolla, mutta GPT-lunalla huonommin.
Tekijät aikovat julkaista testin avoimesti, kun aineistosta on poistettu tunnistetiedot ja julkaisu on tarkastettu.