Esijulkaisu: lähdeajoihin linkitetyt opit vähensivät agentin muistin haittoja testeissä
Tekoälyn kirjoittama
KAISTin WikiTrace-järjestelmässä tekoälyagentti voi tarkistaa muistiin tiivistetyn opin alkuperäisestä ajosta. Viidessä vertailutestissä agentti epäonnistui WikiTracella keskimäärin harvemmin kuin samoilla opeilla ilman linkkejä ja tarkistuskehotetta tehtävissä, jotka se ratkaisi ilman muistia.
KAISTin ja DeepAuto.ai:n tutkijat kertovat 10. marraskuuta arXivissa julkaistussa esijulkaisussa, että tekoälyagentin muisti voi heikentää sen suoriutumista. arXivDaily-palvelun mukaan työ on lähetetty ACL Rolling Review -vertaisarviointiin, joka on vielä kesken.
Agentin muistiin tiivistetään yleensä aiempien ajojen opit. Ajo on agentin toimien ja havaintojen sarja. Ajon lopputuloksesta tiedetään vain, onnistuiko tehtävä. Siksi oppia muodostavan mallin on arvattava, mikä teko ratkaisi lopputuloksen.
Tutkijat tarkastelivat tehtäviä, jotka agentti ratkaisi aina ilman muistia mutta muistin kanssa ei. Kielimalliarvioijan mukaan 52 prosenttia epäonnistumisista johtui muistin kohdasta, jota agentti noudatti. Useimmiten kohta oli virheellinen. Luokitus kuvaa agentin päättelyn sisältöä eikä varmaa syytä.
Opista pääsee lähdeajoon
WikiTrace tallentaa jokaisen opin yhteyteen muuttamattoman lähdeajon ja yhteenvedon siitä, miksi ajo onnistui tai epäonnistui. Agentti saa kaikki opit tehtävän alussa. Ennen toimimista agentti voi lukea linkitetyt tiedostot komentorivityökaluilla ja korjata opin, jos oppi on puutteellinen, ristiriidassa toisen kanssa tai peräisin epäonnistuneesta ajosta.
Tulokset viidessä vertailutestissä
Viidessä vertailutestissä oli yhteensä kahdeksan osatestiä, esimerkiksi tekstipohjaisia kotitalous- ja tiedetehtäviä sekä sovellusrajapintojen käyttöä. Kaikki menetelmät käyttivät samaa agenttia ja DeepSeek V4 Flash -mallia, ja jokainen testi ajettiin kolmesti.
Taulukossa ovat osatestien keskiarvot. Keskiarvo ei ole yhden mittarin tulos, koska osatesteissä mitataan eri asioita, esimerkiksi onnistumisosuutta tai pistemäärää.
| Menetelmä | Keskiarvo |
|---|---|
| Ei muistia | 79,5 |
| ExpeL | 80,3 |
| AWM | 81,6 |
| ReasoningBank | 81,7 |
| Pelkät opit | 87,0 |
| WikiTrace | 90,2 |
Lähde: esijulkaisun taulukko 1. Luvut ovat kolmen ajon keskiarvoja kahdeksasta osatestistä.
Regressio on niiden tehtävien osuus, jotka agentti ratkaisi ilman muistia mutta muistin kanssa ei. WikiTracella regressio oli 4,5 prosenttia. Pelkillä opeilla eli samoilla opeilla ilman lähdeajoja se oli 6,5 prosenttia. Kun agentti ajettiin uudelleen ilman muistia, 9,7 prosenttia onnistumisista muuttui epäonnistumisiksi jo ajojen välisen vaihtelun vuoksi.
Pelkät opit -vertailusta puuttui myös kehote, joka ohjaa agenttia tarkistamaan lähteet. Tekijöiden mukaan etu syntyy sekä lähdeaineistosta että tästä kehotteesta.
Kolmessa tekstipohjaisessa testissä agentti avasi lähdeajon 22 prosentissa helpoista ja 44 prosentissa vaikeista tehtävistä. Helpon tehtävän agentti ratkaisi ilman muistia kaikilla kolmella kerralla, vaikean ei kertaakaan.
Kielimalliarvioijan luokituksen mukaan avauksissa, jotka agentti teki jäätyään jumiin tai epäiltyään oppia, WikiTrace oli 10,4 pistettä pelkkiä oppeja edellä. Muissa avauksissa ero oli 3,7 pistettä. Agentti päätti avaamisesta itse, joten erot eivät osoita, että juuri avaaminen aiheutti ne.
Linkki ei todista oppia oikeaksi
Tekijöiden mukaan agentti voi tarkistaa opin linkin avulla, mutta linkki ei takaa opin olevan oikea. Myös yhteenvedon selitys epäonnistumiselle voi olla väärä. Kaikki opit annetaan agentille ensimmäisessä viestissä, joten kehote kasvaa muistin mukana. Tekijät jättävät avoimeksi, miten agentti löytäisi tarvitsemansa opit suuremmasta muistista.
Koodi on julkaistu GitHubissa (github.com/yukyeongleee/wikitrace). Blockchain.newsin mukaan asennus vaatii Pythonin, Noden, Dockerin ja uv-työkalun.