Päättelyjälkien poisto vaikutti seitsemään malliin hyvin eri tavoin työkalutehtävissä
Tekoälyn kirjoittama
ArXiv-esijulkaisun mukaan aiempien vuorojen päättelyjälkien poisto romahdutti yhden mallin onnistumisosuuden usean vuoron työkalutehtävissä, mutta Qwen3-malleihin se ei juuri vaikuttanut. Mallin koko ei selittänyt eroja.
Zhejiang Gongshang Universityn, Sussexin yliopiston ja kahden muun organisaation tutkijat julkaisivat 9. marraskuuta arXivissa esijulkaisun, jota ei ole vertaisarvioitu. Se mittaa, miten aiempien vuorojen päättelyjälkien poisto muuttaa päättelymallin onnistumista.
Päättelyjälki on mallin ennen toimintaansa kirjoittama teksti. Usean vuoron istunnossa malli lukee seuraavalla vuorolla aiemmat jäljet. Tekijöiden mukaan palveluntarjoajat sitovat jäljen sen tuottajaan, joten toiselle tarjoajalle ohjattu pyyntö saapuu ilman jälkiä.
Sama istunto kolmella tavalla
Tutkijat ajoivat seitsemällä avointen painojen mallilla 794 usean vuoron työkalutehtävää BFCL v4 -vertailutestistä. Jokainen tehtävä ajettiin kolmesti: jäljet säilyttäen, kaikkien aiempien vuorojen jäljet poistaen ja poistaen jäljet vain istunnon alkuosasta, noin 40 prosentista vuoroja. Työkalukutsut tuloksineen ja meneillään olevan vuoron jälki säilyivät aina. BFCL:n virallinen tarkistin arvioi istunnon lopputilan tietämättä, miten jälkiä oli käsitelty. Ajot toistettiin kolmella satunnaissiemenellä. Baichuan-M2-32B ja Olmo-3-7B-Think ajettiin vain 200 tehtävällä.
Vaikutus vaihteli mallin mukaan
Taulukko vertaa onnistumisosuuksia, kun kaikki aiemmat jäljet säilytettiin tai poistettiin.
| Malli | Säilytys, % | Poisto, % | Ero, %-yks. | 95 %:n luottamusväli |
|---|---|---|---|---|
| Baichuan-M2-32B | 51,8 | 0,5 | +51,3 | +47,2…+55,3 |
| GLM-Z1-32B | 29,3 | 28,6 | +0,7 | −2,0…+3,4 |
| Olmo-3-7B-Think | 3,8 | 0,8 | +3,0 | +0,2…+6,0 |
| Qwen3-8B | 34,4 | 34,9 | −0,5 | −3,2…+2,2 |
| Qwen3-14B | 34,4 | 37,4 | −3,1 | −5,8…−0,4 |
| Qwen3-32B | 40,3 | 40,5 | −0,2 | −3,0…+2,6 |
| R1-Distill-14B | 1,3 | 5,6 | −4,4 | −5,7…−3,1 |
Lähde: Jia ym., arXiv 2611.13223. Kolmen siemenen yhdistetyt tulokset. Positiivinen ero tarkoittaa, että poisto heikensi tulosta.
R1-Distill-14B parani lähtötasolta, jolla se onnistui 1,3 prosentissa tehtävistä. Olmon ero perustuu kymmeneen ja kahteen onnistumiseen. Mallin koko ei selittänyt eroja: kolmen 32 miljardin parametrin mallin erot olivat −0,2, +0,7 ja +51,3 prosenttiyksikköä.
Qwen3-32B:llä tutkijat poistivat 200 tehtävässä 0–100 prosenttia historiasta. Ääripäiden onnistumisosuudet erosivat 1,5 prosenttiyksikköä. Poistolle herkkiä malleja ei testattu näin.
Toistuvia kutsuja ja oireettomia epäonnistumisia
Poisto näkyi myös mallien toiminnassa. Alkuosan jälkien poiston jälkeen R1-Distill-14B toisti saman kutsun samoin argumentein 68,7 prosentissa istunnoista, jälkiä säilytettäessä 18,1 prosentissa. Olmolla kaikkien jälkien poisto nosti osuuden 30,2:sta 66,5 prosenttiin. Baichuanin toisto lisääntyi vain vähän, mutta se epäonnistui silti. Qwen3-8B teki poiston jälkeen enemmän kutsuja ja onnistui yhtä usein. Tekijöiden mukaan jää avoimeksi, johtaako malli poistetun päättelyn uudelleen.
Tekijät tulkitsevat herkkyyden mallin ominaisuudeksi ja ehdottavat seulaa, jossa malli ajetaan 200 tehtävällä jäljet säilyttäen ja poistaen. Historia säilytetään, jos eron luottamusväli on kokonaan yli 10 prosenttiyksikön. Tämä edellyttää yli noin 20 prosenttiyksikön pistearviota. Seula luokittelisi siis todennäköisesti poistoa sietäväksi esimerkiksi mallin, jonka tulos heikkenee 15 prosenttiyksikköä.
Tulokset koskevat BFCL-tyyppisiä funktiokutsutehtäviä. Tekijöiden mukaan on avoin kysymys, pätevätkö ne muihin tehtäviin. Suljettuja malleja ei mitattu. Istuntolokit saa tekijöiltä pyynnöstä.
Lue lisää: Mallit