AI Aulis

AI-UUTISET SUOMEKSI · 14.11.2026

Tekoälyalan tärkeimmät uutiset joka aamu. Tekoäly kirjoittaa ja tarkastaa jutut alkuperäisiä lähteitä vasten – tarkista tärkeät tiedot lähteistä.

← Numero 14.11.2026Lehti

Esijulkaisu: toimijana heikko JEV-päätösmalli opetti pientä mallia tekstitehtävissä

Tekoälyn tuottama sisältöTekoälyn kirjoittama

arXiv, github.com, huggingface.co, alphaxiv.org · 4 lähdettä · Lähteet julkaistu: 12.11.2026 · osan lähteistä ajankohta ei tiedossa

Zhejiangin yliopiston ja Baidun tutkijoiden mukaan itse tehtävissä huonosti pärjäävä päätösmalli voi silti antaa hyödyllistä palautetta vahvistusoppimisessa, kun se arvioi koko suorituksen jälkeen, auttoiko kukin teko tavoitteessa.

Tutkijat julkaisivat tulokset arXivissa 12. marraskuuta. Kyse on esijulkaisusta, jota ei ole vertaisarvioitu.

Päätösmalli on esikoulutettu malli, joka ei kirjoita vapaata tekstiä. Se esimerkiksi valitsee annetuista vaihtoehdoista ja antaa jokaiselle todennäköisyyden. Tutkijat vertasivat kolmea päätösmallia ja kolmea samoja kysymyksiä saanutta suurta kielimallia tekstipohjaisessa ALFWorldissa, jossa agentti tekee kotitaloustehtäviä. Opettajana kokeiltiin vain JEV:tä ALFWorldissa ja verkkokauppaa jäljittelevässä WebShopissa.

Malleja käytettiin kolmessa roolissa. Toimijana malli valitsee agentin seuraavan teon, arvioijana se pisteyttää tallennetun suorituksen tekoja ja opettajana koulutettavan mallin tekoja.

Toimija valitsee helpomman välitavoitteen

Kaikki kuusi mallia onnistuivat toimijoina harvemmin, kun välitavoitteet piti tehdä järjestyksessä, esimerkiksi lämmittää muki ennen pöydälle vientiä. TypeSafe AI:n suljettu JEV suoritti 70,8 prosenttia tehtävistä, joiden välitavoitteet sai tehdä missä järjestyksessä tahansa, mutta vain 14,7 prosenttia järjestystä vaativista.

Tutkijoiden mukaan mallit silti tunsivat vaaditun askeleen. Tilanteissa, joissa yksi teko olisi täyttänyt helpomman välitavoitteen, sen poistaminen tehtävänannosta nosti JEV:n todennäköisyyden vaaditulle askeleelle 14,6 prosentista 77,6 prosenttiin. Kun kehote muistutti riippuvuudesta, onnistumisosuus muuttui vain −2,8:n ja +5,2 prosenttiyksikön välillä.

Arvioinnissa kysymyksen muoto ratkaisi

Arvioija näki joko suorituksen arvioitavaan tekoon asti tai koko suorituksen. Siltä kysyttiin joko, onnistuuko tehtävä, tai auttoiko teko tavoitteessa. Koko suorituksen nähnyt JEV antoi hyötykysymyksellä välitavoitteen saavuttaneille teoille 0,36 korkeammat pisteet kuin saman suorituksen teoille, jotka eivät muuttaneet mitään. Onnistumiskysymyksellä ero oli 0,05, koska vastaus on jokaiselle teolle sama eli lopputulos.

Opettajana JEV pisteytti jokaisen teon, jonka 1,5 ja 7 miljardin parametrin Qwen2.5-mallit tekivät harjoitussuorituksissa. Tutkijat suhteuttivat pisteet saman tehtävän suoritusten keskiarvoon ja lisäsivät ne GRPO-menetelmän signaaliin, joka muuten antaa kaikille teoille saman arvon lopputuloksen mukaan.

Taulukko näyttää koulutettujen mallien onnistumisosuudet. Toimijana JEV suoritti samoista ALFWorld-tehtävistä 42,9 prosenttia.

Koulutus ALFWorld WebShop
GRPO, 1,5B 72,8 56,8
Koko suoritus + onnistuminen, 1,5B 69,3 68,3
Koko suoritus + hyöty, 1,5B 82,9 71,4
GRPO, 7B 77,6 66,1
Koko suoritus + hyöty, 7B 83,8 73,6

Lähde: esijulkaisun taulukko 3, onnistumisosuus prosentteina.

AlphaXiv-palvelun tekoälyllä tuotetun tiivistelmän mukaan luvut ovat kolmen arviointiajon keskiarvoja, ja GRPO-luvut on otettu GiGPO-julkaisusta ajamatta niitä uudelleen.

Tekijöiden selityksen mukaan jälkikäteen arvioija näkee seuraukset, jotka toimijan pitäisi ennakoida. Saman tiivistelmän mukaan koe ei kuitenkaan osoita, että parannus johtuu pelkästään tästä.

Rajat ja saatavuus

Tulokset koskevat kahta tekstiympäristöä, joissa suorituksessa on enintään 30 tekoa. Tekijöiden mukaan päätösmallit sopivat huonommin tekojen suodattamiseen kesken suorituksen, koska silloin loppua ei vielä näe.

JEV:n pisteet haettiin OpenRouterin kautta, ja ne maksoivat 22–30 dollaria koulutusajoa kohden. Opettajaa ei tarvita valmiin mallin käytössä. Koodi on GitHubissa Apache 2.0 -lisenssillä.

Ilmoita virheestä tässä jutussa