Cmpndin testeissä kärkimalli paransi viiden päätösmallin tarkkuutta muokkaamalla painoja
Cmpndin dspy-wsp-optimoijalla kärkimalli lukee ja muokkaa pienen mallin painoja ilman koulutusta. Yhtiön omissa testeissä viiden päätösmallin tarkkuus nousi 1,9–16,1 prosenttiyksikköä.
Cmpnd-yhtiön toimitusjohtaja Drew Breunig esitteli dspy-wsp:n yhtiön blogissa 13. marraskuuta. Se on DSPy-kirjaston optimoija, jota yhtiö itse kuvaa hyvin kokeelliseksi. DSPy on avoimen lähdekoodin kirjasto, jolla rakennetaan kielimalleja käyttäviä ohjelmia ja optimoidaan niitä mittarin avulla. Uusi WeightSpace-optimoija ei muokkaa kehotteita. Se muuttaa mallin painoja ilman gradientteja ja koulutusta.
Menetelmä on peräisin MIT CSAIL:n tutkijoiden Rikiya Takehin, Jayden Teohin, Alex Zhangin ja Omar Khattabin blogikirjoituksesta Sparks of Weight-Space Programming. Siinä GPT-6-Astra muokkasi 0,016 prosenttia Qwen3.5-0.8B-mallin painoista, ja mallin tulos MATH-500-testissä nousi 7,9 prosentista 48,1 prosenttiin. Tutkijoiden kokeissa muokkaus poisti esteitä mutta ei tuonut uusia kykyjä: Gemma 3 270M -mallin tulos ei juuri muuttunut. Cmpnd kertoo, ettei se ole vielä toistanut tutkimuksen koko tulosta.
Kärkimalli kokeilee ja muokkaa
Kärkimalli, jota Cmpnd kutsuu kirjoittajaksi, lukee pienen mallin painoja Python-koodilla hiekkalaatikossa. Se ajaa käyttäjän ohjelmaa harjoitusesimerkeillä rajallisen määrän kertoja, selvittää, mikä neuroverkossa menee vikaan, ja tallentaa kohdennetun muutoksen. Tuloksena on pieni korjaustiedosto, jossa on vain muuttuneet arvot ja tarkistussummat. Sillä voi muokata julkista perusmallia.
Cmpndin mukaan menetelmä toimii parhaiten päätösmalleilla. Päätösmalli lukee tilanteen kuvauksen ja tyypitetyt kysymykset ja antaa jokaiselle vastausvaihtoehdolle todennäköisyyden. Tekstiä se ei tuota.
Tulokset Cmpndin omissa testeissä
Taulukko näyttää, paljonko viiden päätösmallin tarkkuus nousi Typed Decisions -vertailutestin 400 tapauksessa. Näitä tapauksia ei käytetty optimoinnissa. ReAnchor on DSPy:n kokeellinen optimoija, joka säätää vastausten kynnysarvot painoihin koskematta.
| Malli | Lähtötaso | ReAnchor | WeightSpace | Molemmat |
|---|---|---|---|---|
| d1-omni-600M | 50,9 % | +9,3 | +16,1 | +18,3 |
| NanoJev | 39,2 % | +11,6 | +13,3 | +17,3 |
| d1-2B | 60,6 % | +9,5 | +13,4 | +17,3 |
| Strands Decider 2B | – | +13,7 | +10,4 | +20,0 |
| Clef-Flash (9B) | 68,8 % | +1,5 | +1,9 | +6,5 |
Muutos prosenttiyksikköinä muokkaamattomaan malliin verrattuna. Mittarina on ohjelman palauttamien vastausten tarkkuus. Kirjoittajana oli GPT-6-Astra, joka sai kunkin mallin optimoinnissa ajaa mallia 25 kertaa. Keskivirhe on 0,7–1,4 yksikköä. Lähde: Cmpnd; NanoJevin lähtötaso sekä ReAnchor- ja yhdistelmätulos MarkTechPostilta, joka viittaa Cmpndin tulosraporttiin.
Tuloksista ei voi päätellä, että painojen muokkaus olisi aina paras keino. Strands Decider 2B:llä pelkkä ReAnchor paransi tulosta enemmän. MarkTechPostin väite, että WeightSpace voitti ReAnchorin jokaisella mallilla, koskee vain sen taulukon neljää mallia.
Myös kirjoittajaksi valittu malli vaikutti tulokseen. GPT-6.1-Solin muokkaukset muuttivat tarkkuutta d1-omni-600M:llä +5,8, NanoJevilla +12,1 ja d1-2B:llä −0,6 prosenttiyksikköä.
Oletuksena kirjoittaja saa laskea päätöskerroksen tulokset itse hiekkalaatikossa, mitä alkuperäinen tutkimus ei sallinut. Tutkimuksen säännöillä d1-omni-600M:n tarkkuus nousi vain 2,8 ± 0,7 prosenttiyksikköä, eikä muokkaus parantanut ReAnchorin tulosta.
Kustannukset ja tietosuoja
Repositorion ohjeen mukaan päätösmallin optimointi, jossa mallia ajettiin 25 kertaa, kesti 68–167 minuuttia, ja kirjoittajamallin kutsut maksoivat 5,42–10,78 dollaria. MarkTechPostin luvut (78–167 minuuttia, 5,42–7,63 dollaria) perustuvat kolmeen malliin.
Hiekkalaatikko estää kirjoittajan koodia käyttämästä verkkoa ja pääsemästä kotihakemistoon. Kirjoittajamallin tarjoaja näkee silti mallin painot ja harjoitusesimerkit sitä mukaa kuin kirjoittaja lukee niitä.
dspy-wsp on GitHubissa MIT-lisenssillä, ja se vaatii Python 3.11:n tai uudemman, DSPy 3.5:n ja kirjoittajamallin API-avaimen. d1-omni-600M-mallin painoja voi optimoida Macilla tai GPU:lla, jossa on vähintään 4 Gt muistia; asennusohjeet ovat repositoriossa.
Lue lisää: Mallit