I Cmpnds tester höjde en frontiermodell fem beslutsmodellers träffsäkerhet genom att redigera vikterna
Med Cmpnds optimerare dspy-wsp läser och redigerar en frontiermodell en liten modells vikter utan träning. I företagets egna tester ökade träffsäkerheten hos fem beslutsmodeller med 1,9–16,1 procentenheter.
Drew Breunig, vd för Cmpnd, presenterade dspy-wsp i företagets blogg den 13 november. Det är en optimerare för biblioteket DSPy, och företaget beskriver den själv som mycket experimentell. DSPy är ett bibliotek med öppen källkod för att bygga program som använder språkmodeller och för att optimera programmen med hjälp av ett mått. Den nya optimeraren WeightSpace ändrar inte prompten. Den ändrar modellvikterna utan gradienter och utan träning.
Metoden kommer från blogginlägget Sparks of Weight-Space Programming av forskarna Rikiya Takehi, Jayden Teoh, Alex Zhang och Omar Khattab vid MIT CSAIL. Där redigerade GPT-6-Astra 0,016 procent av vikterna i Qwen3.5-0.8B, och modellens resultat på MATH-500 steg från 7,9 procent till 48,1 procent. I forskarnas försök tog redigeringen bort hinder men gav inga nya förmågor: resultatet för Gemma 3 270M förändrades knappt. Cmpnd uppger att företaget ännu inte har reproducerat studiens hela resultat.
Frontiermodellen testar och redigerar
Frontiermodellen, som Cmpnd kallar skribent, läser den lilla modellens vikter med Python-kod i en sandlåda. Den kör användarens program på övningsexempel ett begränsat antal gånger, tar reda på vad som går fel i det neurala nätverket och sparar en riktad ändring. Resultatet är en liten korrigeringsfil med bara de ändrade värdena och kontrollsummor. Med den kan man redigera en offentlig basmodell.
Enligt Cmpnd fungerar metoden bäst på beslutsmodeller. En beslutsmodell läser typade frågor och en beskrivning av situationen och ger varje svarsalternativ en sannolikhet. Den genererar ingen text.
Resultaten i Cmpnds egna tester
Tabellen visar hur mycket träffsäkerheten hos fem beslutsmodeller ökade på de 400 fallen i benchmarket Typed Decisions. Fallen användes inte vid optimeringen. ReAnchor är en experimentell optimerare i DSPy som justerar svarens tröskelvärden utan att röra vikterna.
| Modell | Utgångsnivå | ReAnchor | WeightSpace | Båda |
|---|---|---|---|---|
| d1-omni-600M | 50,9 % | +9,3 | +16,1 | +18,3 |
| NanoJev | 39,2 % | +11,6 | +13,3 | +17,3 |
| d1-2B | 60,6 % | +9,5 | +13,4 | +17,3 |
| Strands Decider 2B | – | +13,7 | +10,4 | +20,0 |
| Clef-Flash (9B) | 68,8 % | +1,5 | +1,9 | +6,5 |
Förändring i procentenheter jämfört med den oredigerade modellen. Måttet är träffsäkerheten i de svar som programmet returnerar. Skribent var GPT-6-Astra, som fick köra varje modell 25 gånger under optimeringen. Standardfelet är 0,7–1,4 enheter. Källa: Cmpnd; NanoJevs utgångsnivå samt resultaten för ReAnchor och kombinationen från MarkTechPost, som hänvisar till Cmpnds resultatrapport.
Av resultaten går det inte att dra slutsatsen att viktredigering alltid är den bästa metoden. För Strands Decider 2B gav enbart ReAnchor en större förbättring. MarkTechPosts påstående att WeightSpace slog ReAnchor på varje modell gäller bara de fyra modellerna i sajtens tabell.
Även valet av skribentmodell påverkade resultatet. Med GPT-6.1-Sol ändrade redigeringarna träffsäkerheten med +5,8 procentenheter för d1-omni-600M, +12,1 för NanoJev och −0,6 för d1-2B.
Som standard får skribenten själv beräkna beslutslagrets resultat i sandlådan, vilket den ursprungliga studien inte tillät. Med studiens regler ökade träffsäkerheten för d1-omni-600M med bara 2,8 ± 0,7 procentenheter, och redigeringen förbättrade inte ReAnchors resultat.
Kostnader och dataskydd
Enligt anvisningarna i kodförrådet tog optimeringen av en beslutsmodell, där modellen kördes 25 gånger, 68–167 minuter, och anropen till skribentmodellen kostade 5,42–10,78 dollar. MarkTechPosts siffror (78–167 minuter, 5,42–7,63 dollar) bygger på tre modeller.
Sandlådan hindrar skribentens kod från att använda nätverket och komma åt hemkatalogen. Leverantören av skribentmodellen ser ändå modellens vikter och övningsexemplen allteftersom skribenten läser dem.
dspy-wsp finns på GitHub under MIT-licens och kräver Python 3.11 eller senare, DSPy 3.5 och en API-nyckel för skribentmodellen. Vikterna i d1-omni-600M kan optimeras på en Mac eller på en GPU med minst 4 GB minne. Installationsanvisningar finns i kodförrådet.
Läs mer: Modeller