Förhandspublicering: Modellkaskad minskade kodningsagentens GPU-timmar med 16 procent i simulering
I en simulering av forskare vid AMD och NTU Singapore försökte en liten modell lösa en programmeringsuppgift innan en stor modell tog över. Den stora modellen tog över först efter ett misslyckande eller en timeout. GPU-timmarna minskade med 16,4 procent utan att andelen lösta uppgifter sjönk, men uppgifterna tog längre tid.
Forskare vid AMD Singapore och NTU Singapore lade ut en förhandspublicering på arXiv den 18 november. I den jämförde de 36 modeller med öppna vikter i benchmarket SWE-bench Verified. I benchmarket rättar en kodningsagent fel i verklig programvara. En uppgift räknas som löst bara om rättelsen klarar alla tester. Alla modeller styrdes av samma harness, mini-swe-agent, alltså ett program som styr agenten, ger modellen verktyg och kör dess arbetssteg.
De små modellerna låg efter de stora, särskilt på svåra uppgifter. GLM-4.7-Flash (30 mdr parametrar) löste 62 procent av de lätta uppgifterna, 36 procent av de medelsvåra och 2 procent av de svåra. GLM-4.7 (355 mdr) från samma modellfamilj löste 77, 68 respektive 36 procent. Av uppgifterna var 91 procent lätta eller medelsvåra.
I kaskaden försöker den lilla modellen först lösa varje uppgift inom en tidsgräns. Om rättelsen misslyckas eller tiden tar slut tar sig den stora modellen an uppgiften från början. Enligt forskarna ger redan en timeout en grov bild av hur svår uppgiften är. Den lilla modellen hinner oftast slutföra uppgifter som ligger inom dess förmåga, och resten går vidare till den stora modellen.
Som jämförelse användes en router som bestämmer före körningen: lätta och medelsvåra uppgifter går till den lilla modellen, svåra direkt till den stora. Den lilla modellens misslyckanden förs över till den stora modellen. Tabellen jämför båda med enbart den stora modellen:
| Metod | Andel lösta | GPU-timmar | Minskning |
|---|---|---|---|
| Endast GLM-4.7 | 71,2 % | 2 585 | – |
| Kaskad, 120 min tidsgräns | 73,4 % | 2 160 | 16,4 % |
| Router, perfekt kunskap om svårighetsgrad | 73,4 % | 2 122 | 17,9 % |
Källa: förhandspublicering. Siffrorna är simulerade i efterhand ur loggar från separata körningar av båda modellerna på 466 uppgifter. GPU-timmarna är beräknade per uppgift och motsvarar inte hårdvarans faktiska förbrukning.
Med 120 minuters tidsgräns minskade kaskaden GPU-timmarna för de lätta uppgifterna från 821 till 546, alltså med 33,5 procent. Den lilla ökningen av andelen lösta uppgifter kan bero på slumpen, eftersom varje modell kördes bara en gång per uppgift.
Forskarna simulerade routern med i förväg kända svårighetsklassningar, så dess 17,9 procent är en övre gräns. Enbart tidsgränsen uppnådde större delen av den minskningen utan att någon klassificerare behövde tränas, uppger de.
Kaskaden gör att uppgifterna tar längre tid. Med enbart den stora modellen tog en uppgift i genomsnitt 41,6 minuter. I kaskaden var tiden 65,5 minuter med 30 minuters tidsgräns och 84,5 minuter med 120 minuters tidsgräns. Forskarna rekommenderar därför kaskaden för uppgifter som körs i bakgrunden, inte för interaktivt arbete.
Resultatet gäller ett modellpar och ett benchmark. Om merparten av uppgifterna vore svåra skulle kaskaden förbruka nästan lika mycket som enbart den stora modellen, plus den lilla modellens onödiga försök, säger forskarna. De rekommenderar att man kartlägger den egna uppgiftsfördelningen innan man bygger en router.
Hugging Face-användaren narcolepticchicken skrev i en tidigare version av README-filen att användarens kaskad hade 56 procent lägre kostnad i dollar än en frontiermodell som fick ett nytt försök. En tränad router hade misslyckats, uppgav upphovspersonen, och resultatet hade inte verifierats i SWE-benchs Docker-miljö. En senare README presenterar tre tränade hjälpmodeller, varav en väljer modellnivå.
Läs mer: Hur en agent fungerar · Modeller