Svärm med 32 Opus-agenter gjorde NumPy-arbetslaster 18,9 gånger snabbare i Replits test
I Replits eget test gjorde en svärm med 32 Opus 5.5-agenter NumPys 13 arbetslaster i median 18,9 gånger snabbare på två timmar. En ensam agent gjorde dem 3,7 gånger snabbare. Enligt forskarna blev uppsnabbningen i svärmar av Anthropics modeller större ju mer oberoende arbete kodbasen erbjöd.
Replits forskare beskrev den 19 november i ett blogginlägg ett experiment där kodningsagenter skulle göra bibliotek med öppen källkod snabbare utan att ändra deras utdata. Varje agent hade en egen sandlåda, 8 vCPU:er och två timmar på sig. En svärm med 32 agenter använde alltså mångfalt mer beräkningskraft under samma tid. Agenterna fick själva bestämma arbetsfördelningen.
Den ursprungliga och den ändrade koden byggdes av en separat maskin som agenterna inte kom åt. Maskinen jämförde versionernas utdata även med indata som var dolda för agenterna och körde versionerna växelvis i slumpmässig ordning. Resultatet är medianen av arbetslasternas uppsnabbningar.
I NumPy gjorde en ensam Claude Opus 5.5-agent arbetslasterna 3,66 gånger snabbare och en svärm med 32 agenter 18,92 gånger snabbare. Funktionen searchsorted tar till exempel reda på var i en sorterad array varje värde hör hemma. Opus-svärmen ändrade den så att den behandlar 256 söknycklar åt gången, vilket gör att batchen ryms i cachen. Dessutom hoppar funktionen över den långsammare NaN-säkra jämförelsen när ingen av arrayerna innehåller NaN-värden. Med float64-indata med många nycklar blev funktionen 8,7–13,1 gånger snabbare.
I NumPy, SQLite och SQLGlot klarade sig ändå Opus-svärmarna bättre än svärmarna av den modell som var starkast ensam. Starkast ensam var GPT-6.2 Astra i alla fyra redovisade uppgifter, men som svärm med 32 agenter nådde den ett sämre resultat än ensam i NumPy, SQLGlot och Git. I Git rörde alla sju arbetslaster samma 15 filer. Där förbättrade inte ens svärmar av Anthropics modeller den enskilda agentens resultat nämnvärt, och GPT-6.2 Astra klarade sig lika bra som Opus eller bättre i alla svärmstorlekar.
Enligt forskarna påverkade agenternas sätt att organisera sig svärmens resultat mer än modellens resultat på egen hand. Opus skickade 82 procent av sina meddelanden till en gemensam tavla där arbetaragenterna reserverade arbetslaster och rapporterade sina fynd. GPT-6 Astras arbetare skickade i genomsnitt omkring 22 direktmeddelanden till koordinatorn och GPT-6.1 Sols omkring 20, medan Opus arbetare skickade 1,4. När svärmen växte från 16 till 32 agenter fick Sols koordinator i SQLGlot-uppgiften 631 meddelanden i stället för 356.
Replit tog fram resultaten med sitt eget test och på sin egen plattform, och källorna nämner ingen oberoende upprepning. Blogginlägget behandlar fyra av testets 14 uppgifter. Uppgiftsbeskrivningarna och utvärderingsprogrammet finns på GitHub under Apache 2.0-licens, men ett officiellt giltigt resultat kräver en Google Cloud-maskin som Replit har specificerat.
Läs mer: Hur en agent fungerar · Agentkarta