Grok Bot-teamet: 11 000 pull requests driftsatta på en månad
Enligt Lauren Tan upprätthåller SpaceXSI:s Grok Bot-team kvaliteten på kodningsagenternas kod genom att göra de rättelser som agenten får till automatiska kontroller. Omkring 0,5 procent av alla pull requests återställs, säger Tan.
Lauren Tan (poteto) berättade i ett tal på konferensen AI Engineer hur SpaceXSI:s Grok Bot-team upprätthåller kodkvaliteten så att större delen av produktkoden enligt Tan inte längre kräver grundlig mänsklig granskning. Videon av talet publicerades den 14 november. Grok Bot är en Electron-baserad skrivbordsapp för att starta och styra Cursors molnagenter, uppger Tan.
Rättelser blir automatiska kontroller
Tans utgångspunkt är att agenten också kopierar kodbasens nödlösningar och föråldrade lösningar. När teamet rättar agenten blir rättelsen inte en ny rad i en instruktionsfil som agents.md. I stället gör teamet den till en automatisk kontroll eller förbättrar gränssnittet eller arkitekturen. Skälet är enligt Tan att en kontroll i koden fungerar repeterbart.
Teamets eget ramverk Dune för Electron-appar innehåller lintregler, det vill säga kontroller som avvisar kod med en förbjuden struktur. I produktkoden är Reacts useEffect förbjuden. Agenterna använder den dåligt, säger Tan. Koden för Electrons huvudprocess och renderingsprocess ligger i separata kataloger, och den ena får inte importera kod från den andra.
Teamet har också förbjudit 99 procent av kodkommentarerna. Tan gav ett exempel från Cursor: i kommentarer motiverade agenterna snabbfixar som byggde på timers och försämrade appens prestanda. Nu styr lintregelns felmeddelande agenten att åtgärda den egentliga orsaken.
Tan rekommenderar att man börjar med en lintregel som stoppar nya dåliga strukturer och sedan städar bort de gamla. Att automatisera ett arbetssätt som ger dålig kod ger bara mer dålig kod, säger Tan. Det tog sex månader innan Tan själv kunde driftsätta tusentals pull requests.
Agenterna verifierar sitt arbete själva
Granskningen har enligt Tan krympt till att handla om videor, skärmdumpar och diagram. Agenten kör själv appen med felsökningsverktyg som Chrome DevTools-protokollet. En funktionskarta listar appens funktioner för agenten ur användarens perspektiv.
Teamet testar också formell verifiering, det vill säga matematisk kontroll av programmets egenskaper. Algoritmer kontrolleras med Lean och centrala användarflöden med TLA+, till exempel notiser på flera enheter. Metoden har redan hittat flera fel, berättade Tan, men den är inget universalmedel och försöket fortsätter. Merparten av Tans token går åt till verifiering.
Resultaten är teamets egna siffror
Enligt Tan driftsatte teamet förra månaden 11 000 pull requests, alltså förslag till kodändringar. I oktober gjorde omkring 227 personer minst en pull request. En ny stabil version släpps ungefär en gång om dagen.
Andelen pull requests som återställs ligger stadigt på omkring 0,5 procent och är lägre än tidigare, säger Tan. Av talets text framgår inte vilken tidpunkt andelen jämförs med, och siffrorna har inte granskats av någon oberoende part. Tan uppger också att appen sedan lanseringen har blivit snabbare vid start och skrivning och när man öppnar och byter konversationer. Talets text redovisar inga mätresultat.
När en ny version har släppts startar Grok Bot ett Cursor-projekt som använder appen som en användare. Projektet rättar felen det hittar och slår ihop rättelserna automatiskt. Kodbasen är i så gott skick att pull requests oftast är bra från början, säger Tan.
Tans tillägg pstack finns på GitHub i Cursors kodförråd plugins. Det innehåller skillen State Chart, som ritar tillståndsmaskiner ur användarens perspektiv.
Läs mer: Hur en agent fungerar · Agentkarta