Chetas Joshi, ingenjör i Robinhoods dataplattformsteam, berättade hur teamet granskar ändringar i datapipelines i en presentation som publicerades på kanalen AI Engineer den 10 november 2026. Kodningsagenter öppnar pull requests, alltså ändringsförslag som väntar på godkännande, snabbare än teamets få experter hinner läsa dem. Ändringarna gäller till exempel scheman, inställningar och behörigheter till data.

Skripten kontrollerar fakta, agenten bedömer risker

Skripten kontrollerar ändringen mot uppgifter från produktionssystemen. De jämför schemat med schemaregistret och hämtar tabellens ägare och personuppgiftsmarkeringar från datakatalogen. De går också igenom kolumnens läsare i ett lineage-verktyg. Verktyget registrerar vilka jobb som läser vilka data. Ett prestandatest kör ändringen i en testmiljö med samma datavolym som i produktionen. Om en kontroll misslyckas stoppas pull requesten.

Samtidigt läser en AI-agent ändringen. Den kan hämta filer från kodförrådet men når inte produktionssystemen. Reglerna talar om för agenten vad skripten redan täcker. De styr agenten mot problematiska frågestrukturer, behörigheter till känsliga data och läsare som saknas i lineage-verktyget. Agenten kommenterar rader med motivering, poängsätter risken och godkänner antingen ändringen eller skickar den vidare till en människa.

I Joshis exempel utökades en kolumns heltalstyp så att den tillåter större värden (integer → bigint). Skriptens kontroller gick igenom, men agenten hittade ett oregistrerat jobb i kodförrådet. Jobbet skrev värdet till en kolumn i en annan tabell, och den kolumnen tog fortfarande bara emot mindre heltal. Skrivningen skulle ha misslyckats vid det första för stora värdet. En människa bekräftade att jobbet användes, och den andra tabellen rättades innan ändringen slogs samman.

Agenten ser inte manuellt körda frågor eller instrumentpaneler. Därför får den inte påstå att det saknas läsare, bara konstatera att den inte hittade några på de ställen den sökte. En människa hanterar alltid behörigheter till känsliga data, migreringar som ändrar vad data betyder och osäkra bedömningar.

Siffrorna är Robinhoods egna

Enligt Joshis siffror per den 31 augusti 2026 slogs cirka 60 procent av pull requests i datapipelines samman utan mänsklig granskning. Det manuella granskningsarbetet minskade med cirka 75 procent, vilket sparar cirka 132 arbetstimmar i månaden. Störningar kopplade till ändringar i datapipelines minskade med cirka 30 procent. Joshi angav ingen jämförelseperiod i presentationen.

Andelen felaktiga godkännanden var cirka 2 procent, uppgav Joshi, och de berodde främst på luckor i reglerna. Teamet har ingen tydlig siffra för onödiga överlämningar till människor. Den jourhavande uppdaterar reglerna manuellt en gång i veckan utifrån återkoppling från människor. Systemet lär sig inte automatiskt.

Skripten och agenten ser inte varandras resultat

Teamet gjorde ett misstag när det byggde skripten och agenten som separata system som körs parallellt, säger Joshi. Inget av dem ser det andras resultat, och agenten kan inte anropa skripten. Teamet utreder en lösning där en klassificerare avgör hur hela pull requesten hanteras och agenten får skriptkontrollerna som verktyg. Lösningen har ännu inte byggts.