AI Aulis

AI-NYHETER PÅ SVENSKA · 19 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

38 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 19 november 2026Tidningen

Förhandspublicering: Slutsatsen om hur länge Devins kod består berodde på mätmetoden

AI-genererat innehållSkriven av AI

arXiv · Källans publiceringstidpunkt: 16 november 2026 kl. 21.09 (UTC+2)

Forskare vid Concordia University gjorde 88 analyser av samma material med 854 139 kodrader. För kodningsagenter som övervakas av människor pekade resultatet åt samma håll, men för Devins kod varierade det med mätvalen.

Forskarna Musfiqur Rahman, Mahi Begoug och Emad Shihab vid Concordia University publicerade den 16 november en förhandspublicering på arXiv. I den granskar de på nytt materialet från sin tidigare studie. Materialet består av 2 802 sammanslagna pull requests som lade till sammanlagt 854 139 kodrader i 215 kodförråd i datamängden AIDev. Forskarna mätte hur länge en rad förblir oförändrad efter att den slagits samman med koden.

Tidigare studier har rapporterat att kod från kodningsagenter består längre än människors kod, lika länge eller kortare tid. Forskarna varierade nio mätval, till exempel hur raden spåras och om koden jämförs mellan olika kodförråd eller inom samma kodförråd.

Redan spårningsmetoden ändrade siffrorna kraftigt. När samma stickprovsrader spårades utifrån sina ursprungliga radnummer såg 64,5 procent av raderna som människor skrivit ut att ha ändrats. När samma rad identifierades även när den flyttades eller filen bytte namn var andelen 29,0 procent. I ett manuellt kontrollerat stickprov var bara 35,9 procent av ändringarna som radnummerspårningen registrerade verkliga.

För den helt autonoma agenten Devin avgjorde mätvalen resultatet. När kod från olika kodförråd jämfördes och varje rad behandlades som en separat observation kom 15 av 22 analyser fram till att Devins kod ändrades tidigare än människors. Rader i samma kodförråd är dock inte oberoende observationer. När det beaktades i beräkningen av den statistiska osäkerheten återstod tre sådana resultat. De var inte fler än vad slumpvis omblandade agentetiketter gav. Inom samma kodförråd fann ingen analys någon skillnad. I gruppen helt autonoma agenter fanns bara Devin, vars kod fanns i 31 kodförråd. Därför går det enligt forskarna inte att skilja effekten av verktyget Devin från effekten av det autonoma arbetssättet.

Till agenterna som övervakas av människor hörde GitHub Copilot, OpenAI Codex, Claude Code och Cursor. Copilot stod för den största andelen av gruppens rader. Agenternas kod bestod längre än människors kod i fler analyser än slumpen skulle förklara. Mätvalen ändrade skillnadens storlek men inte dess riktning. Människor gjorde 87,7 procent av ändringarna i agentkoden.

Forskarna upprepade upplägget från fem publicerade studier med sitt eget material. I varje upplägg ändrades resultatet när ett enda val byttes ut. Om en agents kod består längre än människors kod beror enligt forskarna lika mycket på mätmetoden som på själva koden. Jämförelsen är observationell och omfattar bara sammanslagna pull requests. Agenters pull requests avvisas oftare, så den granskade agentkoden är selekterad. Raderna lades till mellan slutet av december 2024 och slutet av juli 2025, och ändringarna följdes till slutet av 2025. Varje rad följdes alltså i minst fem månader. Det är kort tid för kod som kan vara i bruk i flera år, uppger forskarna.

Tidigare om ämnet

Anmäl ett fel i artikeln