Esijulkaisu: Devinin koodin säilymistä koskeva johtopäätös riippui mittaustavasta
Concordian yliopiston tutkijat tekivät samasta 854 139 koodirivin aineistosta 88 analyysia. Ihmisen valvomien koodausagenttien tulos pysyi samansuuntaisena, mutta Devinin koodin tulos vaihteli mittausvalintojen mukaan.
Concordian yliopiston tutkijat Musfiqur Rahman, Mahi Begoug ja Emad Shihab julkaisivat 16. marraskuuta arXivissa esijulkaisun. He tarkastelivat uudelleen aiemman tutkimuksensa aineistoa. Aineistossa 2 802 yhdistettyä pull requestia lisäsi AIDev-aineiston 215 repositorioon yhteensä 854 139 koodiriviä. Tutkijat mittasivat, kuinka kauan rivi säilyy muuttamattomana koodiin yhdistämisen jälkeen.
Aiemmissa tutkimuksissa koodausagenttien koodin on raportoitu säilyvän pidempään kuin ihmisten koodin, yhtä kauan tai lyhyemmän aikaa. Tutkijat vaihtelivat yhdeksää mittausvalintaa, esimerkiksi rivin seurantatapaa ja sitä, verrataanko koodia eri repositorioiden välillä vai saman repositorion sisällä.
Jo seurantatapa muutti lukuja paljon. Kun samoja otosrivejä seurattiin niiden alkuperäisen rivinumeron perusteella, ihmisten kirjoittamista riveistä 64,5 % näytti muuttuneen. Kun sama rivi tunnistettiin myös sen siirtyessä tai tiedoston nimen muuttuessa, osuus oli 29,0 %. Käsin tarkistetussa otoksessa vain 35,9 % rivinumeroseurannan kirjaamista muutoksista oli todellisia.
Täysin itsenäisesti toimivan Devin-agentin kohdalla mittausvalinnat ratkaisivat tuloksen. Kun eri repositorioiden koodia verrattiin keskenään ja jokaista riviä kohdeltiin erillisenä havaintona, 15 analyysia 22:sta päätyi siihen, että Devinin koodia muutettiin ihmisten koodia aikaisemmin. Saman repositorion rivit eivät kuitenkaan ole toisistaan riippumattomia havaintoja. Kun tämä otettiin huomioon tilastollista epävarmuutta laskettaessa, tällaisia tuloksia jäi kolme. Niitä ei ollut enempää kuin satunnaisesti sekoitetut agenttitunnisteet tuottivat. Saman repositorion sisällä yksikään analyysi ei löytänyt eroa. Täysin itsenäisten agenttien ryhmässä oli vain Devin, jonka koodia oli 31 repositoriossa. Siksi tutkijoiden mukaan Devin-työkalun ja itsenäisen toimintatavan vaikutusta ei voi erottaa toisistaan.
Ihmisen valvomiin agentteihin kuuluivat GitHub Copilot, OpenAI Codex, Claude Code ja Cursor, joista Copilotin osuus ryhmän riveistä oli suurin. Niiden koodi säilyi ihmisten koodia pidempään useammassa analyysissa kuin sattuma selittäisi. Mittausvalinnat muuttivat eron kokoa mutta eivät sen suuntaa. Ihmiset tekivät 87,7 % agenttikoodiin kohdistuneista muutoksista.
Tutkijat toistivat viiden julkaistun tutkimuksen asetelman omalla aineistollaan. Jokaisen asetelman tulos muuttui, kun yhtä valintaa vaihdettiin. Tutkijoiden mukaan se, säilyykö agentin koodi ihmisen koodia pidempään, riippuu yhtä paljon mittaustavasta kuin itse koodista. Vertailu on havainnoiva ja kattaa vain yhdistetyt pull requestit. Agenttien pull requesteja hylätään useammin, joten tarkasteltu agenttikoodi on valikoitunutta. Rivit lisättiin joulukuun 2024 lopun ja heinäkuun 2025 lopun välillä, ja muutoksia seurattiin vuoden 2025 loppuun, joten jokaista riviä seurattiin vähintään viisi kuukautta. Tutkijoiden mukaan se on lyhyt aika koodille, joka voi olla käytössä vuosia.
Lue lisää: Miten agentti toimii · Agenttikartta